信息處理裝置、信息處理系統(tǒng)、信息處理方法及其程序的制作方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于從圖像數(shù)據(jù)獲取距離信息的信息處理裝置。
【背景技術(shù)】
[0002] 在數(shù)字照相機(jī)領(lǐng)域中，在相關(guān)技術(shù)中的一項(xiàng)已知技術(shù)提供一種計(jì)算攝影術(shù)，其用 于從圖像傳感器的輸出提取關(guān)于被攝體的圖像數(shù)據(jù)以及進(jìn)一步的信息，并將信息應(yīng)用于圖 像處理。一個(gè)示例是從由數(shù)字照相機(jī)獲取的圖像數(shù)據(jù)獲取關(guān)于到被攝體的距離的信息的處 理。
[0003] 用于從圖像數(shù)據(jù)獲取距離信息的已知方法是基于具有視差的多個(gè)圖像數(shù)據(jù)之間 的關(guān)聯(lián)的立體匹配方法（PTL1)。另一個(gè)已知方法是基于處于不同對焦?fàn)顟B(tài)的多個(gè)圖像之 間的對焦?fàn)顟B(tài)的差異，來獲取距尚彳目息的方法（PTL2)。
[0004] 由于上述距離信息獲取處理需要復(fù)雜的計(jì)算，因此可想到一種在獲取圖像數(shù)據(jù)期 間使用外部設(shè)備而非照相機(jī)來執(zhí)行處理的方法。
[0005] 然而，由于獲取距離信息的處理依據(jù)輸入的圖像數(shù)據(jù)的類型而不同，因而對于各 圖像數(shù)據(jù)需要專用的處理軟件和硬件，因此該方法不方便。引文列表
[0006] 專利文獻(xiàn)
[0007]PTL1:日本特開第2012-253444號公報(bào)
[0008]PTL2:日本特開第2013-62803號公報(bào)

【發(fā)明內(nèi)容】

[0009] 本發(fā)明增加了由圖像數(shù)據(jù)獲得距離信息的處理的便利性。
[0010] 本發(fā)明提供一種信息處理裝置，所述信息處理裝置包括：輸入單元，其被構(gòu)造為輸 入用于導(dǎo)出距離信息的圖像數(shù)據(jù)以及與所述圖像數(shù)據(jù)相關(guān)聯(lián)的、指定用于導(dǎo)出距離信息的 過程的信息；選擇單元，其被構(gòu)造為基于指定過程的所述信息，從用于導(dǎo)出距離信息的多個(gè) 過程中選擇至少一個(gè)過程；以及導(dǎo)出單元，其被構(gòu)造為使用由所述選擇單元選擇的過程，由 所述圖像數(shù)據(jù)導(dǎo)出距離信息。
[0011] 通過以下參照附圖對示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。
【附圖說明】
[0012] 圖1是示出根據(jù)本發(fā)明的第一實(shí)施例的圖像處理系統(tǒng)的構(gòu)造的圖。
[0013]圖2A是示出本發(fā)明的第一實(shí)施例的照相機(jī)的外觀的圖。
[0014] 圖2B是示出第一實(shí)施例的照相機(jī)的攝像單元的示例構(gòu)造的圖。
[0015]圖3是示出本發(fā)明的第一實(shí)施例的信息處理單元的硬件構(gòu)造的圖。
[0016]圖4是示出本發(fā)明的第一實(shí)施例的照相機(jī)的攝像單元的示例構(gòu)造的圖。
[0017] 圖5A和圖5B是例不使用全光相機(jī)來分辨光的方法的圖。
[0018]圖6是示出本發(fā)明的第一實(shí)施例的照相機(jī)的攝像單元的示例構(gòu)造的圖。
[0019] 圖7是在本發(fā)明的第一實(shí)施例的照相機(jī)中進(jìn)行的處理的流程圖。
[0020] 圖8是示出本發(fā)明的第一實(shí)施例的圖像數(shù)據(jù)文件的結(jié)構(gòu)的示例的圖。
[0021 ] 圖9A是CPI數(shù)據(jù)中的管理數(shù)據(jù)的說明示例的圖。
[0022] 圖9B是示出標(biāo)簽信息與參數(shù)之間的對應(yīng)關(guān)系的圖。
[0023] 圖10是示出在本發(fā)明的第一實(shí)施例的計(jì)算機(jī)中進(jìn)行的處理的流程圖。
[0024]圖11是根據(jù)本發(fā)明的第一實(shí)施例的距離信息獲取處理的流程圖。
[0025] 圖12是例示使用立體方法來計(jì)算距離的過程的圖。
[0026] 圖13A和圖13B是示出全光圖像的示例的圖。
[0027] 圖14是根據(jù)本發(fā)明的第一實(shí)施例的距離信息獲取處理的流程圖。
[0028] 圖15是根據(jù)本發(fā)明的第一實(shí)施例的距離信息獲取處理的流程圖。
[0029] 圖16是示出在本發(fā)明的第二實(shí)施例的計(jì)算機(jī)中進(jìn)行的處理的流程圖。
[0030] 圖17是示出根據(jù)本發(fā)明的第三實(shí)施例的照相機(jī)的構(gòu)造的圖。
[0031] 圖18是示出第三實(shí)施例的照相機(jī)的攝像單元的示例構(gòu)造的圖。
[0032] 圖19是在第二實(shí)施例的照相機(jī)中進(jìn)彳丁的處理的流程圖。
【具體實(shí)施方式】
[0033] 第一實(shí)施例
[0034] 第一實(shí)施例被應(yīng)用于信息處理系統(tǒng)，該信息處理系統(tǒng)從由數(shù)字照相機(jī)獲取的圖像 數(shù)據(jù)獲得關(guān)于被攝體的距離的信息，并且基于該距離信息對獲取的圖像數(shù)據(jù)進(jìn)行圖像處 理。
[0035] 圖1是示出第一實(shí)施例的構(gòu)造的圖。
[0036] 通過將照相機(jī)100、120以及140連接到計(jì)算機(jī)160來構(gòu)造本實(shí)施例的信息處理系 統(tǒng)。
[0037] 照相機(jī)100包括攝像單元101、信息處理單元113、操作單元104以及存儲單元 111。照相機(jī)100經(jīng)由I/O接口 112連接到計(jì)算機(jī)160。
[0038] 圖2A示出了照相機(jī)100的外觀。如圖2A所示，照相機(jī)100包括4個(gè)攝像單元101a 至101d，并且能夠從多個(gè)視點(diǎn)獲取圖像。
[0039] 圖2B示出了攝像單元101a的內(nèi)部構(gòu)造。攝像單元101b至101d具有與攝像單元 l〇la相同的構(gòu)造。
[0040] 攝像單元101a包括成像透鏡201至203、孔徑光闌204(下文簡稱為光圈）、快門 205、光學(xué)低通濾波器206、紅外截止（IR，infraredcut-off)濾波器207、濾色器208、圖像 傳感器209以及A-D轉(zhuǎn)換單元210。成像透鏡201至203分別是變焦透鏡201及對焦透鏡 202至203。用戶能夠通過調(diào)整光圈204來調(diào)整進(jìn)入到攝像單元101的光量。圖像傳感器 209的示例包括諸如CMOS和CCD等的光接收元件。當(dāng)圖像傳感器209檢測被攝體的光量 時(shí)，檢測到的量被A-D轉(zhuǎn)換單元210轉(zhuǎn)換為數(shù)字值，并且被作為數(shù)字?jǐn)?shù)據(jù)輸出到信息處理單 元 113〇
[0041] 圖3是示出信息處理單元113的內(nèi)部構(gòu)造的圖。信息處理單元113包括通過系統(tǒng) 總線304互相連接的CPU301、RAM302以及ROM303。
[0042] CPU301是整體控制照相機(jī)100中的組件的處理器。RAM302用作CPU301的主存 儲器或工作區(qū)域。ROM303存儲圖7的流程圖中示出的程序。通過CPU301讀取ROM303 中存儲的程序作為程序代碼并執(zhí)行它，信息處理單元113實(shí)現(xiàn)圖1示出的組件的功能。除 了上述部分之外，信息處理單元113還可以包括用作圖1示出的組件的專用處理電路。
[0043] 操作單元104的示例包括諸如按鈕、轉(zhuǎn)盤以及觸摸屏等的、在照相機(jī)主體上配設(shè) 的輸入設(shè)備，通過該輸入設(shè)備，用戶能夠輸入開始或停止圖像獲取、設(shè)置圖像獲取的條件等 的指令。在本實(shí)施例中，用戶能夠設(shè)置內(nèi)部處理模式和外部處理模式，在內(nèi)部處理模式中， 在圖像獲取期間在照相機(jī)中進(jìn)行距離信息的獲取及圖像處理，在外部處理模式中，在將圖 像數(shù)據(jù)輸出到外部單元之后進(jìn)行距離信息的獲取及圖像處理。
[0044] 存儲單元111是諸如存儲卡等的非易失性存儲介質(zhì)，在其中能夠存儲由攝像單元 101獲取的圖像數(shù)據(jù)。
[0045] I/O接口 112能夠使用通過通用串行總線（USB)實(shí)現(xiàn)的串行總線連接，并且具有對 應(yīng)的USB連接器（未示出）。當(dāng)然，也可以使用采用光纖的LAN連接或無線連接。
[0046] 接下來，將說明照相機(jī)120和140的構(gòu)造。盡管照相機(jī)120和140的構(gòu)造基本上 與照相機(jī)100構(gòu)造的相同，但是攝像單元的結(jié)構(gòu)以及由距離獲取單元進(jìn)行的處理不同。照 相機(jī)100、120以及140的距離獲取單元分別進(jìn)行圖11、圖14及圖15中示出的處理。稍后 將說明其詳情。
[0047] 照相機(jī)120是全光照相機(jī)。由全光照相機(jī)獲取的圖像包括關(guān)于多視點(diǎn)的信息。在 該實(shí)施例中，由全光照相機(jī)獲取的圖像被稱為全光圖像。
[0048] 圖4是示出攝像單元121的內(nèi)部構(gòu)造的圖。攝像單元121包括變焦透鏡401、對焦 透鏡402和403、光圈404、快門405、光學(xué)低通濾波器406、紅外截止濾波器407、濾色器408、 圖像傳感器409以及A-D轉(zhuǎn)換單元410。盡管在上述點(diǎn)方面，攝像單元121具有與攝像單元 l〇la類似的構(gòu)造，但是攝像單元121還包括排列有多個(gè)微小凸透鏡的微透鏡陣列411。假 定成像透鏡401至403是單個(gè)透鏡，則微透鏡陣列411被布置在虛擬透鏡的像平面上。通 過將微透鏡陣列411布置在虛擬透鏡的像平面上，使得能夠分辨進(jìn)入到圖像傳感器409的 光的入射方向。
[0049] 圖5A和圖5B是例示通過微透鏡陣列411來分辨從虛擬透鏡501射出的光的狀態(tài)。 從虛擬透鏡501的上半部分射出的光與從虛擬透鏡501的下半部分射出的光照射圖像傳感 器409的不同像素區(qū)域。選擇性地提取像素區(qū)域的信息使得能夠從全光圖像提取多視點(diǎn)的 信息。
[0050] 照相機(jī)140具有散焦測距（depth-from-defocus，DFD)功能，并且能夠獲取處于不 同對焦?fàn)顟B(tài)的多個(gè)圖像。在此，"不同對焦?fàn)顟B(tài)"意思是被攝體圖像的模糊程度依據(jù)透鏡位 置、焦距以及景深而不同。稍后將說明DFD的詳情。
[0051] 圖6是例示攝像單元141的內(nèi)部構(gòu)造的圖。盡管基本構(gòu)造與攝像單元101a的構(gòu) 造相同，但是攝像單元141還包括透鏡驅(qū)動單元611，并且由此能夠通過驅(qū)動成像透鏡601 至603來調(diào)整對焦位置。照相機(jī)140能夠通過在驅(qū)動透鏡601至603之前和之后獲取圖像， 來獲取在不同對焦位置的多個(gè)圖像。
[0052] 接下來，將描述計(jì)算機(jī)160的構(gòu)造。計(jì)算機(jī)160包括I/O接口 161、信息處理單元 173以及存儲單元172。類似于I/O接口 112,I/O接口 161具有USB連接器。計(jì)算機(jī)160 經(jīng)由I/O接口 161連接到照相機(jī)100、120以及140。
[0053] 信息處理單元173的內(nèi)部構(gòu)造與圖3示出的信息處理單元113的內(nèi)部構(gòu)造相同。 信息處理單元173中的ROM存儲有圖10的流程圖中示出的程序。
[0054] 存儲單元172是諸如硬盤等的非易失性存儲介質(zhì)，其能夠存儲例如從照相機(jī)100、 120及140輸出的圖像數(shù)據(jù)以及在計(jì)算機(jī)160新生成的圖像數(shù)據(jù)。
[0055] 下面將說明由本實(shí)施例的信息處理系統(tǒng)進(jìn)行的處理。稍后將說明距離信息獲取處 理和圖像處理的詳情。
[0056]圖7是在對獲取的圖像數(shù)據(jù)設(shè)置了進(jìn)行基于距離信息的圖像處理的模式的情況 下，在照相機(jī)100中進(jìn)行的處理的流程圖。
[0057] 首先，獲取單元102獲取從攝像單元101輸出的圖像數(shù)據(jù)，并且將該圖像數(shù)據(jù)輸出 到模式確定單元103 (步驟S701)。
[0058] 接下來，模式確定單元103基于來自操作單元104的指令信號，確定通過操作單元 104的操作設(shè)置的處理模式（步驟S702)。如果處理模式被確定為外部處理模式，則模式確 定單元103將圖像數(shù)據(jù)輸出到現(xiàn)有元數(shù)據(jù)添加單元107,并且進(jìn)行到步驟S703的處理。如 果處理模式被確定為內(nèi)部處理模式，則模式確定單元103將圖像數(shù)據(jù)輸出到距離獲取單元 105,并且進(jìn)行到步驟S711的處理。
[0059] 如果處理模式被確定為內(nèi)部處理模式，則距離獲取單元105使用輸入的圖像數(shù)據(jù) 獲取關(guān)于被攝體的距離的信息，并且將彼此關(guān)聯(lián)的輸入圖像數(shù)據(jù)與獲取的距離信息輸出到 圖像處理單元1〇6(步驟S711)。在該實(shí)施例中，距離獲取單元105獲取的距離信息是示出 在被攝體的各個(gè)位置處的距離的距離圖。距離圖示出了二維的、從照相機(jī)到各個(gè)像素位置 處的被攝體的距離，并且被作為位圖數(shù)據(jù)而輸出。在此，關(guān)聯(lián)的示例包括將圖像數(shù)據(jù)和距離 信息作為連續(xù)的數(shù)據(jù)輸出，并且在RAM302中臨時(shí)存儲指示圖像數(shù)據(jù)與距離信息之間的關(guān) 系的信息，以使得CPU301能夠讀取該信息并解釋該信息。距離圖不需要示出到被攝體的 正確距離；例如，可以對被攝體的各個(gè)區(qū)域添加指示相對距離的粗略信息，例如"前景"、"中 景（middleground)"、以及"背景"。
[0060] 接下來，圖像處理單元106基于與輸入的圖像數(shù)據(jù)相關(guān)聯(lián)的距離圖，對輸入的圖 像數(shù)據(jù)進(jìn)行圖像處理（步驟S712)。圖像處理單元106還將通過圖像處理生成的圖像數(shù)據(jù) 與輸入的圖像數(shù)據(jù)相關(guān)聯(lián)，并且將關(guān)聯(lián)的圖像數(shù)據(jù)輸出到現(xiàn)有元數(shù)據(jù)添加單元107。
[0061] 接下來，現(xiàn)有元數(shù)據(jù)添加單元107將在現(xiàn)有標(biāo)準(zhǔn)文件格式中定義的元數(shù)據(jù)添加到 輸入的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)輸出到距離獲取元數(shù)據(jù)添加單元108 (步驟S703)。這使 得即使使