成像控制器以及成像控制方法和程序的制作方法
【專利說明】
[0001] 相關(guān)專利申請的相互應(yīng)用
[0002] 本申請基于并且要求2012年9月11日提交的日本專利申請No. 2012-199622的 優(yōu)先權(quán)。
技術(shù)領(lǐng)域
[0003] 本發(fā)明涉及能夠?qū)Χ鄠€成像單元提供適當成像條件的成像控制器以及由該成像 控制器執(zhí)行的成像控制方法和用于實現(xiàn)該成像控制方法的程序。
【背景技術(shù)】
[0004] 已知包括諸如魚眼鏡頭或者特廣角鏡頭之類的多個廣角鏡頭從而每次以全方位 捕獲圖像的全方位成像系統(tǒng)。進行配置以將來自鏡頭的圖像投影到傳感器表面上，并且通 過圖像處理合成圖像，從而產(chǎn)生全方位圖像。例如，利用視角超過180度的兩個廣角鏡頭， 能夠產(chǎn)生全方位圖像。在圖像處理中，在考慮與理想模型的失真的情況下，根據(jù)特定投影模 型，對每個鏡頭系統(tǒng)捕獲的局部圖像進行失真校正和投影變換。然后，根據(jù)局部圖像的重疊 部分，連接局部圖像，以形成單個全方位圖像。
[0005] 在現(xiàn)有技術(shù)中，已知數(shù)碼相機由捕獲圖像獲得適當曝光的曝光校正技術(shù)。例如，日 本專利申請公開No. 2007-329555公開了一種包括多個成像單元的成像系統(tǒng)，排列該多個 成像單元，以具有重疊成像區(qū)，從而從成像單元捕獲的每個圖像中提取重疊區(qū)。進行配置， 以根據(jù)提取的重疊區(qū)的每個圖像，調(diào)節(jié)成像單元的曝光和白平衡中的至少一個，從而降低 捕獲圖像的亮度或者色彩的差異，目的是降低諸如合成之類的后處理的工作負荷。
[0006] 然而，利用該現(xiàn)有技術(shù)的曝光校正技術(shù)，全方位成像系統(tǒng)難以獲取適當?shù)钠毓猓?為其成像單元的光學條件或者照相環(huán)境不同。上述文獻公開的現(xiàn)有技術(shù)僅考慮重疊區(qū)，因 此，如果相對于整個圖像重疊區(qū)小，則在不平衡曝光條件下，難以獲得適當?shù)钠毓庑Ｕ怠?特別是，由于全方位成像系統(tǒng)的成像區(qū)是全方位的，所以在傳感器上通常捕獲像太陽一樣 的高亮物體，這樣可能產(chǎn)生雜光并且圖像偏移值增大。能夠?qū)τ诿總€傳感器獲得適當?shù)钠?光，然而，這可能導致圖像的連接部分之間的亮度差異并且削弱全方位圖像的質(zhì)量。

【發(fā)明內(nèi)容】

[0007] 本發(fā)明的目的在于提供能夠?qū)γ總€成像單元提供適當?shù)某上駰l件，從而在合成圖 像時消除成像單元捕獲的圖像的連接點處的不連續(xù)性的成像控制器以及成像控制方法和 程序。
[0008] 根據(jù)本發(fā)明的一方面，一種成像控制器包括：索引計算器，用于計算多個成像單元 捕獲的圖像的每個分割區(qū)域的索引值，該索引值用于估計每個分割區(qū)域的照相狀態(tài)；估計 值計算器，用于根據(jù)索引計算器計算的每個分割區(qū)域的索引值估計圖像和圖像之間的重疊 區(qū)域，并且計算整體估計值；以及條件確定器，用于根據(jù)估計值計算器計算的整體估計值確 定每個成像單元的成像條件。
【附圖說明】
[0009] 根據(jù)下面參考附圖所做的詳細描述，本發(fā)明的特征、實施例和優(yōu)點顯而易見。
[0010] 圖1是根據(jù)本實施例的全方位成像系統(tǒng)的截面圖；
[0011] 圖2示出圖1中的全方位成像系統(tǒng)的硬件配置；
[0012] 圖3示出圖1中的全方位成像系統(tǒng)的整個圖像處理的流程；
[0013] 圖4A、圖4B分別示出兩個魚眼鏡頭捕獲的第0和第一圖像，并且圖4C示出作為例 子的第〇和第一捕獲圖像的合成圖像；
[0014] 圖5A、圖5B示出根據(jù)本實施例的區(qū)域分割方法；
[0015] 圖6是根據(jù)本實施例的全方位成像系統(tǒng)執(zhí)行的曝光控制的流程圖；以及
[0016] 圖7是根據(jù)本實施例的全方位成像系統(tǒng)執(zhí)行的曝光計算的流程圖。
【具體實施方式】
[0017] 下面將參考附圖詳細描述成像控制器和成像系統(tǒng)的實施例。只要有可能，在所有 附圖中利用相同的附圖標記表示相同或者類似的部分。作為例子，本實施例描述了一種全 方位成像系統(tǒng)，該全方位成像系統(tǒng)包括含有兩個魚眼鏡頭的相機單元和根據(jù)這兩個魚眼鏡 頭捕獲的圖像判定成像條件的功能。然而，本實施例并不局限于這種例子。作為選擇，該全 方位成像系統(tǒng)能夠包括含有三個或者更多個魚眼鏡頭以根據(jù)魚眼鏡頭捕獲的圖像確定成 像條件的相機單元。在此，魚眼鏡頭能夠包括廣角鏡頭或者特廣角鏡頭。
[0018] 參考圖1和圖2,描述全方位成像系統(tǒng)10的整體配置。圖1是全方位成像系統(tǒng) 10 (下面簡稱為成像系統(tǒng)）的截面圖。其包括：相機單兀12 ;外殼14,該外殼14容納相機 單元12和諸如控制器、電池的元件；以及快門按鈕18,該快門按鈕18設(shè)置于外殼14上。
[0019] 圖1中的相機單元12包括：兩個鏡頭系統(tǒng)20A、20B;以及兩個固態(tài)圖像傳感器 22A、22B，作為(XD(電荷耦合器件）傳感器或者CMOS(互補金屬氧化物半導體）。在此，每 對鏡頭系統(tǒng)20和固態(tài)圖像傳感器22被稱為成像單元。例如，鏡頭系統(tǒng)20A、20B分別包括 作為魚眼鏡頭的6組7個鏡頭。在本實施例中，魚眼鏡頭具有180度（360度/n，n= 2)或 者更優(yōu)選地185度或者更更優(yōu)選地190度或者更大的總視角。
[0020] 相對于固態(tài)圖像傳感器22A、22B定位鏡頭系統(tǒng)20A、20B的諸如透鏡、棱鏡、濾光 片、孔光闌之類的光學元件，以使得光學元件的光軸垂直于相應(yīng)固態(tài)圖像傳感器22的光接 收區(qū)的中心，以及光接收區(qū)變成相應(yīng)魚眼鏡頭的成像面。固態(tài)圖像傳感器22是光電二極管 以二維布置于其上，以將鏡頭系統(tǒng)20收集的光轉(zhuǎn)換為圖像信號的區(qū)域圖像傳感器。
[0021] 在本實施例中，鏡頭系統(tǒng)20A、20B相同并且互相相對地布置，使得其光軸重合。固 態(tài)圖像傳感器22A、22B將光分布轉(zhuǎn)換為圖像信號，并且將它們輸出到控制器上的未示出的 圖像處理器。圖像處理器將來自固態(tài)圖像傳感器22A、22B的部分圖像組合，而以4JI的固 定弧度角合成圖像或者全方位圖像。在從拍攝點能夠看到的所有方向上捕獲全方位圖像。 代替全方位圖像，能夠產(chǎn)生在水平面上僅在360度的范圍內(nèi)捕獲的全景圖像。
[0022] 為了利用總視角大于180度的魚眼鏡頭形成全方位圖像，利用成像單元捕獲的圖 像的重疊部分連接圖像，作為表示同一圖像的基準數(shù)據(jù)。將產(chǎn)生的全方位圖像輸出到例如 設(shè)置于相機單元12內(nèi)的或者連接到相機單元12的顯示器、打印機或者諸如SDcard?、 compactflash?的外部存儲介質(zhì)。
[0023] 圖2示出根據(jù)本實施例的成像系統(tǒng)10的硬件的結(jié)構(gòu)。成像系統(tǒng)10包括：數(shù)碼相機 處理器100 (下面簡稱為處理器）、鏡筒單元102、以及與處理器100相連接的各種元件。鏡 筒單元102包括兩對鏡頭系統(tǒng)20A、20B和固態(tài)圖像傳感器22A、22B。固態(tài)圖像傳感器22A、 22B由來自處理器100的CPU130的命令控制。
[0024] 處理器100包括：ISP(圖像信號處理器）108A、108B、DMAC(直接存儲器存取控制 器）110、用于存儲器存取的仲裁器（ARBMEMC) 112、用于存儲器存取的MEMC(存儲器控制 器）114、以及失真校正與圖像合成模塊118。ISP108A、108B對由固態(tài)圖像傳感器22A、22B 處理的圖像數(shù)據(jù)信號執(zhí)行自動曝光控制并且對其設(shè)定白平衡和伽馬平衡。
[0025] MEMC114 連接到SDRAM116,SDRAM116 臨時存儲ISP108A、108B和失真校正與 圖像合成模塊118的處理中使用的數(shù)據(jù)。失真校正與圖像合成模塊118根據(jù)來自三軸加速 度傳感器120的信息對來自兩個成像單元的兩個部分圖像執(zhí)行失真校正和垂直傾斜校正 且合成它們。
[0026] 處理器100還包括：DMAC122、圖像處理模塊124、CPU130、圖像數(shù)據(jù)傳送器126、 SDRAMC128、存儲卡控制模塊140、USB模塊146、外圍模塊150、音頻單元152、串行模塊 158、IXD(液晶顯示器）驅(qū)動器162以及橋接器168。
[0027] CPU130控制成像系統(tǒng)10的元件的操作。圖像處理模塊124與大小調(diào)整模塊132、 JPEG模塊134以及H. 264模塊136 -起對圖像數(shù)據(jù)執(zhí)行各種圖像處理。大小調(diào)整模塊132 通過內(nèi)插來放大或者縮小圖像數(shù)據(jù)的大小。JPEG模塊134是以JPEG對圖像數(shù)據(jù)進行壓縮和 解壓縮的編解碼模塊。H. 264模塊136是以H. 264對視頻數(shù)據(jù)進行壓縮和解壓縮的編解碼 模塊。圖像數(shù)據(jù)傳送器126傳送由圖像處理模塊124處理的圖像。SDRAMC128控制SDRAM 138,SDRAM138連接到處理器100并且在處理器100的圖像處理期間臨時存儲圖像數(shù)據(jù)。
[0028] 存儲卡控制模塊140控制對插入存儲卡槽142內(nèi)的存儲卡和閃速R0M144的數(shù)據(jù) 讀和寫，存儲卡可拆卸地插入存儲卡槽142內(nèi)。USB模塊146控制與通過USB連接器148連 接的諸如個人計算機之類的外部設(shè)備的USB通信。外圍模塊150連接到電源開關(guān)166。
[0029] 音頻單元152連接到用于接收來自用戶的音頻信號的麥克風156和用于輸出音頻 信號的揚聲器154,以控制音頻的輸入和輸出。串行模塊158控制與外部設(shè)備的串行通信， 并且連接到無線NIC(網(wǎng)絡(luò)接口卡）160。IXD驅(qū)動器162是用于IXD164的驅(qū)動電路，并且 將圖像數(shù)據(jù)轉(zhuǎn)換為用于將各種信息顯示在IXD164上的信號。
[0030] 閃速ROM144含有CPU130以可讀代碼寫入的控制程序和各種參數(shù)。在電源開關(guān) 166的電源接通后，控制程序被加載到主存儲器上。CPU130按照主存儲器上的控制程序控 制圖形處理器的各單元和各元件的操作，并且將所需控制數(shù)據(jù)臨時存儲在SDRAM138和未 示出的本地SRAM內(nèi)。
[0031] 圖3示出根據(jù)本實施例，用于控制成像條件和成像系統(tǒng)10的整個圖像處理的流程 的主要功能模塊。首先，固態(tài)圖像傳感器22A、22B在特定曝光條件下捕