專利名稱：可在多種模式下工作的多鏡頭照相機(jī)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及生成數(shù)字圖像文件的數(shù)字照相機(jī)，更具體地，涉及使用 多個(gè)鏡頭和圖像傳感器來提供諸如廣角和長焦攝像模式的多種攝像才莫 式的數(shù)字照相機(jī)。
背景技術(shù)：
當(dāng)前，多數(shù)數(shù)字照相機(jī)使用變焦拍攝鏡頭(zoom taking lens)和單 個(gè)彩色圖像傳感器來拍攝靜止和運(yùn)動(dòng)圖像。然后，對(duì)拍攝到的圖像進(jìn)行 處理以生成存儲(chǔ)在照相機(jī)中的數(shù)字存儲(chǔ)器中的數(shù)字圖像文件。然后，可 以將該數(shù)字圖像文件傳送到計(jì)算機(jī)，進(jìn)行顯示、打印和通過網(wǎng)絡(luò)共享。為了拍攝運(yùn)動(dòng)被攝體的清晰圖像，數(shù)字照相機(jī)需要提供精確的自動(dòng) 鏡頭調(diào)焦系統(tǒng)(例如，自動(dòng)調(diào)焦系統(tǒng))。自動(dòng)調(diào)焦系統(tǒng)必須能夠迅速獲 得正確聚焦，以最小化按下快門按鈕的時(shí)間和拍攝靜止圖像的時(shí)間之間 的"快門延遲，，(shutter delay)。自動(dòng)調(diào)焦系統(tǒng)還必須工作在拍攝視頻 圖像的連續(xù)攝像模式下。例如，在視頻模式下，在正連續(xù)拍攝視頻圖像 時(shí)，應(yīng)該實(shí)時(shí)地調(diào)節(jié)聚焦。許多數(shù)字照相機(jī)和掃描器使用圖像傳感器和具有可調(diào)焦距的拍攝 鏡頭系統(tǒng)來拍攝圖像。通常，可以通過傳感、控制以及驅(qū)動(dòng)系統(tǒng)將這種 可調(diào)焦距拍攝鏡頭系統(tǒng)的焦距自動(dòng)地設(shè)置為多個(gè)不同設(shè)置中的一個(gè)，其 中所迷傳感、控制以及驅(qū)動(dòng)系統(tǒng)用于提供^f皮確定為場(chǎng)景中的禍U聶體區(qū)域 的區(qū)域的最佳聚焦。提供基于焦距測(cè)量和可調(diào)焦距鏡頭的自動(dòng)可調(diào)焦距 設(shè)置的鏡頭系統(tǒng)這里被稱為自動(dòng)調(diào)焦系統(tǒng)。數(shù)字照相機(jī)通常使用以下兩 種自動(dòng)調(diào)焦系統(tǒng)中的一個(gè)測(cè)距系統(tǒng)和"通過透鏡"調(diào)焦系統(tǒng)。測(cè)距系統(tǒng)使用諸如聲波測(cè)距器或雙鏡頭測(cè)距器的測(cè)距傳感器來確 定從照相機(jī)到在測(cè)距系統(tǒng)的視場(chǎng)內(nèi)的場(chǎng)景的一個(gè)或多個(gè)部分的距離。聲 波測(cè)距器測(cè)量所發(fā)射的聲波信號(hào)和所反射的聲波信號(hào)之間的相位偏移， 以推斷到鏡頭中的被攝體的距離。雙鏡頭測(cè)距器包含沿拍攝匹配的成對(duì) 圖像的兩個(gè)匹配傳感器區(qū)域而分離開一定距離的兩個(gè)鏡頭。雙鏡頭測(cè)距器通常以包含沿拍攝匹配的成對(duì)低分辨率圖像的兩個(gè)匹配傳感器區(qū)域 而分離開一定距離的兩個(gè)鏡頭的雙鏡頭測(cè)距器模塊的形式應(yīng)用于數(shù)字 照相纟幾上。普通雙鏡頭基于測(cè)距器的自調(diào)焦系統(tǒng)包括主動(dòng)和被動(dòng)系統(tǒng)。主動(dòng)系 統(tǒng)主動(dòng)地將光發(fā)射到場(chǎng)景上，而被動(dòng)系統(tǒng)與來自場(chǎng)景的可用光一起工作。雙鏡頭測(cè)距器模塊可以從Fuji Electric的諸如FM6260W的若干個(gè)模 型中購買。在1986年8月16日授予Haruki等人(并轉(zhuǎn)讓給Fuji Electric) 的美國專利第4,606,630號(hào)中說明了用于諸如照相機(jī)的光學(xué)設(shè)備的雙鏡 頭測(cè)距器模塊。根據(jù)該專利的現(xiàn)有技術(shù)中的說明，'分析匹配的成對(duì)低分 辨率圖像以得到這兩個(gè)圖形之間的相關(guān)性，從而確定由兩個(gè)鏡頭之間的 分離而引起的這兩個(gè)圖像之間的偏移。這里在圖27中示出說明傳統(tǒng)的測(cè)距器的操作原理的圖。在該圖中， 來自^U聶體151的光入射到兩個(gè)小透鏡152和153上，這兩個(gè)小鏡頭具 有足夠短的焦距f以使得從被攝體接收到的穿過不同的間隔開的路徑 154和155的光線在透鏡152與153共用的焦平面156中生成相應(yīng)的間 隔開的圖像157和158。當(dāng)被攝體151位于無窮遠(yuǎn)距離處時(shí)，圖像157 和158的中心位于圖27中的基準(zhǔn)位置170和180處，但是當(dāng)被攝體151 位于較近的距離處時(shí)，圖像的中心偏移到位置171和181。如果圖像157 和158從基準(zhǔn)位置170和180而偏離的距離^皮分別表示為Xi和X2，則總 位移x可以按照如下表示x=xi+X2=b-f/d因此，到被攝體151的距離d可以通過d-b.f/x來測(cè)量。在這種情況下，b是小透鏡的光軸之間的距離，即基長。為了獲得偏移量A和X2或二者之和x,如圖27所示，在焦平面156內(nèi)設(shè)置兩個(gè)光學(xué)傳感器陣列 190和191。這些光學(xué)傳感器陣列均包括多個(gè)光學(xué)傳感器，例如CCD裝 置，并且由各光學(xué)傳感器相對(duì)應(yīng)于入射到傳感器上的圖像的部分處的光 強(qiáng)度而生成模擬光電信號(hào)。Hamki等人示出了傳統(tǒng)的電路以及根椐本專 利的較高速的測(cè)距電路，其中該測(cè)距電路用于通過比較包括來自左光學(xué) 傳感器陣列和右光學(xué)傳感器陣列的數(shù)字圖像信號(hào)的兩個(gè)圖像信號(hào)列來 獲得偏移距離的總和x?；镜?，沿著鏡頭分離距離b和焦距f使用偏移信息x來通過三角 測(cè)量法來計(jì)算到場(chǎng)景的距離。計(jì)算出的到場(chǎng)景的距離d用于引導(dǎo)可調(diào)焦生最佳的圖像質(zhì)量。如在現(xiàn)有技術(shù)中已知的那樣，該 調(diào)節(jié)可以基于在通過雙鏡頭測(cè)距器模塊所測(cè)量出的到場(chǎng)景的距離和利 用"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)所生成的一系列最佳聚焦圖像之間所建立 的校準(zhǔn)曲線。將該校準(zhǔn)曲線存儲(chǔ)為照相機(jī)中的微處理器中的等式或查找 表?；跍y(cè)距器的自動(dòng)調(diào)焦系統(tǒng)具有非常快速的優(yōu)點(diǎn)，其中 一些系統(tǒng)具有可以處于0.01-0.05秒的范圍內(nèi)的響應(yīng)時(shí)間。然而，由一些基于測(cè)3巨器 的自動(dòng)調(diào)焦系統(tǒng)產(chǎn)生的聚焦質(zhì)量可以在這些系統(tǒng)被用于不同的操作條 件下時(shí)而不同。例如，聲波自動(dòng)調(diào)焦系統(tǒng)不能通過玻璃窗口聚焦，因?yàn)?玻璃阻止反射的聲波信號(hào)，由此導(dǎo)致自動(dòng)調(diào)焦系統(tǒng)聚焦到玻璃上。在雙 鏡頭測(cè)距器自動(dòng)調(diào)焦系統(tǒng)的情況下，雙鏡頭測(cè)距器的精度通常受到諸如 溫度和/或濕度的環(huán)境條件的變化的影響。利用雙鏡頭測(cè)距器模塊的問題 在于該雙鏡頭測(cè)距器模塊和可調(diào)焦距鏡頭位置之間的校準(zhǔn)在數(shù)字照相 機(jī)的正常運(yùn)行環(huán)境內(nèi)不穩(wěn)定。諸如溫度和濕度的變化的環(huán)境條件可以使 由雙鏡頭測(cè)距器模塊所測(cè)量出的到場(chǎng)景的部分的距離改變超過10%。另 外，所測(cè)得的在可調(diào)焦距拍攝鏡頭系統(tǒng)中的可調(diào)焦距拍攝鏡頭的位置易 于受環(huán)境誘導(dǎo)而改變，從而在可調(diào)焦距鏡頭的控制系統(tǒng)中產(chǎn)生不準(zhǔn)確。 因此，雙鏡頭測(cè)距器模塊通常不單獨(dú)用于數(shù)字照相機(jī)中的自動(dòng)調(diào)焦，而 相反用作利用"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)而補(bǔ)充的粗略聚焦調(diào)節(jié)?？蛇x地，該"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)通過對(duì)利用位于多個(gè)不同的 焦距處的可調(diào)焦距鏡頭系統(tǒng)而拍攝的 一 系列自動(dòng)聚焦圖像的分析來確 定聚焦?fàn)顟B(tài)。例如，在典型的"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)中，在所謂的 "爬坡"方法中利用 一系列不同的位置處的可調(diào)焦距鏡頭來拍攝多個(gè)自 動(dòng)聚焦圖像(例如，5-20個(gè))。因?yàn)樵擃愋偷淖詣?dòng)調(diào)焦產(chǎn)生水平增長直 到越過峰值即"坡，，為止的值序列，因此該類型的自動(dòng)調(diào)焦被稱為"爬 坡"自動(dòng)調(diào)焦。換句話說，自動(dòng)調(diào)整鏡頭聚焦位置，直到圖像中的邊緣 細(xì)節(jié)或圖像的特定區(qū)域的對(duì)比度被最大化為止。例如，比較存在于各自 動(dòng)聚焦圖像中的對(duì)比度，并且具有最大對(duì)比度的自動(dòng)聚焦圖像被認(rèn)為已 經(jīng)以最佳聚焦?fàn)顟B(tài)而被拍攝(通常最佳聚焦鏡頭位置通過在兩個(gè)圖像之 間插入對(duì)比度值而被進(jìn)一步改善)。為了在不犧牲聚焦精度的情況下降低聚焦響應(yīng)時(shí)間，通常使用濾波 器來不僅分離視頻信號(hào)的高頻分量還分離低頻分量。例如，可以在最遠(yuǎn)6離最大焦距的低頻范圍中在粗調(diào)步驟中快速驅(qū)動(dòng)鏡頭，然后，可以在較靠近最大焦距的高頻范圍中在細(xì)調(diào)步驟中驅(qū)動(dòng)鏡頭。圖28示出傳統(tǒng)的 "爬坡，，對(duì)比度自動(dòng)調(diào)焦算法的流程圖。該算法使用如上所述且如圖29 的圖所示的"爬坡"對(duì)比度自動(dòng)調(diào)焦方法，圖29示出了從濾波器獲得 的聚焦值和鏡頭位置之間的關(guān)系。在圖29中，橫坐標(biāo)表示沿著距離軸 的鏡頭的聚焦位置，縱坐標(biāo)表示聚焦評(píng)估值，并且曲線A和B分別表示 相對(duì)于特定對(duì)焦位置P的高頻分量和低頻分量的聚焦評(píng)估值。參考圖28的流程圖，算法的最佳起點(diǎn)依賴于作為焦距設(shè)置和f數(shù) (f-number)的函數(shù)的當(dāng)前鏡頭設(shè)置的超焦距。大約2米的距離通常是 良好的起點(diǎn)。然后，加栽低頻帶通濾波器(步驟197)并讀出聚焦值。 該算法采用比較步驟198來將鏡頭調(diào)節(jié)的方向設(shè)置為朝向增加聚焦值并 確定鏡頭何時(shí)步進(jìn)超過"坡"。依賴于當(dāng)前焦距和f數(shù)的景深設(shè)置在使 用低頻帶通濾波器時(shí)在拍攝下一幀之前應(yīng)該進(jìn)行的步驟的數(shù)量，即下一 個(gè)接近聚焦位置。 一旦通過了坡(圖29中的曲線B)，則加載高頻帶通 濾波器(步驟199)，并且在相反方向上移動(dòng)鏡頭，直到發(fā)現(xiàn)更高的"坡" 的峰(圖29中的曲線A)。峰聚焦值可以使用多個(gè)像素的加權(quán)平均值 或峰值。由于"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)直接根據(jù)利用高質(zhì)量拍攝鏡頭拍攝 到的自動(dòng)聚焦圖像來測(cè)量聚焦質(zhì)量，因而這些系統(tǒng)非常精確。不利的是， "通過透鏡"自動(dòng)調(diào)焦系統(tǒng)由于必須拍攝和比較大量的自動(dòng)聚焦圖像因 而在確定聚焦設(shè)置時(shí)可能會(huì)相對(duì)較慢。例如，"通過透鏡"自動(dòng)調(diào)焦系 統(tǒng)可能需要長達(dá)0.5-2.0秒來確定聚焦?fàn)顟B(tài)。因此，在一些數(shù)字照相機(jī)中，兩種類型的自動(dòng)調(diào)焦系統(tǒng)一起用于混 合系統(tǒng)中，在該混合系統(tǒng)中，基于測(cè)距器的自動(dòng)調(diào)焦系統(tǒng)用于提供對(duì)可 調(diào)焦距鏡頭的快速估計(jì)，然后接著利用"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)來細(xì) 化聚焦設(shè)置。例如，名為"用于調(diào)節(jié)光學(xué)儀器的焦距的調(diào)焦設(shè)備(Focusing Apparatus for Adjusting Focus of an Optical Instrument)，，并以Misawa的 名字于2005年3月8日被授權(quán)的美國專利第6,864,474號(hào)說明了基于測(cè) 距器的自動(dòng)調(diào)焦系統(tǒng)與"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)的協(xié)調(diào)使用。在Misawa 中，通過基于測(cè)距器的自動(dòng)調(diào)焦系統(tǒng)和"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)這兩 者來確定可調(diào)焦距拍攝鏡頭的聚焦位置。通過基于測(cè)距器的自動(dòng)調(diào)焦系 統(tǒng)確定的可調(diào)焦距拍攝鏡頭位置和通過"通過透鏡"自動(dòng)調(diào)焦系統(tǒng)確定的可調(diào)焦距拍攝鏡頭位置之間的差被存儲(chǔ)以用于將來的參考。在隨后的 圖像拍攝階段中，使用所存儲(chǔ)的差信息來細(xì)化在"爬坡"方法中由"通 過透鏡"自動(dòng)調(diào)焦系統(tǒng)為了確定最佳聚焦的可調(diào)焦距鏡頭位置而分析和 拍攝的自動(dòng)聚焦圖像的數(shù)量，從而在測(cè)距器系統(tǒng)是精確的情況下降低拍 攝和處理的自動(dòng)聚焦圖像的數(shù)量，并在測(cè)距器不精確的情況下增大拍才菱和處理的自動(dòng)聚焦圖像的數(shù)量。然而，Misawa所說明的方法假定測(cè)距 器、可調(diào)焦距拍攝鏡頭系統(tǒng)和控制系統(tǒng)的性能相對(duì)于時(shí)間是一致的，而 沒有隨著環(huán)境條件的變化而波動(dòng)，并且相對(duì)于時(shí)間沒有其它變化或漂移。一旦圖像對(duì)焦，則"爬坡"方法通常在當(dāng)前被聚焦的被^H^附近對(duì)黃 跨遞增的距離而運(yùn)行。然后，在重新聚焦圖像時(shí)，"爬坡"方法通常判 斷是否任意鏡頭移動(dòng)正步入"上坡或下坡，，，并針對(duì)新的最大值重新設(shè) 置鏡頭。實(shí)際上，這意味著如果鏡頭移動(dòng)正步入"下坡，，，則立即使鏡 頭運(yùn)動(dòng)反向，以便為現(xiàn)存被攝體尋找新的最大值。這在視頻調(diào)焦中是個(gè) 特別的問題，其中在視頻調(diào)焦中，遠(yuǎn)離當(dāng)前被攝體一定距離的新的被攝 體可能進(jìn)入圖像且不能由"爬坡"方法檢測(cè)到一一甚至新的被攝體可能 存在對(duì)比度值形式的更大的"坡"。與該問題相對(duì)應(yīng)的一個(gè)方式被稱為 "整體方式"自動(dòng)調(diào)焦，在該方式下，自動(dòng)調(diào)焦模塊在確定聚焦位置之 前查看可被拍攝鏡頭辨別的所有距離。共同轉(zhuǎn)讓的美國專利第6,441,855號(hào)說明了 "整體方式"自動(dòng)調(diào)焦 方法，在該方法中，調(diào)焦裝置包括被適配為橫跨整個(gè)調(diào)焦范圍移動(dòng)到不 同位置的可移動(dòng)調(diào)焦鏡頭、用于將入射到調(diào)焦鏡頭并透射過調(diào)焦鏡頭的 光轉(zhuǎn)換為信號(hào)的轉(zhuǎn)換元件以及用于移動(dòng)調(diào)焦鏡頭的鏡頭驅(qū)動(dòng)機(jī)構(gòu)。調(diào)焦 裝置還包括用于基于來自轉(zhuǎn)換元件的信號(hào)計(jì)算調(diào)焦鏡頭的每個(gè)位置的 聚焦估計(jì)值的聚焦估計(jì)值計(jì)算單元。聚焦估計(jì)值計(jì)算單元僅提取與所限 定的聚焦區(qū)域(例如在圖像的中央)中的像素相對(duì)應(yīng)的信號(hào)，其中該聚 焦區(qū)域進(jìn)一步被分為九"塊"，即通過將聚焦區(qū)域分割為用作觀察區(qū)域 的少量的行和列而獲得的塊。在計(jì)算聚焦估計(jì)值時(shí)，對(duì)于不同的距離設(shè)置，首先針對(duì)聚焦估計(jì)值 的計(jì)算是否已經(jīng)重復(fù)了例如十次的特定次數(shù)進(jìn)行判斷。當(dāng)判斷為否時(shí)， 調(diào)焦鏡頭移動(dòng)預(yù)設(shè)的步寬，并重復(fù)該計(jì)算。因此，總是逐步地從無窮遠(yuǎn) 位置向最近位置來移動(dòng)調(diào)焦鏡頭，并且對(duì)于每一步移動(dòng)，都對(duì)每塊計(jì)算聚焦估計(jì)值。對(duì)各塊進(jìn)行這些計(jì)算，從而為九個(gè)塊中的每一塊獲得十個(gè) 鏡頭位置的聚焦估計(jì)值，包括橫跨總距離而找到的所有峰值。使用對(duì)各鏡頭位置而獲得的十個(gè)總和作為聚焦估計(jì)值，將產(chǎn)生最大峰值的調(diào)焦銷: 頭位置確定為對(duì)焦鏡頭位置。然后，將鏡頭驅(qū)動(dòng)輸出應(yīng)用于鏡頭驅(qū)動(dòng)機(jī) 構(gòu)以使鏡頭移動(dòng)到確定出的對(duì)焦位置。為了提供具有大的"光學(xué)變焦范圍，，的小尺寸數(shù)字照相機(jī)，如共同轉(zhuǎn)讓的美國專利申請(qǐng)序列號(hào)第11/062,174號(hào)中所述，數(shù)字照相機(jī)可以使 用具有不同焦距的鏡頭的多個(gè)圖像傳感器，其中，該美國專利申請(qǐng)的發(fā) 明名稱為"使用多個(gè)鏡頭和圖像傳感器以提供改進(jìn)變焦范圍的數(shù)字照相 機(jī)(Digital Camera Using Multiple Lenses and Image Sensors to Provide a Improved Zoom Range)，，，于2005年2月18日以Labaziewicz等人的 名義提交，并且該專利的公開內(nèi)容通過引用包含于此。例如，為了提供 10x光學(xué)變焦范圍，Kodak Easyshare V610雙鏡頭數(shù)字照相機(jī)包括 38-114mm (35 mm等效的)f/3.9-f/4.4鏡頭和130-380mm ( 35 mm等 效的)f/4.8鏡頭。然而，在該專利申請(qǐng)和產(chǎn)品這兩者中，每次僅使用這 兩個(gè)圖像傳感器中的一個(gè)。這兩個(gè)圖像傳感器沒有同時(shí)拍攝圖像。于2003年1月30日公開的美國專利申請(qǐng)乂>開號(hào)US 2003/0020814 公開了 一種具有多個(gè)拍攝光學(xué)系統(tǒng)的攝像設(shè)備，每個(gè)拍攝光學(xué)系統(tǒng)各自 耦合到CCD圖像傳感器，并且所述多個(gè)拍攝光學(xué)系統(tǒng)包括具有較短焦 距的第一系統(tǒng)和具有較長焦距的第二系統(tǒng)。在該公開中所說明的各實(shí)施 例中，兩個(gè)鏡頭可以提供不同的焦距范圍(包括一個(gè)系統(tǒng)具有固定焦距， 另一個(gè)系統(tǒng)具有變焦鏡頭)，或者這兩個(gè)鏡頭均可以是被設(shè)置為兩個(gè)不 同焦距設(shè)置的固定焦距鏡頭。在各自的每種情況下，選擇單元都基于由 拍攝狀態(tài)獲取單元確定出的諸如測(cè)量出的距離或亮度的拍攝狀態(tài)，自動(dòng) 選擇來自拍攝光學(xué)系統(tǒng)的其中一個(gè)的拍攝信號(hào)，而非獲得用戶輸入。使 用單獨(dú)的距離傳感器來提供這些系統(tǒng)的自動(dòng)調(diào)焦。兩個(gè)CCD圖像傳感 器均未用于自動(dòng)調(diào)焦操作。于2003年8月23日公開的美國專利申請(qǐng)公開號(hào)US 2003/0160886 公開了具有相互獨(dú)立的兩個(gè)拍攝系統(tǒng)的數(shù)字照相機(jī)。 一個(gè)實(shí)施例示出了 各自生成圖像的包括單焦距"普通模式"鏡頭的一個(gè)系統(tǒng)和包括變焦"遠(yuǎn) 距模式，，的另一個(gè)系統(tǒng)。操作者致動(dòng)切換開關(guān)判斷要記錄哪個(gè)圖像。還 結(jié)合單獨(dú)的拍攝系統(tǒng)公開了自動(dòng)調(diào)焦，其中用于一個(gè)系統(tǒng)中的"爬坡"9對(duì)比度比較技術(shù)補(bǔ)充用于另一個(gè)系統(tǒng)中的"爬坡"對(duì)比度比較技術(shù)。當(dāng) 期望從遠(yuǎn)距模式光學(xué)系統(tǒng)拍攝圖像時(shí)，通過普通模式光學(xué)系統(tǒng)(其中焦 深相對(duì)大)進(jìn)行粗略自動(dòng)調(diào)焦搜索(其中可以以多步間隔來驅(qū)動(dòng)步進(jìn)電 動(dòng)機(jī))。該粗略搜索導(dǎo)致包括聚焦位置的焦距范圍的減小。使用普通模 式光學(xué)系統(tǒng)所提供的焦距范圍信息，將遠(yuǎn)距才莫式光學(xué)系統(tǒng)驅(qū)動(dòng)到減小的 焦距范圍的一端處的自動(dòng)調(diào)焦搜索開始位置。然后，僅在由普通模式自 動(dòng)調(diào)焦搜索所確定出的減小的焦距范圍中，通過遠(yuǎn)距模式光學(xué)系統(tǒng)(其 中焦深相對(duì)較短)進(jìn)行精細(xì)自動(dòng)調(diào)焦搜索。(當(dāng)期望從普通模式光學(xué)系 統(tǒng)拍攝圖像時(shí)，僅通過普通模式光學(xué)系統(tǒng)進(jìn)行自動(dòng)調(diào)焦搜索，而遠(yuǎn)距模 式光學(xué)系統(tǒng)不參與自動(dòng)調(diào)焦搜索。)在不依賴于上述粗略搜索和精細(xì)搜索的美國專利申請(qǐng)公開號(hào)US 2003/0160886中的另一實(shí)施例中，在逐步地驅(qū)動(dòng)第一光學(xué)系統(tǒng)的調(diào)焦鏡 頭以從無窮遠(yuǎn)距離設(shè)置向著最近距離位置移動(dòng)的同時(shí)進(jìn)行"爬坡"對(duì)比 度比較搜尋，并在逐步地驅(qū)動(dòng)第二光學(xué)系統(tǒng)的調(diào)焦鏡頭以從最近位置向 著無窮遠(yuǎn)設(shè)置移動(dòng)的同時(shí)進(jìn)行第二 "爬坡"對(duì)比度比較搜尋。盡管系統(tǒng) 通常都不需要移動(dòng)通過其整個(gè)范圍，然而該過程繼續(xù)，直到定位了最大 對(duì)比度位置為止。這導(dǎo)致減少了用于檢測(cè)聚焦位置的時(shí)間段。在該實(shí)施 例中，每一個(gè)光學(xué)系統(tǒng)可以用于拍攝圖像和聚焦調(diào)節(jié)，或者一個(gè)光學(xué)系 統(tǒng)可以用于拍攝圖像和焦距調(diào)節(jié)，另 一個(gè)光學(xué)系統(tǒng)可以僅用于攝像光學(xué) 系統(tǒng)的焦距調(diào)節(jié)。在另一實(shí)施例中，在非拍攝光學(xué)系統(tǒng)首先確定聚焦位 置的情況下，將拍攝光學(xué)系統(tǒng)驅(qū)動(dòng)到該位置，然后通過攝像光學(xué)系統(tǒng)進(jìn) 行精細(xì)調(diào)節(jié)。這些現(xiàn)有技術(shù)的系統(tǒng)的問題在于或者必須使用單獨(dú)的自動(dòng)調(diào)焦傳 感器(因此增加成本)或者由于使用用于拍攝圖像的相同傳感器來進(jìn)行 自動(dòng)調(diào)焦由此通常存在顯著的"快門延遲"。而且，單獨(dú)的自動(dòng)調(diào)焦傳 感器通常是測(cè)距器，并且如上所述，雙鏡頭測(cè)距器模塊和可調(diào)焦距鏡頭 位置之間的校準(zhǔn)在數(shù)字照相機(jī)的常規(guī)操作環(huán)境下不穩(wěn)定。在利用"通過 透鏡"拍攝系統(tǒng)進(jìn)行自動(dòng)調(diào)焦的情況下，由于必須拍攝和比較大量自動(dòng) 聚焦圖像，因而在確定聚焦設(shè)置時(shí)處理可能相對(duì)慢。根據(jù)前述美國專利 申請(qǐng)公開號(hào)US 2003/0160886，該問題可以多少;故緩和，但是在隨著3皮 攝體改變或運(yùn)動(dòng)而快速實(shí)現(xiàn)聚焦時(shí)，或者當(dāng)操作者選擇將拍攝功能從一 個(gè)拍照系統(tǒng)改變到另一個(gè)時(shí)快速交換光學(xué)系統(tǒng)的調(diào)焦需求時(shí)，仍然存在困難。在視頻拍攝時(shí)出現(xiàn)一個(gè)特殊問題，其中從相同的 一 系列靜止圖像或 組成視頻圖像的幀來得到自動(dòng)聚焦圖像。因此，自動(dòng)調(diào)焦的處理可能導(dǎo)致每當(dāng)場(chǎng)景改變時(shí)在視頻中生成5-20個(gè)或更多的離焦視頻圖像。結(jié)果， 在隨著照相機(jī)的平移運(yùn)動(dòng)(其中場(chǎng)景連續(xù)變化)進(jìn)行視頻拍攝期間，在 自動(dòng)調(diào)焦系統(tǒng)搜索正確的聚焦時(shí)大部分視頻實(shí)際上離焦。進(jìn)一步的問題 在于在視頻拍攝期間，許多幀由于利用使用"爬坡方法"進(jìn)行聚焦的自 動(dòng)調(diào)焦系統(tǒng)而離焦。在發(fā)明名稱為"使用多個(gè)鏡頭和圖像傳感器提供改善的調(diào)焦能力的 照相機(jī)(Camera Using Multiple Lenses and Image Sensors to Provide Improved Focusing Capability)"且以John Border等人的名義與本發(fā)明同日提交的 共同待決、共同轉(zhuǎn)讓的美國專利申請(qǐng)序列號(hào)(案巻號(hào)93231 )中，前迷 問題在多鏡頭數(shù)字照相機(jī)中得到解決，在該多鏡頭數(shù)字照相機(jī)中，使用 兩個(gè)(或更多)攝像平臺(tái)來單獨(dú)拍攝相同場(chǎng)景的圖像，以使得一個(gè)攝像 平臺(tái)可以用于自動(dòng)調(diào)焦，而其它平臺(tái)用于拍攝靜止圖像或視頻。這可以 在不過度增大數(shù)字照相機(jī)的大小和成本的情況下在靜止和視頻模式這 兩者下提供精確、快速的自動(dòng)調(diào)焦。在該申請(qǐng)所公開的實(shí)施例中，數(shù)字照相機(jī)使用多個(gè)鏡頭和圖像傳感 器來提供諸如廣角和遠(yuǎn)攝攝像模式的各種攝像模式。然而，用戶通常不 便于知道在打開照相機(jī)時(shí)應(yīng)該使用哪個(gè)才莫式。因此，應(yīng)該為用戶給出每 個(gè)模式的拍攝可能性的預(yù)覽。然而，應(yīng)該將照相機(jī)設(shè)計(jì)成考慮用戶未能 選擇攝像模式的情況。因此需要的是這樣的數(shù)字照相機(jī)其具有提供對(duì) 來自雙攝像平臺(tái)的圖片的快照的預(yù)覽的雙拍攝系統(tǒng)，而在用戶沒有選擇 時(shí)具有默認(rèn)為預(yù)定攝像沖莫式的改善的性能。發(fā)明內(nèi)容本發(fā)明的目的是將來自雙鏡頭照相機(jī)的兩個(gè)圖像呈現(xiàn)給用戶以供 選擇，并且在用戶沒有選擇時(shí)自動(dòng)轉(zhuǎn)換到其中 一個(gè)作為默認(rèn)選擇。旨在克服上面闡述的一個(gè)或多個(gè)問題的本發(fā)明涉及一種用于操作 數(shù)字照相機(jī)的方法，所述數(shù)字照相機(jī)具有用于形成場(chǎng)景的分離圖像的第 一攝像平臺(tái)和第二攝像平臺(tái)。簡(jiǎn)短地概括，根據(jù)本發(fā)明的第一實(shí)施例， 本發(fā)明包括以下步驟指定所迷攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為默認(rèn)攝像平臺(tái)；
分別從所述第 一攝像平臺(tái)和所述第二攝像平臺(tái)拍攝并顯示第 一 圖
像和第二圖像；
將圖像的顯示安排為預(yù)定時(shí)間段；以及
使操作者選擇所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為主要用于拍攝 場(chǎng)景的圖像的主拍攝單元，所述場(chǎng)景的圖像由所述數(shù)字照相機(jī)存儲(chǔ)，其 中如果操作者的選擇沒有在所述預(yù)定時(shí)間段內(nèi)發(fā)生，則自動(dòng)選擇所述默 認(rèn)攝像平臺(tái)作為所述主拍攝單元。
在本發(fā)明的另 一方面，所述第 一攝像平臺(tái)和所述第二攝像平臺(tái)可以 包括變焦鏡頭，所述方法還可以包括將所述第一攝像平臺(tái)和所述第二攝 像平臺(tái)設(shè)置到各自的默認(rèn)變焦位置的步驟，其中，拍攝并顯示圖像的步 驟顯示的是在所述第一攝像平臺(tái)和所述第二攝像平臺(tái)各自的默認(rèn)變焦 位置處獲得的圖像。
在本發(fā)明的又一方面中，可以將未被選擇為所述主拍攝單元的攝像 平臺(tái)指定為用于影響、調(diào)節(jié)、分析或補(bǔ)充由所述主拍攝單元形成的圖像 的副拍攝單元，例如，其中所述副平臺(tái)提供用于設(shè)置所述主拍攝單元的 拍攝參數(shù)的場(chǎng)景分析數(shù)據(jù)，或者其中所述副拍攝單元提供用于補(bǔ)充由所 述主拍攝單元拍攝的圖像的圖像數(shù)據(jù)。
在一種進(jìn)行默認(rèn)功能的方式中，照相機(jī)包括用于開始圖像膝光的快 門按鈕，如果在啟動(dòng)所述快門按鈕時(shí)操作者的選擇沒有發(fā)生，則可以自 動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
本發(fā)明還涉及一種電子照相機(jī)，所述電子照相機(jī)具有用于拍攝場(chǎng)景 的分離圖像的第 一攝像平臺(tái)和第二攝像平臺(tái)，所述攝像平臺(tái)中的一個(gè)攝 像平臺(tái)被指定為默認(rèn)攝像平臺(tái)。處理器使得能夠拍攝并顯示所述分離圖 像，并且還響應(yīng)操作者選擇所述第一攝像平臺(tái)和所述第二攝像平臺(tái)中的 一個(gè)攝像平臺(tái)作為主要用于拍攝場(chǎng)景的圖像的主拍攝單元，所述場(chǎng)景的 圖像由所迷電子照相機(jī)存儲(chǔ)。如果操作者的選擇沒有在預(yù)定時(shí)間段內(nèi)發(fā) 生，或者如果在所述預(yù)定時(shí)間段過去之前啟動(dòng)了所述電子照相機(jī)，則所 述處理器自動(dòng)選擇所迷默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
簡(jiǎn)要地概括，本發(fā)明總體上提供雙拍攝照相機(jī)系統(tǒng)的優(yōu)點(diǎn)，該雙拍 攝照相機(jī)系統(tǒng)提供來自雙攝像平臺(tái)的兩個(gè)圖片的預(yù)覽快照，以使得照相 機(jī)用戶可以容易地發(fā)現(xiàn)每個(gè)平臺(tái)的攝像優(yōu)勢(shì)并因此進(jìn)行選擇。然而，還
12伴隨著如下優(yōu)點(diǎn)當(dāng)在預(yù)定時(shí)間內(nèi)不存在用戶選擇時(shí)，或者如果在預(yù)定 時(shí)間過去之前啟動(dòng)了照相機(jī)的拍攝功能，則默認(rèn)為預(yù)定攝像模式。
考附圖，可以更S楚地理解和領(lǐng)會(huì)到;發(fā)明的這些^和其它方:、目的: 特征和優(yōu)點(diǎn)。


圖i示出根據(jù)本發(fā)明的使用具有第一圖像傳感器的第一變焦鏡頭和 具有第二圖像傳感器的第二變焦鏡頭的數(shù)字照相機(jī)的第一實(shí)施例的框 圖。
圖2A和2B是圖1所示的數(shù)字照相機(jī)的兩個(gè)全景圖。
圖3示出表示用于使用圖1所示的數(shù)字照相機(jī)進(jìn)行自動(dòng)調(diào)焦并拍攝
數(shù)字靜止圖像的方法的流程圖。
圖4示出表示用于使用利用兩個(gè)攝像平臺(tái)的測(cè)距器方法進(jìn)行自動(dòng)調(diào)
焦的方法的流程圖。
圖5示出表示用于使用利用兩個(gè)攝像平臺(tái)的"爬坡方法"進(jìn)行自動(dòng)
調(diào)焦的方法的流程圖。
圖6示出表示用于生成自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線的方法的流程圖。 圖7示出表示用于生成自動(dòng)調(diào)焦"爬坡方法"校準(zhǔn)曲線的方法的流程圖。
圖8示出表示用于使用圖l所示的數(shù)字照相機(jī)進(jìn)行自動(dòng)調(diào)焦并拍攝 數(shù)字視頻圖像的方法的流程圖。
圖9示出表示用于以利用兩個(gè)攝像平臺(tái)的測(cè)距器方法進(jìn)行自動(dòng)調(diào)焦 的方法的流程圖。
圖10示出表示用于以利用兩個(gè)攝像平臺(tái)的"爬坡方法"進(jìn)行自動(dòng) 調(diào)焦的方法的流程圖。
圖11示出用于利用兩個(gè)攝像平臺(tái)生成范圍映射的方法。
圖12示出根據(jù)本發(fā)明另一實(shí)施例的使用具有第一圖像傳感器的第 一固定焦距鏡頭和具有第二圖像傳感器的第二(變焦)鏡頭的數(shù)字照相 機(jī)的框圖。
圖13示出根據(jù)本發(fā)明另一實(shí)施例的使用具有第一圖像傳感器的第 一固定焦距鏡頭、具有第二圖像傳感器的第二 (變焦)鏡頭以及具有第三圖像傳感器的第三(變焦)鏡頭的數(shù)字照相機(jī)的框圖。
圖14示出表示用于通過使用來自兩個(gè)攝像平臺(tái)的圖像來增強(qiáng)圖像 景深的方法的流程圖。
圖15A和圖15B示出根據(jù)本發(fā)明另一實(shí)施例的具有兩個(gè)攝像平臺(tái) 的移動(dòng)電話照相機(jī)的圖。
圖16A和圖16B示出移動(dòng)電話照相機(jī)的在單個(gè)平臺(tái)中包括兩個(gè)攝 像平臺(tái)的平臺(tái)的圖。
圖17A和圖17B是利用兩個(gè)攝像平臺(tái)拍攝的、示出用來確定到場(chǎng)景 的部分的距離的兩個(gè)圖像之間的偏移的圖像的代表。
圖18示出用于確定場(chǎng)景的部分的GPS位置的方法的流程圖。
圖19示出全部根據(jù)本發(fā)明的用于選擇雙鏡頭照相機(jī)系統(tǒng)中的攝像 平臺(tái)的其中 一個(gè)作為主拍攝單元、而將另 一攝像平臺(tái)降級(jí)為其它功能 (諸如場(chǎng)景分析)、并在不存在用戶選擇時(shí)默認(rèn)為預(yù)定拍攝單元的方法 的流程圖。
圖20示出表示用于場(chǎng)景分析的非主拍攝單元的使用的流程圖。
圖21示出表示無論何時(shí)場(chǎng)景狀態(tài)的變化超過閾值時(shí)用于場(chǎng)景分析 的非主拍攝單元的使用的流程圖。
圖22示出表示主拍攝單元和用于場(chǎng)景分析的非主拍攝單元這兩者 的使用的流程圖。
圖23示出表示拍攝單元的功能的轉(zhuǎn)換的流程圖，即將當(dāng)前的場(chǎng)景 分析和主拍攝單元分別重設(shè)為主拍攝單元和場(chǎng)景分析拍攝單元。
圖24示出表示具體地在拍攝處理期間使用由主拍攝平臺(tái)拍攝的預(yù) 覽圖像來設(shè)置主拍攝平臺(tái)的拍攝單元參數(shù)的流程圖。
圖25示出表示具體地在拍攝處理期間使用由主拍攝平臺(tái)拍攝的預(yù) 覽圖像和由非拍攝平臺(tái)拍攝的場(chǎng)景分析圖像來設(shè)置主拍攝平臺(tái)的拍攝 單元參數(shù)的流程圖。
圖26示出表示使用由主拍攝平臺(tái)拍攝的主圖像和由非拍攝平臺(tái)拍 攝的補(bǔ)充圖像來產(chǎn)生增強(qiáng)圖像的流程圖。
圖27示出表示傳統(tǒng)的雙鏡頭測(cè)距器的操作的圖。
圖28示出傳統(tǒng)的"爬坡"對(duì)比度自動(dòng)調(diào)焦算法的流程圖。
圖29示出從用于分離圖像的成分的濾波器中獲得的聚焦值和"爬 坡"自動(dòng)調(diào)焦方法的鏡頭位置之間的關(guān)系。
具體實(shí)施例方式
因?yàn)椴捎脭z像裝置和用于信號(hào)處理的相關(guān)電路的數(shù)字照相機(jī)眾所 周知，因此本說明書將尤其針對(duì)形成根據(jù)本發(fā)明的設(shè)備的部分的元件， 或更直接地與該設(shè)備相互協(xié)作的元件。這里沒有具體示出或說明的元件 可以從現(xiàn)有技術(shù)已知的元件中選擇。要說明的實(shí)施例的特定方面可以設(shè) 置在軟件中。假定根據(jù)本發(fā)明在以下材料中所示和所述的系統(tǒng)，這里沒 有具體示出、說明或建議出的對(duì)實(shí)現(xiàn)本發(fā)明有用的軟件是傳統(tǒng)的，且屬 于這些技術(shù)的常用手段。
這里說明的若干實(shí)施例中的每個(gè)均包括諸如數(shù)子照相機(jī)(靜止的或 視頻的)或者數(shù)字掃描器的具有多個(gè)攝像平臺(tái)的攝像組件，每個(gè)攝像平 臺(tái)包括鏡頭和圖像傳感器，其中，多個(gè)攝像平臺(tái)的鏡頭具有不同的焦距 以為攝像組件提供擴(kuò)展的光學(xué)變焦范圍。本說明書構(gòu)思使用多個(gè)攝像平 臺(tái)，以附加地提供增強(qiáng)的自動(dòng)調(diào)焦性能。通過使用用于攝像和自動(dòng)調(diào)焦 的攝像平臺(tái)，在提高拍攝到的靜止和視頻圖像的清晰度并提高自動(dòng)調(diào)焦 系統(tǒng)的響應(yīng)速度的同時(shí)，能夠消除專用的自動(dòng)調(diào)焦模塊，從而降低攝像 組件的成本和大小。
存在可以使用一個(gè)攝像平臺(tái)用于拍攝數(shù)字靜止圖像或視頻圖像而 同時(shí)使用另一攝像平臺(tái)用于諸如增強(qiáng)的自動(dòng)調(diào)焦、生成副圖像、產(chǎn)生范 圍映射等的其它目的的多個(gè)實(shí)施例。在這里所述的第一實(shí)施例中，當(dāng)用 戶已經(jīng)將變焦位置設(shè)置到第一光學(xué)變焦范圍內(nèi)時(shí)，包含第一(例如，變 焦)鏡頭的第 一攝像平臺(tái)用于拍攝靜止圖像或視頻序列中的 一 系列圖 像，而第二才聶像平臺(tái)為了第一攝像平臺(tái)的自動(dòng)調(diào)焦而同時(shí)提供圖像。由 于第二攝像平臺(tái)沒有用于拍攝圖像，因此第二攝像平臺(tái)中的鏡頭的聚焦 狀態(tài)能夠在例如峰對(duì)比度位置的周圍(例如，"爬坡"自動(dòng)調(diào)焦)或從 附近的聚焦位置到無窮遠(yuǎn)聚焦位置(例如，"整體方式"自動(dòng)調(diào)焦)的 更廣的范圍上進(jìn)行調(diào)整，以在不會(huì)不利地影響由笫 一攝像平臺(tái)拍攝的圖 像的聚焦質(zhì)量的情況下確定第一攝像平臺(tái)中的鏡頭的新的最佳聚焦設(shè) 置。當(dāng)已使用第二攝像平臺(tái)確定了新的最佳聚焦?fàn)顟B(tài)時(shí)，第一攝像平臺(tái) 的聚焦?fàn)顟B(tài)從先前的最佳聚焦?fàn)顟B(tài)改變?yōu)樾碌淖罴丫劢範(fàn)顟B(tài)。
當(dāng)用戶將攝像組件上的變焦位置調(diào)整為第二光學(xué)變焦范圍時(shí)，照相 機(jī)自動(dòng)進(jìn)行切換以使用第二攝像平臺(tái)(包含例如第二變焦鏡頭)來拍攝圖像，并且開始使用第一攝像平臺(tái)用于第二攝像平臺(tái)的自動(dòng)調(diào)焦。因?yàn)?兩個(gè)鏡頭具有不同的焦距，因此它們具有不同的放大率。因此，可以根 據(jù)放大率的這種不同調(diào)整用于確定自動(dòng)調(diào)焦的數(shù)字濾波器，以補(bǔ)償放大 率的不同。
在該實(shí)施例的變形中， 一起使用兩個(gè)攝像平臺(tái)來形成類似于雙鏡頭 測(cè)距器但具有更高的分辨率的高分辨率測(cè)距器，該更高的分辨率由這兩 個(gè)高分辨率攝像平臺(tái)以及兩個(gè)攝像平臺(tái)中的兩個(gè)鏡頭之間的更大的分
離距離而提供。在該變形中，可以使用第一攝像平臺(tái)來使用"爬坡，，對(duì)
比度比較方法來提供初始的精確自動(dòng)調(diào)焦；隨后，可以結(jié)合作為以差分 模式工作的高分辨率測(cè)距器的第二攝像平臺(tái)來使用第一攝像平臺(tái)，以在 拍攝數(shù)字靜止圖像之前或在視頻拍攝之前或期間檢測(cè)需要重新調(diào)焦的 到場(chǎng)景的距離的變化。通過使用差分模式下的測(cè)距器，即，辨別從已聚 焦的位置到在附近改變的聚焦位置的距離的變化，降低了環(huán)境變化對(duì)測(cè) 距器的精度的影響。
在這里所述的另 一實(shí)施例中，在通過第一攝像平臺(tái)拍攝數(shù)字靜止圖 像或拍攝視頻圖像之前，使用"爬坡"對(duì)比度比較方法來同時(shí)對(duì)兩個(gè)攝 像平臺(tái)進(jìn)行自動(dòng)調(diào)焦。然后，第二攝像平臺(tái)通過測(cè)量圖像的對(duì)比度來繼 續(xù)檢查聚焦；當(dāng)檢測(cè)到對(duì)比度的變化時(shí)，使用第二攝像平臺(tái)執(zhí)行使用"爬 坡"對(duì)比度比較方法的笫二自動(dòng)調(diào)焦操作，以確定聚焦?fàn)顟B(tài)的變化。然 后，將笫 一攝像平臺(tái)的聚焦改變與使用第二攝像平臺(tái)確定出的聚焦變化 成比例的量。同樣，從由"爬坡"自動(dòng)調(diào)焦所建立的位置開始執(zhí)行差分 聚焦改變測(cè)量，以提高自動(dòng)調(diào)焦處理的準(zhǔn)確度。
如在本發(fā)明的背景技術(shù)中提到的，在視頻拍攝期間出現(xiàn)一個(gè)特殊問 題，其中從一系列相同的靜止圖像或構(gòu)成視頻圖像的幀中得到自動(dòng)聚焦
圖像。例如，在隨著照相機(jī)的平移運(yùn)動(dòng)(其中場(chǎng)景連續(xù)變化)進(jìn)行視頻 拍攝期間，在自動(dòng)調(diào)焦系統(tǒng)搜索正確的聚焦時(shí)大部分視頻實(shí)際上離焦。 而且，由于利用使用"爬坡方法"進(jìn)行聚焦的自動(dòng)調(diào)焦系統(tǒng)進(jìn)行聚焦而 使得許多幀離焦，如前所述，在感興趣的被攝體在場(chǎng)景中突然移動(dòng)的特 定情況下可能不能辨別改變的聚焦。
因此，在前迷實(shí)施例的變形中，當(dāng)用戶已將變焦位置設(shè)置在第一光 學(xué)變焦范圍內(nèi)時(shí)，使用包括第 一變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的 第 一攝像平臺(tái)來設(shè)笫二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的第二攝像平臺(tái)同時(shí)提供連 續(xù)的"整體方式"自動(dòng)調(diào)焦輸入圖像，以判斷是否應(yīng)該由于被攝體運(yùn)動(dòng) 而調(diào)節(jié)第一變焦鏡頭的聚焦。由于第二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳 感器沒有用于拍攝運(yùn)動(dòng)圖像，因而能夠?qū)⒔咕鄰慕劢拐{(diào)整到無窮遠(yuǎn)位 置，以便在不影響所拍攝的運(yùn)動(dòng)圖像的情況下確定最佳聚焦設(shè)置。當(dāng)用 戶將變焦位置調(diào)整到第 一變焦范圍的外部時(shí)，照相機(jī)自動(dòng)切換至第二攝 像平臺(tái)，使用第二變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器拍攝運(yùn)動(dòng)序列， 并開始使用具有第一變焦鏡頭和與其相關(guān)聯(lián)的圖像傳感器的第一攝像 平臺(tái)來同時(shí)判斷是否應(yīng)該由于被攝體運(yùn)動(dòng)而調(diào)節(jié)第二變焦鏡頭的聚焦。
在這里所迷的另 一實(shí)施例中，將兩個(gè)攝像平臺(tái)配置為高分辨率測(cè)距 器，以確定到以范圍映射的形式的場(chǎng)景的不同部分的距離。然后，為了 多種目的，使用范圍映射來更改拍攝到的圖像信號(hào)或輸出圖像，其中，
所述多種目的諸如(但不限于)改善圖像處理并使得能夠改善圖像質(zhì)量； 改善圖像內(nèi)的^皮攝體識(shí)別；使得能夠從圖像中提取^:攝體；使能在多個(gè) 圖像內(nèi)對(duì)被攝體的運(yùn)動(dòng)追蹤；使得能夠通過模糊期望景深外的被攝體而 降低圖像的景深；改善圖像內(nèi)的動(dòng)態(tài)范圍；降低由使用閃光燈而引起的 曝光問題；以及改善圖像內(nèi)的場(chǎng)景平衡。
在這里所述的另一實(shí)施例中，使用包括第一變焦鏡頭和第一圖像傳 感器的笫一攝像平臺(tái)來拍攝第一(即，主)焦距處的第一(即，主)靜 止圖像，而使用包括第二變焦鏡頭和第二圖像傳感器的第二攝像平臺(tái)來 同時(shí)拍攝第二 (即，副)焦距處的第二 (即，副)靜止圖像。使用來自 第二攝像平臺(tái)的傳感器輸出用作用于修改主輸出圖像的副輸出圖像，從
而生成增強(qiáng)的主圖像信號(hào)。例如，使用副靜止圖像來提供增強(qiáng)信號(hào)，該 增強(qiáng)信號(hào)可以例如對(duì)位于副焦距附近的主靜止圖像的部分進(jìn)行銳化或 者可以修改主靜止圖像的動(dòng)態(tài)范圍。
如上所述，可以使用來自兩個(gè)攝像平臺(tái)的圖像來產(chǎn)生標(biāo)識(shí)到場(chǎng)景的 不同部分的距離的范圍映射。在這里所迷的另一實(shí)施例中，照相;f幾還包 括用于提供照相機(jī)的位置的GPS坐標(biāo)的GPS單元和用于提供照相機(jī)的 指向方向的電子羅盤。因此，可以使用照相機(jī)的位置的GPS坐標(biāo)、照相 機(jī)的指向方向以及來自范圍映射的距離偏移，以便產(chǎn)生場(chǎng)景的各部分的 GPS坐標(biāo)。
在這里所迷的本發(fā)明的實(shí)施例中，電子照相機(jī)具有用于拍攝分離圖
17像的第 一攝像平臺(tái)和第二攝像平臺(tái)，所述平臺(tái)中的 一個(gè)平臺(tái)被指定為默 認(rèn)攝像平臺(tái)。處理器能夠進(jìn)行分離圖像的拍攝和顯示，且進(jìn)一步對(duì)操作 者選擇攝像平臺(tái)中的 一個(gè)作為主拍攝單元作出響應(yīng)，該主拍攝單元主要 用于拍攝場(chǎng)景的圖像，場(chǎng)景的圖像由數(shù)字照相機(jī)存儲(chǔ)。如果操作者選擇 在預(yù)定時(shí)間段內(nèi)沒有發(fā)生，或者如果在一定時(shí)間已經(jīng)過去之前啟動(dòng)了照 相機(jī)，則處理器自動(dòng)選擇默認(rèn)攝像平臺(tái)作為主攝像單元。
圖1示出根據(jù)本發(fā)明第一實(shí)施例的攝像組件10A的框圖。盡管不是 本發(fā)明的基本方面，然而攝像組件10A優(yōu)選地為便攜式電池供電的裝 置，足夠小以使得在拍攝和回放圖像時(shí)用戶能夠容易地手持。在優(yōu)選實(shí) 施例中，攝像組件10A是生成存儲(chǔ)在可移除存儲(chǔ)卡54上的靜止圖像和 運(yùn)動(dòng)視頻圖像這兩者的數(shù)字照相機(jī)?？蛇x地，數(shù)字照相機(jī)可以僅生成并 存儲(chǔ)運(yùn)動(dòng)圖像或僅生成并存儲(chǔ)靜止圖像。
攝像組件10A包括兩個(gè)4聶像平臺(tái)1和2，它們具有變焦鏡頭3和變 焦鏡頭4。(盡管在大多數(shù)情況下每次僅一個(gè)平臺(tái)正在拍攝存儲(chǔ)在可移 除存儲(chǔ)卡54上的圖像，然而以下在本說明書中將這些平臺(tái)稱為攝像平 臺(tái)。)第一變焦鏡頭3由第一鏡頭聚焦調(diào)節(jié)器例如變焦和聚焦電動(dòng)機(jī)5a 來控制，并將圖像提供給第一圖像傳感器12。第二變焦鏡頭4第二鏡頭 聚焦調(diào)節(jié)器由例如變焦和聚焦電動(dòng)機(jī)5b來控制，并將圖像提供給笫二 圖像傳感器14。每個(gè)變焦鏡頭中的可調(diào)光圏和快門組件(未示出)用于控 制向圖像傳感器12和14的爆光。
圖2A和2B示出關(guān)于圖1所述的攝像組件IOA的全景圖。圖2A是 攝像組件10A的前視圖，示出第一變焦鏡頭3、第二變焦鏡頭4和閃光 燈48。圖2B是攝像組件IOA的后視圖，示出彩色LCD圖像顯示器70 和多個(gè)用戶控制器42,所述多個(gè)用戶控制器42包括用于使能攝像序列 的快門按鈕42a、用于使得能夠選擇變焦設(shè)置的變焦按鈕42c以及用于 對(duì)在彩色LCD圖像顯示器70上顯示的圖像和菜單選項(xiàng)等進(jìn)行導(dǎo)航的多 位置選擇器42d。
如圖l所示，攝像平臺(tái)l和2包括變焦鏡頭3和4以及圖像傳感器 12和14。如圖2A所示，盡管變焦鏡頭3和4是垂直地偏移，然而變焦 鏡頭3和4可以在諸如水平方向的其它方向上偏移。另外，根據(jù)本發(fā)明 的另一實(shí)施例，變焦鏡頭3和4中的其中一個(gè)(或兩者)可以用固定焦 距鏡頭來代替。在所有情況下，通常變焦鏡頭3和4以及傳感器12和14的光軸相對(duì)于彼此對(duì)準(zhǔn)以使得雖然通常具有不同視場(chǎng)但看到基本相 同的場(chǎng)景。在前述共同轉(zhuǎn)讓的、其內(nèi)容通過引用包含于此的美國專利申 請(qǐng)序列號(hào)11/062,174中進(jìn)一步說明了光學(xué)部件的配置，其中該專利包括 使用兩個(gè)以上的攝像平臺(tái)的多個(gè)實(shí)施例。攝像平臺(tái)l和2中的變焦鏡頭 3和4的配置可以包括折疊光路以改變攝像平臺(tái)l和2的整體尺寸；然 而，折疊光路在本發(fā)明的實(shí)施中不是必要的。
在優(yōu)選實(shí)施例中，圖像傳感器12和14是使用著名的拜爾(Bayer) 彩色濾波器模式以拍攝彩色圖像的單芯片彩色百萬像素CCD傳感器， 但是可以同樣好地根據(jù)本發(fā)明使用諸如CMOS傳感器的其它傳感器和 諸如條紋濾波器的其它顏色濾波器陣列而沒有限制。圖像傳感器12和 14可以具有各種高寬比(例如4: 3圖像高寬比)，以及各種分辨率， 例如，總共6.1MP有效百萬像素(兆像素)，在該特別的情況下具有 2848有效像素列x 2144有效像素行。還應(yīng)該理解，圖像傳感器12和14 不需要具有相同的規(guī)格。例如，在前述共同轉(zhuǎn)讓的美國專利申請(qǐng)序列號(hào) 11/062,174中所公開的一些實(shí)施例中，圖像傳感器12和14的大小、分 辨率、顏色濾波器陣列、光譜靈敏度和高寬比可以是不同的。
控制處理器和定時(shí)生成器40通過向時(shí)鐘驅(qū)動(dòng)器13提供信號(hào)來控制 第一圖像傳感器12,并通過向時(shí)鐘驅(qū)動(dòng)器15提供信號(hào)來控制第二圖像 傳感器14?？刂铺幚砥骱投〞r(shí)生成器40還控制變焦和聚焦電動(dòng)機(jī)5a和 5b、自動(dòng)曝光檢測(cè)器46、用戶控制器42、第一和第二數(shù)字多路轉(zhuǎn)接器 控制元件34和36以及用于發(fā)射光以照亮場(chǎng)景的閃光燈48。如在早前參 考圖2B所述那樣，用戶控制器42用于控制數(shù)字照相機(jī)10A的操作。
來自第一圖像傳感器12的模擬輸出信號(hào)12e通過第一模擬信號(hào)處 理器22被放大并轉(zhuǎn)換成第一數(shù)字圖像信號(hào)。將數(shù)字化的第一數(shù)字圖像 信號(hào)提供給第一數(shù)字多路轉(zhuǎn)接器控制元件34的第一輸入以及笫二數(shù)字 多路轉(zhuǎn)接器控制元件36的笫一輸入。來自笫二圖像傳感器14的模擬輸 出信號(hào)14e通過第二^^莫擬信號(hào)處理器24被放大并轉(zhuǎn)換成第二數(shù)字圖像 信號(hào)。將數(shù)字化的第二數(shù)字圖像信號(hào)提供給第一數(shù)字多路轉(zhuǎn)接器控制元 件34的笫二輸入以及第二數(shù)字多路轉(zhuǎn)接器控制元件36的第二輸入。第 一多路轉(zhuǎn)接器34的功能是或者選擇來自第一圖像傳感器12的第一傳感 器輸出12e或者選擇來自第二圖像傳感器14的第二傳感器輸出14e,作 為攝像信號(hào)。第二多路轉(zhuǎn)接器36的功能是或者選擇來自第二圖像傳感器14的第二傳感器輸出14e或者選擇來自第一圖像傳感器12的第一傳 感器輸出12e,作為提供給圖像處理器50的自動(dòng)聚焦圖像信號(hào)。
控制處理器和定時(shí)生成器40控制數(shù)字多路轉(zhuǎn)接器34和36以便選 擇傳感器輸出中的一個(gè)(12e或14e)作為所拍攝的圖像信號(hào)，并選擇 另一個(gè)傳感器輸出(14e或12e)作為自動(dòng)聚焦圖像信號(hào)。由第一數(shù)字
器38中，并且隨后由圖像處理器50進(jìn)行處理以生成可以包含靜止數(shù)字 圖像或視頻圖像的處理后的數(shù)字圖像文件。由第二數(shù)字多路轉(zhuǎn)接器控制 元件36提供的數(shù)字?jǐn)?shù)據(jù)被提供給圖像處理器50,圖像處理器50進(jìn)行如 稍后參考圖4、 5、 6和7所述的自動(dòng)調(diào)焦計(jì)算。
簡(jiǎn)言之，圖像處理器50生成驅(qū)動(dòng)第一和第二聚焦調(diào)節(jié)器(即變焦 和聚焦電動(dòng)機(jī)5a和5b)的聚焦檢測(cè)信號(hào)?？刂铺幚砥骱投〞r(shí)生成器40 與圖像處理器50相結(jié)合地或者(a)選擇來自第一攝像平臺(tái)1的傳感器 輸出12e作為所拍攝的圖像信號(hào)并使用來自第二攝像平臺(tái)2的傳感器輸 出14e以生成所選擇的攝像平臺(tái)1的聚焦檢測(cè)信號(hào)，或者(b)選擇來 自第二攝像平臺(tái)2的傳感器輸出14e作為所拍攝的圖像信號(hào)并使用來自 第一攝像平臺(tái)1的傳感器輸出12e以生成所選擇的攝像平臺(tái)2的聚焦檢 測(cè)信號(hào)。以這種方式，將聚焦檢測(cè)信號(hào)應(yīng)用于所選擇的攝像平臺(tái)的變焦 和聚焦電動(dòng)機(jī)5a和5b，以便調(diào)節(jié)圖像的聚焦從而提供所拍攝的圖像信 號(hào)的傳感器輸出。
由圖像處理器50進(jìn)行的處理是由存儲(chǔ)在固件存儲(chǔ)器58中的固件進(jìn) 行控制的，該固件存儲(chǔ)器58可以是閃速EPROM存儲(chǔ)器或其它任何形式 的適當(dāng)?shù)拇鎯?chǔ)器。處理器50處理來自DRAM緩沖存儲(chǔ)器38的數(shù)字輸 入圖像，使用RAM存儲(chǔ)器56存儲(chǔ)處理階段期間的中間結(jié)果。將處理后 的數(shù)字圖像文件提供給存儲(chǔ)卡接口 52,該存儲(chǔ)卡接口 52將數(shù)字圖像文 件存儲(chǔ)在可移除存儲(chǔ)卡54上?？梢瞥鎯?chǔ)卡54是一種可移除數(shù)字圖像 存儲(chǔ)介質(zhì)，且可以以不同的物理格式使用。例如，可移除存儲(chǔ)卡54可 以包括(不限于)被配置為諸如致密型閃存、智能介質(zhì)、存儲(chǔ)棒、MMC、 SD或XD存儲(chǔ)卡格式的已知格式的存儲(chǔ)卡。諸如磁性硬盤驅(qū)動(dòng)、磁帶 或光盤的另一種可移除數(shù)字圖像存儲(chǔ)介質(zhì)可以可選地用于存儲(chǔ)靜止或 運(yùn)動(dòng)數(shù)字圖像?？蛇x地，數(shù)字照相機(jī)10A可以使用諸如內(nèi)部閃速EPROM 存儲(chǔ)器的內(nèi)部非易失性存儲(chǔ)器(未示出)來存儲(chǔ)處理后的數(shù)字圖像文件。在這樣的實(shí)施例中，不需要存儲(chǔ)卡接口 52和可移除存儲(chǔ)卡54。
圖像處理器50還接收來自全球定位系統(tǒng)(GPS)單元57的輸入， 這使得圖像處理器50能夠在任何恰當(dāng)?shù)臅r(shí)間(例如在拍攝圖像時(shí))確 定照相機(jī)的GPS坐標(biāo)(即位置)。圖像處理器還接收來自電子羅盤59 的方向輸入，這使得圖像處理器50能夠例如在拍攝圖像時(shí)確定照相機(jī) 指向哪個(gè)方向。圖像處理器50進(jìn)行包括顏色和色調(diào)校正前的顏色插值 的各種其它圖像處理功能，以便生成渲染的sRGB圖像數(shù)據(jù)。然后，渲 染的sRGB圖像數(shù)據(jù)被進(jìn)行JPEG壓縮并作為JPEG圖像文件被存儲(chǔ)在可 移除存儲(chǔ)卡54上。渲染的sRGB圖像還可以經(jīng)由通過諸如SCSI連接、 USB連接或Firewire連接的適當(dāng)?shù)幕ミB接64進(jìn)行通信的主機(jī)接口 62而 提供給主機(jī)PC 66。 JPEG文件優(yōu)選使用由日本東京的日本電子信息技術(shù) 工業(yè)協(xié)會(huì)(Japan Electronics and Information Technology Industries Association, JEITA)在"數(shù)字靜止照相機(jī)圖像文件格式(Exif)，，版本 2.2中定義的所謂的"Exif，圖像格式。該格式包括存儲(chǔ)特定圖像元數(shù)據(jù) 的Exif應(yīng)用部分，該特定圖像元數(shù)據(jù)包括拍攝圖像的日期/時(shí)間以及鏡 頭f/數(shù)、拍攝圖像時(shí)的GPS位置和指向方向和其它照相機(jī)設(shè)置。
應(yīng)該注意，通常為可編程圖像處理器的圖像處理器50能夠可選地 地例如為硬接線定制集成電路(IC)處理器、通用微處理器或硬接線定 制IC和可編程處理器的組合。此外，可以將諸如數(shù)字多路轉(zhuǎn)接器控制 元件34和36、 DRAM緩沖存儲(chǔ)器38和RAM存儲(chǔ)器58的圖1中的各 個(gè)模塊所示的功能中的一個(gè)或多個(gè)包含在包括圖像處理器50的IC中。 還應(yīng)該注意，控制處理器40和圖像處理器50的至少某些部分的功能可 以為了某些應(yīng)用和討論的目的的需要而進(jìn)行合并，例如參考本說明書和 權(quán)利要求書的一部分中的處理平臺(tái)，其中例如參考傳感器輸出的選擇 (通過控制處理器40)和聚焦信號(hào)的生成(通過圖像處理器50) 換 句話說，處理平臺(tái)的引用意在包含所引用的功能，不管在一個(gè)或多個(gè)實(shí) 際處理元件、電路等中發(fā)現(xiàn)這些功能還是其它情況。
在本發(fā)明的又一實(shí)施例中，包括數(shù)字照相機(jī)IOA作為照相機(jī)手機(jī)的 一部分。在該實(shí)施例中，圖像處理器50還接口到蜂窩處理器卯，該蜂 窩處理器90使用蜂窩調(diào)制解調(diào)器92來利用經(jīng)由天線94的射頻傳輸來 將數(shù)字圖像發(fā)送到蜂窩網(wǎng)絡(luò)(未示出)。在本發(fā)明的一些實(shí)施例中，兩 個(gè)攝像平臺(tái)1和2以及變焦和聚焦電動(dòng)機(jī)5a和5b可以是集成組件的一
21部分。另外，時(shí)鐘驅(qū)動(dòng)器13和15以及模擬信號(hào)處理器22和24和包括 在其內(nèi)的模擬/數(shù)字轉(zhuǎn)換器可以是集成組件的 一部分。
圖3示出表示用于使用圖1的攝像組件拍攝數(shù)字圖像的方法的流程 圖。在塊100中，當(dāng)使用電源開關(guān)(未示出)接通照相機(jī)10A時(shí)，變焦 鏡頭3和4被設(shè)置成其默認(rèn)位置，該位置優(yōu)選地為在那里使用第一圖像 傳感器12的輸出來以預(yù)覽模式拍攝圖像以顯示在彩色LCD圖像顯示器 70上從而使得用戶能夠合成要拍攝的圖像的廣角位置。作為合成圖像的 一部分，在塊102中，用戶通常按下變焦按鈕42c以便設(shè)置數(shù)字照相機(jī) IOA的期望的視場(chǎng)。
在塊102中，將變焦位置設(shè)置與值X進(jìn)行比較，在值X處，攝像 功能從第一攝像平臺(tái)切換到笫二攝像平臺(tái)。在塊104中，如果變焦位置 設(shè)置小于X (對(duì)塊102的響應(yīng)為否)，則使用第一攝像平臺(tái)l在預(yù)覽才莫 式下拍攝圖像，而使用第二攝像平臺(tái)2來拍攝自動(dòng)聚焦圖像。第一攝像 平臺(tái)1繼續(xù)拍攝圖像以用于顯示器70上的預(yù)覽(塊110)，而在塊106 中，使用第二攝像平臺(tái)2來拍攝自動(dòng)聚焦圖像，以用于第一攝像平臺(tái)1 的自動(dòng)調(diào)焦，該自動(dòng)聚焦圖像由圖像處理器50進(jìn)行處理并在塊108中 被使用以聚焦笫一攝像平臺(tái)1。
在塊112中，如果沒有按下變焦按鈕42c且在塊104中如果按下了 拍攝按鈕，則利用第一攝像平臺(tái)1在塊116中拍攝數(shù)字圖像?？蛇x地， 如果在塊112中按下了變焦按鈕，則控制返回到塊102,并且如果在塊 114中沒有按下拍才聶按鈕，則控制返回到塊106。
在塊124中，如果變焦位置設(shè)置大于X (對(duì)塊102的響應(yīng)為是)， 則使用第二攝像平臺(tái)2在預(yù)覽模式下拍攝圖像，同時(shí)使用第一攝像平臺(tái) 1來拍攝自動(dòng)聚焦圖像。第二攝像平臺(tái)2繼續(xù)拍攝圖像以用于顯示器70 上的預(yù)覽(塊130),而在塊126中，使用第一攝像平臺(tái)1來拍攝自動(dòng) 聚焦圖像以用于第二攝像平臺(tái)2的自動(dòng)調(diào)焦，該自動(dòng)聚焦圖像由圖像處 理器50進(jìn)行處理以生成在塊128中祐:使用以聚焦第二才聶像平臺(tái)2的聚 焦檢測(cè)信號(hào)。
在塊132中，如果沒有按下變焦按鈕42c且在塊134中如果按下了 拍攝按鈕，則利用第二攝像平臺(tái)2在塊136中拍攝數(shù)字圖像。可選地， 如果在塊132中按下了變焦按鈕，則控制返回到塊102,且如果在塊134 中沒有按下拍攝按鈕，則控制返回到塊126。在圖4中示出使用測(cè)距器配置中的圖3所示的兩個(gè)攝像平臺(tái)的自動(dòng) 調(diào)焦處理的流程圖，其中在圖3的塊108和128中使用測(cè)距器方法，以 對(duì)來自第一和第二攝像平臺(tái)的圖像進(jìn)行自動(dòng)調(diào)焦。在塊250中，用戶通 過調(diào)節(jié)照相機(jī)上的變焦控制器42c來確定變焦位置，該變焦位置如上所 述繼而規(guī)定將使用哪個(gè)攝像平臺(tái)拍攝最終圖像和哪個(gè)攝像平臺(tái)將僅用 于自動(dòng)聚焦圖像(塊252)。將未用于拍攝最終圖像的攝像平臺(tái)變焦到 與在兩個(gè)攝像平臺(tái)中的兩個(gè)變焦鏡頭系統(tǒng)之間的過渡變焦位置最接近 的位置(塊254)。將兩個(gè)攝像平臺(tái)的聚焦鏡頭移動(dòng)到它們各自的超焦 距位置，其中產(chǎn)生最大聚焦范圍(塊256)。在塊258中，用戶將拍攝 按鈕42a從位置S0按到位置S1以便開始自動(dòng)調(diào)焦序列(以及自動(dòng)膝光 序列)。(拍攝按鈕具有3個(gè)位置SO是在操作者觸摸攝像按鈕之前該 按鈕所保持的中立位置；Sl是照相機(jī)進(jìn)行自動(dòng)調(diào)焦和自動(dòng)膝光的中間位 置；S2是照相機(jī)進(jìn)行最終膝光并拍攝最終圖像的最終位置。)
然后，通過其變焦鏡頭在各自的變焦位置處的兩個(gè)攝像平臺(tái)拍攝自 動(dòng)聚焦圖像(塊260)。然后，對(duì)來自較低變焦位置(即變焦位置小于 X (參見圖3中的塊102)的變焦位置)處的攝像平臺(tái)的自動(dòng)聚焦圖像 進(jìn)行剪切和上采樣，從而兩個(gè)自動(dòng)聚焦圖像中的相應(yīng)特征跨越相同數(shù)量 的像素(塊262)。然后，對(duì)剪切和上采樣后的自動(dòng)聚焦圖像與其它自 動(dòng)聚焦圖像相關(guān)聯(lián)，以便識(shí)別兩個(gè)自動(dòng)聚焦圖像之間的像素偏移(塊 264)，并由此生成聚焦檢測(cè)信號(hào)。圖17A示出作為從更高變焦位置的 圖像平臺(tái)所拍攝的自動(dòng)聚焦圖像350的代表。圖17B示出來自較低變焦 位置的圖像平臺(tái)的剪切和上采樣后的自動(dòng)聚焦圖像352的代表。這些代 表示出兩個(gè)圖像之間的偏移，所述偏移被用來確定到場(chǎng)景的各部分的距 離。在塊266中，然后將校準(zhǔn)因子應(yīng)用于聚焦檢測(cè)信號(hào)以確定必須移動(dòng) 聚焦鏡頭以生成4聶《象用的最佳聚焦?fàn)顟B(tài)的距離。在塊268中，將聚焦檢 測(cè)信號(hào)應(yīng)用于變焦和聚焦電動(dòng)機(jī)5a,然后，將聚焦鏡頭在將用于最終攝 像的攝像平臺(tái)中移動(dòng)所確定出的距離以生成最佳聚焦的狀態(tài)(268)。 當(dāng)用戶把拍攝按鈕從Sl推到S2時(shí)，攝像平臺(tái)拍攝最終圖像。
在圖5中示出眾所周知的"爬坡，，對(duì)比度比較方法中的圖3所示的 使用兩個(gè)攝像平臺(tái)的自動(dòng)調(diào)焦處理的流程圖，其中在圖3的塊108和128 中使用"爬坡，，對(duì)比度比較方法以自動(dòng)調(diào)焦來自第一和第二攝像平臺(tái)的 圖像。在塊250中，用戶選擇變焦位置。變焦位置確定將使用哪個(gè)攝像平臺(tái)作為拍攝平臺(tái)(塊252)。然后，在塊254中，將未用于拍攝的攝 像平臺(tái)變焦到與來自塊250的用戶選擇的變焦位置最接近的點(diǎn)。在塊 258中，用戶將拍攝按鈕42a從S0位置推到Sl位置，以開始自動(dòng)調(diào)焦 序列。然后，在塊272中，通過"爬坡"方法來對(duì)兩個(gè)攝像平臺(tái)進(jìn)行自 動(dòng)調(diào)焦。當(dāng)用戶將拍攝按鈕從S1位置推到S2位置(塊274)時(shí)，通過 拍攝平臺(tái)連續(xù)拍攝視頻圖像(塊276)。
為了在最小搜索量的情況下維持聚焦，使用"爬坡"對(duì)比度比較方 法利用未用于拍攝的攝像平臺(tái)在塊278中連續(xù)檢查聚焦。然后，在判斷 塊280中，如果聚焦良好，則控制返回到塊276并通過拍攝平臺(tái)連續(xù)拍 攝視頻圖像。在判斷塊280中，如果聚焦不好，則識(shí)別需要的聚焦鏡頭 調(diào)節(jié)(塊282),以在沒有用于拍攝的攝像平臺(tái)上生成最佳聚焦。在塊 284中，使用自動(dòng)調(diào)焦"爬坡，，方法校準(zhǔn)曲線和識(shí)別出的聚焦鏡頭調(diào)節(jié) 來確定在拍攝平臺(tái)中用以產(chǎn)生最佳聚焦所需的聚焦鏡頭的移動(dòng)，從而生 成聚焦變化檢測(cè)信號(hào)。最后，在塊286中，將聚焦變化檢測(cè)信號(hào)應(yīng)用于 變焦和聚焦電動(dòng)機(jī)5a或5b,并將拍攝平臺(tái)中的聚焦鏡頭移動(dòng)到新的最 佳聚焦位置，且控制返回到塊276并且通過拍攝平臺(tái)連續(xù)拍攝3見頻圖像。
可選地，且還為了在最小搜索量的情況下保持聚焦，使用"整體方 式"自動(dòng)調(diào)焦方法利用未用于拍攝的攝像平臺(tái)在塊278中連續(xù)檢查聚焦。 因此，在塊284中，使用自動(dòng)調(diào)焦"整體方式"方法校準(zhǔn)曲線和識(shí)別出 的聚焦鏡頭調(diào)節(jié)來確定在拍攝平臺(tái)中用以生成最佳聚焦所需的聚焦鏡 頭的移動(dòng)，從而生成聚焦變化檢測(cè)信號(hào)。最后，在塊286中，將聚焦變 化檢測(cè)信號(hào)應(yīng)用于變焦和聚焦電動(dòng)機(jī)5a或5b，并將拍攝平臺(tái)中的聚焦 鏡頭移動(dòng)到新的最佳聚焦位置，且控制返回到塊276并且通過拍攝平臺(tái) 連續(xù)拍攝視頻圖像。
在圖4和5中均使用校準(zhǔn)曲線來確定在拍攝平臺(tái)中用以生成最佳聚 焦所需的聚焦鏡頭的移動(dòng)。圖6和7示出用于計(jì)算這些曲線的流程圖。 更具體地，圖6示出在圖4的塊266中使用的自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線 的計(jì)算。在圖6的塊300中，使用位于一系列聚焦鏡頭位置的較短焦距 的第一攝像平臺(tái)和較長焦距的第二攝像平臺(tái)，利用已知距離處的4皮攝體 拍攝一系列圖像組。然后，在塊302中，來自較低焦距的第一圖像平臺(tái) 的自動(dòng)聚焦圖像被剪切和上采樣，從而如圖17A和17B所示兩個(gè)自動(dòng)聚 焦圖像中的相應(yīng)特征跨越相同數(shù)量的像素。在塊304中，來自第二攝像平臺(tái)的圖像與來自第 一攝像平臺(tái)的剪切和上采樣后的圖像的相應(yīng)的圖 像部分相關(guān)聯(lián)，以確定每個(gè)圖像組中的圖像之間的像素偏移。因此，在
塊306中，將每個(gè)圖像組中的圖像之間的像素偏移相對(duì)于到被攝體的已 知距離的數(shù)據(jù)存儲(chǔ)為自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線以供在圖4的塊266中使 用。
圖7示出在圖5的塊284中使用的"爬坡"校準(zhǔn)曲線的計(jì)算。在圖 7的塊400中，使用第一攝像平臺(tái)和第二攝像平臺(tái)，利用已知距離處的 被攝體拍攝一系列圖像組，其中通過用于每個(gè)圖像的"爬坡"方法進(jìn)行 自動(dòng)調(diào)焦。然后，在塊402中，為兩個(gè)攝像平臺(tái)比較聚焦鏡頭位置與到 圖像組中的聚焦浮皮攝體的距離。然后，將針對(duì)到圖像中的聚焦被攝體的 相同距離的第一攝像平臺(tái)的聚焦鏡頭位置相對(duì)于第二攝像平臺(tái)的聚焦 鏡頭位置的數(shù)據(jù)存儲(chǔ)為自動(dòng)調(diào)焦"爬坡"方法校準(zhǔn)曲線以供在圖5的塊 284中使用。
圖8示出表示用于使用圖1的攝像組件拍攝視頻圖像的方法的流程 圖。流程圖的大部分與圖3所示的功能元素重復(fù)，并且在表示相同的功 能和附圖標(biāo)記的情況下將不會(huì)在此重復(fù)。如果變焦位置設(shè)置小于X(對(duì) 塊102的響應(yīng)為否)，則使用笫一攝像平臺(tái)1來拍攝視頻圖像，而使用 第二攝像平臺(tái)2來拍攝自動(dòng)聚焦圖像。如圖3所迷進(jìn)行第一攝像平臺(tái)的 聚焦，不同的是現(xiàn)在其是用于視頻圖像的。隨后，在圖8的塊112中， 如果沒有按下變焦按鈕42c,且在塊114中如果按下了拍攝按鈕，則在 塊118中通過第一攝像平臺(tái)1拍攝視頻圖像。在塊119中檢查視頻圖像 的聚焦質(zhì)量，且如果需要重新聚焦，則控制返回到塊106并且生成聚焦 變化檢測(cè)信號(hào)，該聚焦變化檢測(cè)信號(hào)在塊108中被使用以驅(qū)動(dòng)第一攝像 平臺(tái)l的聚焦電動(dòng)機(jī)5a。如果不需要重新聚焦，則控制返回到塊U2。
如果變焦位置設(shè)置大于X (對(duì)塊 102的響應(yīng)為是)，則使用第二攝 像平臺(tái)2來拍攝視頻圖像，而使用笫一攝像平臺(tái)1來拍攝自動(dòng)聚焦圖像。 如圖3所述進(jìn)行第二攝像平臺(tái)的聚焦，不同的是現(xiàn)在其是用于視頻圖像 的。隨后，在塊132中，如果沒有按下變焦按鈕42c,且如果在塊134 中如果按下了拍攝按鈕，則在塊138中利用第二攝像平臺(tái)2拍攝視頻圖 像。在塊139中檢查視頻圖像的聚焦質(zhì)量，且如果需要重新聚焦，則控 制返回到塊126并且生成聚焦變化檢測(cè)信號(hào)，該聚焦變化檢測(cè)信號(hào)在塊 128中被使用以驅(qū)動(dòng)第二攝像平臺(tái)2的聚焦電動(dòng)機(jī)5b。如果不需要重新聚焦，則控制返回到塊132。
圖9中示出使用測(cè)距器配置中的圖8所示的兩個(gè)^t聶像平臺(tái)的自動(dòng)調(diào) 焦處理的流程圖，其中在圖8的塊108和128中使用測(cè)距器方法來對(duì)來 自第一和第二攝像平臺(tái)的圖像進(jìn)行自動(dòng)調(diào)焦。在圖9的塊440中，利用 較低焦距的攝像平臺(tái)來拍攝第一自動(dòng)聚焦圖像。然后，在塊442中，剪 切和上采樣來自較低焦距下的圖像平臺(tái)的自動(dòng)聚焦圖像，從而兩個(gè)自動(dòng) 聚焦圖像中的相應(yīng)特征跨越相同數(shù)量的像素。同時(shí)，在塊448中，利用 較長焦距的攝像平臺(tái)拍攝第二自動(dòng)聚焦圖像。在塊444中將第二自動(dòng)聚 焦圖像與所述剪切和上采樣后的圖像相關(guān)聯(lián)以為不同的圖像部分確定 圖像之間的像素偏移。然后，在塊446中，根據(jù)該偏移和自動(dòng)調(diào)焦測(cè)距 器校準(zhǔn)曲線(其在圖6中計(jì)算出)來確定需要的聚焦校正。
在圖10中示出"爬坡"對(duì)比度比較方法中的圖8中所示的使用兩 個(gè)攝像平臺(tái)的自動(dòng)調(diào)焦處理的流程圖，其中在圖8的塊108和128中使 用"爬坡"對(duì)比度比較方法來自動(dòng)調(diào)焦來自第一和第二攝像平臺(tái)的圖像。 在圖10的塊460中，利用第一攝像平臺(tái)拍攝第一圖像，其中通過"爬 坡"方法進(jìn)行自動(dòng)調(diào)焦。然后，在塊462中，提供來自第一攝像平臺(tái)的 圖像作為顯示器上的預(yù)覽圖像。同時(shí)，在塊466中，利用第二攝像平臺(tái) 拍攝第二圖像，其中通過"爬坡"方法進(jìn)行自動(dòng)調(diào)焦。然后，在塊468 中，利用第二攝像平臺(tái)拍攝另一隨后的圖像，其中也通過"爬坡"方法 進(jìn)行自動(dòng)調(diào)焦。在塊470中，將第二圖像的聚焦?fàn)顟B(tài)與隨后的圖像的聚 焦?fàn)顟B(tài)進(jìn)行比較。然后，如果聚焦?fàn)顟B(tài)已經(jīng)改變(對(duì)塊472的響應(yīng)為是)， 則基于第二攝像平臺(tái)的聚焦?fàn)顟B(tài)的變化和(在圖7中算出的)自動(dòng)調(diào)焦 "爬坡"方法校準(zhǔn)曲線來改變第一攝像平臺(tái)的聚焦?fàn)顟B(tài)。如果聚焦?fàn)顟B(tài) 沒有改變(對(duì)塊472的響應(yīng)為否)，則控制返回到塊468并且利用第二 攝像平臺(tái)拍攝另一圖像。
可選地，且為了在最小搜索量的情況下維持聚焦，使用"整體方式，， 自動(dòng)調(diào)焦方法利用第二攝像平臺(tái)在塊470中連續(xù)檢查聚焦。因此，如果 聚焦?fàn)顟B(tài)已經(jīng)改變(對(duì)塊472的響應(yīng)為是)，則基于第二攝像平臺(tái)的聚 焦?fàn)顟B(tài)的變化和自動(dòng)調(diào)焦"整體方式"方法校準(zhǔn)曲線來改變第一攝像平 臺(tái)的聚焦?fàn)顟B(tài)。如果聚焦?fàn)顟B(tài)沒有改變(對(duì)塊472的響應(yīng)為否)，則控 制返回到塊468并且利用第二攝像平臺(tái)拍攝另 一圖像。
圖11示出表示用于處理使用圖3或圖8的攝像組件所 攝到的圖像的方法的流程圖，其中生成范圍映射。(圖的特定部件具有與圖9中 所使用的相同的功能和附圖標(biāo)記。)生成范圍映射的方法對(duì)于本領(lǐng)域的 技術(shù)人員來說是眾所周知的；例如，在通過引用包含于此的美國專利申 請(qǐng)公開號(hào)2006/0193509 (以Antonio Criminisi等人的名義在2006年8 月31日公開，發(fā)明名稱為"基于立體的圖像處理(Stereo-based Image Processing)")中說明了如下方法該方法用于從才艮據(jù)通過具有類似#見 場(chǎng)的多個(gè)照相機(jī)所拍攝的一組圖像的像素偏移信息而生成的差異映射 來生成范圍映射和深度映射。在本專利申請(qǐng)所述的情況下，兩個(gè)或多個(gè) 攝像裝置包括在單個(gè)電子照相機(jī)中。由于兩個(gè)或多個(gè)攝像置具有不同的 焦距，因而必須修改圖像中的至少一個(gè)圖像，以使兩個(gè)或多個(gè)圖像可比 較，從而使得能夠確定像素偏移?，F(xiàn)在參考圖11,在塊440中利用較低 焦距的攝像平臺(tái)拍攝第一自動(dòng)聚焦圖像，且在塊442中，對(duì)來自較低變 焦位置的攝像平臺(tái)的自動(dòng)聚焦圖像進(jìn)行剪切和上采樣，從而兩個(gè)自動(dòng)聚 焦圖像中的相應(yīng)特征跨越相同數(shù)量的像素。同時(shí)，在塊448中，利用較 高焦距的攝像平臺(tái)拍攝第二自動(dòng)調(diào)焦圖片。然后，在塊480中，將第二 自動(dòng)聚焦圖像與所述剪切和上采樣后的圖像相關(guān)聯(lián)，以確定圖像的不同 圖像部分之間的像素偏移。然后，在塊482中，使用自動(dòng)調(diào)焦測(cè)距器校 準(zhǔn)曲線將像素偏移轉(zhuǎn)換成離攝像裝置的距離。在塊484中生成示出到不 同圖像部分的距離的映射。
可以根據(jù)第一和第二自動(dòng)聚焦圖像的相應(yīng)部分之間(即來自第一 自 動(dòng)聚焦圖像的在塊442中獲得的剪切和上采樣后的圖像和從塊448獲得 的第二自動(dòng)聚焦圖像的相應(yīng)部分之間)的測(cè)量到的像素偏移來計(jì)算從招[
像裝置到場(chǎng)景的各部分的距離。圖像傳感器上所經(jīng)歷的像素偏移p、像 素大小m、鏡頭之間的空隙s、鏡頭的有效焦距f以及到場(chǎng)景的部分的 距離d之間的關(guān)系如下 d=s.f/(p.m)
表l示出如上所述的攝像裝置的典型像素偏移。在優(yōu)選實(shí)施例中，相對(duì) 在已知距離的場(chǎng)景中的被攝體校準(zhǔn)像素偏移和到場(chǎng)景的部分的距離之 間的關(guān)系，以補(bǔ)償兩個(gè)鏡頭組件之間的任何角傾斜和尺寸的任何不期望 的變化。
表1
像素大小(mm) 0.0024竟頭之間的分離(mm) 20
焦距(mm) 6 距離(ft) 距離(mm) 偏移(像素)
0.5 152.4 393.7
1 304.8 196.9
2 609.6 98.4 4 1219.2 49.2 8 2438.4 24.6
16 4876.8 12.3
32 9753.6 6.2
64 19507.2 3.1
128 39014.4 1.5
如先前所述，為了各種目的，使用范圍映射來修改所拍攝的圖像信 號(hào)或輸出圖像，這些目的諸如(不限于)
a) 通過識(shí)別被攝體的連續(xù)邊界來使得可以限定被攝體的形狀，從 而改進(jìn)圖像內(nèi)的被攝體識(shí)別；
b) 通過識(shí)別被攝體的連續(xù)邊界使得可以在圖像內(nèi)分割被攝體，從 而使得能夠從圖像提取被攝體；
c) 通個(gè)識(shí)別被攝體使得可以將被攝體作為圖像之間的相同的對(duì)象 來追蹤，從而使得能夠在多個(gè)圖像中進(jìn)行被攝體的運(yùn)動(dòng)追蹤；
d) 通個(gè)模糊化與處于期望的景深外面的場(chǎng)景區(qū)域相對(duì)應(yīng)的圖像的 部分，使得能夠得到動(dòng)態(tài)景深圖像；
e) 通過將增益調(diào)節(jié)應(yīng)用于作為整體的被攝體來提高圖像內(nèi)的動(dòng)態(tài)
范圍；
f) 通過降低與前景中的輛:攝體相對(duì)應(yīng)的圖像部分的增益并增大背 景中的被攝體的增益來減少由使用閃光燈而引起的曝光問題；
g) 通過使得前景中的被攝體被強(qiáng)調(diào)來提高圖像內(nèi)的場(chǎng)景平衡。 為了理解為了諸如上述目的而使用范圍映射，考慮一個(gè)例子是有幫
助的。假定用戶/拍攝者具有一張阿拉斯加山脈的很好的照片-在最遠(yuǎn)距 離范圍中有美麗的布滿云彩的天空和白雪覆蓋的山脈，在中間范圍中鮮 花鋪滿區(qū)域，并且在大約5英尺遠(yuǎn)的前景中磚著黑狗。然而，云被過補(bǔ) 光(過度爆光)，白雪覆蓋的山脈也一樣。黑狗很黑(曝光不足)且處于離焦(因?yàn)槔缯障鄼C(jī)被設(shè)置為風(fēng)景模式)。使用范圍數(shù)椐，可以修 改圖像的幾個(gè)特征。通過將增益調(diào)節(jié)應(yīng)用于圖像的所選擇的被攝體部 分，特別地應(yīng)用于例如云彩細(xì)節(jié)、雪細(xì)節(jié)以及黑狗上的皮毛，可以提高
各個(gè)位置的爆光。更普遍地，通過與范圍映射中的輛:攝體位置無關(guān)地^l尋 增益調(diào)節(jié)應(yīng)用于輸出圖像內(nèi)作為整體的被攝體上，可以使用范圍映射來 提高輸出圖像內(nèi)的動(dòng)態(tài)范圍。此外，可以調(diào)節(jié)景深，從而使得例如狗處 于對(duì)焦，山脈處于對(duì)焦且鮮花也處于對(duì)焦。或者，如果用戶真的想要強(qiáng) 調(diào)狗而不是美麗的風(fēng)景，則可以使用范圍數(shù)據(jù)來分離可以被;漠糊化的山 脈和鮮花，且更進(jìn)一步分離狗，其中可以銳化狗以獲得好的銳化圖像。 可以理解，假定根據(jù)本發(fā)明的范圍映射的可用性，則可用來藝術(shù)地優(yōu)化^ 圖像的許多其它用途。例如，用戶可以做出動(dòng)態(tài)景深，即，使范圍的混 合區(qū)域?qū)?。更普遍地，通過與范圍映射中的各部分的位置無關(guān)地模糊 化輸出圖像的與處于圖像的特征部分的期望景深外部的場(chǎng)景區(qū)域相對(duì) 應(yīng)的各部分，可以使用范圍映射來使能動(dòng)態(tài)景深圖像。例如，盡管狗和 山脈處于相對(duì)的范圍極端，然而由于狗和山脈是感興趣的區(qū)域且中間范 圍的花可以被平滑地模糊化，因而可以使狗和山脈處于對(duì)焦。
圖12和13示出使用光學(xué)攝像平臺(tái)的不同變形的數(shù)字照相機(jī)的框 圖。攝像平臺(tái)后的大多數(shù)部件和相關(guān)于圖l所述的部件相同，且這里將 不會(huì)對(duì)其進(jìn)行進(jìn)一步說明。圖12示出具有第一攝像平臺(tái)71和第二攝像 平臺(tái)2的數(shù)字照相機(jī)的框圖。第一平臺(tái)71包括第一固定焦距鏡頭73和 第一圖像傳感器12,第二平臺(tái)2包括第二 (變焦)鏡頭4和第二圖像傳 感器14。在第一和笫二攝像平臺(tái)71和2的聚焦調(diào)節(jié)之間執(zhí)行調(diào)焦。
因?yàn)楣潭ń咕噻R頭的焦距通常生成超廣角視場(chǎng)，例如22mm等效的， 因而可以將固定鏡頭設(shè)置到例如8英尺的鏡頭超焦距附近的距離，以使 得從4英尺起到無窮遠(yuǎn)的被攝體處于對(duì)焦。因此，固定焦距鏡頭不需要 包括聚焦調(diào)節(jié)。固定聚焦鏡頭包括可調(diào)光圏和快門組件(未示出)以控 制圖像傳感器的曝光。
圖13示出具有第一攝像平臺(tái)71、第二攝像平臺(tái)2以及第三攝像平 臺(tái)74的數(shù)字照相機(jī)的框圖。第一平臺(tái)71包括具有第一圖像傳感器12 的第一固定焦距鏡頭73,第二平臺(tái)2包括具有第二圖像傳感器14的第 二 (變焦)鏡頭4,第三攝像平臺(tái)74包括具有第三圖像傳感器16的第 三(變焦)鏡頭75。根據(jù)該配置，第一鏡頭73通常是超廣角鏡頭，第二 (變焦)鏡頭4通常是廣角變焦鏡頭，第三(變焦)鏡頭75通常是 遠(yuǎn)攝變焦鏡頭。如在前一段所述，由于作為超廣角鏡頭的第一固定焦距 鏡頭73通常不被聚焦，因而在第二和第三攝像平臺(tái)2和74之間執(zhí)行調(diào)焦。
圖14示出表示用于通過使用來自圖1中兩個(gè)攝像平臺(tái)的圖像來增 強(qiáng)圖像的景深的方法的流程圖。在圖14的塊500中，當(dāng)照相機(jī)接通電 源時(shí)，將變焦位置設(shè)置為默認(rèn)位置。在塊502中，將變焦位置設(shè)置與值 X進(jìn)行比較，在值X處，攝像功能從第 一攝像平臺(tái)切換至第二攝像平臺(tái)。 在塊504中，如果變焦位置設(shè)置小于X (對(duì)塊502的響應(yīng)為否)，則在 預(yù)覽模式下使用第一攝像平臺(tái)l拍攝圖像，而使用第二攝像平臺(tái)2來拍 攝自動(dòng)聚焦圖像。第一攝像平臺(tái)1繼續(xù)拍攝用于在顯示器70上進(jìn)行預(yù) 覽的圖像(塊506)，而使用第二攝像平臺(tái)2來拍:f聶用于第一攝像平臺(tái) 1的自動(dòng)調(diào)焦的自動(dòng)聚焦圖像，其中這些圖像由圖像處理器50進(jìn)行處理 并用于聚焦第一攝像平臺(tái)1。如果沒有按下變焦按鈕(對(duì)塊508的響應(yīng) 為否)，且當(dāng)按下了快門按鈕42a時(shí)，使用設(shè)置到主聚焦位置的第一才聶 像平臺(tái)在塊510中拍攝主靜止圖像。然后，在塊512中，使用設(shè)置到副 聚焦位置的第二攝像平臺(tái)拍攝副靜止圖像。然后，在塊514中，使用副 靜止圖像來增強(qiáng)主圖像的景深，例如，其中使用副靜止圖像來提供可以 用于銳化位于副焦距附近的主靜止圖像的部分的增強(qiáng)信號(hào)。
在塊524中，如果變焦位置設(shè)置大于X (對(duì)塊502的響應(yīng)為是)， 則在預(yù)覽模式下使用第二攝像平臺(tái)2拍攝圖像，而使用第一攝像平臺(tái)1 來拍攝自動(dòng)聚焦圖像。第二攝像平臺(tái)2繼續(xù)拍攝用于在顯示器70上進(jìn) 行預(yù)覽的圖像(塊526)，而使用第一攝像平臺(tái)l來拍攝用于第二攝像 平臺(tái)2的自動(dòng)調(diào)焦的自動(dòng)聚焦圖像，其中這些圖像由圖像處理器50進(jìn) 行處理并用于聚焦第二攝像平臺(tái)2。如果按下了變焦按鈕(對(duì)塊508的 響應(yīng)為是)，且當(dāng)按下了快門按鈕42a時(shí)，使用設(shè)置到主聚焦位置的第 二攝像平臺(tái)在塊530中拍攝主靜止圖像。然后，在塊532中，使用設(shè)置 到副聚焦位置的第一攝像平臺(tái)拍攝副靜止圖像。然后，在塊534中，使 用副靜止圖像來增強(qiáng)主圖像的景深，例如，使用副靜止圖像來銳化位于 副焦距附近的主靜止圖像的部分。
如上所示，由照相機(jī)生成增強(qiáng)信號(hào)以銳化位于副焦距附近的主靜止 圖像的部分。然而，可以將主和副靜止圖像提交給諸如圖1所示的主機(jī)PC 66的外部處理器，且可以由外部處理器生成增強(qiáng)信號(hào)以4^化位于副 焦距附近的主靜止圖像的部分。
多個(gè)鏡頭和多個(gè)傳感器的概念和集成攝像組件的使用可以適用于 具有圖片拍攝功能的類型的移動(dòng)電話中。因此，如圖15A所示，移動(dòng)電 話600包括包含用于捕獲呼叫者的語音的麥克風(fēng)602的電話平臺(tái)、用于 處理呼叫者和被叫人的語音信號(hào)的相關(guān)電子器件(未示出)、以及用于 再現(xiàn)被叫者的語音的揚(yáng)聲器604。提供用于輸入電話號(hào)碼和攝像命令的 鍵盤606，并提供用于顯示與電話相關(guān)的數(shù)據(jù)并再現(xiàn)通過電話拍攝到的 或通過蜂窩網(wǎng)絡(luò)接收到的圖像的(LCD)顯示器608。圖15B示出的移 動(dòng)電話600的后視圖識(shí)別出一些內(nèi)部部件，包括通過圖像處理器50連 接到包括蜂窩處理器90和調(diào)制解調(diào)器92的蜂窩處理平臺(tái)的蜂窩攝像組 件610。蜂窩處理器卯接收和處理來自圖像處理器50的圖像數(shù)據(jù)和通 過麥克風(fēng)602捕獲的語音數(shù)據(jù)，并將圖像和語音數(shù)據(jù)傳送到蜂窩調(diào)制解 調(diào)器92。蜂窩調(diào)制解調(diào)器92將數(shù)字圖像和語音數(shù)據(jù)轉(zhuǎn)換成適當(dāng)?shù)母袷?以用于通過天線94發(fā)送到蜂窩網(wǎng)絡(luò)。
在圖16A和16B中示出蜂窩攝像組件610，其中圖16A是沿著圖 16B中的線24B-24B所取的組件610的俯視圖，組件610包括共用基寺反 620上的光學(xué)部件和攝像部件的集成包。更具體地，組件610包括第一 固定焦距鏡頭612和第一圖像傳感器614以及第二固定焦距鏡616頭和 第二圖像傳感器618。優(yōu)選為固定焦距廣角鏡頭(諸如40mm等效的鏡 頭)的笫一鏡頭612在第一圖像傳感器614上形成圖像，優(yōu)選為固定焦 距遠(yuǎn)攝鏡頭(諸如100mm等效的鏡頭)的第二鏡頭616在第二圖像傳 感器618上形成圖像。這兩個(gè)鏡頭均在相同的方向上定向，以使得盡管 具有不同的視場(chǎng)，但形成這兩個(gè)鏡頭前面的全部場(chǎng)景的相同部分的圖 像。
各鏡頭612和616和與其相關(guān)聯(lián)的圖像傳感器614和618被安裝到 基板620,且在它們之間具有IR截止濾波器622以減少IR輻射到圖傳_ 像素上的入射。諸如電阻器、電容器和電源管理部件的電子部件624也 被安裝在基板620上。通過撓性連接器626從基板620得到圖像信號(hào)。 從組件610取得的數(shù)據(jù)可以是原始圖像數(shù)據(jù)，或者如果適合的處理器(未 示出)處于基板620的板上，則數(shù)據(jù)可以是YUV圖像數(shù)據(jù)或JPEG圖像 數(shù)據(jù)。而且，圖像處理器50可以在廣角和遠(yuǎn)攝焦距之間提供數(shù)字變焦；用戶可以通過顯示在(LCD)顯示器608上的用戶界面并通過在鍵盤606 上鍵入適當(dāng)?shù)陌粹o來開始這種變焦。此外，廣角圖像傳感器614可以具 有例如比遠(yuǎn)攝圖像傳感器618的分辨率高的高分辨率，以便為數(shù)字變焦 提供更高質(zhì)量的源圖像。
在根據(jù)本發(fā)明的實(shí)施例中，其中兩個(gè)鏡頭612和616均為可調(diào)焦距 鏡頭，圖像處理器50或者(a)選擇來自廣角鏡頭612的傳感器輸出作 為所拍攝的圖像信號(hào)并使用來自遠(yuǎn)攝鏡頭616的傳感器輸出來生成用于 廣角鏡頭612的聚焦檢測(cè)信號(hào)，或者(b)選擇來自遠(yuǎn)攝鏡頭616的傳 感器輸出作為所拍攝的圖像信號(hào)并使用來自廣角鏡頭612的傳感器輸出 來生成用于遠(yuǎn)攝鏡頭616的聚焦檢測(cè)信號(hào)。然后將聚焦檢測(cè)信號(hào)應(yīng)用于 遠(yuǎn)攝鏡頭616的自動(dòng)調(diào)焦子系統(tǒng)628以調(diào)整圖像聚焦，從而提供所拍沖聶 的圖像信號(hào)的傳感器輸出。在該實(shí)施例中，廣角鏡頭612可以代替地為 變焦鏡頭，諸如廣角到普通角的變焦鏡頭。
在另一實(shí)施例中，廣角鏡頭612被設(shè)置為其超焦距，這意味著鏡頭 不需要用戶的任何聚焦調(diào)節(jié)而從幾英尺到無限遠(yuǎn)均處于對(duì)焦。通過自動(dòng) 調(diào)焦子系統(tǒng)628對(duì)遠(yuǎn)攝鏡頭616進(jìn)行自動(dòng)調(diào)焦。這是必須的，因?yàn)殡S著 焦距增大超焦距也增大，并且因此需要調(diào)節(jié)聚焦以便獲得典型(例如 4， ~ 12，)距離處的被攝體的正確聚焦。通過對(duì)遠(yuǎn)攝鏡頭616僅使用一個(gè) 調(diào)焦子系統(tǒng)628，可以降4氐成本和大小。
該實(shí)施例中的重要限制是必須保持為與移動(dòng)電話布局和結(jié)構(gòu)相符 合的非常小的外形的"z，，尺寸630。這可以通過遠(yuǎn)才聶焦距和傳感器的大 小的仔細(xì)選擇來獲得。例如，可以將傳感器616的大小以及由此必須孝皮 生成以填充傳感器的圖像的大小制造得足夠小以將焦距降低到可接受 的z尺寸630。
在另一實(shí)施例中，兩個(gè)鏡頭可以具有大致相同的焦距，其中攝像陣 列具有不同的大小。利用大小不同的攝像陣列，每個(gè)鏡頭被設(shè)計(jì)成填充 攝像陣列的區(qū)域，并且每個(gè)鏡頭-陣列組合將具有基本相同的實(shí)際焦距， 即相同的鏡頭到陣列的距離。然而，各鏡頭的35mm等效將不同；因此， 各鏡頭將具有不同的視場(chǎng)。
雖然在圖16A和16B中未詳細(xì)示出，然而類似于與圖l相關(guān)地說明 的那樣，來自第 一 圖像傳感器614的模擬輸出信號(hào)通過第 一才莫擬信號(hào)處 理器被放大并提供給控制元件的第 一輸入，所述控制元件例如作為基板620上的電子部件624中的一個(gè)而提供的模擬多路轉(zhuǎn)接器控制元件。來 自第二圖像傳感器618的模擬輸出信號(hào)通過第二模擬信號(hào)處理器被放大 并提供給控制元件的第二輸入?？刂圃墓δ苁歉鶕?jù)關(guān)于變焦選擇的 來自鍵盤606的用戶輸入，或者選擇來自第 一圖像傳感器614的笫 一傳 感器輸出或者選擇來自第二圖像傳感器618的第二傳感器輸出，從而將 來自蜂窩攝像組件600的所選擇的傳感器輸出提供給圖像處理器50。
在使用(根據(jù)圖11而生成的)范圍映射時(shí)，將由照相機(jī)的GPS單 元57和電子羅盤59提供的照相機(jī)的GPS位置和指向方向與從照相機(jī)到 場(chǎng)景的各部分的距離和方向相結(jié)合來確定場(chǎng)景的各部分的GPS位置。圖 18示出用于確定場(chǎng)景的各部分的GPS位置的方法的流程圖。在塊750 中，由照相沖幾中的GPS單元57確定照相機(jī)的GPS位置。在塊752中由 照相機(jī)中的電子羅盤59確定照相機(jī)的指向方向。從照相機(jī)到場(chǎng)景的各 部分的距離偏移由在來自諸如圖11所示的過程的塊754中獲得的范圍 映射來提供。在塊756中，相對(duì)于(由電子羅盤59提供的)照相機(jī)的 指向方向的角度偏移根據(jù)圖像中的視場(chǎng)中的場(chǎng)景的各部分的位置被確 定。在塊758中，通過將距離偏移和角度偏移添加到照相機(jī)的GPS位置 和指向方向來確定場(chǎng)景的各部分的GPS位置。然后在塊760中，將場(chǎng)景 的各部分的GPS位置存儲(chǔ)在圖像的元數(shù)據(jù)中或顯示為以GPS位置映射 的形式的圖像上的標(biāo)簽?？蛇x地，可以將圖像的部分的GPS位置顯示在 電子照相機(jī)上。那些本領(lǐng)域技術(shù)人員將意識(shí)到場(chǎng)景的各部分的GPS位置 可以用于各種目的，包括而不限于確定被攝體的身份；向場(chǎng)景中的位 置提供導(dǎo)航方向；辨別相對(duì)于映射或其它地理數(shù)據(jù)庫等的照相機(jī)的視 場(chǎng)。
圖19示出表示根據(jù)本發(fā)明的如下處理的流程圖該處理用于將雙 鏡頭照相機(jī)系統(tǒng)中的兩個(gè)攝像平臺(tái)初始地設(shè)置到各自默認(rèn)的變焦位置， 然后允許用戶選擇該雙鏡頭照相機(jī)系統(tǒng)中的攝像平臺(tái)中的一個(gè)作為主 拍攝單元，而使另一個(gè)攝像平臺(tái)降級(jí)為諸如場(chǎng)景分析的一些其它功能。 根據(jù)本發(fā)明，圖19中的流程圖進(jìn)一步指定如果沒有在預(yù)定時(shí)刻進(jìn)行操 作者選擇或者如果在時(shí)間已耗盡之前照相機(jī)的拍攝功能已經(jīng)啟動(dòng)，則選 擇攝像平臺(tái)中的一個(gè)作為默認(rèn)平臺(tái)。更具體地，照相機(jī)的電源接通并開 始初始化處理(塊1100)。在初始化處理完成之后，將第一和第二攝像 平臺(tái)1和2設(shè)置到它們的默認(rèn)變焦位置(塊1102)，這些默認(rèn)變焦位置是確定初始拍攝和顯示的圖像的預(yù)定初始變焦位置。因此，第一和笫二
攝像平臺(tái)拍攝并在圖像顯示器70上顯示第一和第二預(yù)覽圖像(塊 1104)。這些圖像可以以例如作為縮略圖等在顯示器上一個(gè)挨一個(gè)、一 個(gè)在另一個(gè)內(nèi)、順次顯示等的多個(gè)方式進(jìn)行顯示。接下來，請(qǐng)照相機(jī)使 用者決定是笫一預(yù)覽圖像還是笫二預(yù)覽圖像應(yīng)當(dāng)為主圖像(塊1106), 其中主圖像將是拍攝并存儲(chǔ)的圖像。給予操作者進(jìn)行該決定的顯示時(shí)間 間隔x(塊1110)。如果在該間隔期間按下快門按鈕(塊1108),或者 如果在該間隔期間操作者未能作出決定(塊110為是)，則將攝像平臺(tái) 中的預(yù)定攝像平臺(tái)(默認(rèn)攝像平臺(tái))自動(dòng)設(shè)置為主拍攝單元(塊1112)。
(默認(rèn)攝像平臺(tái)可以因?yàn)楦鞣N原因而預(yù)先選擇出， 一個(gè)原因是為了提供 廣泛的更寬角度的場(chǎng)景視野作為初始圖像。)否則，如果操作者選取了 其中一個(gè)平臺(tái)(塊1106為是)，則將所選擇的攝像平臺(tái)設(shè)置為主拍攝 單元(塊U24)。在這兩種情況中的任一情況下，將另一 (未選擇的) 攝像平臺(tái)指定為場(chǎng)景分析拍攝單元(塊1114)。因此，如隨后與圖20-22 相關(guān)地所述的，使主拍攝單元工作在預(yù)覽模式下。
圖20-22和圖24-26示出表示使用或分析來自雙(或更多)鏡頭照 相機(jī)系統(tǒng)的 一個(gè)攝像平臺(tái)的圖像以修改由另 一攝像平臺(tái)生成的圖像(即 影響、分析、補(bǔ)充或者改變由其它攝像平臺(tái)生成的圖像)的流程圖。例 如，在圖20中， 一旦主拍攝單元被置于預(yù)覽模式下(如圖19所示)， 則場(chǎng)景分析拍攝單元分析場(chǎng)景(塊1200)并且圖像處理器50利用通過 場(chǎng)景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來設(shè)置主拍攝單元參數(shù)(塊 1202)。這種場(chǎng)景分析數(shù)據(jù)可以包括而不局限于曝光數(shù)據(jù)、動(dòng)態(tài)范圍數(shù) 據(jù)、景深數(shù)據(jù)、顏色平衡、對(duì)包括面部、草她、日落、雪等場(chǎng)景的不同 方面的識(shí)別，并且拍攝單元參數(shù)可以包括而不局限于光圏值、爆光時(shí)間、 聚焦位置、白平衡、ISO設(shè)置等。然后通過主拍攝單元拍攝預(yù)覽圖像， 并將其顯示在顯示器70上(塊1204)。然后，場(chǎng)景分析拍攝單元繼續(xù) 分析場(chǎng)景(塊1206)，并且如果場(chǎng)景狀態(tài)沒有改變(塊1208為否)， 則處理返回到塊1204，并且由主拍攝單元再次拍攝預(yù)覽圖像并將其顯示 在顯示器70上(在不改變拍攝參數(shù)的情況下)。如果場(chǎng)景狀態(tài)已改變
(塊1208為是)，則處理返回到塊1202,并且圖4象處理器50利用由場(chǎng) 景分析拍攝單元獲得的場(chǎng)景分析數(shù)據(jù)來重新設(shè)置主拍攝單元參數(shù)，并且 如前所迷重復(fù)隨后的處理。在圖21中，主拍攝單元參數(shù)僅在場(chǎng)景狀態(tài)的變化超過閾值x時(shí)才 改變。因此，在使用利用閾值的預(yù)覽模式時(shí)，場(chǎng)景分析拍攝單元拍攝圖 像并分析場(chǎng)景(塊1300 )。然后，圖像處理器50利用由場(chǎng)景分析拍攝 單元獲得的場(chǎng)景分析數(shù)據(jù)來設(shè)置主拍攝單元參數(shù)(塊1302)。然后，通 過主拍攝單元拍攝預(yù)覽圖像，并將其顯示在顯示器70上(塊1304)。 然后，從場(chǎng)景分析拍攝單元拍攝另一圖像(塊1306)。如果該后一圖像 的場(chǎng)景狀態(tài)并未改變等于x的閾值(塊1308為否)，即場(chǎng)景狀態(tài)^皮i人 為在圖像之間是穩(wěn)定的，則處理返回塊到1304，并且由主拍4聶單元拍才聶 另一預(yù)覽圖像，并將其顯示在顯示器70上(在沒有改變拍^l參數(shù)的情 況下)。然后，從場(chǎng)景分析拍攝單元拍攝另一圖像(塊1306)?；蛘?， 當(dāng)場(chǎng)景狀態(tài)變化大于閾值x并且狀況被認(rèn)為是不穩(wěn)定的時(shí)(塊1308為 是)，則處理返回到塊1302并且圖像處理器50利用由場(chǎng)景分析拍攝單 元獲得的場(chǎng)景分析數(shù)據(jù)來重新設(shè)置主拍攝單元參數(shù)。然后如前所述重復(fù) 處理。
在圖22中，通過考慮拍攝單元的相對(duì)變焦位置和利用來自由兩個(gè) 拍攝單元拍攝的圖像的場(chǎng)景信息來增強(qiáng)對(duì)閾值場(chǎng)景狀態(tài)的考慮。在利用 該增強(qiáng)的預(yù)覽^t式時(shí)，相對(duì)于主拍攝單元的變焦位置來設(shè)置場(chǎng)景分析拍 攝單元的變焦位置(塊1400)。然后，場(chǎng)景分析拍攝單元拍攝圖像(塊 1402),并且圖像處理器50利用由場(chǎng)景分析拍攝單元獲得的場(chǎng)景分初-數(shù)據(jù)來設(shè)置主拍攝單元參數(shù)(塊1404)。然后，通過主拍攝單元拍攝預(yù) 覽圖像(塊1406)，并利用拍攝到的預(yù)覽圖像和場(chǎng)景分析數(shù)據(jù)來分析場(chǎng) 景(塊1408)。然后，圖像處理器50利用先前的場(chǎng)景分析的結(jié)果(即 通過分析來自兩個(gè)拍攝單元的圖像而獲得的結(jié)果)來設(shè)置主拍攝單元參 數(shù)(塊1410)。接著，通過主拍攝單元拍攝預(yù)覽圖像并將其顯示在顯示 器70上(塊1412)，并且從場(chǎng)景分析拍攝單元拍攝另一圖像(塊1414)。 然后，通過利用拍攝到的預(yù)覽圖像數(shù)據(jù)和場(chǎng)景分析數(shù)據(jù)來分析場(chǎng)景(塊 1416)。如果場(chǎng)景狀態(tài)并未改變與x相等的閾值(塊1418為否)，即 場(chǎng)景狀態(tài)被認(rèn)為是穩(wěn)定的，則處理返回到塊1412,并由主拍攝單元和場(chǎng) 景分析拍攝單元分別拍攝另一預(yù)覽圖像和場(chǎng)景分析圖像(塊1412和 1414),并且繼續(xù)進(jìn)行前述處理?；蛘?，在場(chǎng)景狀態(tài)變化大于閾值(塊 1400為是)并且狀況被認(rèn)為不穩(wěn)定時(shí)，處理返回到塊1410，并且圖像 處理器50利用(在塊1416中由場(chǎng)景分析拍攝單元獲得的)新的場(chǎng)景分析數(shù)據(jù)的結(jié)果重新設(shè)置主拍攝單元參數(shù)，并且重復(fù)處理。
在前面圖19-22所示的操作期間，除非按下了快門按鈕42a或變焦 按鈕42c，否則如圖所示繼續(xù)進(jìn)行預(yù)覽處理。如圖23所示，如果按下了 變焦按鈕42c (塊1500),并且如果要求的變焦位置沒有位于主拍攝單 元的變焦范圍內(nèi)(塊1502為是)，則拍攝單元的功能反轉(zhuǎn)，即將當(dāng)前 場(chǎng)景分析和主拍攝單元分別重新設(shè)置為主拍攝單元和場(chǎng)景分析拍攝單 元。然后，如圖20-23所示，主拍^^單元的變焦位置祐:設(shè)置為選擇的變 焦位置(塊1506)并且處理返回到預(yù)覽模式。然而，如果按下了變焦按 鈕42c(塊1500為是)，并且如果要求的變焦位置位于主拍攝單元的變 焦范圍內(nèi)(塊1502為否)，則各拍攝單元的功能和之前保持相同，并 且主拍攝單元的變焦位置被設(shè)置為選擇的變焦位置(塊1506),并且處 理返回到預(yù)覽模式。
圖24-26示出表示具體地在拍攝處理期間使用或分析來自雙(或更 多)鏡頭照相機(jī)系統(tǒng)的一個(gè)攝像平臺(tái)的圖像以修改由另 一攝像平臺(tái)生成 的圖像(即影響、分析、補(bǔ)充或者改變由其它攝像平臺(tái)生成的圖像)的 流程圖。參考圖24,根據(jù)第一拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門按 鈕42a按下半程(Sl)(塊1600K否則處理返回到預(yù)覽模式。在拍攝 模式中，從主拍攝單元拍攝預(yù)覽圖像(塊1602)。接著，利用拍攝到的 預(yù)覽圖像分析場(chǎng)景(塊1604)。當(dāng)分析完成時(shí)(塊1606為是)，圖像 處理器50利用場(chǎng)景分析的結(jié)果來設(shè)置主拍攝單元參數(shù)(塊1608)。然 后，使用所設(shè)置的參數(shù)，從主拍攝單元拍攝并顯示預(yù)覽圖像(塊1610)。 當(dāng)全按下快門按鈕42a (S2)以便開始攝像時(shí)(1612為是)，使用所設(shè) 置的參數(shù)從主拍攝單元拍攝主圖像(塊1614),并且處理返回到預(yù)覽才莫 式。如果沒有全按下快門按鈕42a (塊1612為否)，則照相機(jī)查看是否 設(shè)置了聚焦和膝光鎖定(塊1616)。如果是(塊1616為是)，則處理 返回到塊1610并且從主拍攝單元拍攝并顯示另一預(yù)覽圖像，再次檢查 快門按鈕42a的狀態(tài)(塊1612),并且如前所述繼續(xù)進(jìn)行處理。如果沒 有設(shè)置聚焦或膝光鎖定(塊1616為否)，則處理返回到塊1602，并且 從主拍攝單元拍攝預(yù)覽圖像，并利用拍攝到的預(yù)覽圖像來分析場(chǎng)景(塊 1604)。然后，如前所述繼續(xù)進(jìn)行處理。
參考圖25，根據(jù)第二拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門按鈕 42a按下半程(Sl)(塊1700K然后，從主拍攝單元拍攝預(yù)覽圖像(塊1702)。接著，通過場(chǎng)景分析拍攝單元拍攝圖像(塊1704)，并且利用 拍攝到的預(yù)覽圖像和拍攝到的場(chǎng)景分析圖像這兩者來分析場(chǎng)景(塊 1706)。接著，圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來設(shè)置主拍 攝單元參數(shù)(塊1708)。然后，使用所設(shè)置的參數(shù)，從主拍攝單元拍攝 并顯示預(yù)覽圖像(塊1710)。接著，如之前圖24所示，當(dāng)全按下快門 按鈕42a ( S2 )(塊1712為是)時(shí)，使用所設(shè)置的參數(shù)從主拍攝單元拍 攝主圖像(塊1714),并且處理返回到預(yù)覽模式。如果沒有全按下快門 按鈕42a,則照相機(jī)查看是否設(shè)置了聚焦和曝光鎖定(塊1716)。如果 是，則處理返回到塊1710并且從主拍攝單元拍攝并顯示另一預(yù)覽圖像 (塊1710),檢查快門按鈕42a的狀態(tài)(塊1712)，并且如前所述繼 續(xù)進(jìn)行處理。如果沒有設(shè)置聚焦或曝光鎖(塊1716為否)，則處理返 回到塊1702,并且從主拍攝單元拍攝預(yù)覽圖像(塊1702)，并利用拍 攝到的預(yù)覽圖像來分析場(chǎng)景(塊1704)。然后，如前所述繼續(xù)進(jìn)行處理。
參考圖26，根據(jù)第三拍攝實(shí)施例，為了進(jìn)入拍攝模式將快門按鈕 42a按下半程(Sl)(塊1800K然后，從主拍攝單元拍攝預(yù)覽圖像(塊 1802)并從場(chǎng)景分析拍攝單元拍攝圖像(塊1804)。接著，利用拍攝到 的預(yù)覽圖像和拍攝到的場(chǎng)景分析圖像這兩者來分析場(chǎng)景(塊1806),并 且圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來設(shè)置主拍攝單元參數(shù)(塊 1808)。接著，將場(chǎng)景分析拍攝單元指定為副拍攝單元(塊1810),并 且圖像處理器50利用組合的場(chǎng)景分析的結(jié)果來設(shè)置副拍攝單元參數(shù)(塊 1812)。接著，當(dāng)全按下快門按鈕42a (S2)(塊1814為是)時(shí)，使用 所設(shè)置的參數(shù)從主拍攝單元拍攝主圖像(塊1816),并且從現(xiàn)在被指定 為副拍攝單元的場(chǎng)景分析拍攝單元拍攝補(bǔ)充圖像(塊1818)。然后，圖 像處理器50從主圖像和補(bǔ)充圖像生成增強(qiáng)圖像(塊1820)，并且處理 返回到預(yù)覽模式。如果沒有全按下快門按鈕42a (塊1814)，則處理返 回到塊1802并且通過再次從主拍攝單元和場(chǎng)景分析拍攝單元拍攝圖像 來重新開始處理(塊1802和1804)。
關(guān)于圖26考慮不同類型的補(bǔ)充或修改。在第一類型的補(bǔ)充或修改 中，并且如關(guān)于圖像14所示的那樣，在一個(gè)聚焦位置從主拍攝單元拍 攝圖像，并且在另一聚焦位置從場(chǎng)景分析拍攝單元(副攝像單元)拍攝 另一圖像。然后，將兩個(gè)圖像合成為具有加寬的景深的修改后的圖像。 優(yōu)點(diǎn)是這可以在無需必須縮小主鏡頭的光圏的情況下完成以獲得更大的景深，該優(yōu)點(diǎn)對(duì)于優(yōu)先大光團(tuán)的低亮度拍攝特別有用。
在另一類型的補(bǔ)充或修改中，圖像處理器50能夠檢查圖像的動(dòng)態(tài) 范圍。當(dāng)動(dòng)態(tài)范圍超過預(yù)定閾值時(shí)，使用場(chǎng)景分析拍攝單元來生成具有 與主圖像的動(dòng)態(tài)范圍不同的動(dòng)態(tài)范圍的副圖像。例如，可以以普通膝光 拍攝主圖像，而可以以更極端的膝光(即曝光不足或過曝光)來拍攝副 圖像。然后，如果例如在主曝光中對(duì)高亮過補(bǔ)光，則可以使副曝光曝光 不足，以拍攝高亮區(qū)中的細(xì)節(jié)?？蛇x地，如果陰影在主膝光中被加深， 則可以使副曝光過膝光，以拍攝陰影中的細(xì)節(jié)。然后，通過將主圖像的 部分替換為副圖像的部分，來創(chuàng)建具有加寬的動(dòng)態(tài)范圍的修改后的圖 像。
應(yīng)該理解，由主拍攝單元和副拍攝單元拍攝的圖像可以是靜止圖像 或視頻圖像，并且在視頻圖像情況下可以是一系列圖像。在這兩種情況 的任一個(gè)下，可以根據(jù)所述的特定形式的補(bǔ)充來修改靜止圖像或構(gòu)成視 頻信號(hào)的一系列圖像。例如，包含拍攝單元的電子照相機(jī)可以生成視頻 圖像信號(hào)，并且使用副輸出圖像來修改至少例如構(gòu)成視頻圖像信號(hào)的一 系列圖像的景深和/或動(dòng)態(tài)范圍。
可以更改圖14所示的流程圖以獲得具體地對(duì)動(dòng)態(tài)范圍進(jìn)行增強(qiáng)的 主圖像。例如，參考圖14，當(dāng)按下了快門按鈕42a時(shí)，使用被設(shè)置到主 曝光級(jí)的第一 (或第二)攝像平臺(tái)來拍攝主靜止圖像(與塊510或530 類似)。然后，(與塊512或532類似)使用^L設(shè)置到第二曝光級(jí)的第 二(或第一圖像)拍攝平臺(tái)來拍攝副靜止圖像。然后，(與塊514或534 類似)使用副靜止圖像來增強(qiáng)主圖像的動(dòng)態(tài)范圍，例如，其中將曝光不 足以拍:徵高亮下的細(xì)節(jié)的副曝光與主圖像相結(jié)合，以獲得擴(kuò)展的動(dòng)態(tài)范 圍的主圖像。
如在通過引用包含于此的共同轉(zhuǎn)讓的共同待決的美國專利申請(qǐng)序 列號(hào)11/460,364 (其以John Border和Efrain Morales的名義于2006年7 月27日提交，發(fā)明名稱為"生成擴(kuò)展的動(dòng)態(tài)范圍數(shù)字圖像(Producing an Extended Dynamic Range Digital Image )")中所迷的那樣，在用于生成經(jīng) 修改的圖像的優(yōu)選方法中，使用按比例縮放來創(chuàng)建通過考慮主圖像和副
圖像二者的像素值來確定像素值的經(jīng)修改的圖像。應(yīng)該注意，當(dāng)使用閃 光燈時(shí)(其中常常產(chǎn)生過膝光狀況)，具有兩個(gè)膝光級(jí)來使得能夠校正
動(dòng)態(tài)范圍是特別重要的。因此，拍攝平臺(tái)中的一個(gè)拍攝平臺(tái)的曝光時(shí)間將被設(shè)置為非常短的曝光，或者曝光的定時(shí)將被偏移為恰在閃光之前或 恰在閃光之后。
可以與具有不同分辨率的圖像對(duì)相結(jié)合地應(yīng)用補(bǔ)充處理。例如，在 通過引用包含于此的共同轉(zhuǎn)讓的共同待決的美國專利申請(qǐng)序列號(hào)
11/461,574(其以John Border, Scott Cahall和John Griffith的名義于2006 年8月1日提交，發(fā)明名稱為"生成具有不同分辨率部分的數(shù)字圖像 (Producing Digital Image with Different Resolution Portions )，，)中，通過兩 個(gè)拍攝平臺(tái)來拍攝場(chǎng)景的第 一廣角數(shù)字圖像和基本相同的場(chǎng)景的部分 的第二遠(yuǎn)攝數(shù)字圖像。然后，通過將第一廣角數(shù)字圖像的部分和遠(yuǎn)攝數(shù) 字圖像的部分進(jìn)行組合來形成合成圖像，以生成在數(shù)字變焦期間具有提 高的分辨率的數(shù)字圖像。更具體地，合成圖像的數(shù)字變焦產(chǎn)生在整個(gè)變 焦范圍內(nèi)具有高分辨率且具有改善的圖像質(zhì)量的變焦圖像。
在補(bǔ)充功能的又一實(shí)施例中，設(shè)置主拍攝平臺(tái)和副拍攝平臺(tái)以用于 不同的曝光時(shí)間，從而使得不同程度的噪聲和運(yùn)動(dòng)模糊存在于各自的圖 像中。例如設(shè)置主拍攝平臺(tái)以用于相對(duì)長的膝光從而使得圖像中的數(shù) 字噪聲低，但是或者來自照相機(jī)的移動(dòng)或者來自場(chǎng)景中的被攝體的移動(dòng) 的任意移動(dòng)均導(dǎo)致運(yùn)動(dòng)模糊。同時(shí)，設(shè)置副拍攝平臺(tái)以用于相對(duì)快的膝 光從而使得圖像中的數(shù)字噪聲較高，而運(yùn)動(dòng)模糊較少。然后，將主圖像 和副圖像彼此進(jìn)行比較，以識(shí)別運(yùn)動(dòng)模糊。增大副圖像的增益，因此副 圖像中的平均像素值與主圖像的平均像素值相匹配。然后，通過將主圖 像的部分替換為副圖像的部分來創(chuàng)建經(jīng)修改的圖像。實(shí)際上，主圖像的 部分(具有較低噪聲但是具有一定運(yùn)動(dòng)才莫糊的區(qū)域)被替換為副圖像的 相應(yīng)部分(具有較高噪聲但是具有很少或沒有運(yùn)動(dòng)^=莫糊的區(qū)域)，以獲 得具有相對(duì)低的噪聲和良好的銳度的經(jīng)修改的圖像。
已經(jīng)特別參考本發(fā)明的特定優(yōu)選實(shí)施例詳細(xì)說明了本發(fā)明，然而應(yīng) 該理解，各種修改和變形在本發(fā)明的精神和范圍內(nèi)可以實(shí)現(xiàn)。
部件列表
1 第 一攝像平臺(tái)
2 第二攝像平臺(tái)
3 第一變焦鏡頭
4 第二變焦鏡頭5a 變焦和聚焦電動(dòng)機(jī)
5b 變焦和聚焦電動(dòng)機(jī)
10A 數(shù)字照相才幾
12 笫一圖像傳感器 12e 第一傳感器輸出
13 時(shí)鐘驅(qū)動(dòng)器
14 第二圖像傳感器 14e 笫二圖像輸出
15 時(shí)鐘驅(qū)動(dòng)器
16 第三圖像傳感器
17 時(shí)鐘驅(qū)動(dòng)器
22 第一模擬信號(hào)處理器(ASP1) &A/D轉(zhuǎn)換器
24 第二模擬信號(hào)處理器(ASP2) &人/0轉(zhuǎn)換器
25 第三模擬信號(hào)處理器(ASP2 ) &A/D轉(zhuǎn)換器 34 第一數(shù)字多路轉(zhuǎn)接器控制元件
36 第二數(shù)字多路轉(zhuǎn)接器控制元件
37 笫三數(shù)字多路轉(zhuǎn)接器控制元件
38 DRAM緩沖存儲(chǔ)器
40 控制處理器和定時(shí)發(fā)生器
42 用戶控制器
42a 快門按鈕
42c 變焦按鈕
42d 多位置選擇器
46 自動(dòng)膝光檢測(cè)器
48 電子閃光燈
50 圖像處理器
52 存儲(chǔ)卡接口
54 可移除存儲(chǔ)卡
56 RAM存儲(chǔ)器
57 GPS單元
58 固件存儲(chǔ)器
59 電子羅盤62 主機(jī)接口
64 互連接
66 主機(jī)PC
70 彩色LCD圖像顯示器
71 笫一攝像平臺(tái)
73 第一固定焦距鏡頭
74 第三攝像平臺(tái)
75 第三(變焦)鏡頭 卯 蜂窩處理器
92 蜂窩調(diào)制解調(diào)器
94 天線
100 變焦鏡頭設(shè)置塊
101 輸入變焦位置塊
102 變焦位置檢查塊 104 拍攝平臺(tái)設(shè)置塊
106 第二平臺(tái)自動(dòng)聚焦圖像拍攝塊
108 第一平臺(tái)聚焦塊
110 第一平臺(tái)預(yù)覽拍攝和顯示塊
112 變焦按鈕檢查塊
114 拍攝按鈕檢查塊
116 第一平臺(tái)拍攝塊
118 第一平臺(tái)視頻拍攝塊
119 聚焦質(zhì)量檢查塊
120 重新聚焦檢查塊 124 拍攝平臺(tái)設(shè)置塊
126 第一平臺(tái)自動(dòng)聚焦圖像拍攝塊
128 第二平臺(tái)聚焦塊
130 第二平臺(tái)預(yù)覽拍攝和顯示塊
132 變焦按鈕檢查塊
134 拍攝按鈕檢查塊
136 第二平臺(tái)拍攝塊
138 第二平臺(tái)視頻拍攝塊139聚焦質(zhì)量檢查塊
140重新聚焦檢查塊
151被攝體
152第一鏡頭
153第二鏡頭
154第一路徑
155第二路徑
156焦平面
157第一圖像
158第二圖像
170第一基準(zhǔn)位置
171第一偏移位置
180第二基準(zhǔn)位置
181第二偏移位置
l卯第一傳感器陣列
191第二傳感器陣列
197低頻帶通濾波器加載步驟
198比較步驟
199高頻帶通濾波器加載步驟
250變焦位置選擇塊
252攝像平臺(tái)確定塊
254非拍攝平臺(tái)變焦塊
256超焦距設(shè)置塊
258開始自動(dòng)調(diào)焦序列塊
260拍攝自動(dòng)聚焦圖像塊
262剪切和上采樣塊
264圖像相關(guān)聯(lián)塊
266最佳聚焦確定塊
268聚焦鏡頭移動(dòng)塊
270攝像塊
272"爬坡"自動(dòng)調(diào)焦塊
274拍攝按鈕啟動(dòng)塊276 拍掘^f見頻塊
278 連續(xù)"爬坡"聚焦檢查塊
280 聚焦檢查塊
282 最佳聚焦確定塊
284 聚焦鏡頭移動(dòng)塊
286 拍攝平臺(tái)重新聚焦塊
300 圖像組拍攝塊
302 剪切和上采樣塊
304 關(guān)聯(lián)圖像塊
306 自動(dòng)調(diào)焦測(cè)距器校準(zhǔn)曲線生成塊
350 自動(dòng)聚焦圖像的代表
352 變焦和剪切后的自動(dòng)聚焦圖像的代表
400 圖像組拍^_塊
402 位置與距離比較塊
404 自動(dòng)調(diào)焦"爬坡"校準(zhǔn)曲線生成塊
440 較低焦距拍攝塊
442 剪切和上采樣較低焦距圖像塊
444 關(guān)聯(lián)圖像塊
446 確定聚焦校正塊
448 較長焦距拍攝塊
460 第一平臺(tái)"爬坡，，笫一攝像塊
462 第一平臺(tái)預(yù)覽圖像塊
464 重新聚焦第一平臺(tái)塊
466 第二平臺(tái)"爬坡，，第二攝像塊
468 第二平臺(tái)另一攝像塊
470 第二平臺(tái)聚焦?fàn)顟B(tài)比較塊
472 聚焦改變檢查塊
480 確定像素偏移的關(guān)聯(lián)圖像塊
482 使用測(cè)距器校準(zhǔn)曲線的像素偏移轉(zhuǎn)換塊
484 范圍映射產(chǎn)生塊
500 默認(rèn)變焦位置塊
502 變焦位置檢查塊504 拍攝平臺(tái)設(shè)置塊
506 笫二平臺(tái)預(yù)覽拍攝、顯示和自動(dòng)調(diào)焦塊
508 變焦按鈕檢查塊
510 主聚焦處的第一平臺(tái)主攝像塊
512 副聚焦處的第二平臺(tái)副攝像塊
514 使用副圖像的主圖像增強(qiáng)塊
524 拍攝平臺(tái)設(shè)置塊
526 第一平臺(tái)預(yù)覽拍攝、顯示和自動(dòng)調(diào)焦塊
528 變焦按鈕檢查塊
530 主聚焦處的第二平臺(tái)主圖像拍攝塊
532 副聚焦處的第一平臺(tái)副圖像拍攝塊
534 使用副圖像的主圖像增強(qiáng)塊
600 移動(dòng)電話
602 麥克風(fēng)
604 揚(yáng)聲器
606 鍵盤
608 (LCD)顯示器
610 蜂窩攝像組件
612 笫一固定焦距鏡頭
614 第一圖像傳感器
616 第二固定焦距鏡頭
618 笫二圖像傳感器
620 基板
622 IR截止濾波器
624 電子部件
626 撓性連接器
628 自動(dòng)調(diào)焦子系統(tǒng)
630 z尺寸
750 照相機(jī)GPS位置塊
752 照相機(jī)指向方向塊
754 距離偏移塊
756 角度偏移塊758場(chǎng)景GPS位置塊
760GPS位置存儲(chǔ)塊
1100通電塊
1102默認(rèn)設(shè)置塊
1104拍攝和顯示塊
1106預(yù)覽選擇塊
1108快門檢查塊
1110顯示時(shí)間檢查塊
1112設(shè)置默認(rèn)拍攝單元塊
1114設(shè)置場(chǎng)景分析拍攝單元塊
1124設(shè)置所選擇的主拍攝單元塊
1200場(chǎng)景分析塊
1202設(shè)置拍攝參數(shù)塊
1204拍攝和顯示預(yù)覽圖像塊
1206場(chǎng)景分析塊
1208場(chǎng)景狀態(tài)檢查塊
1300拍攝場(chǎng)景分析圖像塊
1302設(shè)置拍攝參數(shù)塊
1304拍攝和顯示預(yù)覽圖像塊
1306場(chǎng)景分析塊
1308場(chǎng)景狀態(tài)閾值檢查塊
1400變焦位置設(shè)置塊
1402拍攝場(chǎng)景分析圖像塊
1404設(shè)置拍攝參數(shù)塊
1406拍攝預(yù)覽圖像塊
1408使用預(yù)覽和場(chǎng)景分析數(shù)據(jù)的場(chǎng)景分析塊
1410設(shè)置主拍攝參數(shù)塊
1412拍攝和顯示預(yù)覽圖像塊
1414拍攝場(chǎng)景分析圖像塊
1416使用預(yù)覽和場(chǎng)景分析數(shù)據(jù)的場(chǎng)景分析塊
1418場(chǎng)景狀態(tài)閾值檢查塊
1500變焦按鈕檢查塊1502變焦位置檢查塊
1504反轉(zhuǎn)拍攝單元分配塊
1506設(shè)置主拍攝單元變焦位置塊
1600快門按鈕檢查塊
1602拍攝預(yù)覽圖像塊
1604使用預(yù)覽圖像的場(chǎng)景分析塊
1606分析完成檢查塊
1608設(shè)置主拍攝參數(shù)塊
1610拍攝和顯示預(yù)覽圖像塊
1612快門按鈕檢查塊
1614拍攝主圖像塊
1616聚焦/膝光鎖定檢查塊
1700快門按鈕檢查塊
1702拍攝預(yù)覽圖像塊
1704拍攝場(chǎng)景分析圖像塊
1706使用預(yù)覽和場(chǎng)景圖像的場(chǎng)景分析塊
1708設(shè)置主拍攝參數(shù)塊
1710拍攝和顯示預(yù)覽圖像塊
1712快門按鈕檢查塊
1714拍攝主圖像塊
1716聚焦/曝光鎖定檢查塊
1800快門按鈕檢查塊
1802拍攝預(yù)覽圖像塊
1804拍攝場(chǎng)景分析圖像塊
1806使用預(yù)覽和場(chǎng)景圖像的場(chǎng)景分析塊
1808設(shè)置主拍攝參數(shù)塊
1810設(shè)置場(chǎng)景分析拍攝單元作為副拍攝單元塊
1812設(shè)置副拍攝參數(shù)塊
1814快門按鈕檢查塊
1816拍攝主圖像塊
1818拍攝補(bǔ)充圖像塊
1820生成增強(qiáng)圖像塊
權(quán)利要求
1.一種用于操作數(shù)字照相機(jī)的方法，所述數(shù)字照相機(jī)具有用于形成場(chǎng)景的分離圖像的第一攝像平臺(tái)和第二攝像平臺(tái)，所述方法包括以下步驟指定所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為默認(rèn)攝像平臺(tái)；分別從所述第一攝像平臺(tái)和所述第二攝像平臺(tái)拍攝并顯示第一圖像和第二圖像；將圖像的顯示安排為預(yù)定時(shí)間段；以及使能將所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為主要用于拍攝由所述數(shù)字照相機(jī)來存儲(chǔ)的場(chǎng)景的圖像的主拍攝單元的操作者選擇，其中如果所述操作者選擇沒有在所述預(yù)定時(shí)間段內(nèi)發(fā)生，則自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
2. 根據(jù)權(quán)利要求1所述的方法，其中所述第一攝像平臺(tái)和所述第二 攝像平臺(tái)包括變焦鏡頭，其中所述方法還包括將所述第 一攝像平臺(tái)和所 述第二攝像平臺(tái)設(shè)置到各自的默認(rèn)變焦位置的步驟，其中，拍攝并顯示 圖像的步驟顯示的是在所述第一攝像平臺(tái)和所述第二攝像平臺(tái)各自的 默認(rèn)變焦位置處獲得的圖像。
3. 根據(jù)權(quán)利要求1所迷的方法，其中將未被選擇作為所述主拍攝單 元的攝像平臺(tái)指定為用于影響、調(diào)節(jié)、分析或補(bǔ)充由所述主拍攝單元形 成的圖像的副拍攝單元。
4. 根據(jù)權(quán)利要求3所述的方法，其中所述副拍攝單元提供用于設(shè)置 所迷主拍攝單元的拍攝參數(shù)的場(chǎng)景分析數(shù)據(jù)。
5. 根據(jù)權(quán)利要求3所述的方法，其中所述副拍攝單元提供用于補(bǔ)充 由所述主拍攝單元拍攝的圖像的圖像數(shù)據(jù)。
6. 根據(jù)權(quán)利要求1所述的方法，其中所述數(shù)字照相機(jī)包括用于開始 圖像曝光的快門按鈕，其中如果所述操作者選擇在啟動(dòng)所迷快門按鈕時(shí) 還沒有發(fā)生，則自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
7. —種電子照相機(jī)，所述電子照相機(jī)具有用于拍攝場(chǎng)景的分離圖像 的第 一攝像平臺(tái)和第二攝像平臺(tái)，所述平臺(tái)中的一個(gè)被指定為默認(rèn)攝像 平臺(tái)，所述電子照相機(jī)包括第一攝像平臺(tái)，其包括用于生成第一傳感器輸出的笫一圖像傳感器 和用于在所述笫一圖像傳感器上形成場(chǎng)景的第一圖像的第一鏡頭；第二攝像平臺(tái)，其包括用于生成第二傳感器輸出的笫二圖像傳感器和用于在所述第二圖像傳感器上形成場(chǎng)景的第二圖像的第二鏡頭； 顯示器，用于顯示所述笫一圖像和所述笫二圖像；以及 處理器，用于使能所述第一圖像和所述第二圖像的拍攝和在所述顯 示器上的顯示，所述處理器還對(duì)將所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為 主要用于拍攝由所述電子照相機(jī)來存儲(chǔ)的場(chǎng)景的圖像的主拍攝單元的 所述操作者選擇作出響應(yīng)，其中如果所述操作者選擇沒有在預(yù)定時(shí)間l殳 內(nèi)發(fā)生，則自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
8. 根據(jù)權(quán)利要求7所述的電子照相機(jī)，其中所迷第一攝像平臺(tái)和所 述第二攝像平臺(tái)包括變焦鏡頭，并且其中所述第一攝像平臺(tái)和所述第二 攝像平臺(tái)被初始化地設(shè)置到各自的默認(rèn)變焦位置，其中所述處理器使能 在所述第 一攝像平臺(tái)和所述笫二攝像平臺(tái)的各自的默認(rèn)變焦位置處的 圖像的拍攝和顯示。
9. 根據(jù)權(quán)利要求7所述的電子照相機(jī)，其中所述電子照相機(jī)包括用 于開始圖像爆光的快門按鈕，其中如果所述操作者選擇在啟動(dòng)所述快門 按鈕時(shí)還沒有發(fā)生，則所述處理器自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述 主拍攝單元。
10. —種電子照相機(jī)，所述電子照相機(jī)具有用于拍^t聶場(chǎng)景的分離圖 像的第一攝像平臺(tái)和第二攝像平臺(tái)，其中，所述平臺(tái)中的一個(gè)被指定為 默認(rèn)攝像平臺(tái)，并且所述照相機(jī)包括用于使能所述分離圖像的拍攝和顯 示的處理器，所述處理器還對(duì)將所述攝像平臺(tái)中的 一個(gè)攝像平臺(tái)作為主 要用于拍攝由所述數(shù)字照相機(jī)來存儲(chǔ)的場(chǎng)景的圖像的主拍攝單元的所 述操作者選擇作出響應(yīng)，其中如果所述操作者選擇沒有在預(yù)定時(shí)間段內(nèi) 發(fā)生，或者如果在所述預(yù)定時(shí)間段過去之前啟動(dòng)了所述照相機(jī)，則所迷 處理器自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
全文摘要
一種電子照相機(jī)，所述電子照相機(jī)包括用于拍攝場(chǎng)景的分離圖像的第一攝像平臺(tái)和第二攝像平臺(tái)，所述平臺(tái)中的一個(gè)被指定為默認(rèn)攝像平臺(tái)。處理器使得能夠拍攝并顯示所述分離圖像，并且還對(duì)將所述攝像平臺(tái)中的一個(gè)攝像平臺(tái)作為主要用于拍攝由所述數(shù)字照相機(jī)來存儲(chǔ)的場(chǎng)景的圖像的主拍攝單元的操作者選擇作出響應(yīng)。如果操作者選擇沒有在預(yù)定時(shí)間段內(nèi)發(fā)生，或者如果在所述預(yù)定時(shí)間段過去之前啟動(dòng)了所述照相機(jī)，則所述處理器自動(dòng)選擇所述默認(rèn)攝像平臺(tái)作為所述主拍攝單元。
文檔編號(hào)H04N5/225GK101632295SQ200880007721
公開日2010年1月20日 申請(qǐng)日期2008年2月8日 優(yōu)先權(quán)日2007年3月9日
發(fā)明者K·A·帕魯爾斯基, W·F·小揚(yáng)森 申請(qǐng)人:伊斯曼柯達(dá)公司