專利名稱：成像裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種能夠校正對(duì)象圖像的畸變特別是廣角畸變的成像 裝置。
背景技術(shù)：
近幾年流行的數(shù)碼相機(jī)以數(shù)字?jǐn)?shù)據(jù)的形式獲取圖像。不同于相片 圖像，數(shù)字圖像數(shù)據(jù)可經(jīng)受各種圖像處理，以允許后期進(jìn)行所謂潤(rùn)色 來(lái)修改圖像和校正顏色。還有一項(xiàng)公知的技術(shù)是，在圖像獲取過(guò)程中 在圖片幀內(nèi)檢測(cè)人物面部并且進(jìn)行控制以獲得合適的面部大小以及適
當(dāng)?shù)牧炼?例如參見(jiàn)日本專利特開(kāi)公開(kāi)No. 2004-320284，對(duì)應(yīng)于美國(guó) 專利申請(qǐng)公開(kāi)No. 2004/0207743)。
同時(shí)，當(dāng)對(duì)象圖像通過(guò)透鏡形成在攝影膠片上或圖像傳感器上， 有時(shí)圖像會(huì)模糊或畸變。這些模糊和畸變發(fā)生的一個(gè)主要原因是所使 用透鏡的像差。特別地，模糊是由球面像差、像散(astigmatism)、慧 差(coma)和場(chǎng)曲造成的。
圖像的畸變?cè)诹硪环矫媸怯苫兿癫钤斐傻?。因?yàn)榛兿癫钍侨?射光較多遠(yuǎn)離透鏡中心折射的現(xiàn)象，導(dǎo)致的圖像的畸變(下文中的光 學(xué)畸變)根據(jù)透鏡和孔徑光闌之間的位置關(guān)系而改變。因此，在變焦 透鏡中，這個(gè)變焦透鏡的孔徑光闌改變與透鏡系統(tǒng)的相對(duì)位置，很難 均勻地減少光學(xué)畸變。
對(duì)于膠片照相機(jī)，為了減少光學(xué)畸變，除了布置攝影膠片的配置 或者拍攝鏡頭的設(shè)計(jì)之外沒(méi)有其他的選擇。然而，對(duì)于數(shù)碼相機(jī)來(lái)說(shuō)， 光學(xué)畸變可以通過(guò)對(duì)圖像數(shù)據(jù)應(yīng)用電子圖像變圖像轉(zhuǎn)換處理?yè)Q處理被減少。例如，已經(jīng)知道一種以不同的放大率顯示圖像的不同部分的視
頻攝影機(jī)(參見(jiàn)例如日本特開(kāi)公開(kāi)No. 09-018763)，和一種tongguo利 用一個(gè)圖像轉(zhuǎn)換處理減少捕獲圖像的光學(xué)畸變的數(shù)碼相機(jī)(參見(jiàn)例如 曰本專利特開(kāi)No. 11-252431)。
除了光學(xué)畸變，已知還存在廣角畸變。廣角畸變是當(dāng)三維對(duì)象通 過(guò)透鏡被投射到平面(圖像傳感器的光接收平面或攝影膠片)時(shí)發(fā)生 的一種現(xiàn)象，并且它具有從圖片幀的中央徑向拉長(zhǎng)圖像的作用。因此， 廣角畸變通常在廣角圖像中變得很明顯，并且在圖片幀的外圍中更加 突出。
由于廣角畸變由成像裝置的基本原理所導(dǎo)致，所以廣角畸變不能 被完全消除。然而，已經(jīng)知道當(dāng)采用具有較大像差的透鏡時(shí)，廣角畸 變變得較不明顯(參見(jiàn)例如日本專利特開(kāi)No. 11-065033)。
通常，普通透鏡具有45度視角，并且廣角畸變不是問(wèn)題。然而近 幾年，具有70度或更大視角的廣角透鏡開(kāi)始普及，由于廣角畸變?cè)斐?的圖像質(zhì)量損失變成一個(gè)嚴(yán)重的問(wèn)題。例如，如果用這種廣角透鏡獲 取群像(group image)，由于廣角畸變，在圖片幀外圍的人可能帶有 畸變的面部。
雖然如此，如果用具有較大像差的透鏡來(lái)減少?gòu)V角畸變，那么捕 獲圖像的光學(xué)畸變將顯著增加。例如，用這種透鏡獲取建筑物或這種 直線物體將只能得到其中直線發(fā)生彎曲的不自然的圖像。在專用效果 照相機(jī)中，例如公開(kāi)號(hào)11-065033的透鏡適應(yīng)膠片單元，這不是一個(gè)問(wèn) 題，但是對(duì)于一般的數(shù)碼相機(jī)卻是一個(gè)嚴(yán)重的問(wèn)題。

發(fā)明內(nèi)容
考慮到前述內(nèi)容，本發(fā)明的一個(gè)目的是提供一種能夠根據(jù)圖片幀 中的對(duì)象種類來(lái)校正圖像的畸變的成像裝置。為了達(dá)到上述和其他目的，根據(jù)本發(fā)明的成像裝置包括拍攝透 鏡；圖像傳感器；和用于校正用拍攝透鏡捕獲的圖像的光學(xué)畸變和廣 角畸變的畸變校正器。當(dāng)校正由拍攝透鏡的畸變像差所引發(fā)的光學(xué)畸 變時(shí)，所述畸變校正器對(duì)所述圖像施加圖像轉(zhuǎn)換處理，以向該圖像提 供光學(xué)畸變的相反符號(hào)的畸變。當(dāng)校正廣角畸變時(shí)，畸變校正器對(duì)所 述圖像施加圖像轉(zhuǎn)換處理，以將相應(yīng)于廣角畸變大小的負(fù)畸變提供給 圖像。
優(yōu)選提供校正選擇器用于選擇如何校正光學(xué)畸變和廣角畸變。優(yōu) 選地，當(dāng)由于拍攝透鏡的畸變像差造成的光學(xué)畸變?yōu)樨?fù)并且具有用于 校正廣角畸變的大小時(shí)，則校正選擇器不選擇校正光學(xué)畸變和廣角畸 變，而是用由拍攝透鏡的畸變像差造成的光學(xué)畸變來(lái)校正廣角畸變。
同樣優(yōu)選地，提供面部檢測(cè)器用于在圖像中檢測(cè)人物的面部。這 樣，當(dāng)在圖像中檢測(cè)到人物面部時(shí)，校正選擇器優(yōu)選選擇校正廣角畸 變。更加優(yōu)選地是，當(dāng)在預(yù)定的入射角之外檢測(cè)到人物面部時(shí)，校正 選擇器選擇校正廣角畸變。
進(jìn)一步優(yōu)選地，當(dāng)校正選擇器選擇校正廣角畸變和光學(xué)畸變時(shí)， 產(chǎn)生校正了光學(xué)畸變的光學(xué)畸變校正圖像，和校正了廣角畸變的廣角 畸變校正圖像。
在這種情況下，優(yōu)選廣角畸變校正圖像通過(guò)應(yīng)用圖像轉(zhuǎn)換處理以 對(duì)光學(xué)畸變校正圖像給予負(fù)畸變來(lái)產(chǎn)生。
優(yōu)選提供存儲(chǔ)設(shè)備，用于儲(chǔ)存光學(xué)畸變校正圖像和廣角畸變校正 圖像，并且更加優(yōu)選地提供顯示設(shè)備，該顯示設(shè)備首先從存儲(chǔ)設(shè)備中 獲取光學(xué)畸變校正圖像和廣角畸變校正圖像，平分這些圖像中的每一 幅，然后并列放置這些圖像的對(duì)應(yīng)一半，以及優(yōu)選提供圖像選擇器，用于選擇所述光學(xué)畸變校正圖像和所述廣角畸變校正圖像中的一幅， 然后從存儲(chǔ)設(shè)備中刪除沒(méi)有被選擇的一幅圖像。
更加優(yōu)選地，圖像轉(zhuǎn)換處理是使用坐標(biāo)變換函數(shù)的坐標(biāo)變換處理， 并且成像裝置包括校正系數(shù)表，該校正系數(shù)表包含坐標(biāo)變換函數(shù)的系 數(shù)。
根據(jù)本發(fā)明，成像裝置具有畸變校正器，該畸變校正器執(zhí)行圖像 轉(zhuǎn)換處理以校正光學(xué)和廣角畸變。因此，可易于生成基本沒(méi)有畸變的
圖像。此夕卜，在廣角畸變校正之前，檢測(cè)光學(xué)畸變的倍率(magnification) 以及檢測(cè)人物面部的存在/不存在，以及可以根據(jù)圖像的情況和對(duì)象種 類產(chǎn)生適當(dāng)校正的圖像。


本發(fā)明的以上目的和優(yōu)點(diǎn)，通過(guò)以下結(jié)合附圖閱讀的詳細(xì)說(shuō)明時(shí) 將變得更清楚，其中
圖1是根據(jù)本發(fā)明的數(shù)碼相機(jī)的透視圖； 圖2是數(shù)碼相機(jī)的后視圖3是示出根據(jù)第一實(shí)施例的數(shù)碼相機(jī)的電氣配置的結(jié)構(gòu)圖； 圖4A到圖4D是示出用來(lái)生成帶有負(fù)畸變的圖像的圖像轉(zhuǎn)換處理 的說(shuō)明圖5A到圖5C是光學(xué)畸變的說(shuō)明圖6是示出廣角畸變機(jī)制的說(shuō)明圖7是根據(jù)第一實(shí)施例的數(shù)碼相機(jī)的操作的流程圖8是用于有選擇地校正廣角畸變和光學(xué)畸變中的一個(gè)的流程圖9是示出根據(jù)第二實(shí)施例的數(shù)碼相機(jī)的電氣配置的結(jié)構(gòu)圖10是根據(jù)第二實(shí)施例的數(shù)碼相機(jī)的操作的流程圖11是用于根據(jù)拍攝鏡頭的特性判定是否校正廣角畸變的流程
圖12是示出根據(jù)第三實(shí)施例的數(shù)碼相機(jī)的電氣配置的結(jié)構(gòu)圖；.圖13是根據(jù)第三實(shí)施例的數(shù)碼相機(jī)的操作的流程圖14A和圖14B是示出根據(jù)面部檢測(cè)結(jié)果的圖像畸變校正的說(shuō)明
圖15是用于根據(jù)人物面部的位置來(lái)判定是否校正廣角畸變的流程
圖16A和圖16B是示出根據(jù)人物面部的位置的圖像畸變校正的說(shuō)
明圖17是用于存儲(chǔ)通過(guò)坐標(biāo)變換處理生成的光學(xué)畸變校正圖像和 廣角畸變校正圖像的流程圖18是用于存儲(chǔ)通過(guò)使用拍攝鏡頭的失真像差所生成的光學(xué)畸變 校正圖像和廣角畸變校正圖像的流程圖19是用于通過(guò)對(duì)光學(xué)畸變校正圖像施加坐標(biāo)變換處理來(lái)產(chǎn)生 廣角畸變校正圖像的流程圖；以及
圖20是用以闡明在廣角畸變校正圖像與光學(xué)畸變校正圖像之間 差異的顯示器的說(shuō)明圖。
具體實(shí)施例方式
參照?qǐng)D1，數(shù)碼相機(jī)(成像裝置)10由照相機(jī)主體11和可拆卸透 鏡單元12組成。
透鏡單元12包括透鏡筒16和位于該透鏡筒16中的拍攝鏡頭17。 該透鏡單元12和照相機(jī)主體11在它們的安裝部分具有用于相互聯(lián)鎖 的卡口爪(未示出)。當(dāng)透鏡單元12安裝在照相機(jī)主體11上并且被 轉(zhuǎn)動(dòng)時(shí)，則卡口爪相互聯(lián)鎖，并且透鏡單元12可靠地附著到照相機(jī)主 體11上。如果需要，可以將透鏡單元12從照相機(jī)主體U上拆卸下來(lái) 并替換為帶有不同類型拍攝鏡頭的另一透鏡單元。
在照相機(jī)主體11的前表面上提供開(kāi)鎖按鈕18和閃光發(fā)射器19。 為了防止透鏡筒16從照相機(jī)主體11上意外掉落， 一旦透鏡單.元12被附著到照相機(jī)主體ll上，則透鏡單元12被鎖定。開(kāi)鎖按鈕18被按下 以解除透鏡單元12的鎖定。眾所周知，例如，當(dāng)主要對(duì)象較暗時(shí)，激 活閃光發(fā)射器19。
在照相機(jī)主體11的頂表面上提供快門釋放按鈕21、模式選擇轉(zhuǎn)盤 22等?？扉T釋放按鈕21被分兩步按下?？扉T釋放按鈕21被按下一半 則激活初步操作，如自動(dòng)對(duì)焦調(diào)節(jié)(AF)和自動(dòng)曝光調(diào)節(jié)(AE),當(dāng) 完全按下快門釋放按鈕21時(shí)，捕獲物體的圖像。模式選擇轉(zhuǎn)盤22切 換數(shù)碼相機(jī)10的工作模式。數(shù)碼相機(jī)10在不同的工作模式下工作， 工作模式例如再現(xiàn)模式、多圖像捕獲模式和設(shè)置模式。
再現(xiàn)模式用于再現(xiàn)記錄介質(zhì)，例如存儲(chǔ)卡23 (見(jiàn)附圖3)中的圖 像，并且在顯示面板24 (以后說(shuō)明)上顯示再現(xiàn)的圖像。圖像捕獲模 式用于捕獲并將對(duì)象圖像存儲(chǔ)在存儲(chǔ)卡23中。數(shù)碼相機(jī)10提供遠(yuǎn)景 模式、近景模式、肖像模式、自動(dòng)模式、手動(dòng)模式、廣角畸變校正模 式和全景(group shot)模式，并且用模式選擇器轉(zhuǎn)盤來(lái)選擇這些模式 中的一個(gè)。例如，在自動(dòng)模式下，光學(xué)攝像條件被自動(dòng)地設(shè)定。在廣 角畸變校正模式下，在捕獲的圖像上自動(dòng)校正廣角畸變。在全景模式 下，用于全景的光學(xué)攝像條件被自動(dòng)地設(shè)定。數(shù)碼相機(jī)10對(duì)不同的圖 像捕獲模式執(zhí)行不同的攝像條件，并且根據(jù)選擇的圖像捕獲模式自動(dòng) 設(shè)定攝像條件。
設(shè)置模式允許精細(xì)調(diào)節(jié)照相機(jī)設(shè)置，例如顯示面板24的亮度和快 門聲音。在設(shè)置模式下，再現(xiàn)模式的設(shè)置和每個(gè)圖像捕獲模式的拍攝 條件可以被精細(xì)并獨(dú)立地改變。
再現(xiàn)模式的設(shè)置參數(shù)可以是例如顯示面板24的顯示方法。圖像捕 獲模式的設(shè)置參數(shù)可以是例如圖像畸變校正的必要性(開(kāi)/關(guān))和圖像 畸變校正的方法。如圖2所示，數(shù)碼相機(jī)10的后表面具有電源按鈕26、變焦鍵27、 十字鍵28和顯示面板24。當(dāng)電源按鈕26被按下一段時(shí)間，打開(kāi)和關(guān) 閉數(shù)碼相機(jī)10。變焦鍵27被按下以通過(guò)改變拍攝鏡頭17的焦距來(lái)連 續(xù)改變圖像的放大率。四個(gè)方向的十字鍵28被按下以在顯示面板24 上選擇菜單、圖像等。顯示面板24是液晶顯示面板。在圖像捕獲模式 下，顯示面板24相當(dāng)于電子取景器，用于實(shí)時(shí)顯示直通圖像。
在照相機(jī)主體11的側(cè)面上有卡槽、通信端口和電源連接器(都未 示出)。存儲(chǔ)卡23或類似的存儲(chǔ)介質(zhì)被插入和移出卡槽。通信端口耦 合到外部設(shè)備，外部設(shè)備例如電腦和打印機(jī)，以允許傳送和接收捕獲 的圖像和所需的信息。電源連接器被耦合到外部電源以對(duì)數(shù)碼相機(jī)10 的內(nèi)部電池充電。
如圖3所示，拍攝鏡頭17例如由變焦透鏡31、聚焦透鏡32和孔 徑光闌33組成。該變焦透鏡31和該聚焦透鏡32可以沿拍攝鏡頭17 的光軸L在廣角側(cè)與遠(yuǎn)攝側(cè)之間移動(dòng)。變焦透鏡31根據(jù)對(duì)變焦鍵27 的按壓來(lái)移動(dòng)，并且改變圖像的放大率。聚焦透鏡32與變焦透鏡31 協(xié)同移動(dòng)或響應(yīng)按下快門釋放按鈕21—半而移動(dòng)，以對(duì)對(duì)象完成聚焦。 孔徑光闌33改變孔徑的大小并改變用于圖像捕獲的光量。特別是，當(dāng) 快門釋放按鈕21被按下一半時(shí)，孔徑光闌33根據(jù)曝光量改變孔徑的 大小。
變焦透鏡31、聚焦透鏡32和孔徑光闌33由透鏡馬達(dá)36驅(qū)動(dòng)。該 透鏡馬達(dá)36包括分別驅(qū)動(dòng)變焦透鏡31、聚焦透鏡32和孔徑光闌33的 多個(gè)馬達(dá)。透鏡馬達(dá)36由從CPU 37接收控制信號(hào)的馬達(dá)驅(qū)動(dòng)器38控 制。
在拍攝鏡頭17后面放置CCD 39。該CCD 39對(duì)通過(guò)拍攝鏡頭17 聚焦在光接收表面上的對(duì)象圖像進(jìn)行光電變換，并且輸出模擬圖像信 號(hào)。由從CPU 37接收控制信號(hào)的CCD驅(qū)動(dòng)器41控制CCD 39的操作。CCD39產(chǎn)生兩種類型的圖像信號(hào)， 一種是以大量像素記錄的圖像 信號(hào)(在下文中主(principal)圖像信號(hào))，它在當(dāng)完全按下快門釋放 按鈕21來(lái)記錄圖像時(shí)產(chǎn)生，另一種則是用于在取景時(shí)在顯示面板24 上顯示直通圖像的直通圖像信號(hào)。主圖象信號(hào)首先被轉(zhuǎn)換為數(shù)字形式 的主圖象數(shù)據(jù)，并且經(jīng)過(guò)各種圖像處理，然后存儲(chǔ)在存儲(chǔ)卡23中。同 時(shí)，直通圖像信號(hào)首先被轉(zhuǎn)換為數(shù)字形式的直通圖像數(shù)據(jù)，并經(jīng)過(guò)各 種簡(jiǎn)單圖像處理，然后暫時(shí)存儲(chǔ)在SDRAM 42中。該直通圖像數(shù)據(jù)被 從SDRAM 42中取得，并通過(guò)解碼器43轉(zhuǎn)變?yōu)槟M形式的復(fù)合信號(hào)， 然后被顯示在顯示面板24上。CCD 39以例如每秒30幀的幀頻產(chǎn)生直 通圖像信號(hào)。
從CCD 39中輸出的圖像信號(hào)被輸入到用于從圖像中去除噪音的 相關(guān)雙釆樣電路(CDS) 44中，然后由信號(hào)放大電路(AMP) 46放大。 放大后的圖像信號(hào)由A/D轉(zhuǎn)換器(A/D) 47轉(zhuǎn)換為圖像數(shù)據(jù)。該圖像 數(shù)據(jù)是對(duì)應(yīng)于CCD 39的每個(gè)單元中的電荷量的RGB圖像數(shù)據(jù)。
DSP48包括圖像輸入控制器51、圖像質(zhì)量校正電路52、 Y/C轉(zhuǎn)換 電路53和壓縮/解壓縮電路54。圖像輸入控制器51暫時(shí)地存儲(chǔ)(緩存) 來(lái)自A/D 47的圖像數(shù)據(jù)，并且把數(shù)據(jù)寫入通過(guò)數(shù)據(jù)總線57連接的 SDRAM 42。
圖像質(zhì)量校正電路52從SDRAM 42獲取圖像數(shù)據(jù)，并且對(duì)圖像 數(shù)據(jù)應(yīng)用如灰度級(jí)處理、白平衡校正處理和伽瑪校正處理的圖像質(zhì)量 校正處理，然后再次將該校正后的圖像數(shù)據(jù)存儲(chǔ)到SDRAM 42。
Y/C轉(zhuǎn)換電路53在圖像質(zhì)量校正電路52校正圖像質(zhì)量之后，從 SDRAM 42中獲取圖像數(shù)據(jù)，并且將所述數(shù)據(jù)轉(zhuǎn)換成亮度信號(hào)Y和色 差信號(hào)Cr、 Cb。在Y/C變換之后，壓縮/解壓縮電路54以諸如JPEG 格式來(lái)壓縮略圖像數(shù)據(jù)，并且以預(yù)定文件格式輸出數(shù)據(jù)。該壓縮后的圖像數(shù)據(jù)通過(guò)介質(zhì)控制器56存儲(chǔ)在存儲(chǔ)卡23中。
此外，AE/AWB檢測(cè)電路和AF檢測(cè)電路(都未示出)也連接到 數(shù)據(jù)總線57。所述AE/AWB檢測(cè)電路確定快門速度和孔徑光闌值的組 合，并且根據(jù)計(jì)算的曝光量計(jì)算白平衡的校正量。所述AF檢測(cè)電路移 動(dòng)聚焦透鏡32并確定最大對(duì)比度位置。CPU 37將聚焦透鏡32放置到 最大對(duì)比度位置。
SDRAM 42是用于臨時(shí)存儲(chǔ)圖像數(shù)據(jù)的工作存儲(chǔ)器，并且也是裝 載數(shù)碼相機(jī)10的控制程序和其他所需程序的地方。所述SDRAM 42具 有VRAM區(qū)用于存儲(chǔ)直通圖像，直通圖像以上述幀頻進(jìn)行更新。
CPU 37從EEPROM 58中獲取控制程序并且運(yùn)行該程序以控制數(shù) 碼相機(jī)10的所有部件。該EEPROM 58包含所述控制程序和數(shù)碼相機(jī) 10的各種設(shè)置信息。所述EEPROM 58還帶有光學(xué)畸變校正系數(shù)表(在 下文中的光學(xué)校正表)60和廣角畸變校正系數(shù)表(在下文中的廣角校 正表)61。
光學(xué)校正表60包含用于校正捕獲圖像的光學(xué)畸變的坐標(biāo)變換函數(shù) 的系數(shù)(參數(shù))。特別是，光學(xué)校正表60包含用于拍攝鏡頭17的每 個(gè)焦距的多個(gè)系數(shù)集An (n=l， 2， 3，…)?？紤]到得自所用透鏡結(jié) 構(gòu)的在每個(gè)焦距處的光學(xué)畸變，來(lái)確定每個(gè)系數(shù)集。
廣角校正表61包含用于校正捕獲圖像的廣角畸變的坐標(biāo)變換函數(shù) 的系數(shù)(參數(shù))，并且包含用于不同廣角畸變大小的多個(gè)系數(shù)集。
畸變校正部件62包含校正量計(jì)算部件63、焦距確定部件64和畸 變估算部件65?；冃Ｕ考?2對(duì)主圖象的未處理的圖像數(shù)據(jù)(在下 文中中的原始主圖象數(shù)據(jù))應(yīng)用坐標(biāo)變換處理，并且校正畸變和廣角 畸變。焦距確定部件64根據(jù)所用透鏡單元12中的變焦透鏡31的位置，
在拍攝時(shí)演算拍攝鏡頭17的焦距，并且將該焦距作為焦距數(shù)據(jù)與圖像 數(shù)據(jù)相關(guān)聯(lián)，然后存儲(chǔ)焦距數(shù)據(jù)到SDRAM 42。
根據(jù)焦距數(shù)據(jù)，畸變估算部件65估算捕獲圖像的廣角畸變的大小。 將估算的大小與圖像數(shù)據(jù)相關(guān)聯(lián)，并且作為畸變數(shù)據(jù)存儲(chǔ)在SDRAM 42 中。
校正量計(jì)算部件63對(duì)原始主圖像數(shù)據(jù)應(yīng)用坐標(biāo)變換處理(圖像轉(zhuǎn) 換處理)，使圖像具有正的或負(fù)的大小與由拍攝透鏡17的畸變像差所 導(dǎo)致的光學(xué)畸變相同的畸變。優(yōu)選使用例如如下的變換函數(shù)來(lái)執(zhí)行該 坐標(biāo)變換處理，R=IAnxrn=Alxr+A2xr2+A3xr3+...，其中，r是每個(gè)像
素距離原始圖像中心的高度，而R是每個(gè)像素在坐標(biāo)變換處理后的高 度。此外，系數(shù)An (Al， A2， A3，...)是確定變換函數(shù)的特性的參 數(shù)，并且用光學(xué)校正表60或廣角校正表61中的系數(shù)替換。
為了校正廣角畸變，當(dāng)使用廣角校正表61中的系數(shù)對(duì)原始主圖像 數(shù)據(jù)應(yīng)用坐標(biāo)變換處理時(shí)，得到的圖像通常帶有桶形畸變。即，圖像 在校正量計(jì)算部件63中經(jīng)過(guò)坐標(biāo)變換處理后收縮成桶形。在這種情況 下，如圖4A和4B所示，經(jīng)過(guò)處理的圖像72可能比原始圖像的圖片圖 片幀71更窄，導(dǎo)致在其外圍具有沒(méi)有圖像數(shù)據(jù)的空白部分74。
為了解決圖4B的這個(gè)問(wèn)題，確定系數(shù)An，以便當(dāng)圖像變成桶形 時(shí)使圖像被放大。 一個(gè)示例是A1〉1。當(dāng)由此確定系數(shù)An時(shí)，圖像72 首先被放大，如圖4C所示，并且然后，如圖4D所示，在區(qū)域76中與 圖片幀71 —樣大小的圖像在坐標(biāo)變換處理后變?yōu)閳D像77。
替代A1〉1，系數(shù)可以是AB1。在這種情況下，調(diào)節(jié)高階項(xiàng)系數(shù) (A2， A3，...)以放大整個(gè)圖像。在另一方面，光學(xué)校正表60包含系數(shù)集，該系數(shù)集用于校正取決 于透鏡的畸變像差的正和負(fù)的畸變。因此，當(dāng)對(duì)原始主圖像數(shù)據(jù)應(yīng)用 坐標(biāo)變換處理時(shí)，有些時(shí)候原始圖像出現(xiàn)正畸變，并且在另一些時(shí)候 原始圖像出現(xiàn)負(fù)畸變。
當(dāng)校正正畸變時(shí)，放大圖像，類似于使用廣角校正表61的坐標(biāo)變 換處理，使得不失去圖像外圍。當(dāng)校正負(fù)畸變時(shí)，圖像被放大以便放 大率隨著從中心的距離而增加。在任何情況下，至少圖像的一部分被 放大，并且在經(jīng)過(guò)處理后的圖像將具有原始圖像沒(méi)有的像素。然而， 將相鄰像素的數(shù)據(jù)插入這些像素。
接下來(lái)，解釋具有上述結(jié)構(gòu)的數(shù)碼相機(jī)10的操作。例如，當(dāng)從前 面捕獲柵格圖像時(shí)，理想的圖像看上去將與真實(shí)的柵格一致，例如圖
5A所示，其中，在圖像82中的任何地方，柵格81都被平均分隔。然 而，實(shí)際上，拍攝鏡頭的畸變像差導(dǎo)致了圖像的光學(xué)畸變。例如，在 遠(yuǎn)攝側(cè)處的數(shù)碼相機(jī)10的拍攝鏡頭17捕獲圖像將造成所謂枕形畸變 (在下文中的正畸變)，如圖5B所述，這里當(dāng)與理想圖像對(duì)比時(shí)，圖 像83的外圍被放大更多。相反，用廣角側(cè)處的拍攝鏡頭17捕獲圖像 時(shí)將造成所謂桶形畸變(在下文中的負(fù)畸變)，如圖5C所示，這里當(dāng) 與理想圖像比較時(shí)，圖像84的外圍被縮小更多。
正畸變或是負(fù)畸變以及畸變大小由所使用的拍攝鏡頭17的配置和 焦距決定。此外，有時(shí)畸變可能是復(fù)雜的，畸變的符號(hào)根據(jù)圖的高度 而轉(zhuǎn)變。因此，以下的實(shí)施例將利用在遠(yuǎn)景側(cè)產(chǎn)生正畸變和在廣角側(cè) 產(chǎn)生負(fù)畸變的拍攝鏡頭解釋，除非闡述另外的拍攝鏡頭特性。
眾所周知，圖像的正畸變通過(guò)用圖像轉(zhuǎn)換處理導(dǎo)致同樣大小的負(fù) 畸變來(lái)校正。類似地，圖像的負(fù)畸變通過(guò)用圖像轉(zhuǎn)換處理產(chǎn)生同樣大 小的正畸變來(lái)校正。.除上述光學(xué)畸變以外，當(dāng)捕獲三維對(duì)象時(shí)，出現(xiàn)廣角畸變導(dǎo)致對(duì) 象圖像從圖片幀的中心被徑向拉長(zhǎng)。
例如，如圖6所示，當(dāng)數(shù)碼相機(jī)IO捕獲水平成直線的三個(gè)球體86a 到86c的圖像時(shí)，在所捕獲的圖像87的中心出現(xiàn)位于拍攝鏡頭17前面 的球體86b的圖形88b。該圖形88b是圓盤，并且絲毫不小于從前方看 到的球體86b的理想形狀。
這里，因?yàn)榍蝮w86a到86c都是三維的，當(dāng)從拍攝鏡頭17觀察時(shí)， 在拍攝鏡頭17對(duì)角前面的球體86c的直徑被感知為線段P1P2。當(dāng)球體 86c的光通過(guò)拍攝鏡頭17被聚焦到CCD 39的光接收表面89上時(shí)，三 角形P0P1P2在幾何上與三角形P0P3P4非常相似，但是三角形P0P1P2 與三角形P0P3P5并不相似。結(jié)果，線段P1P2被從理想線段P3P4拉長(zhǎng) 為線段P3P5，并且聚焦在光接收表面89上。用這種方式，具有大入射 角度0并且位于圖片幀外圍的球體86c的圖形88c被從圖像87的中心 徑向拉長(zhǎng)。對(duì)于圖形88a和88d到88i也同樣適用。
如上所述，廣角畸變是由對(duì)象、拍攝鏡頭和光接收表面的幾何位 置以及對(duì)象是三維的所導(dǎo)致的，并且獨(dú)立于由拍攝鏡頭17的像差導(dǎo)致 的光學(xué)畸變等圖像畸變發(fā)生。特別是，對(duì)拍攝鏡頭17具有大入射角度 的圖形來(lái)說(shuō)，廣角畸變更加顯著。
接下來(lái)，參考附圖7，解釋對(duì)廣角畸變進(jìn)行的校正。當(dāng)捕獲主圖像 時(shí)，得到拍攝鏡頭17的焦距數(shù)據(jù)。然后，根據(jù)該焦距數(shù)據(jù)，估算出廣 角畸變的大小。
根據(jù)該廣角畸變的大小，畸變校正部件62從廣角校正表61中選 擇系數(shù)，并且使用該選擇的系數(shù)對(duì)原始主圖像數(shù)據(jù)應(yīng)用坐標(biāo)變換處理。 產(chǎn)生對(duì)應(yīng)于該廣角畸變大小的負(fù)畸變，以消除徑向拉長(zhǎng)廣角畸變，并且由此產(chǎn)生校正了廣角畸變的圖像。
當(dāng)用這種方式校正廣角畸變時(shí)，如果可以選擇校正廣角畸變和光 學(xué)畸變中的一個(gè)，則將會(huì)更加方便。即，數(shù)碼相機(jī)可以被設(shè)置為根據(jù) 例如所選擇的圖像捕獲模式來(lái)選擇廣角畸變校正函數(shù)或光學(xué)畸變校正 函數(shù)，或設(shè)有選擇器按鈕以允許使用者選擇這些函數(shù)中的一個(gè)。
圖8示出了一個(gè)實(shí)施例，在這個(gè)實(shí)施例中根據(jù)圖像捕獲模式選擇 廣角畸變校正函數(shù)或光學(xué)畸變校正函數(shù)。根據(jù)在圖像捕獲期間得到的 焦距數(shù)據(jù)，估算出廣角畸變和光學(xué)畸變的大小，并且作為畸變信息被 存儲(chǔ)。當(dāng)選擇廣角畸變校正函數(shù)時(shí)，則通過(guò)所述的坐標(biāo)變化處理來(lái)校 正廣角畸變。
另一方面，當(dāng)選擇光學(xué)畸變校正函數(shù)時(shí)，畸變校正部件62根據(jù)所 述焦距從光學(xué)校正表60中選擇坐標(biāo)變換處理的系數(shù)。
例如，使用在廣角側(cè)處的拍攝鏡頭17捕獲的圖像將具有負(fù)畸變， 但是使用根據(jù)焦距選擇的系數(shù)，由該拍攝鏡頭17的像差造成的該負(fù)畸 變通過(guò)坐標(biāo)變換處理導(dǎo)致的正畸變被消除，并且生成校正了廣角畸變 的圖像。
另外，使用在遠(yuǎn)景側(cè)處的拍攝鏡頭17捕獲的圖像將具有正畸變， 但是從光學(xué)校正表60中選擇產(chǎn)生負(fù)畸變的系數(shù)。由拍攝透鏡17的像 差造成的正畸變通過(guò)坐標(biāo)變換處理產(chǎn)生的負(fù)畸變被消除，并且生成校 正了光學(xué)畸變的圖像。
使用這種方法，選擇和校正廣角畸變或光學(xué)畸變中的一個(gè)允許容 易地生成根據(jù)對(duì)象種類和拍攝條件適當(dāng)校正的圖像。
由于EEPROM 58具有有限的存儲(chǔ)大小，光學(xué)校正表60和廣角校正表61不能總是包含用于每一個(gè)拍攝鏡頭17的各種系數(shù)。此外，例
如，當(dāng)手動(dòng)調(diào)節(jié)焦距或其他參數(shù)時(shí)，在光學(xué)校正表60和廣角校正表61
中不能找到用于校正在經(jīng)調(diào)節(jié)的焦距上的畸變的適當(dāng)系數(shù)。在這種情 況下，缺少的系數(shù)利用校正表中的系數(shù)來(lái)插值。
在上述實(shí)施例中，產(chǎn)生負(fù)畸變的坐標(biāo)變換處理被應(yīng)用于帶有廣角 畸變的圖像，透鏡的畸變像差可以用來(lái)校正廣角畸變。這將作為第二 實(shí)施例在下文中解釋，在第二實(shí)施例中同樣的元件用與第一實(shí)施例同 樣的數(shù)字來(lái)表示，并且省略對(duì)其的詳細(xì)解釋。
在圖9中，拍攝鏡頭212具有至少在廣角側(cè)產(chǎn)生負(fù)畸變的光學(xué)特 性。但是，更優(yōu)選拍攝鏡頭212跨廣角端到遠(yuǎn)攝端都產(chǎn)生負(fù)畸變。此 外，數(shù)碼相機(jī)210可以啟用和禁用(開(kāi)/關(guān))廣角校正功能。因此，如 圖10所示，當(dāng)在廣角畸變校正功能關(guān)閉的情況下捕獲圖像時(shí)，畸變校 正部件211對(duì)原始主圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變換處理， 并且生成校正了光學(xué)畸變的圖像。
當(dāng)在廣角畸變校正功能打開(kāi)的情況下捕獲圖像時(shí)，畸變校正部件 211在校正量計(jì)算部件63中禁用坐標(biāo)變換處理。即，畸變校正部件211 不對(duì)捕獲的圖像應(yīng)用坐標(biāo)變換處理。結(jié)果，由拍攝鏡頭212畸變像差 造成的使圖像收縮的光學(xué)畸變和使圖像拉長(zhǎng)的廣角畸變相互抵消，生 成校正了廣角畸變的圖像。
如所述，數(shù)碼相機(jī)210使用拍攝鏡頭212的畸變像差校正廣角畸 變，并且不需要用于校正廣角畸變的圖像處理。這使得它能夠容易在 短時(shí)間內(nèi)生成校正了廣角畸變的圖像。此外，不需要在EEPROM 58中 存儲(chǔ)用于廣角畸變校正的系數(shù)，可以節(jié)省存儲(chǔ)容量。
.在數(shù)碼相機(jī)210中在啟用廣角畸變校正功能的情況下校正廣角畸變，并且在禁用廣角畸變校正功能的情況下校正光學(xué)畸變，除此之外， 可以根據(jù)附著的拍攝鏡頭212的特性有選擇地校正光學(xué)畸變和廣角畸 變。
例如，在開(kāi)啟廣角畸變校正功能時(shí)，數(shù)碼相機(jī)210只在拍攝鏡頭
212的畸變像差造成的光學(xué)畸變具有足夠大小以減少?gòu)V角畸變時(shí)，才可 以被設(shè)定為禁用校正量計(jì)算部件63的圖像轉(zhuǎn)換處理，而不是總是禁用 圖像轉(zhuǎn)換處理。
換句話說(shuō)，如圖11所示，當(dāng)在關(guān)閉廣角畸變校正功能的情況下捕 獲圖像時(shí)，畸變校正部件211根據(jù)畸變數(shù)據(jù)從光學(xué)校正表113中選擇 系數(shù)，并且使用所選擇的系數(shù)對(duì)原始主圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校 正的坐標(biāo)變換處理。
在另一方面，當(dāng)在開(kāi)啟廣角畸變校正功能的情況下捕獲圖像時(shí)， 畸變校正部件211根據(jù)畸變數(shù)據(jù)比較捕獲圖像的光學(xué)畸變和廣角畸變。 然后，如果光學(xué)畸變具有負(fù)號(hào)和足夠量以校正廣角畸變，則畸變校正 部件211禁用校正量計(jì)算部件63的坐標(biāo)變換處理并且使用由拍攝鏡頭 212的畸變像差造成的負(fù)畸變來(lái)校正廣角畸變。
然而，如果光學(xué)畸變具有正號(hào)，則即使當(dāng)廣角畸變校正功能開(kāi)啟 時(shí)，畸變校正部件211在校正量計(jì)算部件63中對(duì)原始主圖像數(shù)據(jù)應(yīng)用 坐標(biāo)變換處理，并且校正光學(xué)畸變而不是廣角畸變。
即使當(dāng)光學(xué)畸變具有負(fù)號(hào)并且啟用廣角畸變校正功能時(shí)，如果光 學(xué)畸變不具有校正廣角畸變的大小，則畸變校正部件211再一次在校 正量計(jì)算部件63中應(yīng)用坐標(biāo)變換處理并且校正光學(xué)畸變而不是廣角畸 變。
此外，如果光學(xué)畸變過(guò)大以致過(guò)分地校正廣角賄變并且使圖像小于理想形狀以致顯出負(fù)畸變，則畸變校正部件211即使在開(kāi)啟廣角畸 變校正功能時(shí)依然應(yīng)用坐標(biāo)變換處理，以便校正光學(xué)畸變而不是廣角 畸變。
用這種方法，數(shù)碼相機(jī)210根據(jù)拍攝鏡頭212的特性決定校正廣 角畸變還是光學(xué)畸變，并且生成根據(jù)捕獲圖像時(shí)的條件適當(dāng)校正了畸 變的圖像。同樣還可以防止廣角畸變沒(méi)有被充分校正以及此外光學(xué)畸 變變得顯著的情況。
在第一和第二實(shí)施例中，根據(jù)圖像捕獲模式的設(shè)定選擇性地校正 廣角畸變和光學(xué)畸變中的一個(gè)，可以根據(jù)對(duì)象的類型來(lái)選擇性地校正 兩者中的一個(gè)。這將作為第三實(shí)施例在下文中解釋，在第三實(shí)施例中 同樣的元件由與上述實(shí)施例同樣的數(shù)字表示，并且省略對(duì)其的詳細(xì)解 釋。
如圖12所示，數(shù)碼相機(jī)310包括用于在圖片幀中檢測(cè)人物面部的 面部檢測(cè)部件311。所得到的信息，如存在/不存在人物面部、所檢測(cè) 到的面部的位置、大小、數(shù)量，被作為面部檢測(cè)數(shù)據(jù)存儲(chǔ)到SDRAM 42 中。面部檢測(cè)數(shù)據(jù)被畸變校正部件312獲取，并用來(lái)決定校正光學(xué)畸 變還是廣角畸變。面部檢測(cè)通過(guò)所謂圖形匹配方法來(lái)執(zhí)行，該圖形匹 配方法將捕獲的圖像與眼睛、鼻子、嘴以及其他特征部分的模板圖像 相比較，但是也可以代之以使用普通的方法如檢測(cè)圖像中的肉色像素。
畸變校正部件312校正廣角畸變或光學(xué)畸變。根據(jù)面部檢測(cè)數(shù)據(jù) 來(lái)決定是校正廣角畸變還是光學(xué)畸變。
如圖13所示，當(dāng)用數(shù)碼相機(jī)310捕獲圖像時(shí)，獲得焦距數(shù)據(jù)和對(duì) 象的圖像。然后，根據(jù)該焦距數(shù)據(jù)，獲得并保存表示廣角畸變和光學(xué) 畸變的大小的畸變數(shù)據(jù)。在這個(gè)例子中，面部檢測(cè)部件311檢測(cè)圖片幀中的人物面部，并 且將如存在/不存在人物面部、檢測(cè)到的面部的位置和大小的信息作為 面部檢測(cè)數(shù)據(jù)進(jìn)行存儲(chǔ)。
當(dāng)檢測(cè)到人物面部時(shí)，畸變校正部件312根據(jù)畸變數(shù)據(jù)從廣角校 正表61中選擇適當(dāng)?shù)南禂?shù)，并且使用所選擇的系數(shù)對(duì)原始主圖像數(shù)據(jù) 應(yīng)用用于廣角畸變校正的坐標(biāo)變換處理。
另一方面，當(dāng)沒(méi)有檢測(cè)到人物面部時(shí)，畸變校正部件312根據(jù)焦 距從光學(xué)校正表113中選擇適當(dāng)?shù)南禂?shù)，并且使用所選擇的系數(shù)應(yīng)用
用于光學(xué)畸變校正的坐標(biāo)變換處理。
使用這種方法，數(shù)碼相機(jī)310根據(jù)面部檢測(cè)的結(jié)果，決定校正廣 角畸變還是光學(xué)畸變，并且自動(dòng)對(duì)捕獲圖像的對(duì)象執(zhí)行適當(dāng)?shù)幕冃?正。
為了確切，如圖14A所示，當(dāng)在捕獲圖像的圖片幀316a中檢測(cè)到 人物面部317a、 317b時(shí)，數(shù)碼相機(jī)310對(duì)圖片幀316a中的圖像應(yīng)用用
于廣角畸變校正的坐標(biāo)變換處理，并且將校正了廣角畸變的圖片幀 316b存儲(chǔ)在存儲(chǔ)卡23中。因此，提升了圖片幀316b中的背景318上 的光學(xué)畸變。然而，圖片幀316b中的面部317a、 317b被校正使得它們 與它們的實(shí)際形狀接近相同，而由于廣角畸變，屈片幀316a中的面部 317a、 317b與它們的實(shí)際形狀不同。
另一方面，如圖14B所示，當(dāng)在圖片幀316c中沒(méi)有檢測(cè)到人物面 部時(shí)，數(shù)碼相機(jī)310對(duì)圖片幀316c應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變換 處理，并且將校正了光學(xué)畸變的圖片幀316d存儲(chǔ)在存儲(chǔ)卡23中。因 此，廣角畸變?cè)趫D片幀316中依然有些引人注目。然而，圖片幀316d 中的建筑物319被校正使得它們具有它們應(yīng)該具有的直線，而圖片幀316c中的建筑物319被畸變?yōu)橥靶巍?br> 使用這種方法，數(shù)碼相機(jī)310自動(dòng)對(duì)全景或與人有關(guān)的圖像執(zhí)行 廣角畸變校正而不是光學(xué)畸變校正，在上述與人有關(guān)的圖像中，廣角 畸變對(duì)人、主要對(duì)象的影響比光學(xué)畸變校正對(duì)背景的影響更加重要。 另一方面，如果捕獲的圖像是與建筑有關(guān)的圖像或直線對(duì)象的圖像， 則光學(xué)畸變被自動(dòng)校正，在上述與建筑有關(guān)的圖像或直線對(duì)象的圖像 中，光學(xué)畸變比廣角畸變更重要。因此，用數(shù)碼相機(jī)310，能夠容易地 產(chǎn)生根據(jù)對(duì)象的種類校正了廣角畸變或光學(xué)畸變的圖像。
在第三實(shí)施例中，根據(jù)是否檢測(cè)到人物面部，來(lái)選擇廣角畸變校 正還是光學(xué)畸變校正，可以根據(jù)所檢測(cè)到的人物面部的大小、數(shù)量或
位置或是它們的組合做出選擇。
例如，如圖15所示，當(dāng)在捕獲的圖片幀中沒(méi)有檢測(cè)到人物面部時(shí)， 畸變校正部件312根據(jù)焦距從光學(xué)校正表113中選擇合適的系數(shù)，并 且使用選擇的系數(shù)對(duì)原始主圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變 換處理。
另一方面，當(dāng)檢測(cè)到人物面部時(shí)，根據(jù)檢測(cè)到的面部的位置來(lái)校 正廣角畸變或是光學(xué)畸變。即，畸變校正部件312根據(jù)面部檢測(cè)數(shù)據(jù) 和焦距數(shù)據(jù)來(lái)判定檢測(cè)到的面部是否在預(yù)定的入射角內(nèi)(例如對(duì)角線 上的45度入射)。
如果檢測(cè)到的面部在預(yù)定的入射角內(nèi)，畸變校正部件312根據(jù)焦 距從光學(xué)校正表113中選擇適當(dāng)?shù)南禂?shù)，并且使用選擇的系數(shù)對(duì)原始 主圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變換處理。
如果檢測(cè)到的面部在預(yù)定的入射角外Z畸變校正部件312根據(jù)畸 變數(shù)據(jù)從廣角校正表61中選擇適當(dāng)?shù)南禂?shù)，并且使用選擇的系數(shù)對(duì)原始主圖像數(shù)據(jù)應(yīng)用用于廣角畸變校正的坐標(biāo)變換處理。
因?yàn)楦鶕?jù)圖片幀中的檢測(cè)面部的位置，例如在預(yù)定入射角內(nèi)部或 外部，來(lái)選擇廣角畸變校正或光學(xué)畸變校正圖片幀，根據(jù)廣角畸變對(duì) 捕獲的人物的影響，自動(dòng)地并且適當(dāng)?shù)匦Ｕ儭?br> 更加具體的，如圖16A所示，當(dāng)在圖片幀321中檢測(cè)到人物面部
322a到322c時(shí)，將這些面部的位置與預(yù)定入射角的區(qū)域323進(jìn)行比較。 在圖片幀321中，面部322a到322c都在區(qū)域323中，并且實(shí)際上廣角 畸變并不顯著。因此，對(duì)圖片幀321應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變 換處理，并且將在背景324上校正了光學(xué)畸變的圖像325存儲(chǔ)在存儲(chǔ) 卡23中。
同樣，如圖16B所示，當(dāng)在圖片幀326中檢測(cè)到人物面部322a 到322f時(shí)，將這些面部的位置與預(yù)定入射角的區(qū)域323進(jìn)行比較。在 圖片幀326中，廣角畸變實(shí)際在位于區(qū)域323中的面部322a到322c 上并不顯著，在位于區(qū)域323外的面部322d到322f上顯著。因此，對(duì) 圖片幀326應(yīng)用用于廣角畸變校正的坐標(biāo)變換處理，并且將校正了在 面部322a到322f上的廣角畸變的圖像327存儲(chǔ)在存儲(chǔ)卡23中。
采用這種方法，當(dāng)人物面部在廣角畸變不明顯的預(yù)定入射角內(nèi)時(shí) 校正光學(xué)畸變，而當(dāng)人物面部在廣角畸變明顯的預(yù)定入射角外時(shí)則校 正廣角畸變。因此，可以容易地生成根據(jù)在人物面部上的廣角畸變的 大小校正了廣角畸變或光學(xué)畸變的圖像。
此外，如果根據(jù)檢測(cè)到的人物面部的大小選擇廣角畸變校正或光 學(xué)畸變校正，不僅對(duì)人物的存在自動(dòng)進(jìn)行檢測(cè)，還對(duì)這個(gè)人物是否是 主要對(duì)象進(jìn)行檢測(cè)。這允許對(duì)捕獲的圖像進(jìn)行更加有效的畸變校正。
在第三實(shí)施例中，類似于第一實(shí)施例，通過(guò)對(duì)捕獲的圖像應(yīng)用坐標(biāo)變換處理來(lái)校正廣角畸變，如第二實(shí)施例那樣，可以使用由拍攝鏡 頭的畸變像差造成的光學(xué)畸變來(lái)校正廣角畸變。
在第一到第三實(shí)施例中，被校正了廣角畸變或光學(xué)畸變的圖像被 存儲(chǔ)在存儲(chǔ)卡23中。然而，也可以在存儲(chǔ)卡23中存儲(chǔ)校正了廣角畸 變的圖像(在下文中的廣角畸變校正圖像)和校正了光學(xué)畸變的圖像 (在下文中的光學(xué)畸變校正圖像)。
例如，當(dāng)如第一實(shí)施例那樣通過(guò)應(yīng)用坐標(biāo)變換處理來(lái)校正光學(xué)畸
變時(shí)，對(duì)暫時(shí)存儲(chǔ)在SDRAM 42中的圖像數(shù)據(jù)應(yīng)用用于廣角畸變校正 的坐標(biāo)變換處理，如圖17所示，并且將廣角畸變校正圖像存儲(chǔ)到存儲(chǔ) 卡23中。在這個(gè)例子中，圖像數(shù)據(jù)沒(méi)有從SDRAM 42中刪除。然后， 將用于光學(xué)畸變校正的坐標(biāo)變換處理應(yīng)用于SDRAM 42中的圖像數(shù) 據(jù)，并且將光學(xué)畸變校正圖像存儲(chǔ)到存儲(chǔ)卡23中。在這個(gè)步驟，圖像 數(shù)據(jù)被從SDRAM 42中刪除。
可選擇地，當(dāng)如第二實(shí)施例那樣只用由拍攝鏡頭的畸變像差造成 的負(fù)畸變來(lái)校正廣角畸變時(shí)，暫時(shí)存儲(chǔ)在SDRAM 42中的圖像數(shù)據(jù)首 先被作為廣角畸變校正圖像存儲(chǔ)到存儲(chǔ)卡23中，如圖18所示。再次， 圖像數(shù)據(jù)沒(méi)有從SDRAM 42中刪除。然后，將用于光學(xué)畸變校正的坐 標(biāo)變換處理應(yīng)用于SDRAM 42中的圖像數(shù)據(jù)，并且將光學(xué)畸變校正圖 像存儲(chǔ)到存儲(chǔ)卡23中。最后，圖像數(shù)據(jù)被從SDRAM 42中刪除。
如果至少在捕獲圖像時(shí)存儲(chǔ)廣角畸變校正圖像和光學(xué)畸變校正圖 像，而不是存儲(chǔ)其中之一，則可以在以后復(fù)查畸變校正的效果，并且 選擇合適的校正。
當(dāng)然，即使當(dāng)根據(jù)面部檢測(cè)的結(jié)果來(lái)選擇校正廣角畸變校正或光 學(xué)畸變校正時(shí)，如第三實(shí)施例，根據(jù)需要可以將廣角畸變校正圖像和 光學(xué)畸變校正圖像都存儲(chǔ)到存儲(chǔ)卡23中。例如，數(shù)碼相機(jī)可以被設(shè)置為當(dāng)在捕獲的圖像中檢測(cè)到人物面 部時(shí)將廣角畸變校正圖像以及光學(xué)畸變校正圖像都存儲(chǔ)到存儲(chǔ)卡23 中，而當(dāng)沒(méi)有檢測(cè)到人物面部時(shí)只存儲(chǔ)光學(xué)畸變校正圖像。進(jìn)一步， 數(shù)碼相機(jī)可以被設(shè)置為當(dāng)在捕獲的圖像中檢測(cè)到預(yù)定入射角之外的 人物面部時(shí)將廣角畸變校正圖像以及光學(xué)畸變校正圖像都保存到存儲(chǔ) 卡23中，而當(dāng)沒(méi)有檢測(cè)到人物面部或檢測(cè)到預(yù)定入射角內(nèi)的人物面部 時(shí)則只存儲(chǔ)光學(xué)畸變校正圖像。
如所述，即使在根據(jù)面部檢測(cè)的結(jié)果來(lái)決定是否校正廣角畸變的 情況下，如果認(rèn)為需要廣角畸變變換，則將廣角畸變校正圖像和光學(xué) 畸變校正圖像都存儲(chǔ)到存儲(chǔ)卡23中。這樣允許在以后比較兩個(gè)校正圖 像并且選擇合適的一個(gè)。此外，如果數(shù)碼相機(jī)被設(shè)置為當(dāng)根據(jù)面部檢 測(cè)的結(jié)果認(rèn)為不需要廣角畸變校正時(shí)，則只存儲(chǔ)光學(xué)畸變校正圖像，
那么可以避免存儲(chǔ)卡23的浪費(fèi)。
如上所述已經(jīng)清楚了，廣角畸變校正圖像和光學(xué)畸變校正圖像都 通過(guò)對(duì)原始主圖像數(shù)據(jù)應(yīng)用坐標(biāo)變換處理來(lái)生成。因此，當(dāng)對(duì)原始主 圖像數(shù)據(jù)應(yīng)用坐標(biāo)變換處理時(shí)，先生成廣角畸變校正圖像和光學(xué)畸變 校正圖像的哪個(gè)沒(méi)有區(qū)別。
進(jìn)一步，當(dāng)兩個(gè)校正圖像都被存儲(chǔ)時(shí)，如果變換函數(shù)是僅校正在 圖片幀的外圍處的廣角畸變的一個(gè)變換函數(shù)，則無(wú)需為了兩幅圖像存 儲(chǔ)全部圖像數(shù)據(jù)，為了一幅校正圖像存儲(chǔ)全部圖像數(shù)據(jù)并且為了另一 幅校正圖像存儲(chǔ)與該全部圖像數(shù)據(jù)的差異數(shù)據(jù)。
例如，光學(xué)畸變校正圖像可以作為全部圖像數(shù)據(jù)被存儲(chǔ)到存儲(chǔ)卡
23中，并且對(duì)于廣角畸變校正圖像可以只存儲(chǔ)差異數(shù)據(jù)。為了在顯示 面板24上顯示廣角畸變校正圖像，將差異數(shù)據(jù)加到光學(xué)畸變校正圖像， 然后作為廣角畸變校正圖像顯示。如果對(duì)于廣角畸變校正圖像和光學(xué)畸變校正圖像中的一個(gè)只存儲(chǔ)差異數(shù)據(jù)，可以節(jié)約存儲(chǔ)卡23的容量。 在畸變校正部件中計(jì)算差異數(shù)據(jù)。
此外，當(dāng)執(zhí)行坐標(biāo)變換處理以生成并存儲(chǔ)廣角以及光學(xué)畸變校正 圖像時(shí)，不需要對(duì)原始主圖像數(shù)據(jù)應(yīng)用坐標(biāo)變換處理。
例如，如圖19所示，首先對(duì)原始主圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校
正的坐標(biāo)變換處理，并且將光學(xué)畸變校正圖像存儲(chǔ)迸存儲(chǔ)卡23中。在 這個(gè)例子中，SDRAM 42中的原始主圖像數(shù)據(jù)被光學(xué)畸變校正圖像的 數(shù)據(jù)重寫覆蓋。然后，對(duì)光學(xué)畸變校正圖像的數(shù)據(jù)應(yīng)用用于廣角畸變 校正的坐標(biāo)變換處理，并且得到的廣角畸變校正圖像存儲(chǔ)進(jìn)存儲(chǔ)卡23 中。
同樣，如果廣角畸變校正圖像被首先存儲(chǔ)進(jìn)存儲(chǔ)卡23中，將用于 光學(xué)畸變校正的坐標(biāo)變換處理應(yīng)用于SDRAM 42中的廣角畸變校正圖 像的數(shù)據(jù)，并且將得到的光學(xué)畸變校正圖像存儲(chǔ)進(jìn)存儲(chǔ)卡23中。
通過(guò)對(duì)廣角畸變校正圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變換 處理，以得到光學(xué)畸變校正圖像，或反之亦然，在坐標(biāo)變換處理期間 可以節(jié)約SDRAM 42的容量。
當(dāng)對(duì)光學(xué)畸變校正圖像數(shù)據(jù)應(yīng)用用于廣角畸變校正的坐標(biāo)變換處 理時(shí)，畸變校正部件參考畸變數(shù)據(jù)并比較在原始主圖像數(shù)據(jù)上的光學(xué) 畸變和廣角畸變的大小?；冃Ｕ考膹V角校正表61中選擇或估計(jì) 需要的系數(shù)，并且使用該選擇的系數(shù)執(zhí)行坐標(biāo)變換處理。當(dāng)對(duì)廣角畸 變校正圖像數(shù)據(jù)應(yīng)用用于光學(xué)畸變校正的坐標(biāo)變換處理時(shí)也是如此。
進(jìn)一步，當(dāng)光學(xué)畸變和廣角畸變中的一個(gè)在已經(jīng)被校正了另一種 畸變的圖像數(shù)據(jù)中被校正時(shí)，在捕獲圖像時(shí)不需要執(zhí)行坐標(biāo)變換處理。 例如，通過(guò)畸變校正部件選擇或估計(jì)的坐標(biāo)變換函數(shù)的系數(shù)，可以被與圖像數(shù)據(jù)相關(guān)聯(lián)并被存儲(chǔ)到存儲(chǔ)卡23中。然后，當(dāng)在顯示面板24 上顯示圖像時(shí)執(zhí)行坐標(biāo)變換處理。
連同廣角畸變校正圖像和光學(xué)畸變校正圖像，原始主圖像數(shù)據(jù)也
可以被存儲(chǔ)到存儲(chǔ)卡23中。
如果將相同對(duì)象的廣角畸變校正圖像、光學(xué)畸變校正圖像和原始 圖像存儲(chǔ)進(jìn)存儲(chǔ)卡23中，優(yōu)選在顯示面板24上闡明這些圖像之間的 差異。 一般的數(shù)碼相機(jī)，例如，通常使用縮小像，所謂縮略圖，這樣 一次可以顯示多幅圖像。然而，當(dāng)在顯示器上縮小時(shí)，廣角畸變校正 圖像和光學(xué)畸變校正圖像不能完全顯示畸變大小和校正效果。
至于數(shù)碼相機(jī)把廣角畸變和光學(xué)畸變校正圖像都存儲(chǔ)在存儲(chǔ)卡 中，顯示面板24可以被等分為上和下兩部分，如圖20所示，并且廣 角畸變校正圖像341和光學(xué)畸變校正圖像342的上半部分被彼此疊置 地顯示。
在廣角畸變校正圖像341中，人物面部343b到343f與它們的實(shí) 際形狀近似相同，但是在背景344上光學(xué)畸變非常顯著。另一方面， 在光學(xué)畸變校正圖像342中，在人物面部343b到343f上廣角畸變非常 顯著，但是在背景344上的光學(xué)畸變被適當(dāng)?shù)匦Ｕ诒尘?44中直 線看上去筆直。
在圖像外圍處廣角畸變趨于明顯并且光學(xué)畸變也一樣。因此，當(dāng) 將廣角畸變校正圖像341與光學(xué)畸變校正圖像342進(jìn)行比較時(shí)，通過(guò) 在顯示面板24上顯示外圍，例如這些圖像的上(下)半部分，它們之 間的差異變得明顯。
作為代替，廣角畸變校正圖像和光學(xué)畸變校正圖像的右(或左) 半部分可以被一起顯示。此外，代之以原樣顯示圖像的半部分，圖像可以在廣角畸變和光學(xué)畸變趨于明顯的圖像外圍處被放大，并且一起 上和下(或右和左)顯示。這樣更有效地在顯示器上闡明畸變大小和 校正結(jié)果。
當(dāng)廣角畸變校正圖像和光學(xué)畸變校正圖像被一起顯示時(shí)，更優(yōu)選
不僅在顯示面板24上顯示圖像，還在連接到數(shù)碼相機(jī)上的電視屏幕或
計(jì)算機(jī)監(jiān)視器上顯示圖像。
同樣優(yōu)選允許使用者在觀看時(shí)從存儲(chǔ)卡23中選擇和刪除廣角畸變 校正圖像和光學(xué)畸變校正圖像之一。這樣可以比通過(guò)指定文件名或縮 略圖更為有效地避免對(duì)需要圖像的錯(cuò)誤刪除和此類操作錯(cuò)誤。該特征 可以進(jìn)一步消除為了選擇和刪除再次顯示圖像的過(guò)程，從而給使用者 帶來(lái)更多方便。
在第一到第三實(shí)施例中在捕獲圖像時(shí)校正廣角畸變和/或光學(xué)畸 變，可以存儲(chǔ)焦距數(shù)據(jù)和其他需要的數(shù)據(jù)以及圖像數(shù)據(jù)，并且在以后 例如當(dāng)從存儲(chǔ)卡23中獲取圖像時(shí)校正畸變。
在第一到第三實(shí)施例中，根據(jù)選擇的圖像捕獲模式來(lái)校正廣角畸 變或光學(xué)畸變。然而，可以允許在每次捕獲圖像時(shí)決定是否需要廣角 畸變校正和光學(xué)畸變校正。
雖然在第三實(shí)施例首先當(dāng)捕獲圖像(快門釋放按鈕被半按)時(shí)得 到焦距數(shù)據(jù)，但是焦距數(shù)據(jù)也可以在其他時(shí)間得到，該其他時(shí)間如在 圖像捕獲之后(在取得圖像數(shù)據(jù)之后)。
雖然第一到第三實(shí)施例的數(shù)碼相機(jī)具有CCD圖像傳感器，但也可 以使用CMOS或其他種類的具有公知結(jié)構(gòu)的圖像傳感器。
雖然利用數(shù)碼相機(jī)來(lái)解釋第一到第三實(shí)施例，但是本發(fā)明也適用于移動(dòng)相機(jī)電話、PDA、數(shù)碼攝像機(jī)、電視攝像機(jī)和其他通用成像裝 置。
EEPROM 58包含用于每種類型的透鏡單元的系數(shù)數(shù)據(jù)。透鏡單元 具有指示單元類型的信號(hào)元件，當(dāng)透鏡單元被附著到相機(jī)主體時(shí)檢測(cè) 該單元類型。然后選擇用于檢測(cè)到的透鏡單元的系數(shù)數(shù)據(jù)。
盡管已經(jīng)通過(guò)優(yōu)選實(shí)施例并參考附圖充分描述了本發(fā)明，對(duì)于本 領(lǐng)域技術(shù)人員來(lái)說(shuō)各種改變和修改是顯而易見(jiàn)的。因此，除非這些改 變和變形脫離本發(fā)明的范圍，否則它們應(yīng)該被解釋為包括在本發(fā)明的 范圍內(nèi)。
權(quán)利要求
1.一種成像裝置，具有拍攝鏡頭和用于將通過(guò)所述拍攝鏡頭形成的對(duì)象圖像光電轉(zhuǎn)換成電子圖像信號(hào)的圖像傳感器，包括用于校正光學(xué)畸變和廣角畸變的畸變校正器，當(dāng)校正由所述拍攝鏡頭的畸變像差造成的所述光學(xué)畸變時(shí)，所述畸變校正器執(zhí)行圖像轉(zhuǎn)換處理以給予所述圖像與所述光學(xué)畸變相反符號(hào)的畸變，并且當(dāng)校正所述廣角畸變時(shí)所述畸變校正器執(zhí)行圖像轉(zhuǎn)換處理以給予所述圖像相應(yīng)于所述廣角畸變的大小的負(fù)畸變。
2. 如權(quán)利要求l所述的成像裝置，進(jìn)一步包括用于選擇校正所述光學(xué)畸變和所述廣角畸變的哪一個(gè)的校正選擇器。
3. 如權(quán)利要求2所述的成像裝置，其中，當(dāng)所述圖像中的畸變?yōu)樨?fù)并且具有用于校正所述廣角畸變的大小時(shí)，所述校正選擇器不選擇 所述光學(xué)畸變和所述廣角畸變，而是用由所述畸變像差造成的光學(xué)畸 變來(lái)校正所述廣角畸變。
4. 如權(quán)利要求2所述的成像裝置，進(jìn)一步包括用于在所述圖像中檢測(cè)人物面部的面部檢測(cè)器， 其中，當(dāng)在所述圖像中檢測(cè)到人物面部時(shí)，所述校正選擇器選擇 校正所述廣角畸變。
5. 如權(quán)利要求4所述的成像裝置，其中，當(dāng)在預(yù)定入射角之外檢 測(cè)到人物面部時(shí)，所述校正選擇器選擇校正所述廣角畸變。
6. 如權(quán)利要求2所述的成像裝置，其中，當(dāng)所述校正選擇器選擇 校正所述廣角畸變以及所述光學(xué)畸變時(shí)，所述畸變校正器生成校正了 所述光學(xué)畸變的光學(xué)畸變校正圖像以及校正了所述廣角畸變的廣角畸變校正圖像。
7. 如權(quán)利要求6所述的成像裝置，其中，通過(guò)應(yīng)用所述圖像轉(zhuǎn)換 處理以將負(fù)畸變給予所述光學(xué)畸變校正圖像來(lái)生成所述廣角畸變校正 圖像。
8. 如權(quán)利要求6所述的成像裝置，進(jìn)一步包括 用于存儲(chǔ)所述光學(xué)畸變校正圖像和所述廣角畸變校正圖像的存儲(chǔ)設(shè)備。
9. 如權(quán)利要求8所述的成像裝置，進(jìn)一步包括顯示設(shè)備，用于從所述存儲(chǔ)設(shè)備中獲取所述光學(xué)畸變校正圖像和 所述廣角畸變校正圖像，并且將所述校正圖像的每個(gè)分為兩半，然后 并列所述圖像的相應(yīng)半部；以及圖像選擇器，用于選擇所述光學(xué)畸變校正圖像和所述廣角畸變校 正圖像之一，并且從所述存儲(chǔ)設(shè)備中刪除所述校正圖像中的未選擇的一個(gè)°
10. 如權(quán)利要求1所述的成像裝置，其中，所述圖像轉(zhuǎn)換處理是使用坐標(biāo)變換函數(shù)的坐標(biāo)變換處理。
11. 如權(quán)利要求IO所述的成像裝置，進(jìn)一步包括包含所述坐標(biāo)變換函數(shù)的系數(shù)的校正系數(shù)表。
全文摘要
一種成像裝置。數(shù)碼相機(jī)包括畸變校正部件，該畸變校正部件由焦距確定部件、畸變估算部件和校正量計(jì)算部件組成。該焦距確定部件在捕獲圖像時(shí)估算焦距。根據(jù)該焦距，畸變估算部件估算在捕獲圖像中的廣角畸變和光學(xué)畸變的大小。根據(jù)該估算，畸變校正部件從光學(xué)畸變校正系數(shù)表或廣角畸變校正系數(shù)表中選擇適當(dāng)?shù)南禂?shù)。使用所選擇的系數(shù)，校正量計(jì)算部件應(yīng)用坐標(biāo)變換處理以對(duì)捕獲的圖像造成正的或負(fù)的畸變，并且校正廣角畸變或光學(xué)畸變。
文檔編號(hào)H04N5/232GK101309367SQ20081012772
公開(kāi)日2008年11月19日 申請(qǐng)日期2008年3月27日 優(yōu)先權(quán)日2007年3月27日
發(fā)明者長(zhǎng)倫生 申請(qǐng)人:富士膠片株式會(huì)社