用于具有相位檢測(cè)像素的圖像傳感器的圖像處理方法
【技術(shù)領(lǐng)域】
[0001] 本申請(qǐng)一般地涉及成像系統(tǒng)，并且更具體地講，涉及具有相位檢測(cè)能力的成像系 統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)代電子裝置（諸如，蜂窩電話、照相機(jī)和計(jì)算機(jī)）經(jīng)常使用數(shù)字圖像傳感器。成 像器傳感器（有時(shí)被稱為成像器）可由圖像感測(cè)像素的二維陣列形成。每個(gè)像素接收入 射光子（光）并且將光子轉(zhuǎn)換成電信號(hào)。圖像傳感器有時(shí)被設(shè)計(jì)為使用聯(lián)合圖像專家組 (JPEG)格式將圖像提供給電子裝置。
[0003] 一些應(yīng)用（諸如，自動(dòng)聚焦和三維（3D)成像）可能需要電子裝置提供立體和/或 深度感測(cè)能力。例如，為了使感興趣的物體聚焦以用于圖像捕捉，電子裝置可能需要識(shí)別電 子裝置和感興趣的物體之間的距離。為了識(shí)別距離，傳統(tǒng)電子裝置使用復(fù)雜布置。一些布 置需要使用從各種視點(diǎn)捕捉圖像的多個(gè)圖像傳感器和照相機(jī)透鏡。其它布置需要添加將入 射光聚焦在二維像素陣列的子區(qū)域上的雙凸透鏡陣列。由于諸如另外的圖像傳感器或復(fù)雜 透鏡陣列的部件的添加，這些布置導(dǎo)致減小的空間分辨率、增加的成本和增加的復(fù)雜性。
[0004] 一些電子裝置在單個(gè)圖像傳感器中既包括圖像像素又包括相位檢測(cè)像素。利用這 種類型的布置，照相機(jī)能夠使用片上相位檢測(cè)像素聚焦圖像，而不需要單獨(dú)的相位檢測(cè)傳 感器。在典型布置中，相位檢測(cè)像素全都具有相同顏色并且在像素陣列中連續(xù)地布置成線。 當(dāng)相位檢測(cè)像素被以這種方式布置時(shí)，光學(xué)串?dāng)_變成問(wèn)題。例如，與綠色圖像像素和紅色圖 像像素之間的光學(xué)串?dāng)_相比，綠色圖像像素和綠色相位檢測(cè)像素之間的光學(xué)串?dāng)_可能更加 難以校正。
[0005] 因此，將會(huì)希望能夠提供用于圖像傳感器的改進(jìn)的相位檢測(cè)像素布置和相位檢測(cè) 信號(hào)處理方法。

【發(fā)明內(nèi)容】

[0006] 本公開的一個(gè)目的是提供具有改進(jìn)的相位檢測(cè)像素布置和相位檢測(cè)信號(hào)處理的 圖像傳感器。
[0007] 根據(jù)一個(gè)實(shí)施例，提供了一種用于處理來(lái)自包括圖像像素和相位檢測(cè)像素的像素 陣列中的相位檢測(cè)像素對(duì)的像素信號(hào)的方法，其中所述相位檢測(cè)像素對(duì)包括具有不同角度 響應(yīng)的第一像素和第二像素。所述方法包括：利用第一和第二像素，產(chǎn)生各自的第一和第二 像素信號(hào)；利用處理電路，調(diào)整第一和第二像素信號(hào)以減小第一和第二像素信號(hào)之間的偏 差；以及利用處理電路，使用調(diào)整的第一和第二像素信號(hào)確定與第一和第二像素信號(hào)關(guān)聯(lián) 的相差。
[0008] 根據(jù)另一個(gè)實(shí)施例，提供了一種用于處理來(lái)自包括圖像像素和相位檢測(cè)像素的像 素陣列中的相位檢測(cè)像素對(duì)的像素信號(hào)的方法，其中所述相位檢測(cè)像素對(duì)包括具有不同角 度響應(yīng)的第一像素和第二像素。所述方法包括：利用第一和第二像素，產(chǎn)生各自的第一和第 二像素信號(hào)；利用處理電路，基于來(lái)自鄰近圖像像素的圖像像素信號(hào)確定亮度梯度，其中所 述鄰近圖像像素位于第一和第二像素附近；以及使用亮度梯度以內(nèi)插的圖像像素信號(hào)替換 第一和第二像素信號(hào)。
[0009] 根據(jù)又一個(gè)實(shí)施例，提供了一種用于處理來(lái)自包括圖像像素和相位檢測(cè)像素的像 素陣列中的相位檢測(cè)像素對(duì)的像素信號(hào)的方法，其中所述相位檢測(cè)像素對(duì)包括具有不同角 度響應(yīng)的第一像素和第二像素，其中第一像素位于該像素陣列中的第一列和第一行中，并 且第二像素位于該像素陣列中的第二列和第二行中。所述方法包括：利用第一和第二像素， 產(chǎn)生各自的第一和第二像素信號(hào)；利用處理電路，基于來(lái)自至少一個(gè)鄰近相位檢測(cè)像素對(duì) 的像素信號(hào)調(diào)整第一和第二像素信號(hào)，其中所述至少一個(gè)鄰近相位檢測(cè)像素對(duì)位于所述相 位檢測(cè)像素對(duì)附近；以及利用處理電路，使用調(diào)整的第一和第二像素信號(hào)確定與第一和第 二像素信號(hào)關(guān)聯(lián)的相差。
[0010] 根據(jù)本公開，可以減小相位檢測(cè)像素信號(hào)之間的任何偏差。
【附圖說(shuō)明】
[0011] 圖1是根據(jù)本發(fā)明的實(shí)施例的具有可包括相位檢測(cè)像素的圖像傳感器的說(shuō)明性 電子裝置的示意圖。
[0012] 圖2A是根據(jù)本發(fā)明的實(shí)施例的具有有著不同的不對(duì)稱角度響應(yīng)的光敏區(qū)域的說(shuō) 明性相位檢測(cè)像素的剖視圖。
[0013] 圖2B和2C是根據(jù)本發(fā)明的實(shí)施例的圖2A的相位檢測(cè)像素的剖視圖。
[0014] 圖3是根據(jù)本發(fā)明的實(shí)施例的針對(duì)以不同入射角撞擊相位檢測(cè)像素的入射光的 相位檢測(cè)像素的說(shuō)明性信號(hào)輸出的示圖。
[0015] 圖4A是根據(jù)本發(fā)明的實(shí)施例的沿水平方向布置的說(shuō)明性相位檢測(cè)像素對(duì)的頂視 圖。
[0016] 圖4B是根據(jù)本發(fā)明的實(shí)施例的沿垂直方向布置的說(shuō)明性相位檢測(cè)像素對(duì)的頂視 圖。
[0017] 圖4C是根據(jù)本發(fā)明的實(shí)施例的沿垂直方向布置并且被構(gòu)造為沿著水平方向檢測(cè) 相差的說(shuō)明性相位檢測(cè)像素對(duì)的頂視圖。
[0018] 圖5是具有連續(xù)地布置線并且全都具有相同顏色的相位檢測(cè)像素的傳統(tǒng)像素陣 列的頂視圖。
[0019] 圖6是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的隔離的相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0020] 圖7是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的連續(xù)地布置成線的相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0021] 圖8是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的隔離的堆疊相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0022] 圖9是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的連續(xù)地布置成線的堆疊相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0023] 圖10是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的非連續(xù)地布置成線的隔離的相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0024]圖11是根據(jù)本發(fā)明的實(shí)施例的具有有著與像素陣列的濾色器模式匹配的濾色器 的隔離的沿對(duì)角線方向布置的相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0025]圖12是根據(jù)本發(fā)明的實(shí)施例的具有布置成線的交替的紅色相位檢測(cè)像素對(duì)和綠 色相位檢測(cè)像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0026]圖13是根據(jù)本發(fā)明的實(shí)施例的具有沿著兩個(gè)或更多像素行分布的綠色相位檢測(cè) 像素對(duì)的說(shuō)明性像素陣列的頂視圖。
[0027]圖14是根據(jù)本發(fā)明的實(shí)施例的操作具有圖像像素和相位檢測(cè)像素的圖像傳感器 所涉及的說(shuō)明性步驟的流程圖。
[0028]圖15是根據(jù)本發(fā)明的實(shí)施例的在自動(dòng)聚焦操作期間處理相位檢測(cè)像素信號(hào)所涉 及的說(shuō)明性步驟的流程圖。
【具體實(shí)施方式】
[0029] 本發(fā)明的實(shí)施例涉及具有自動(dòng)聚焦和深度感測(cè)能力的圖像傳感器。具有照相機(jī)模 塊的電子裝置被示出在圖1中。電子裝置10可以是數(shù)字照相機(jī)、計(jì)算機(jī)、蜂窩電話、醫(yī)學(xué)裝 置或其它電子裝置。照相機(jī)模塊12(有時(shí)被稱為成像裝置）可包括一個(gè)或多個(gè)圖像傳感器 14和一個(gè)或多個(gè)透鏡28。在操作期間，透鏡28 (有時(shí)被稱為光學(xué)器件28)將光聚焦在圖像 傳感器14上。圖像傳感器14包括將光轉(zhuǎn)換成數(shù)字?jǐn)?shù)據(jù)的光敏元件（例如，像素）。圖像傳 感器可具有任何數(shù)量的像素（例如，數(shù)百、數(shù)千、數(shù)百萬(wàn)或更多）。典型圖像傳感器可例如具 有數(shù)百萬(wàn)的像素（例如，兆像素）。作為例子，圖像傳感器14可包括偏置電路（例如，源極 跟隨器負(fù)載電路）、采樣和保持電路、相關(guān)雙采樣（CDS)電路、放大器電路、模數(shù)（ADC)轉(zhuǎn)換 器電路、數(shù)據(jù)輸出電路、存儲(chǔ)器（例如，緩沖器電路）、地址電路等。
[0030] 來(lái)自圖像傳感器14的靜止和視頻圖像數(shù)據(jù)可被提供給圖像處理和數(shù)據(jù)格式化電 路16。圖像處理和數(shù)據(jù)格式化電路16可被用于執(zhí)行圖像處理功能（諸如，自動(dòng)聚焦功能、 深度感測(cè)、數(shù)據(jù)格式化、調(diào)整白平衡和曝光、實(shí)現(xiàn)視頻圖像穩(wěn)定、臉檢測(cè)等）。例如，在自動(dòng)聚 焦操作期間，圖像處理和數(shù)據(jù)格式化電路16可處理由圖像傳感器14中的相位檢測(cè)像素搜 集的數(shù)據(jù)以確定使感興趣的物體聚焦所需的透鏡移動(dòng)（例如，透鏡28的移動(dòng)）的大小和方 向。
[0031] 圖像處理和數(shù)據(jù)格式化電路16還可被用于根據(jù)需要壓縮原始照相機(jī)圖像文件 (例如，壓縮成聯(lián)合圖像專家組或JPEG格式）。在有時(shí)被稱為片上系統(tǒng)（S0C)布置的典型布 置中，照相機(jī)傳感器14以及圖像處理和數(shù)據(jù)格式化電路16被實(shí)現(xiàn)在公共集成電路上。使 用單個(gè)集成電路實(shí)現(xiàn)照相機(jī)傳感器14以及圖像處理和數(shù)據(jù)格式化電路16能夠幫助減少成 本。然而，這僅是說(shuō)明性的。根據(jù)需要，照相機(jī)傳感器14以及圖像處理和數(shù)據(jù)格式化電路 16可被使用分開的集成電路實(shí)現(xiàn)。
[0032] 照相機(jī)模塊12可經(jīng)路徑18將獲取的圖像數(shù)據(jù)傳送給主機(jī)子系統(tǒng)20 (例如，圖像 處理和數(shù)據(jù)格式化電路16可將圖像數(shù)據(jù)傳送給子系統(tǒng)20)。電子裝置10通常為用戶提供 許多高級(jí)功能。在計(jì)算機(jī)或高級(jí)蜂窩電話中，例如，用戶可被提供運(yùn)行用戶應(yīng)用的能力。為 了實(shí)現(xiàn)這些功能，電子裝置10的主機(jī)子系統(tǒng)20可包括存儲(chǔ)和處理電路24以及輸入輸出裝 置22 (諸如，小鍵盤、輸