本公開的各方面整體涉及圖像處理，并且更具體地涉及自動白平衡。一些特征可實現(xiàn)并提供改進的圖像處理，包括當(dāng)捕獲圖像時減少非預(yù)期顏色的顯示。

背景技術(shù)：

1、圖像捕獲設(shè)備是可以捕獲一個或多個數(shù)字圖像(無論是用于照片的靜止圖像還是用于視頻的圖像序列)的設(shè)備。捕獲設(shè)備可以被結(jié)合到各種各樣的設(shè)備中。以舉例的方式，圖像捕獲設(shè)備可包括獨立數(shù)字相機或數(shù)字視頻攝像機、配備有相機的無線通信設(shè)備手機(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數(shù)字助理(pda)、面板或平板設(shè)備、游戲設(shè)備、計算機設(shè)備(諸如網(wǎng)絡(luò)攝像機、視頻監(jiān)控相機)或具有數(shù)字成像或視頻能力的其他設(shè)備。

2、人眼以與電子圖像傳感器不同的方式感知顏色。一種配置記錄表示場景的單獨的紅色值、綠色值和藍(lán)色值。場景的外觀，特別是場景中對象的顏色，取決于照明源。不同的照明源具有不同的光顏色，這可以通過將輸出黃色調(diào)白光的白熾燈泡與輸出藍(lán)色調(diào)白光的發(fā)光二極管(led)進行比較來觀察。人眼適應(yīng)不同的光源，而電子圖像傳感器通常在不同的場景中相同地捕獲光信息。因此，來自電子圖像傳感器的所記錄的顏色可能與人類感知到的場景顏色不匹配，諸如當(dāng)人眼補償黃色色調(diào)以使得白色對象即使在被白熾燈泡照亮?xí)r也呈現(xiàn)為白色，而電子圖像傳感器在被白熾燈泡照亮?xí)r將白色對象記錄為黃色時。白平衡算法可應(yīng)用于電子圖像傳感器的輸出以補償不同的照明源，從而改進場景的電子表示與場景的人類感知外觀之間的匹配。

技術(shù)實現(xiàn)思路

1、下文概括了本公開的一些方面，以提供對所論述的技術(shù)的基本理解。該概括不是對本公開的全部預(yù)期特征的詳盡概述，并且既不旨在標(biāo)識本公開的全部方面的關(guān)鍵或重要元素，也不旨在描繪本公開的任何或全部方面的范圍。其唯一目的是以概括的形式給出本公開的一個或多個方面的一些概念，作為稍后給出的更具體實施方式的前序。

2、圖像捕獲設(shè)備中的自動白平衡(awb)分析從圖像傳感器接收到的圖像數(shù)據(jù)，并且通過調(diào)整所接收的圖像數(shù)據(jù)以調(diào)整圖像數(shù)據(jù)中的白平衡(以補償光源)來生成經(jīng)校正的圖像數(shù)據(jù)。例如，可以調(diào)整所接收的圖像數(shù)據(jù)，使得由于例如陽光或白熾燈泡而呈現(xiàn)黃色的白色襯衫通過添加一些藍(lán)色而正確地呈現(xiàn)為白色。可基于用于將白色外觀校正為白色的調(diào)整來以類似方式調(diào)整場景中的其他顏色。在圖像捕獲的操作期間，awb可確定從第一白平衡點改變到第二白平衡點。例如，用戶從室內(nèi)走到室外可使awb改變到不同的白平衡點以針對從室內(nèi)照明到室外照明的改變進行調(diào)整。又如，用戶接通房間中的燈可使awb改變到不同的白平衡點以針對從頂部照明到燈照明的改變進行調(diào)整。awb改變可隨時間改變以減少突然改變。在一些方面，白平衡點從第一白平衡點到第二白平衡點的改變可基于白平衡基準(zhǔn)線來執(zhí)行。

3、在本公開的一個方面，一種用于圖像處理的方法包括：從圖像傳感器接收第一圖像數(shù)據(jù)；確定將白平衡操作從第一白平衡點調(diào)整到第二白平衡點；基于該第一白平衡點、該第二白平衡點和白平衡基準(zhǔn)線來確定第一中間白平衡點；從該圖像傳感器接收第二圖像數(shù)據(jù)；以及/或者基于該第一中間白平衡點來對該第二圖像數(shù)據(jù)應(yīng)用白平衡。

4、在本公開的附加方面，一種裝置包括至少一個處理器和耦合到至少一個處理器的存儲器。該至少一個處理器被配置為執(zhí)行以下操作：從圖像傳感器接收第一圖像數(shù)據(jù)；確定將白平衡操作從第一白平衡點調(diào)整到第二白平衡點；基于該第一白平衡點、該第二白平衡點和白平衡基準(zhǔn)線來確定第一中間白平衡點；從該圖像傳感器接收第二圖像數(shù)據(jù)；以及/或者基于該第一中間白平衡點來對該第二圖像數(shù)據(jù)應(yīng)用白平衡。

5、在本公開的附加方面，一種裝置包括用于執(zhí)行以下操作的構(gòu)件：從圖像傳感器接收第一圖像數(shù)據(jù)；確定將白平衡操作從第一白平衡點調(diào)整到第二白平衡點；基于該第一白平衡點、該第二白平衡點和白平衡基準(zhǔn)線來確定第一中間白平衡點；從該圖像傳感器接收第二圖像數(shù)據(jù)；以及/或者基于該第一中間白平衡點來對該第二圖像數(shù)據(jù)應(yīng)用白平衡。

6、在本公開的附加方面，一種非暫態(tài)計算機可讀介質(zhì)存儲指令，該指令在由處理器執(zhí)行時使處理器執(zhí)行操作。該操作包括從圖像傳感器接收第一圖像數(shù)據(jù)；確定將白平衡操作從第一白平衡點調(diào)整到第二白平衡點；基于該第一白平衡點、該第二白平衡點和白平衡基準(zhǔn)線來確定第一中間白平衡點；從該圖像傳感器接收第二圖像數(shù)據(jù)；以及/或者基于該第一中間白平衡點來對該第二圖像數(shù)據(jù)應(yīng)用白平衡。

7、圖像捕獲設(shè)備(可捕獲一個或多個數(shù)字圖像無論是靜止圖像照片還是視頻的圖像序列的設(shè)備)可以被結(jié)合到各種各樣的設(shè)備中。以舉例的方式，圖像捕獲設(shè)備可包括獨立數(shù)字相機或數(shù)字視頻攝像機、配備有相機的無線通信設(shè)備手機(諸如移動電話、蜂窩或衛(wèi)星無線電電話)、個人數(shù)字助理(pda)、面板或平板設(shè)備、游戲設(shè)備、計算機設(shè)備(諸如網(wǎng)絡(luò)攝像機、視頻監(jiān)控相機)或具有數(shù)字成像或視頻能力的其他設(shè)備。

8、一般來講，本公開描述涉及具有圖像傳感器和圖像信號處理器(isp)的數(shù)字相機的圖像處理技術(shù)。isp可被配置為控制對來自一個或多個圖像傳感器的圖像幀的捕獲并且處理來自該一個或多個圖像傳感器的一個或多個圖像幀以生成校正的圖像幀中的場景的視圖。校正的圖像幀可以是形成視頻序列的圖像幀序列的一部分。視頻序列可包括從圖像傳感器或其他圖像傳感器接收的其他圖像幀和/或基于來自圖像傳感器或另一圖像傳感器的輸入的其他校正的圖像幀。在一些實施方案中，可在圖像傳感器內(nèi)諸如在合并讀出模塊(binning?module)中執(zhí)行對一個或多個圖像幀的處理。本文所公開的實施方案中所描述的圖像處理技術(shù)可以由圖像傳感器中、圖像信號處理器(isp)中、應(yīng)用處理器(ap)中或者這些組件中的兩個或全部的組合中的電路諸如合并讀出模塊來執(zhí)行。

9、在示例中，圖像信號處理器可響應(yīng)于軟件(諸如相機應(yīng)用)的加載而接收用于捕獲圖像幀序列的指令，以從圖像捕獲設(shè)備產(chǎn)生預(yù)覽顯示。圖像信號處理器可被配置為基于從一個或多個圖像傳感器接收的圖像幀產(chǎn)生單個輸出幀流。單個輸出幀流可包括來自圖像傳感器的原始圖像數(shù)據(jù)、來自圖像傳感器的合并讀出的圖像數(shù)據(jù)，或由圖像信號處理器內(nèi)的一個或多個算法(諸如在合并讀出模塊中)處理的校正的圖像幀。例如，從圖像傳感器獲得的圖像幀(其在輸出到圖像信號處理器之前可能已對數(shù)據(jù)執(zhí)行一些處理)可在圖像信號處理器中通過圖像后處理引擎(ipe)和/或用于執(zhí)行色調(diào)映射、肖像照明、對比度增強、伽瑪校正等中的一者或多者的其他圖像處理電路處理圖像幀來處理。

10、在圖像信號處理器使用圖像校正(諸如本文的各種實施方案中所描述的合并讀出)確定表示場景的輸出幀之后，輸出幀可作為單個靜止圖像和/或作為視頻序列的一部分顯示在設(shè)備顯示器上，作為圖片或視頻序列保存到存儲設(shè)備，通過網(wǎng)絡(luò)傳輸，以及/或者打印到輸出介質(zhì)。例如，圖像信號處理器可被配置為從不同圖像傳感器獲得圖像數(shù)據(jù)(例如，像素值)的輸入幀，并且繼而產(chǎn)生圖像數(shù)據(jù)的對應(yīng)輸出幀(例如，預(yù)覽顯示幀、靜止圖像捕獲、用于視頻的幀、用于對象跟蹤的幀等)。在其他示例中，圖像信號處理器可將圖像數(shù)據(jù)的幀輸出到各種輸出設(shè)備和/或相機模塊以用于進一步處理，諸如用于3a參數(shù)同步(例如，自動對焦(af)、自動白平衡(awb)和自動曝光控制(aec))、經(jīng)由輸出幀產(chǎn)生視頻文件、配置幀以供顯示、配置幀以供存儲、通過網(wǎng)絡(luò)連接傳輸幀等。也就是說，圖像信號處理器可從一個或多個圖像傳感器獲得傳入幀，該一個或多個圖像傳感器各自耦合到一個或多個相機鏡頭，并且繼而可產(chǎn)生輸出幀流并且將輸出幀流輸出到各種輸出目的地。

11、在一些方面，可通過將本公開的圖像校正的各方面與諸如高動態(tài)范圍(hdr)攝影或多幀噪聲減少(mfnr)的其他計算攝影技術(shù)組合來產(chǎn)生校正的圖像幀。在hdr攝影的情況下，使用不同曝光時間、不同光圈、不同鏡頭和/或在組合兩個圖像幀時可導(dǎo)致融合圖像的改進的動態(tài)范圍的其他特性來捕獲第一圖像幀和第二圖像幀。在一些方面，可針對mfnr攝影執(zhí)行該方法，其中使用相同或不同的曝光時間捕獲第一圖像幀和第二圖像幀，并且將第一圖像幀和第二圖像幀融合以生成校正的第一圖像幀，該校正的第一圖像幀與捕獲的第一圖像幀相比具有減少的噪聲。

12、在一些方面，設(shè)備可包括圖像信號處理器或處理器(例如，應(yīng)用處理器)，該圖像信號處理器或處理器包括用于相機控制和/或處理的特定功能性，諸如啟用或禁用合并讀出模塊或以其他方式控制圖像校正的各方面。本文中所描述的方法和技術(shù)可完全由圖像信號處理器或處理器執(zhí)行，或者各種操作可在圖像信號處理器和處理器之間分割，并且在一些方面在附加處理器上分割。

13、該裝置可包括一個、兩個或更多個圖像傳感器，諸如包括第一圖像傳感器。當(dāng)存在多個圖像傳感器時，第一圖像傳感器可具有比第二圖像傳感器大的視場(fov)，或第一圖像傳感器可具有與第二圖像傳感器不同的靈敏度或不同的動態(tài)范圍。在一個示例中，第一圖像傳感器可以是廣角圖像傳感器，并且第二圖像傳感器可以是遠(yuǎn)程圖像傳感器。在另一示例中，第一傳感器被配置為通過具有第一光軸的第一鏡頭獲得圖像，并且第二傳感器被配置為通過具有不同于第一光軸的第二光軸的第二鏡頭獲得圖像。附加地或另選地，第一鏡頭可以具有第一放大率，并且第二鏡頭可以具有不同于第一放大率的第二放大率。該配置可發(fā)生在移動設(shè)備上的鏡頭群集中，諸如其中多個圖像傳感器和相關(guān)聯(lián)的鏡頭位于移動設(shè)備的前側(cè)或后側(cè)上的偏移位置。可包括具有更大、更小或相同視場的附加圖像傳感器。本文中所描述的圖像校正技術(shù)可應(yīng)用于從多傳感器設(shè)備中的圖像傳感器中的任一者捕獲的圖像幀。

14、在本公開的附加方面，公開了一種被配置用于圖像處理和/或圖像捕獲的設(shè)備。該裝置包括用于捕獲圖像幀的構(gòu)件。該裝置還包括用于捕獲表示場景的數(shù)據(jù)的一個或多個構(gòu)件，諸如圖像傳感器(包括電荷耦合器件(ccd)、拜耳濾波器傳感器、紅外(ir)檢測器、紫外(uv)檢測器、互補金屬氧化物半導(dǎo)體(cmos)傳感器)、飛行時間檢測器。該裝置還可以包括用于將光線聚集和/或聚焦到一個或多個圖像傳感器(包括簡單鏡頭、復(fù)合鏡頭、球面鏡頭和非球面鏡頭)中的一個或多個構(gòu)件?？梢钥刂七@些組件以捕獲輸入到本文中所描述的圖像處理技術(shù)的第一圖像幀和/或第二圖像幀。

15、對于本領(lǐng)域普通技術(shù)人員來說，在結(jié)合附圖回顧特定示例性方面的以下描述時，其他方面、特征和具體實施將變得顯而易見。盡管各特征在以下可能是針對某些方面和附圖來討論的，但各個方面可包括本文所討論的有利特征中的一個或多個有利特征。換言之，雖然一個或多個方面可能被討論具有某些有利的特征，但是根據(jù)各個方面，也可以使用此類特征中的一個或多個特征。以類似方式，盡管示例性方面在下文可能是作為設(shè)備、系統(tǒng)或方法方面進行討論的，但是示例性方面可以在各種設(shè)備、系統(tǒng)、和方法中實現(xiàn)。

16、該方法可以作為計算機程序代碼嵌入在計算機可讀介質(zhì)中，該計算機程序代碼包括使處理器執(zhí)行該方法的步驟的指令。在一些實施方案中，該處理器可以是移動設(shè)備的一部分，該移動設(shè)備包括：第一網(wǎng)絡(luò)適配器，該第一網(wǎng)絡(luò)適配器被配置為通過多個網(wǎng)絡(luò)連接中的第一網(wǎng)絡(luò)連接來傳輸數(shù)據(jù)，諸如作為記錄數(shù)據(jù)或作為流數(shù)據(jù)的圖像或視頻；和處理器，該處理器耦合到第一網(wǎng)絡(luò)適配器和存儲器。處理器可使本文中所描述的校正的圖像幀通過無線通信網(wǎng)絡(luò)(諸如5g?nr通信網(wǎng)絡(luò))傳輸。

17、上文已經(jīng)相當(dāng)廣泛地概述了根據(jù)本公開的示例的特征和技術(shù)優(yōu)點，以便可以更好地理解下面的具體實施方式。下文將描述附加的特征和優(yōu)點。所公開的概念和特定示例可以容易地被用作用于修改或設(shè)計用于實現(xiàn)本公開的相同目的的其他結(jié)構(gòu)的基礎(chǔ)。此類等效的構(gòu)造不脫離所附權(quán)利要求書的保護范圍。當(dāng)結(jié)合附圖考慮時，根據(jù)下文的描述將更好地理解本文中所公開的概念的特性(其組織和操作方法二者)以及相關(guān)聯(lián)的優(yōu)點。提供附圖中的每個附圖是出于例示和描述的目的，而不是作為權(quán)利要求的限制的定義。

18、雖然在本技術(shù)中通過一些示例的例示來描述方面和具體實施，但是本領(lǐng)域技術(shù)人員將理解的是，在許多其他布置和情景中可能產(chǎn)生附加的具體實施和用例。本文中所描述的創(chuàng)新可以跨越許多不同的平臺類型、設(shè)備、系統(tǒng)、形狀、尺寸、封裝布置來實現(xiàn)。例如，各方面和/或用途可以經(jīng)由集成芯片具體實施和其他基于非模塊組件的設(shè)備(例如，終端用戶設(shè)備、交通工具、通信設(shè)備、計算設(shè)備、工業(yè)裝備、零售/購買設(shè)備、醫(yī)療設(shè)備、啟用人工智能(ai)的設(shè)備等)來產(chǎn)生。雖然一些示例可能專門或可能不專門指向用例或應(yīng)用，但是可以出現(xiàn)所描述的創(chuàng)新的各類的適用性。具體實施的范圍可從芯片級或模塊組件至非模塊、非芯片級具體實施，并進一步至結(jié)合所描述創(chuàng)新的一個或多個方面的聚集的、分布式或原始裝備制造商(oem)設(shè)備或系統(tǒng)。在一些實踐環(huán)境中，結(jié)合所描述的各方面和特征的設(shè)備還可以必要地包括用于實現(xiàn)和實踐所要求保護并描述的各方面的附加組件和特征。例如，無線信號的傳輸和接收必須包括用于模擬和數(shù)字目的的數(shù)個組件(例如，硬件組件，包括天線、射頻(rf)鏈、功率放大器、調(diào)制器、緩沖器、處理器、交織器、加法器/求和器等等)。本文中所描述的創(chuàng)新旨在可以在具有不同大小、形狀和構(gòu)造的各種設(shè)備、芯片級組件、系統(tǒng)、分布式布置、終端用戶設(shè)備等中實踐。