專利名稱：用于圖像配準(zhǔn)和視頻編碼的共享的塊比較架構(gòu)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像和視頻處理，且更特定來說，涉及用于在圖像俘獲應(yīng)用中的圖像 配準(zhǔn)和穩(wěn)定的技術(shù)和用于在視頻俘獲應(yīng)用中的視頻編碼的技術(shù)。
背景技術(shù)：
在成像裝置中，由此些裝置俘獲的圖像或視頻序列常易受歸因于在圖像俘獲期間 裝置的非故意振動(dòng)的質(zhì)量降級(jí)。在視頻俘獲中，成像裝置的振動(dòng)可導(dǎo)致所俘獲視頻序列中 的不合意的運(yùn)動(dòng)或抖動(dòng)。在靜態(tài)圖像俘獲中，振動(dòng)可導(dǎo)致所俘獲圖像的模糊。模糊或抖動(dòng) 可使人的視覺系統(tǒng)難以聚焦并集中于圖像內(nèi)的感興趣的區(qū)域或目標(biāo)上。在任何情況下，視 頻或圖像的觀看體驗(yàn)的質(zhì)量降低。圖像配準(zhǔn)技術(shù)可用以補(bǔ)償非故意的振動(dòng)以產(chǎn)生更好的圖像質(zhì)量。圖像配準(zhǔn)系統(tǒng)大 體上分成三個(gè)主要類別光學(xué)圖像穩(wěn)定器(OIS)、機(jī)械圖像穩(wěn)定器(MIS)和電子圖像穩(wěn)定器 (EIS)。0IS系統(tǒng)使用可調(diào)整透鏡，其在圖像到達(dá)傳感器之前使圖像變形以減小振動(dòng)的效應(yīng)。 MIS系統(tǒng)(例如)使用相機(jī)的重心、抗衡系統(tǒng)和/或相機(jī)操作者的身體以最小化振動(dòng)而使整 個(gè)相機(jī)穩(wěn)定。EIS系統(tǒng)使用信號(hào)處理算法以更改所俘獲的圖像且借此解決振動(dòng)的效應(yīng)。在 一些圖像處理應(yīng)用中，圖像配準(zhǔn)還可用以將圖像的短序列融合成一個(gè)圖片。EIS系統(tǒng)實(shí)施起 來可比OIS系統(tǒng)和MIS系統(tǒng)廉價(jià)，且可能優(yōu)于例如配備有成像能力的無線無線電電話手持 機(jī)(例如，所謂的相機(jī)電話)的裝置的OIS系統(tǒng)和MIS系統(tǒng)。對(duì)于視頻俘獲，成像裝置可實(shí)施基于塊的視頻壓縮技術(shù)，例如由高級(jí)視頻編碼 (AVC)標(biāo)準(zhǔn)，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 所定義的那 些技術(shù)。視頻壓縮技術(shù)執(zhí)行空間預(yù)測(cè)和時(shí)間預(yù)測(cè)以減少或移除在視頻序列中所固有的冗 余。運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償(例如)為用以移除經(jīng)編碼的視頻序列中的時(shí)間冗余且借此實(shí)現(xiàn) 數(shù)據(jù)壓縮的常見且有效的基于塊的視頻編碼技術(shù)。

發(fā)明內(nèi)容
本發(fā)明描述支持靜態(tài)圖像的圖像配準(zhǔn)和視頻序列的視頻編碼的成像裝置的有效 架構(gòu)。對(duì)于圖像配準(zhǔn)，所描述的架構(gòu)可使用經(jīng)俘獲的圖像的圖像塊相對(duì)于另一參考圖像的 塊的基于塊的比較以支持在逐塊基礎(chǔ)上的圖像配準(zhǔn)。任選地，基于像素的配準(zhǔn)還可用于任 何塊的圖像配準(zhǔn)中，對(duì)于所述任何塊，在參考圖像中未識(shí)別充分匹配的塊。對(duì)于視頻編碼， 所描述的架構(gòu)可使用基于塊的比較(例如)以支持運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。根據(jù)本發(fā)明的一些方面，可經(jīng)由塊比較引擎執(zhí)行基于塊的比較，所述塊比較引擎 形成圖像配準(zhǔn)架構(gòu)與視頻編碼架構(gòu)兩者的部分。換句話說，本發(fā)明描述用于基于塊的圖像 配準(zhǔn)和基于塊的視頻編碼的共享塊比較引擎的使用。以此方式，可實(shí)施針對(duì)基于塊的比較 而設(shè)計(jì)的硬件單元，以便在用于靜態(tài)圖像的圖像配準(zhǔn)過程與用于編碼視頻序列的視頻編碼 過程兩者中工作。在一個(gè)實(shí)例中，本發(fā)明提供一種方法，其包含對(duì)視頻序列的圖像幀執(zhí)行視頻編碼
6過程，其中執(zhí)行視頻編碼過程包括使用塊比較引擎來比較經(jīng)編碼的圖像幀的視頻塊與搜索 空間的視頻塊；以及執(zhí)行圖像配準(zhǔn)過程，其中執(zhí)行圖像配準(zhǔn)過程包括使用所述塊比較引擎 來比較第一圖像的塊與第二圖像的塊。在另一實(shí)例中，本發(fā)明提供一種設(shè)備，其包含塊比較引擎；視頻編碼器，其對(duì)視 頻序列的圖像幀執(zhí)行視頻編碼過程，其中視頻編碼過程包括使用塊比較引擎來比較經(jīng)編碼 的圖像幀的視頻塊與搜索空間的視頻塊；以及圖像配準(zhǔn)單元，其執(zhí)行圖像配準(zhǔn)過程，其中所 述圖像配準(zhǔn)過程包括使用塊比較引擎來比較第一圖像的塊與第二圖像的塊。在另一實(shí)例中，本發(fā)明提供一種裝置，其包含用于對(duì)視頻序列的圖像幀執(zhí)行視頻 編碼過程的裝置，其中用于執(zhí)行視頻編碼過程的裝置包括用于使用塊比較引擎來比較經(jīng)編 碼的圖像幀的視頻塊與搜索空間的視頻塊的裝置；以及用于執(zhí)行圖像配準(zhǔn)過程的裝置，其 中用于執(zhí)行圖像配準(zhǔn)過程的裝置包括用于使用塊比較引擎來比較第一圖像的塊與第二圖 像的塊的裝置?？梢杂布?、軟件、固件或其組合實(shí)施本發(fā)明中所描述的技術(shù)的各種方面。如果以軟 件實(shí)施，則軟件可執(zhí)行于處理器中，所述處理器可指代一個(gè)或一個(gè)以上處理器，例如，微處 理器、專用集成電路(ASIC)、現(xiàn)場(chǎng)可編程門陣列(FPGA)、或數(shù)字信號(hào)處理器(DSP)，或其它 等效集成或離散邏輯電路。軟件可執(zhí)行于包括塊比較引擎的成像裝置中，如本文所描述。執(zhí) 行所述技術(shù)的軟件指令可最初存儲(chǔ)于計(jì)算機(jī)可讀媒體中且由成像裝置的處理器加載并執(zhí) 行。因此，本發(fā)明還涵蓋包含包含指令的計(jì)算機(jī)可讀媒體的計(jì)算機(jī)可讀媒體，所述指 令當(dāng)在包括塊比較引擎的成像裝置的處理器中執(zhí)行后便致使所述處理器對(duì)視頻序列的圖 像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括使用塊比較引擎比較經(jīng)編碼的圖像幀 的視頻塊與搜索空間的視頻塊；以及執(zhí)行圖像配準(zhǔn)過程，其中基于塊的圖像配準(zhǔn)過程包括 使用塊比較引擎來比較第一圖像的塊與第二圖像的塊。在附圖和以下描述中闡述一個(gè)或一個(gè)以上實(shí)例的細(xì)節(jié)。將從描述和圖式以及從權(quán) 利要求書明白其它特征、目的和優(yōu)點(diǎn)。


圖1為說明包括由圖像配準(zhǔn)單元與視頻編碼器兩者使用的塊比較引擎的實(shí)例成 像裝置的框圖。圖2為與本發(fā)明的技術(shù)一致的耦合到存儲(chǔ)器的示范性圖像配準(zhǔn)單元的框圖。圖3為與本發(fā)明的技術(shù)一致的耦合到存儲(chǔ)器的示范性視頻編碼器的框圖。圖4為說明根據(jù)本發(fā)明的執(zhí)行圖像配準(zhǔn)和視頻編碼的成像裝置的實(shí)例操作的流 程圖。圖5為說明與本發(fā)明一致的示范性圖像配準(zhǔn)過程的流程圖。
具體實(shí)施例方式成像裝置(尤其是小且輕的那些成像裝置，例如所謂的相機(jī)電話)易受在圖像俘 獲期間由裝置的用戶產(chǎn)生的不合意的移動(dòng)影響。此些不合意的移動(dòng)(有時(shí)稱為手抖動(dòng))大 體上歸因于模糊或其它視覺假影而導(dǎo)致降低的圖像質(zhì)量。為補(bǔ)償所述移動(dòng)，成像裝置可使
7用本發(fā)明中描述的圖像配準(zhǔn)技術(shù)來提供圖像穩(wěn)定。一般來說，圖像配準(zhǔn)指代一技術(shù)，在所 述技術(shù)中兩個(gè)或兩個(gè)以上靜態(tài)圖像經(jīng)俘獲、經(jīng)對(duì)準(zhǔn)并組合以形成復(fù)合(“配準(zhǔn)的”)靜態(tài)圖 像。相對(duì)于所述兩個(gè)或兩個(gè)以上靜態(tài)圖像，圖像配準(zhǔn)可用以減少經(jīng)組合的靜態(tài)圖像中的抖 動(dòng)，或用以組合兩個(gè)或兩個(gè)以上圖像以將圖像的序列融合成一個(gè)圖片。對(duì)于圖像配準(zhǔn)，本文所述的架構(gòu)使用經(jīng)俘獲的圖像的圖像塊相對(duì)于另一參考圖像 的塊的基于塊的比較以支持在逐塊基礎(chǔ)上的圖像配準(zhǔn)?？蓪蓚€(gè)或兩個(gè)以上圖像分成若干 塊或窗，其可類似于視頻編碼中定義的所謂的“宏塊”?？蓪⑦@些塊或窗與另一圖像的塊或 窗比較以支持在逐塊基礎(chǔ)上的圖像配準(zhǔn)。所述塊可為不相交的、接合的(非重疊)的或重 疊的。任選地，基于像素的配準(zhǔn)還可用于任何塊，對(duì)于所述任何塊，在參考圖像中未識(shí)別充 分匹配的塊。本發(fā)明描述一種在共享基礎(chǔ)上使用共同塊比較引擎支持靜態(tài)圖像的圖像配準(zhǔn)和 視頻序列的視頻編碼的圖像俘獲裝置的有效架構(gòu)。通過圖像配準(zhǔn)與視頻編碼兩者共享塊比 較引擎，減小成像裝置中的尺寸、處理和存儲(chǔ)器開銷可成為可能。對(duì)于視頻編碼，所描述的架構(gòu)還使用基于塊的比較(例如)以支持運(yùn)動(dòng)估計(jì)和運(yùn) 動(dòng)補(bǔ)償。根據(jù)本發(fā)明，如上文所描述，可經(jīng)由塊比較引擎執(zhí)行基于塊的比較，所述塊比較引 擎形成圖像配準(zhǔn)架構(gòu)與視頻編碼架構(gòu)兩者的共享部分。換句話說，本發(fā)明描述用于在基于 塊的圖像配準(zhǔn)和基于塊的視頻編碼中使用的共享塊比較引擎的使用。以此方式，可實(shí)施針 對(duì)基于塊的比較而設(shè)計(jì)的硬件單元，以便在靜態(tài)圖像的圖像配準(zhǔn)過程與用于編碼視頻序列 的視頻編碼過程兩者中工作。圖像配準(zhǔn)過程還可結(jié)合視頻俘獲一起使用，其中視頻序列的 每一圖像幀為與多個(gè)短曝光圖像相關(guān)聯(lián)的經(jīng)配準(zhǔn)的幀。在此情況下，與圖像幀的產(chǎn)生相關(guān) 聯(lián)的圖像配準(zhǔn)和用于編碼序列的此些圖像幀的視頻編碼過程仍將使用同一塊比較引擎。圖1為說明實(shí)例成像裝置2的框圖，所述成像裝置2包括由圖像配準(zhǔn)單元16與視 頻編碼器18兩者使用的塊比較引擎20。盡管塊比較引擎20經(jīng)說明為單獨(dú)組件，但其實(shí)際 上可形成圖像配準(zhǔn)單元16與視頻編碼器18兩者的部分。塊比較引擎20可包含在圖像配 準(zhǔn)期間由圖像配準(zhǔn)單元16調(diào)用以及在視頻編碼期間由視頻編碼器18調(diào)用的硬件單元?；?者，塊比較引擎20可包含硬件單元，所述硬件單元實(shí)質(zhì)上與圖像配準(zhǔn)單元16和視頻編碼器 18兩者集成，使得其形成圖像配準(zhǔn)單元16與視頻編碼器18兩者的部分?？梢杂布④浖?、 固件或其任何組合來實(shí)施圖像配準(zhǔn)單元16和視頻編碼器18。成像裝置2可包含數(shù)碼相機(jī)，其支持一個(gè)或一個(gè)以上數(shù)字靜態(tài)圖像俘獲模式和視 頻俘獲模式。成像裝置2可包含獨(dú)立的成像裝置(例如，獨(dú)立的相機(jī))，或可形成例如無線 手持機(jī)(通常稱為蜂窩式無線電電話)的另一裝置的部分。作為一實(shí)例，成像裝置2可包 含所謂的相機(jī)電話或視頻電話。在此情況下，裝置2可包括許多其它組件(例如，接收器、 發(fā)射器、調(diào)制解調(diào)器和天線)以促進(jìn)無線通信。為簡(jiǎn)單和易于說明起見，未展示這些無線通 信組件。如圖1中所示，成像裝置2可包括經(jīng)由專用總線11耦合到圖像處理單元12的相機(jī) 10。圖像裝置2可界定隨著靜態(tài)圖像或視頻幀由相機(jī)10俘獲而自動(dòng)處理所述圖像和/或 幀的“內(nèi)嵌(in-line)”架構(gòu)。然而，本發(fā)明的技術(shù)不需要相機(jī)10和處理單元12。相反，相 對(duì)于已由另一裝置俘獲的數(shù)據(jù)、從另一裝置發(fā)送的數(shù)據(jù)、已存儲(chǔ)于存儲(chǔ)器14中的數(shù)據(jù)等， 也可應(yīng)用本文描述的視頻編碼和圖像配準(zhǔn)過程，其使用同一塊比較引擎。
8
相機(jī)10可支持靜態(tài)圖像俘獲，其中對(duì)于每一圖像以相對(duì)短的曝光時(shí)間俘獲圖像 的短序列，且接著將其組合以形成如本文所述的經(jīng)配準(zhǔn)的靜態(tài)圖像。相機(jī)10還可支持視頻 俘獲，其中幀的序列經(jīng)俘獲且經(jīng)編碼以形成視頻序列。本文將圖像配準(zhǔn)過程主要描述為圖 像俘獲模式的部分，但還可在視頻俘獲(例如，其中視頻序列的每一圖像幀自身為基于兩 次或兩次以上曝光而形成的經(jīng)配準(zhǔn)的幀)期間使用圖像配準(zhǔn)過程。相機(jī)10可包括(例如)以行和列布置的個(gè)別圖像傳感器元件的二維陣列。在一 些方面中，相機(jī)10的圖像傳感器元件中的每一者可與單一像素相關(guān)聯(lián)。換句話說，可能在 圖像傳感器元件與像素之間存在一一對(duì)應(yīng)?；蛘?，可存在與每一像素相關(guān)聯(lián)的一個(gè)以上圖 像傳感器元件或與每一圖像傳感器元件相關(guān)聯(lián)的一個(gè)以上像素。相機(jī)10可包含(例如) 固態(tài)傳感器的陣列，所述固態(tài)傳感器例如為互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)傳感器、電荷耦 合裝置(CCD)傳感器或在數(shù)碼相機(jī)應(yīng)用中使用的任何其它傳感器元件。此外，相機(jī)10可維 持一個(gè)或一個(gè)以上圖像緩沖器，相機(jī)10即時(shí)地將所俘獲圖像的圖像信息存儲(chǔ)到所述一個(gè) 或一個(gè)以上圖像緩沖器。相機(jī)10可包括一個(gè)或一個(gè)以上透鏡、快門、用以照亮圖像場(chǎng)景的 閃光裝置和(可能地)顯示器(如果需要的話)。圖1中所說明的架構(gòu)僅為示范性的，因?yàn)?可以多種其它架構(gòu)來實(shí)施本發(fā)明中所描述的技術(shù)。為俘獲一圖像，相機(jī)10將其傳感器元件暴露于圖像場(chǎng)景。相機(jī)10內(nèi)的圖像傳感器 元件可(例如)俘獲表示在特定像素位置處的場(chǎng)景的光的強(qiáng)度的強(qiáng)度值。在一些情況下， 相機(jī)10的圖像傳感器元件中的每一者可歸因于覆蓋傳感器的彩色濾光片而僅對(duì)一種色彩 或色帶敏感。舉例來說，相機(jī)10可包含具有適當(dāng)濾光片的傳感器的陣列以便界定紅色、綠 色和藍(lán)色傳感器。然而，相機(jī)10可利用其它類型的彩色濾光片，例如CMYK彩色濾光片或其 它類型的彩色濾光片。相機(jī)10的圖像傳感器中的每一者可俘獲對(duì)于僅一種色彩的強(qiáng)度值。 圖像信息可包括由相機(jī)10的傳感器元件俘獲的像素強(qiáng)度和/或色彩值。圖像處理器單元12接收來自相機(jī)10的原始圖像數(shù)據(jù)，且可對(duì)此數(shù)據(jù)執(zhí)行廣泛多 種圖像處理技術(shù)中的任一者。圖像處理單元12可稱為成像“前端”，且可執(zhí)行例如縮放、白 平衡、色彩平衡、修剪、信號(hào)噪聲減少、銳化或任何其它前端圖像數(shù)據(jù)處理的功能。所俘獲的 圖像數(shù)據(jù)存儲(chǔ)于存儲(chǔ)器14中。圖像處理單元12、存儲(chǔ)器14、圖像配準(zhǔn)單元16和視頻編碼 器18可經(jīng)由共享數(shù)據(jù)通信總線15而彼此通信地耦合。存儲(chǔ)器14可包含任何形式的易失性或非易失性存儲(chǔ)器，例如只讀存儲(chǔ)器(ROM)、 一形式的隨機(jī)存取存儲(chǔ)器(RAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃存儲(chǔ)器，或某 一類型的數(shù)據(jù)存儲(chǔ)驅(qū)動(dòng)器或單元。通常，存儲(chǔ)器14可實(shí)施為某一類型的RAM或快閃存儲(chǔ)器 以確保在裝置2的不同組件之間的快速數(shù)據(jù)傳送。可在裝置2的靜態(tài)圖像俘獲模式期間使用圖像配準(zhǔn)單元16，而可在視頻俘獲模式 期間使用視頻編碼器18。圖像配準(zhǔn)單元16可組合兩個(gè)或兩個(gè)以上圖像以形成經(jīng)配準(zhǔn)的圖 像。在圖像俘獲模式期間，舉例來說，相機(jī)10可俘獲幾個(gè)連續(xù)短曝光圖像(例如，四個(gè)連續(xù) 0.25秒圖像)，而非俘獲長(zhǎng)曝光圖像(例如，1秒圖像)。圖像配準(zhǔn)單元16可將四個(gè)連續(xù) 0. 25秒圖像組合成經(jīng)配準(zhǔn)的圖像。相對(duì)于持續(xù)1秒曝光的圖像來說，經(jīng)配準(zhǔn)的圖像可具有 改進(jìn)的圖像質(zhì)量。以此方式，配準(zhǔn)可(例如)通過減少抖動(dòng)而改進(jìn)靜態(tài)圖像的質(zhì)量?？稍谝曨l俘獲期間使用視頻編碼器18。視頻編碼器18可根據(jù)例如高級(jí)視頻編碼 (AVC)，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 等標(biāo)準(zhǔn)執(zhí)行視頻
9壓縮。以此方式，視頻編碼器18壓縮視頻幀的序列以形成經(jīng)編碼的視頻序列。而且，圖像 配準(zhǔn)無需限于圖像俘獲模式，而是還可用于視頻俘獲模式中，使得視頻序列的每一圖像幀 為基于兩次或兩次以上圖像曝光而產(chǎn)生的經(jīng)配準(zhǔn)的幀。根據(jù)本發(fā)明的技術(shù)，由圖像配準(zhǔn)單元16與視頻編碼器18兩者使用塊比較引擎20。 而且，盡管塊比較引擎20經(jīng)說明為單獨(dú)的組件，但其實(shí)際上可形成圖像配準(zhǔn)單元16與視頻 編碼器18兩者的部分?；蛘撸瑝K比較引擎20可被視為在圖像配準(zhǔn)期間由圖像配準(zhǔn)單元16 調(diào)用以及在視頻編碼期間由視頻編碼器18調(diào)用的單獨(dú)組件。總之，圖像配準(zhǔn)單元16和視 頻編碼器18兩者均利用塊比較引擎20。以此方式，可在成像裝置2中避免塊比較引擎20 的重復(fù)，以使裝置2的架構(gòu)更有效。舉例來說，共享的塊比較引擎20可產(chǎn)生具有比在使用 單獨(dú)的塊比較引擎的情況下將需要的芯片面積小的芯片面積(較少硅)的集成電路。相對(duì) 于僅軟件解決方案，還可通過實(shí)施塊比較引擎20而減少存儲(chǔ)器需求。另外，相對(duì)于其它架 構(gòu)或僅軟件解決方案，可改進(jìn)處理速度。圖像配準(zhǔn)16可執(zhí)行基于塊的圖像配準(zhǔn)。在此情況下，將圖像分割成像素的塊(在 本發(fā)明中稱為“塊”)。塊表示圖像信息的鄰接部分，且可被稱為“窗”或其它術(shù)語。在一些情 況下，經(jīng)界定用于圖像配準(zhǔn)的塊可類似于H. 264視頻編碼標(biāo)準(zhǔn)中所界定的所謂的“宏塊”、 “分割”或“子分割”。所述塊具有任何尺寸，例如，16X16個(gè)像素、8X8個(gè)像素、4X8個(gè)像素、 8X4個(gè)像素、4X4個(gè)像素或任何其它尺寸。在視頻編碼的情境下，塊可被稱為宏塊、分割或 子分割，但在圖像配準(zhǔn)中，塊可被稱為窗或其它術(shù)語。塊可包含在像素域(pixel domain) 中或在變換域(transform domain)(例如，離散余弦變換(DCT)域)中的圖像數(shù)據(jù)的集合。 舉例來說，塊可包含形成正方形或矩形的像素值或變換系數(shù)值。塊可為不相交的、接合(非 重疊)的或重疊的。圖像配準(zhǔn)模塊16執(zhí)行基于塊的圖像配準(zhǔn)過程，在所述過程中比較第一圖像(當(dāng)前 圖像)的塊與第二圖像(參考圖像)的塊。第一圖像和第二圖像可包含具有短曝光時(shí)間的 連續(xù)圖像，如上文所解釋。如果在配準(zhǔn)過程中組合兩個(gè)以上圖像，則第二圖像自身可為兩 次曝光的經(jīng)配準(zhǔn)的版本，且第一圖像可為待與前兩次曝光的經(jīng)配準(zhǔn)的組合相組合的第三曝 光。為了加速此比較過程，圖像配準(zhǔn)模塊16使用塊比較引擎20。塊比較引擎20比較第一 圖像的塊與第二圖像的塊。圖像配準(zhǔn)單元16識(shí)別、匹配并組合第一圖像的塊與第二圖像的 匹配塊。圖像配準(zhǔn)單元16將經(jīng)配準(zhǔn)的塊轉(zhuǎn)發(fā)到存儲(chǔ)器14，以便在存儲(chǔ)器14中以逐塊的方 式組裝經(jīng)配準(zhǔn)的圖像。在組合第一圖像的塊與第二圖像的塊的過程中，圖像配準(zhǔn)單元16可平均化最近 俘獲的圖像的像素的像素值(例如，強(qiáng)度和/或色彩值)與時(shí)間上在前面的圖像的像素的 像素值。圖像配準(zhǔn)單元16可使用第一圖像與第二圖像的直接平均、第一圖像與第二圖像的 加權(quán)平均、第一圖像與第二圖像的和，或用于組合兩個(gè)或兩個(gè)以上圖像的圖像信息以供圖 像配準(zhǔn)的任何其它技術(shù)。圖像配準(zhǔn)單元16可將最近俘獲的圖像的像素位置處的經(jīng)平均化 像素值存儲(chǔ)于存儲(chǔ)器14中。以此方式，圖像配準(zhǔn)單元16可在圖像配準(zhǔn)期間以經(jīng)平均化像 素值來替代經(jīng)俘獲圖像中的一者的像素的像素值。此經(jīng)平均化圖像信息(即，像素值)通 常展現(xiàn)比未配準(zhǔn)的圖像信息少的模糊，由此提供增強(qiáng)的圖像質(zhì)量，尤其在出現(xiàn)上文提及的 振動(dòng)或移動(dòng)的例子中。經(jīng)平均化圖像數(shù)據(jù)還可致使經(jīng)配準(zhǔn)的圖像展現(xiàn)比第一圖像和第二圖 像少的模糊和可能少的噪聲。
10
根據(jù)本發(fā)明，圖像配準(zhǔn)可在逐塊基礎(chǔ)上發(fā)生。然而，在一些情況下，如果對(duì)于所述 塊中的一些，未識(shí)別充分匹配的塊，則可由圖像配準(zhǔn)單元16對(duì)此些塊執(zhí)行逐像素的比較。 圖像配準(zhǔn)可用以組合場(chǎng)景的多次短曝光且將這些多次曝光合并在一起以減少噪聲，增加信 號(hào)且改進(jìn)圖像銳度。例如照明差和視景移位(旋轉(zhuǎn)、平移)等問題是針對(duì)此類型處理的挑 戰(zhàn)。下文提供圖像配準(zhǔn)過程的額外細(xì)節(jié)。視頻編碼器18實(shí)施基于塊的視頻壓縮技術(shù)，例如由高級(jí)視頻編碼(AVC)標(biāo)準(zhǔn)，第 10 部分，MPEG-2、MPEG-4、ITU-T H. 261、H. 263 或 H. 264/MPEG-4 所界定的那些技術(shù)。具體 來說，視頻編碼器18可執(zhí)行空間預(yù)測(cè)和時(shí)間預(yù)測(cè)以減少或移除在由相機(jī)10俘獲并由圖像 處理單元12處理的視頻幀的序列中所固有的冗余?？臻g預(yù)測(cè)減少由相機(jī)10所俘獲的給定 視頻幀內(nèi)的相鄰視頻塊之間的冗余。時(shí)間預(yù)測(cè)(還稱為運(yùn)動(dòng)估計(jì)和補(bǔ)償)減少視頻序列的 過去和/或?qū)硪曨l幀中的視頻塊之間的時(shí)間冗余。對(duì)于時(shí)間預(yù)測(cè)，視頻編碼器18執(zhí)行運(yùn)動(dòng)估計(jì)以追蹤兩個(gè)或兩個(gè)以上鄰近幀之間 的匹配視頻塊的移動(dòng)。視頻編碼器18可界定運(yùn)動(dòng)向量以指示視頻塊相對(duì)于搜索空間的一 個(gè)或一個(gè)以上參考幀中的對(duì)應(yīng)預(yù)測(cè)視頻塊的位移。運(yùn)動(dòng)補(bǔ)償使用運(yùn)動(dòng)向量以從參考幀識(shí)別 預(yù)測(cè)視頻塊。經(jīng)由減法運(yùn)算(例如，通過從待編碼的原始視頻塊減去預(yù)測(cè)視頻塊)形成殘 余視頻塊?？蓪堄嘁曨l塊連同運(yùn)動(dòng)向量一起發(fā)送到視頻解碼器。為了進(jìn)行空間預(yù)測(cè)和時(shí)間預(yù)測(cè)所必需的基于塊的比較，視頻編碼器18使用由圖 像配準(zhǔn)單元16在圖像配準(zhǔn)中使用以用于基于塊的比較的同一塊比較引擎20。然而，視頻編 碼器18從數(shù)據(jù)的塊中減去塊以形成殘余塊，而非將數(shù)據(jù)的塊組合(如由圖像配準(zhǔn)單元16 進(jìn)行)。因?yàn)獒槍?duì)圖像配準(zhǔn)而執(zhí)行的基于塊的比較操作類似于針對(duì)視頻編碼而執(zhí)行的基于 塊的比較操作，所以可由圖像配準(zhǔn)單元16與視頻編碼器18兩者使用同一塊比較引擎20。 而且，共享的塊比較引擎20可產(chǎn)生具有比在使用單獨(dú)塊比較引擎的情況下將需要的芯片 面積小的芯片面積(較少硅)的集成電路裝置。相對(duì)于僅軟件解決方案，還可通過實(shí)施塊 比較引擎20而減少存儲(chǔ)器需求。另外，相對(duì)于其它架構(gòu)或僅軟件解決方案，可改進(jìn)處理速 度。在下文論述中，將視頻編碼器18主要描述為執(zhí)行時(shí)間預(yù)測(cè)，例如運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng) 補(bǔ)償。然而，視頻編碼器18還可執(zhí)行空間預(yù)測(cè)，且可實(shí)施塊比較引擎20以用于此空間預(yù)測(cè)。 然而，在此情況下，將給定視頻幀的塊與同一視頻幀的其它塊進(jìn)行比較，以界定可用以在空 間上壓縮數(shù)據(jù)的類似性。塊比較引擎20可包含硬件單元。圖像配準(zhǔn)單元16和視頻編碼器18可經(jīng)實(shí)施為 硬件、軟件、固件，或硬件、軟件或固件的廣泛多種組合中的任一者。圖像配準(zhǔn)單元16和視 頻編碼器18可由一個(gè)或一個(gè)以上微處理器、數(shù)字信號(hào)處理器(DSP)、專用集成電路(ASIC)、 現(xiàn)場(chǎng)可編程門陣列(FPGA)，或任何其它等效離散或集成邏輯電路，或其組合來實(shí)現(xiàn)。在一些 實(shí)施例中，視頻編碼器18可包含支持編碼和解碼功能性的編碼器-解碼器(CODEC)。圖2為與本發(fā)明的技術(shù)一致的耦合到存儲(chǔ)器14的示范性圖像配準(zhǔn)單元16的框 圖。圖2中的所說明組件為圖1中所示的圖像配準(zhǔn)單元16和存儲(chǔ)器14的一個(gè)實(shí)例。如圖 2中所示，存儲(chǔ)器14接收來自圖像處理單元(例如，圖1的單元12)的圖像數(shù)據(jù)。在圖2和 圖3中，說明同一塊比較引擎20。虛線環(huán)繞塊比較引擎20以說明塊比較引擎20形成圖像 配準(zhǔn)單元16 (圖2)的部分，而且形成視頻編碼器18 (圖3)的部分的想法。如上文所提及，可將塊比較引擎20視為由圖像配準(zhǔn)單元16和由視頻編碼器18調(diào)用的引擎，或可將其視為 經(jīng)集成為圖像配準(zhǔn)單元16和視頻編碼器18的部分的硬件單元?？梢灾饓K的方式在存儲(chǔ)器中在交替(ping pong)輸入緩沖器22處接收輸入。交 替輸入緩沖器22可包含所謂的“交替”緩沖器布置。在此情況下，數(shù)據(jù)僅在需要其時(shí)存儲(chǔ) 于緩沖器22中，且一旦在圖像配準(zhǔn)單元16中處理此數(shù)據(jù)便將數(shù)據(jù)蓋寫。舉例來說，可將第 一圖像塊存儲(chǔ)于交替輸入緩沖器22中且將其轉(zhuǎn)發(fā)到圖像配準(zhǔn)單元16以供處理。此時(shí)，可 在交替輸入緩沖器22中從圖像處理單元12接收數(shù)據(jù)的第二塊。一旦數(shù)據(jù)的第一塊由圖像 配準(zhǔn)單元16處理，便可將數(shù)據(jù)的第二塊轉(zhuǎn)發(fā)到圖像配準(zhǔn)單元16。此時(shí)，可在交替輸入緩沖 器22中接收數(shù)據(jù)的第三塊。此外，數(shù)據(jù)的此第三塊可蓋寫交替輸入緩沖器22中的數(shù)據(jù)的 第一塊。此實(shí)現(xiàn)存儲(chǔ)器14的有效使用，使得一旦已由圖像配準(zhǔn)單元16處理數(shù)據(jù)，數(shù)據(jù)便無 需存儲(chǔ)于存儲(chǔ)器14中。可經(jīng)由數(shù)據(jù)通信總線15在存儲(chǔ)器14與圖像配準(zhǔn)單元16之間傳送 數(shù)據(jù)。交替輸入緩沖器22可包括用于任何數(shù)目的塊的存儲(chǔ)空間，但一般支持一旦已處 理數(shù)據(jù)塊便蓋寫此些塊。如進(jìn)一步解釋，交替輸入緩沖器22可包括兩個(gè)或兩個(gè)以上并行緩 沖器。當(dāng)寫入到一個(gè)緩沖器時(shí)，可從另一緩沖器讀取數(shù)據(jù)，且反之亦然。因此，交替緩沖器 22可支持在從一個(gè)緩沖器讀取的同時(shí)大體上同時(shí)蓋寫另一緩沖器，使得讀取操作和寫入操 作在兩個(gè)或兩個(gè)以上并行緩沖器之間在交替基礎(chǔ)上交替。圖像配準(zhǔn)單元16以逐塊的方式執(zhí)行圖像配準(zhǔn)過程。具體來說，圖像配準(zhǔn)單元16從 交替輸入緩沖器22接收第一圖像的數(shù)據(jù)的塊，且接收與第二圖像(例如，參考圖像24)相 關(guān)聯(lián)的塊的集合。參考圖像24可為先前俘獲的圖像(先前在與靜態(tài)圖像俘獲相關(guān)聯(lián)的短 時(shí)間序列中)，或可包含與兩個(gè)或兩個(gè)以上先前俘獲的圖像相關(guān)聯(lián)的復(fù)合配準(zhǔn)的圖像。圖像配準(zhǔn)單元16調(diào)用塊比較引擎20以將第一圖像的塊與第二圖像的一個(gè)或一個(gè) 以上塊進(jìn)行比較。塊比較引擎20將第一圖像的塊的像素與第二圖像的不同塊的像素進(jìn)行 比較，且產(chǎn)生指示第一圖像的塊與第二圖像的不同塊之間的匹配的水平的匹配值。塊比較 引擎20可實(shí)施絕對(duì)差和(SAD)技術(shù)、平方差和(SSD)技術(shù)或任何其它合適的比較技術(shù)以產(chǎn) 生匹配值。塊匹配單元27從塊比較引擎20接收匹配值且將這些值與一個(gè)或一個(gè)以上閾值 進(jìn)行比較以確定是否已識(shí)別充分匹配。SAD技術(shù)涉及在第一圖像的塊的值與第二(參考)圖像的塊的像素值之間執(zhí)行絕 對(duì)差計(jì)算的任務(wù)。將這些絕對(duì)差計(jì)算的結(jié)果求和(即，累加)，以便界定指示所述塊之間的 差的值。作為實(shí)例，對(duì)于8乘8像素塊，可計(jì)算64個(gè)差并對(duì)其求和，且對(duì)于16乘16像素塊， 可計(jì)算256個(gè)差并對(duì)其求和。較低差值大體上指示與另一塊比較的一塊為更好匹配。SSD技術(shù)還涉及在第一圖像的塊的像素值與第二(參考)圖像的塊的像素值之間 執(zhí)行差計(jì)算的任務(wù)。在SSD技術(shù)中，將絕對(duì)差計(jì)算的結(jié)果平方，且接著將平方值求和(即， 累加)，以便界定指示所述塊之間的差的差值?；蛘撸瑝K比較引擎20可實(shí)施其它比較技術(shù)， 例如均方誤差(MSE)、歸一化互相關(guān)函數(shù)(NCCF)或另一合適的比較技術(shù)。如果由塊匹配單元27識(shí)別充分匹配，則塊組合器28組合第一圖像的塊與第二圖 像的匹配塊以(例如)通過平均化或以其它方式組合塊中的對(duì)應(yīng)像素的值而產(chǎn)生經(jīng)配準(zhǔn)的 塊。接著將經(jīng)配準(zhǔn)的塊從圖像配準(zhǔn)單元的塊組合器28發(fā)送到存儲(chǔ)器14，其中塊組合器28 用以組裝經(jīng)配準(zhǔn)的圖像26的部分。為了組合塊，如上文所提及，塊組合器28可執(zhí)行加法運(yùn)算、平均化運(yùn)算、加權(quán)平均化運(yùn)算，或通常用于圖像配準(zhǔn)過程中的用以組合匹配塊內(nèi)的對(duì)應(yīng) 像素值的任何運(yùn)算。另一方面，如果塊匹配單元27未識(shí)別充分匹配，則幾個(gè)不同可能性中的一者可能 發(fā)生。在一個(gè)實(shí)例中，如果塊匹配單元27未識(shí)別充分匹配，則塊組合器28可避免任何組合， 且可將第一圖像的塊直接轉(zhuǎn)發(fā)到存儲(chǔ)器14以供在組裝經(jīng)配準(zhǔn)的圖像26的過程中使用。在 此情況下，經(jīng)配準(zhǔn)的圖像的那個(gè)給定塊可僅包括與第一圖像的塊相關(guān)聯(lián)的數(shù)據(jù)，而無與第 二圖像的塊的任何組合。在一些情況下，如果塊組合器28因任何原因而避免組合，則塊組 合器28可在第一圖像的塊與第二圖像的塊之間進(jìn)行選擇且轉(zhuǎn)發(fā)所選的塊。在此情況下，可 基于塊的已知或所測(cè)量性質(zhì)進(jìn)行選擇，例如，當(dāng)避免組合時(shí)可轉(zhuǎn)發(fā)展現(xiàn)最小噪聲的塊?；蛘撸绻麎K匹配單元27未識(shí)別充分匹配，則塊組合器28可將第一圖像的塊和最 佳匹配(即使對(duì)于塊組合來說不夠好)轉(zhuǎn)發(fā)到像素組合器29。在此情況下，像素組合器29 可執(zhí)行第一圖像的塊相對(duì)于由塊比較引擎20和塊匹配單元27識(shí)別的最佳匹配塊的像素的 基于像素的比較。像素組合器29可組合第一圖像的塊的充分匹配的像素與第二圖像的最 佳匹配塊的像素。然而，不具有充分匹配的任何像素可能仍未組合。在產(chǎn)生具有一個(gè)或一 個(gè)以上經(jīng)組合像素的經(jīng)配準(zhǔn)塊后，像素組合器29可將經(jīng)配準(zhǔn)的塊轉(zhuǎn)發(fā)到存儲(chǔ)器，其中經(jīng)配 準(zhǔn)的塊經(jīng)存儲(chǔ)以供在組裝經(jīng)配準(zhǔn)的圖像26的過程中使用。像素組合器29為任選的，且在 一些實(shí)施例中可除去。在一些情況下，一旦經(jīng)配準(zhǔn)的圖像26經(jīng)完全組裝，經(jīng)配準(zhǔn)的圖像26接著便用作參 考圖像24。如果在圖像配準(zhǔn)過程中組合三個(gè)或三個(gè)以上圖像，則此特別有用。在此情況下， 以逐塊的方式組合前兩個(gè)圖像以產(chǎn)生經(jīng)配準(zhǔn)的圖像26，其接著變?yōu)閰⒖紙D像24。接著，將 第三圖像與參考圖像24進(jìn)行比較并將其組合以產(chǎn)生新的經(jīng)配準(zhǔn)的圖像26，此時(shí)新的經(jīng)配 準(zhǔn)的圖像26為三個(gè)圖像的組合。此過程可繼續(xù)用于待組合成經(jīng)配準(zhǔn)的圖像的任何數(shù)目的 圖像。如果(例如)相對(duì)于已可用且未實(shí)時(shí)俘獲的經(jīng)預(yù)先俘獲的圖像或數(shù)據(jù)而離線執(zhí)行配 準(zhǔn)過程，則可將任何圖像視為第一參考圖像。如上文所提及，塊比較引擎20不僅用于針對(duì)圖像配準(zhǔn)的基于塊的比較，而且用于 針對(duì)視頻編碼的基于塊的比較。圖3為與本發(fā)明的技術(shù)一致的耦合到存儲(chǔ)器14的示范性 視頻編碼器18的框圖。圖3中的所說明組件為圖1中所示的視頻編碼器18和存儲(chǔ)器14 的一個(gè)實(shí)例。如圖3中所示，存儲(chǔ)器14從圖像處理單元(例如，圖1的單元12)接收數(shù)據(jù)。 此數(shù)據(jù)為形成視頻序列的圖像幀的序列?？稍诖鎯?chǔ)器中在輸入緩沖器32處接收輸入。輸入緩沖器32可類似于交替輸入緩 沖器22，且可包含所謂的“交替”緩沖器布置，(例如)如先前所描述。然而，可根據(jù)許多其 它類型的緩沖器布置來布置輸入緩沖器32。對(duì)于視頻編碼，存儲(chǔ)器14將第一圖像幀的塊存儲(chǔ)于輸入緩沖器32中，且存儲(chǔ)搜索 空間34。搜索空間34可包含對(duì)應(yīng)于視頻序列的先前編碼的圖像幀(或?qū)τ陔p向預(yù)測(cè)的可 能的后續(xù)幀)的像素(或像素的塊)的集合。搜索空間可包含全部先前幀或后續(xù)幀，或幀 的子集(如果需要的話)。搜索空間可為矩形形狀或可采用廣泛多種形狀和尺寸中的任一
者ο視頻編碼器18從輸入緩沖器32接收待編碼的圖像幀的塊，且接收搜索空間34。 可經(jīng)由數(shù)據(jù)通信總線15將數(shù)據(jù)從存儲(chǔ)器14傳送到視頻編碼器18。視頻編碼器16包括運(yùn)動(dòng)估計(jì)(ME)單元42、運(yùn)動(dòng)補(bǔ)償(MC)單元44和差單元46。在圖3的實(shí)例中，塊比較引擎20 形成視頻編碼器18的部分，且可被視為由ME單元42調(diào)用的比較引擎，或可被視為ME單元 42的集成部分。視頻編碼器18經(jīng)說明為包括用于基于運(yùn)動(dòng)的時(shí)間編碼的ME單元42和MC 單元44，但還可包括用于空間預(yù)測(cè)編碼的組件，且此些組件還可使用同一塊比較引擎20。 為簡(jiǎn)單和易于說明起見，圖3中未展示空間預(yù)測(cè)組件。經(jīng)由ME單元42和MC單元44的幀間編碼依賴于時(shí)間預(yù)測(cè)以減少或移除視頻序列 的連續(xù)圖像幀的塊之間的時(shí)間冗余。對(duì)于幀間編碼，ME單元42追蹤兩個(gè)或兩個(gè)以上鄰近 幀之間的匹配塊的移動(dòng)。運(yùn)動(dòng)估計(jì)產(chǎn)生運(yùn)動(dòng)向量，其指示塊相對(duì)于一個(gè)或一個(gè)以上參考幀 中的對(duì)應(yīng)預(yù)測(cè)塊的位移。MC單元44使用運(yùn)動(dòng)向量以從參考幀產(chǎn)生預(yù)測(cè)塊。在運(yùn)動(dòng)補(bǔ)償后， 差單元46通過從待編碼的原始?jí)K減去預(yù)測(cè)塊而產(chǎn)生殘余塊?？蓪堄鄩K和用以產(chǎn)生殘余 塊的運(yùn)動(dòng)向量從視頻編碼器16傳送到存儲(chǔ)器14，其中此數(shù)據(jù)經(jīng)存儲(chǔ)并組裝為視頻序列的 經(jīng)編碼幀的殘余數(shù)據(jù)36。而且，根據(jù)本發(fā)明，由圖像配準(zhǔn)單元16使用的同一塊比較引擎20還由視頻編碼器 18使用以促進(jìn)塊比較。然而，在視頻編碼中，塊比較促進(jìn)視頻序列的基于塊的編碼而非圖 像配準(zhǔn)。塊比較引擎20可實(shí)施如上文所概述的SAD技術(shù)、SSD技術(shù)或任何合適的塊比較技 術(shù)。如果需要，視頻編碼器18可應(yīng)用變換、量化和熵編碼過程以進(jìn)一步減小與殘余塊 相關(guān)聯(lián)的位速率。變換技術(shù)可包含離散余弦變換(DCT)。量化可包括將系數(shù)量化到降低的 分辨率水平以改進(jìn)壓縮。熵編碼可包括可變長(zhǎng)度編碼、二進(jìn)制算術(shù)編碼(CABAC)、霍夫曼編 碼、行程編碼、編碼塊模式(CBP)編碼等。為簡(jiǎn)單和易于說明起見，圖3中未說明這些額外 組件。這些或其它編碼方法可輔助殘余數(shù)據(jù)的數(shù)據(jù)壓縮，尤其在將要在裝置之間發(fā)射數(shù)據(jù) 的情況下。圖4為說明根據(jù)本發(fā)明的執(zhí)行圖像配準(zhǔn)和視頻編碼的成像裝置2的實(shí)例操作的流 程圖。如上文所提及，本發(fā)明的技術(shù)不需要任何圖像俘獲，但可相對(duì)于已由另一裝置俘獲的 數(shù)據(jù)、從另一裝置發(fā)送的數(shù)據(jù)、已存儲(chǔ)于存儲(chǔ)器中的數(shù)據(jù)等應(yīng)用所述技術(shù)。然而，圖4(其展 示圖像俘獲步驟)說明在此情境下本文中所描述的技術(shù)。如圖4中所示，成像裝置2操作于 視頻模式或靜態(tài)圖像俘獲模式中(400)。當(dāng)成像裝置2為視頻模式(400的視頻分支)時(shí)， 成像裝置2的相機(jī)10俘獲視頻序列(401)。成像裝置2的視頻編碼器18使用塊比較引擎 20以對(duì)所俘獲的視頻序列執(zhí)行基于塊的視頻編碼(402)?；蛘?，當(dāng)成像裝置2為靜態(tài)圖像俘獲模式(400的靜態(tài)圖像分支)時(shí)，成像裝置2 俘獲靜態(tài)圖像(403)。在此情況下，成像裝置2的圖像配準(zhǔn)單元16使用塊比較引擎20來圖 像配準(zhǔn)(404)。以此方式，塊比較引擎20執(zhí)行雙重功能性，從而加速圖像配準(zhǔn)過程和視頻編 碼過程。盡管圖像配準(zhǔn)過程經(jīng)描述為主要適用于靜態(tài)圖像，但圖像配準(zhǔn)過程還可用以(例 如)在視頻編碼之前配準(zhǔn)視頻序列的圖像幀。簡(jiǎn)而言之，裝置2對(duì)視頻序列的圖像幀執(zhí)行視頻編碼過程，其中執(zhí)行視頻編碼過 程包括使用塊比較20引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進(jìn)行比較。 另外，裝置2執(zhí)行圖像配準(zhǔn)過程，其中執(zhí)行所述圖像配準(zhǔn)過程包括使用塊比較引擎20將第 一圖像的塊與第二圖像的塊進(jìn)行比較。所述技術(shù)可應(yīng)用于俘獲圖像和視頻的裝置中，或應(yīng) 用于僅存儲(chǔ)圖像和視頻的裝置中。
14
如本文所描述，視頻編碼過程包括使用塊比較引擎20的運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償，和 在正被編碼的圖像幀的視頻塊與搜索空間的匹配視頻塊之間的差計(jì)算。所述差計(jì)算包含減 法運(yùn)算。圖像配準(zhǔn)過程包括使用塊比較引擎20以比較第一圖像的塊與第二圖像的塊，且組 合第一圖像與第二圖像的匹配塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的塊。匹配塊的組合可包含加法運(yùn)算 和平均化運(yùn)算中的至少一者。與塊比較引擎20相關(guān)聯(lián)的減小的芯片面積和減少的等待時(shí)間是視頻編碼和圖像 配準(zhǔn)共享塊比較引擎20而可實(shí)現(xiàn)的兩個(gè)優(yōu)點(diǎn)。通過圖像配準(zhǔn)實(shí)施共享引擎，可避免對(duì)在集 成電路中添加用于圖像配準(zhǔn)的專用芯片空間的需要。此外，與用于視頻編碼和圖像配準(zhǔn)的 僅軟件解決方案相比，通過實(shí)施用于視頻編碼和圖像配準(zhǔn)的基于硬件的塊比較引擎20，可 加速處理。圖5說明與本發(fā)明一致的示范性圖像配準(zhǔn)過程。如圖5中所示，存儲(chǔ)器14存儲(chǔ)參 考圖像(其可稱為“第二圖像”)。存儲(chǔ)器14根據(jù)交替緩沖器布置接收并處理待配準(zhǔn)的第一 圖像的塊(402)，所述布置可經(jīng)由交替輸入緩沖器22而實(shí)施。在此情況下，交替輸入緩沖器 22將第一圖像的塊緩沖于緩沖器布置中，使得當(dāng)?shù)谝粓D像的給定塊與第二圖像的給定塊組 合以產(chǎn)生經(jīng)配準(zhǔn)的圖像的給定塊時(shí)，在所述緩沖器布置中蓋寫第一圖像的給定塊。如進(jìn)一 步解釋，交替緩沖器布置通常具有兩個(gè)或兩個(gè)以上并行緩沖器。當(dāng)寫入到一個(gè)緩沖器時(shí)，可 從另一者讀取數(shù)據(jù)，且反之亦然。圖像配準(zhǔn)單元16使用塊比較引擎20以用于輸入緩沖器22中的第一圖像的塊相 對(duì)于存儲(chǔ)為參考圖像24的第二圖像的塊的圖像配準(zhǔn)(503)。塊匹配單元27確定任何參考 塊是否具有大于閾值的與第一圖像的塊的匹配水平(504)。如果塊匹配單元27識(shí)別針對(duì)第 一圖像的一個(gè)或一個(gè)以上“第一”塊的匹配水平大于閾值(504的是分支)，則塊組合器28 組合所述一個(gè)或一個(gè)以上第一塊與第一圖像的相應(yīng)塊以產(chǎn)生經(jīng)配準(zhǔn)的塊(505)。如果塊匹配單元27未識(shí)別針對(duì)第一圖像的一個(gè)或一個(gè)以上“第二”塊的匹配水平 大于閾值(504的否分支)，則塊組合器28不組合所述一個(gè)或一個(gè)以上第二塊與第一圖像的 塊以產(chǎn)生經(jīng)配準(zhǔn)的塊(506)。而是，塊組合器將這些第二塊轉(zhuǎn)發(fā)到像素組合器29。像素組 合器29針對(duì)第一圖像的第二塊的個(gè)別像素執(zhí)行基于像素的比較和組合(507)。下文論述所 述基于像素的組合的更多細(xì)節(jié)?；蛘?，可將針對(duì)其未識(shí)別匹配塊的“第二”塊存儲(chǔ)于經(jīng)配準(zhǔn) 的圖像中，而不與參考圖像的塊進(jìn)行任何組合。在存儲(chǔ)器14中組裝經(jīng)配準(zhǔn)的圖像26 (508)。具體來說，圖像配準(zhǔn)單元18以逐塊的 方式將經(jīng)配準(zhǔn)的塊寫入到存儲(chǔ)器14，以便組裝經(jīng)配準(zhǔn)的圖像26。此經(jīng)配準(zhǔn)的圖像26可包 括來自塊組合器28的完全配準(zhǔn)的塊，和具有來自像素組合器29的一個(gè)或一個(gè)以上經(jīng)配準(zhǔn) 的像素和一個(gè)或一個(gè)以上未配準(zhǔn)的像素的塊。可將經(jīng)配準(zhǔn)的圖像26存儲(chǔ)為最終經(jīng)配準(zhǔn)的 圖像，或如果將要組合額外圖像以用于多圖像配準(zhǔn)，則可將經(jīng)配準(zhǔn)的圖像26用作參考圖像 24。根據(jù)本發(fā)明，執(zhí)行圖像配準(zhǔn)過程可包括以逐塊的方式接收第一圖像的塊；組合 第一圖像的塊與第二圖像的塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；將第一圖像的塊緩沖于緩 沖器布置中，使得當(dāng)?shù)谝粓D像的給定塊與第二圖像的給定塊組合以產(chǎn)生經(jīng)配準(zhǔn)的圖像的給 定塊時(shí)，在緩沖器布置中蓋寫第一圖像的給定塊；以及組裝經(jīng)配準(zhǔn)的塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像。
在一些情況下，如果針對(duì)給定塊未識(shí)別充分匹配的塊，則可將所述給定塊存儲(chǔ)為 經(jīng)配準(zhǔn)的塊而不與參考圖像24的參考?jí)K進(jìn)行任何組合。在其它情況下，圖像配準(zhǔn)過程可包 括當(dāng)識(shí)別閾值匹配水平時(shí)，組合第一圖像的第一塊與第二圖像的塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像 的經(jīng)配準(zhǔn)塊；當(dāng)未識(shí)別閾值匹配水平時(shí)，不組合第一圖像的第二塊與第二圖像的塊；且針 對(duì)第一圖像的第二塊，執(zhí)行相對(duì)于第二圖像的像素的基于像素的比較；且組合第一圖像的 第二塊的一個(gè)或一個(gè)以上像素與第二圖像的像素以產(chǎn)生經(jīng)配準(zhǔn)的像素。圖像配準(zhǔn)過程可涉及將兩個(gè)或兩個(gè)以上圖像的塊組合于相對(duì)于所述兩個(gè)或兩個(gè) 以上圖像的經(jīng)組合圖像中。此可用以實(shí)現(xiàn)手抖動(dòng)減少，即，減少在圖像俘獲期間由圖像俘獲 裝置的運(yùn)動(dòng)引起的抖動(dòng)?；蛘?，如本發(fā)明中所描述的圖像配準(zhǔn)可用以實(shí)行所謂的高動(dòng)態(tài)范 圍處理。在高動(dòng)態(tài)范圍處理中，使用不同曝光俘獲場(chǎng)景的多個(gè)圖片。所述圖像中的一些經(jīng) 過度曝光以俘獲陰影細(xì)節(jié)，一些圖片經(jīng)不足曝光以保留輝亮部分，而一些經(jīng)曝光以用于場(chǎng) 景中的中間色調(diào)。通過在圖像配準(zhǔn)單元20中具有靈活性，可使用內(nèi)嵌架構(gòu)將多個(gè)曝光實(shí)時(shí)組合成 高動(dòng)態(tài)范圍圖像，如本文所描述。在又一實(shí)例中，圖像配準(zhǔn)過程可包括組合兩個(gè)或兩個(gè)以上 圖像的塊以將圖像的序列融合成一個(gè)圖片。在此情況下，可執(zhí)行圖像配準(zhǔn)以將圖像的序列 融合在一起以形成俘獲運(yùn)動(dòng)(例如，某人步行或跑步的前進(jìn))的一個(gè)圖片。如本文所描述，圖像配準(zhǔn)為將兩個(gè)或兩個(gè)以上圖像組合(例如，相加或平均化)在 一起的程序。所述兩個(gè)或兩個(gè)以上圖像可具有水平和垂直像素移位(如果需要的話)以對(duì) 準(zhǔn)圖像中的對(duì)應(yīng)對(duì)象或特征。像素移位可與位置無關(guān)(在整個(gè)圖像中恒定)或與位置相關(guān) (在整個(gè)圖像中不恒定)?；趬K的配準(zhǔn)將第一圖像分成若干塊(例如，8個(gè)像素、16個(gè)像 素或32個(gè)像素的塊)且對(duì)于每一塊形成對(duì)最接近正被配準(zhǔn)的塊的來自第二圖像(參考圖 像)的塊的搜尋。(例如)由圖像配準(zhǔn)單元18執(zhí)行的圖像配準(zhǔn)過程可由下式表示 其中V和H表示最小化求和的ν和h的值，Sl表示來自第一圖像的塊，S2表示來自第二圖像的塊，i和j橫跨塊空間，h和ν為兩個(gè)塊之間的假定水平和垂直偏移，M表示宏塊支持空間(例如，8 X 8、16 X 16等)，運(yùn)算(IIdist)表示測(cè)量?jī)蓚€(gè)向量之間的距離的一般方式，min表示最小化運(yùn)算，且Σ表示求和運(yùn)算。作為一替代方案，平方距離計(jì)算可用以界定塊類似性。如果平方距離用以界定塊 類似性，則(例如)由圖像配準(zhǔn)單元18執(zhí)行的圖像配準(zhǔn)過程可由下式表示 一旦估計(jì)了塊偏移，圖像配準(zhǔn)單元18便可使用所述塊偏移以產(chǎn)生像素偏移并以逐塊的方式組合兩個(gè)圖像。對(duì)于此類型的基于塊的實(shí)施方案，可假定塊內(nèi)的像素偏移為恒 定的且同一塊偏移用于給定塊中的所有像素。然而，歸因于來自第一圖像的特定塊與第二(參考)圖像的塊之間的極佳匹配可 能不存在(例如，因?yàn)閬碜缘诙D像的塊可以消除塊匹配的某一方式旋轉(zhuǎn)或移動(dòng))的可能 性，以簡(jiǎn)單移位來組合這些塊可能是不可能的。一種解決問題(其可能在于場(chǎng)景中存在移 動(dòng)對(duì)象時(shí)出現(xiàn))的方式為在未發(fā)現(xiàn)足夠緊密的匹配的情況下不組合塊來用于圖像配準(zhǔn)。此 外，一種驗(yàn)證以上最小化結(jié)果是否為緊密匹配的方式是建立預(yù)定閾值，以便決定是否將組 合塊或是否僅第一塊將用于最終圖像中。此過程可由下式表示 其中T表示預(yù)定閾值。因此，如果以上求和小于閾值T，則將由圖像配準(zhǔn)單元18組 合兩個(gè)塊，且如果以上求和等于或大于閾值T，則圖像配準(zhǔn)單元18將不組合兩個(gè)圖像塊。是否基于閾值來組合塊的決策可另外包括挑選不具有充分匹配(歸因于旋轉(zhuǎn)或 范圍外的移動(dòng))的塊和以不同方式威脅(threat)此些塊。然而，因?yàn)橛蓤D像配準(zhǔn)單元18 基于總塊差作出決策，所以有可能累積(或平均)差對(duì)于塊的一些像素來說相對(duì)小，且對(duì)于 塊的其它像素來說較大。在此情況下，可基于所測(cè)量的像素差作出像素水平?jīng)Q策以組合像 素(或不組合像素)。此可為任選的像素組合器28的功能，如圖2中所示。在支持不具有充分塊匹配的塊的基于像素的比較的實(shí)施方案中，可根據(jù)下式來使 用像素RGB向量之間的差 其中R1、G1和Bl為來自第一圖像的塊的像素的紅、綠和藍(lán)分量，且圖像R2、G2和 B2為來自第二(參考)圖像的塊的像素的紅、綠和藍(lán)分量。M可表示基于像素的閾值，在所 述閾值以下發(fā)生組合。因此，如果以上計(jì)算小于M，則像素組合器28可針對(duì)那個(gè)給定像素執(zhí) 行基于像素的組合，且如果以上計(jì)算大于或等于M,則像素組合器28可避免那個(gè)給定像素 的組合?？梢杂布④浖?、固件或其任何組合來實(shí)施本文中所描述的技術(shù)。描述為模塊或組 件的任何特征可一起實(shí)施于集成邏輯裝置中或單獨(dú)地實(shí)施為離散但可互操作的邏輯裝置。 如果以軟件實(shí)施，則可至少部分由包含指令的計(jì)算機(jī)可讀媒體實(shí)現(xiàn)所述技術(shù)，所述指令在 執(zhí)行時(shí)執(zhí)行上述方法中的一者或一者以上且實(shí)施塊比較引擎以如此進(jìn)行。計(jì)算機(jī)可讀媒體 可形成可包括封裝材料的計(jì)算機(jī)程序產(chǎn)品的部分。計(jì)算機(jī)可讀媒體可包含例如同步動(dòng)態(tài)隨 機(jī)存取存儲(chǔ)器(SDRAM)的隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、非易失性隨機(jī)存取存 儲(chǔ)器(NVRAM)、電可擦除可編程只讀存儲(chǔ)器(EEPROM)、快閃存儲(chǔ)器、磁性或光學(xué)數(shù)據(jù)存儲(chǔ)媒 體等。除此之外或替代地，可至少部分由以指令或數(shù)據(jù)結(jié)構(gòu)的形式載運(yùn)或傳送代碼且可由 計(jì)算機(jī)存取、讀取和/或執(zhí)行的計(jì)算機(jī)可讀通信媒體來實(shí)現(xiàn)所述技術(shù)。代碼可由一個(gè)或一個(gè)以上處理器執(zhí)行，所述處理器例如為一個(gè)或一個(gè)以上DSP、通
17用微處理器、ASIC、現(xiàn)場(chǎng)可編程邏輯陣列FPGA或其它等效集成或離散邏輯電路。因此，本 文中所使用的術(shù)語“處理器”可指代上述結(jié)構(gòu)或適于實(shí)施本文中所描述的技術(shù)的任何其它 結(jié)構(gòu)中的任一者。另外，在一些方面中，本文中所描述的功能性可提供于為編碼和解碼而配 置的專用軟件模塊或硬件模塊內(nèi)，或并入于經(jīng)組合的視頻編碼器-解碼器(CODEC)中。因 此，本發(fā)明還涵蓋包括用以實(shí)施本發(fā)明中所描述的技術(shù)中的一者或一者以上的電路的多種 集成電路裝置中的任一者?？稍趩我患呻娐沸酒蛟诙鄠€(gè)可互操作的集成電路芯片中提 供此電路。 已描述各種技術(shù)。這些和其它實(shí)例方面處于所附權(quán)利要求書的范圍內(nèi)。
權(quán)利要求
一種方法，其包含對(duì)視頻序列的圖像幀執(zhí)行視頻編碼過程，其中執(zhí)行所述視頻編碼過程包括使用塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進(jìn)行比較；以及執(zhí)行圖像配準(zhǔn)過程，其中執(zhí)行所述圖像配準(zhǔn)過程包括使用所述塊比較引擎將第一圖像的塊與第二圖像的塊進(jìn)行比較。
2.根據(jù)權(quán)利要求1所述的方法，其中所述視頻編碼過程包括使用所述塊比較引擎的運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和所述正被編 碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計(jì)算，且其中所述圖像配準(zhǔn)過程包括在使用所述塊比較引擎將所述第一圖像的所述塊與所述 第二圖像的所述塊進(jìn)行比較后，組合所述第一圖像和所述第二圖像的匹配塊以產(chǎn)生經(jīng)配準(zhǔn) 的圖像的塊。
3.根據(jù)權(quán)利要求2所述的方法， 其中所述差計(jì)算包含減法運(yùn)算，且其中組合匹配塊包含應(yīng)用加法運(yùn)算和應(yīng)用平均化運(yùn)算中的至少之一。
4.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準(zhǔn)過程包括 以逐塊的方式接收所述第一圖像的所述塊；組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當(dāng)所述第一圖像的給定塊與所述 第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像的給定塊時(shí)，在所述緩沖器布置中蓋寫所 述第一圖像的所述給定塊；以及組裝所述經(jīng)配準(zhǔn)塊以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像。
5.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準(zhǔn)過程包括當(dāng)識(shí)別出閾值匹配水平時(shí)，組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng) 配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；當(dāng)未識(shí)別出所述閾值匹配水平時(shí)，不組合所述第一圖像的第二塊與所述第二圖像的 塊；以及針對(duì)所述第一圖像的所述第二塊，執(zhí)行相對(duì)于所述第二圖像的像素的基于像素的比 較，且組合所述第一圖像的所述第二塊的一個(gè)或一個(gè)以上像素與所述第二圖像的像素以產(chǎn) 生經(jīng)配準(zhǔn)的像素。
6.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合兩個(gè)或兩個(gè)以 上圖像的塊以減少相對(duì)于所述兩個(gè)或兩個(gè)以上圖像的經(jīng)組合圖像中的抖動(dòng)。
7.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合兩個(gè)或兩個(gè)以 上圖像的塊以將圖像的序列融合成一個(gè)圖片。
8.根據(jù)權(quán)利要求1所述的方法，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合所述第一圖像和 所述第二圖像的塊，且其中使用不同曝光來捕獲所述第一圖像和所述第二圖像。
9.一種設(shè)備，其包含 塊比較引擎；視頻編碼器，其對(duì)視頻序列的圖像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括2使用所述塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進(jìn)行比較；以及圖像配準(zhǔn)單元，其執(zhí)行圖像配準(zhǔn)過程，其中所述圖像配準(zhǔn)過程包括使用所述塊比較引 擎將第一圖像的塊與第二圖像的塊進(jìn)行比較。
10.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述視頻編碼器包括使用所述塊比較引擎的運(yùn)動(dòng)估計(jì)單元、運(yùn)動(dòng)補(bǔ)償單元和執(zhí)行所述 正被編碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計(jì)算的差計(jì)算單 元，且所述圖像配準(zhǔn)單元包括用以通過比較所述第一圖像和所述第二圖像的塊來執(zhí)行所述 圖像配準(zhǔn)過程的所述塊比較引擎、用以識(shí)別匹配塊的塊匹配單元和執(zhí)行所述第一圖像和所 述第二圖像的所述匹配塊的組合以產(chǎn)生經(jīng)配準(zhǔn)的圖像的塊的組合單元。
11.根據(jù)權(quán)利要求10所述的設(shè)備，其中所述差計(jì)算包含減法運(yùn)算，且其中匹配塊的所述組合包含以下至少之一加法運(yùn)算和平均化運(yùn)算。
12.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包括包含緩沖器布置的存儲(chǔ)器，其中對(duì) 于所述圖像配準(zhǔn)過程所述存儲(chǔ)器以逐塊的方式接收所述第一圖像的所述塊；所述圖像配準(zhǔn)單元組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配 準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；所述存儲(chǔ)器將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當(dāng)所述第一圖像的給 定塊與所述第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像的給定塊時(shí)，在所述緩沖器布 置中蓋寫所述第一圖像的所述給定塊；且所述圖像配準(zhǔn)單元將所述經(jīng)配準(zhǔn)塊發(fā)送到所述存儲(chǔ)器以組裝所述經(jīng)配準(zhǔn)的圖像。
13.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述圖像配準(zhǔn)單元包括塊匹配單元，其確定所述第一圖像的一個(gè)或一個(gè)以上塊相對(duì)于所述第二圖像的一個(gè)或 一個(gè)以上塊之間是否存在閾值匹配水平；塊組合器，其在識(shí)別所述閾值匹配水平時(shí)組合所述第一圖像的第一塊與所述第二圖像 的塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊，且在未識(shí)別所述閾值匹配水平時(shí)不組合所述第一圖 像的第二塊與所述第二圖像的塊；以及像素組合器，其針對(duì)所述第一圖像的所述第二塊執(zhí)行所述第一圖像的所述第二塊的像 素相對(duì)于所述第二圖像的像素的基于像素的比較，且組合所述第一圖像的所述第二塊的一 個(gè)或一個(gè)以上像素與所述第二圖像的像素以產(chǎn)生經(jīng)配準(zhǔn)的像素。
14.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合兩個(gè)或兩個(gè)以 上圖像的塊以減少相對(duì)于所述兩個(gè)或兩個(gè)以上圖像的經(jīng)組合圖像中的抖動(dòng)。
15.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合兩個(gè)或兩個(gè)以 上圖像的塊以將圖像的序列融合成一個(gè)圖片。
16.根據(jù)權(quán)利要求9所述的設(shè)備，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合所述第一圖像 和所述第二圖像的塊，且其中所述第一圖像和所述第二圖像是使用不同曝光而捕獲的。
17.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含包括成像裝置的無線手持機(jī)。
18.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含集成電路。
19.根據(jù)權(quán)利要求9所述的設(shè)備，其中所述設(shè)備包含成像裝置。
20.一種包含指令的計(jì)算機(jī)可讀媒體，當(dāng)所述指令在包括塊比較引擎的成像裝置的處 理器中執(zhí)行后致使所述處理器對(duì)視頻序列的圖像幀執(zhí)行視頻編碼過程，其中所述視頻編碼過程包括使用所述塊比較 引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進(jìn)行比較；以及執(zhí)行圖像配準(zhǔn)過程，其中所述基于塊的圖像配準(zhǔn)過程包括使用所述塊比較引擎將第一 圖像的塊與第二圖像的塊進(jìn)行比較。
21.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中所述視頻編碼過程包括使用所述塊比較引擎的運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償和所述正被編 碼的圖像幀的所述視頻塊與所述搜索空間的匹配視頻塊之間的差計(jì)算，且其中所述圖像配準(zhǔn)過程包括在使用所述塊比較引擎比較所述第一圖像和所述第二圖 像的所述塊后組合所述第一圖像和所述第二圖像的匹配塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的塊。
22.根據(jù)權(quán)利要求21所述的計(jì)算機(jī)可讀媒體， 其中所述差計(jì)算包含減法運(yùn)算，且其中組合所述匹配塊包含應(yīng)用加法運(yùn)算和應(yīng)用平均化運(yùn)算中的至少之一。
23.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中執(zhí)行所述圖像配準(zhǔn)過程包括 以逐塊的方式接收所述第一圖像的所述塊；組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；將所述第一圖像的所述塊緩沖于緩沖器布置中，使得當(dāng)所述第一圖像的給定塊與所述 第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像的給定塊時(shí)，在所述緩沖器布置中蓋寫所 述第一圖像的所述給定塊；以及組裝所述經(jīng)配準(zhǔn)塊以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像。
24.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中執(zhí)行所述圖像配準(zhǔn)過程包括當(dāng)識(shí)別閾值匹配水平時(shí)，組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng)配 準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊；當(dāng)未識(shí)別所述閾值匹配水平時(shí)，不組合所述第一圖像的第二塊與所述第二圖像的塊;以及針對(duì)所述第一圖像的所述第二塊，執(zhí)行相對(duì)于所述第二圖像的像素的基于像素的比 較，且組合所述第一圖像的所述第二塊的一個(gè)或一個(gè)以上像素與所述第二圖像的像素以產(chǎn) 生經(jīng)配準(zhǔn)的像素。
25.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合 兩個(gè)或兩個(gè)以上圖像的塊以減少相對(duì)于所述兩個(gè)或兩個(gè)以上圖像的經(jīng)組合圖像中的抖動(dòng)。
26.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合 兩個(gè)或兩個(gè)以上圖像的塊以將圖像的序列融合成一個(gè)圖片。
27.根據(jù)權(quán)利要求20所述的計(jì)算機(jī)可讀媒體，其中執(zhí)行所述圖像配準(zhǔn)過程包括組合 所述第一圖像和所述第二圖像的塊，且其中所述第一圖像和所述第二圖像是使用不同曝光 而捕獲的。
28.一種裝置，其包含用于對(duì)視頻序列的圖像幀執(zhí)行視頻編碼過程的裝置，其中用于執(zhí)行所述視頻編碼過程 的裝置包括用于使用塊比較引擎將正被編碼的圖像幀的視頻塊與搜索空間的視頻塊進(jìn)行 比較的裝置；以及用于執(zhí)行圖像配準(zhǔn)過程的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于使用 所述塊比較引擎將第一圖像的塊與第二圖像的塊進(jìn)行比較的裝置。
29.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述視頻編碼過程的裝置包括用于使用所述塊比較引擎執(zhí)行運(yùn)動(dòng)估計(jì) 的裝置、用于執(zhí)行運(yùn)動(dòng)補(bǔ)償?shù)难b置和用于執(zhí)行所述正被編碼的圖像幀的所述視頻塊與所述 搜索空間的匹配視頻塊之間的差計(jì)算的裝置，且其中所述用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于執(zhí)行所述第一圖像和所述第二 圖像的匹配塊的組合以產(chǎn)生經(jīng)配準(zhǔn)的圖像的塊的裝置。
30.根據(jù)權(quán)利要求29所述的裝置，其中所述用于執(zhí)行差計(jì)算的裝置包含用于執(zhí)行減法運(yùn)算的裝置，且其中所述用于執(zhí)行匹配塊的組合的裝置包含以下至少之一用于執(zhí)行加法運(yùn)算的裝置 和用于執(zhí)行平均化運(yùn)算的裝置。
31.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于以逐塊的方式接收所述第一圖像的所述塊的裝置；用于組合所述第一圖像的所述塊與所述第二圖像的所述塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng) 配準(zhǔn)塊的裝置；用于將所述第一圖像的所述塊緩沖于緩沖器布置中以使得當(dāng)所述第一圖像的給定塊 與所述第二圖像的給定塊組合以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像的給定塊時(shí)在所述緩沖器布置中 蓋寫所述第一圖像的所述給定塊的裝置；以及用于組裝所述經(jīng)配準(zhǔn)塊以產(chǎn)生所述經(jīng)配準(zhǔn)的圖像的裝置。
32.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于在識(shí)別閾值匹配水平時(shí)組合所述第一圖像的第一塊與所述第二圖像的塊以產(chǎn)生經(jīng)配準(zhǔn)的圖像的經(jīng)配準(zhǔn)塊的裝置；用于在未識(shí)別所述閾值匹配水平時(shí)不組合所述第一圖像的第二塊與所述第二圖像的 塊的裝置；以及針對(duì)所述第一圖像的所述第二塊，用于執(zhí)行相對(duì)于所述第二圖像的像素的基于像素的 比較的裝置，和用于組合所述第一圖像的所述第二塊的一個(gè)或一個(gè)以上像素與所述第二圖 像的像素以產(chǎn)生經(jīng)配準(zhǔn)的像素的裝置。
33.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于組 合兩個(gè)或兩個(gè)以上圖像的塊以減少相對(duì)于所述兩個(gè)或兩個(gè)以上圖像的經(jīng)組合圖像中的抖 動(dòng)的裝置。
34.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于組 合兩個(gè)或兩個(gè)以上圖像的塊以將圖像的序列融合成一個(gè)圖片的裝置。
35.根據(jù)權(quán)利要求28所述的裝置，其中用于執(zhí)行所述圖像配準(zhǔn)過程的裝置包括用于組 合所述第一圖像和所述第二圖像的塊的裝置，其中所述第一圖像和所述第二圖像是使用不 同曝光而捕獲的。
全文摘要
本發(fā)明描述一種用于支持靜態(tài)圖像的圖像配準(zhǔn)和視頻序列的視頻編碼的成像裝置的有效架構(gòu)。對(duì)于圖像配準(zhǔn)，所述所描述的架構(gòu)使用經(jīng)俘獲的圖像的圖像塊相對(duì)于另一參考圖像的塊的基于塊的比較來支持逐塊基礎(chǔ)上的圖像配準(zhǔn)。對(duì)于視頻編碼，所述所描述的架構(gòu)使用基于塊的比較(例如)來支持運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償。根據(jù)本發(fā)明，共同塊比較引擎在共享基礎(chǔ)上用于基于塊的圖像配準(zhǔn)和基于塊的視頻編碼兩者。以此方式，可實(shí)施針對(duì)基于塊的比較而設(shè)計(jì)的硬件單元，以便在用于靜態(tài)圖像的所述圖像配準(zhǔn)過程與用于編碼視頻序列的所述視頻編碼過程兩者中工作。
文檔編號(hào)G06T5/50GK101911701SQ200980101498
公開日2010年12月8日 申請(qǐng)日期2009年2月12日 優(yōu)先權(quán)日2008年2月13日
發(fā)明者卡林·阿塔納索夫, 李向川, 黃豪 申請(qǐng)人:高通股份有限公司