基于使用結(jié)構(gòu)相似性的圖像匹配對(duì)計(jì)算機(jī)視覺預(yù)處理進(jìn)行的控制的制作方法
【專利摘要】處理器計(jì)算輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜性的衡量，并且搜索真實(shí)肯定的數(shù)據(jù)庫以在數(shù)據(jù)庫中查找表示在結(jié)構(gòu)上與輸入圖像類似的真實(shí)肯定圖像的一個(gè)或多個(gè)條目。處理器將輸入圖像的信號(hào)質(zhì)量的衡量與從數(shù)據(jù)庫中檢索到的真實(shí)肯定圖像中的一個(gè)真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量進(jìn)行比較，并且基于此比較來更新控制變量，由此改善計(jì)算機(jī)任務(wù)的性能，所述控制變量配置在由計(jì)算機(jī)視覺處理器處理輸入圖像之前要對(duì)輸入圖像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程。還描述并要求保護(hù)其他實(shí)施例。
【專利說明】基于使用結(jié)構(gòu)相似性的圖像匹配對(duì)計(jì)算機(jī)視覺預(yù)處理進(jìn)行的 控制
[0001 ]本公開的一個(gè)方面設(shè)及計(jì)算機(jī)視覺，更具體而言，設(shè)及用于通過自動(dòng)地調(diào)整預(yù)處 理階段的基本的圖像調(diào)節(jié)操作的控制變量來改善計(jì)算機(jī)視覺系統(tǒng)的性能的技術(shù)。還描述了 其他方面。
【背景技術(shù)】
[0002] 計(jì)算機(jī)視覺是計(jì)算機(jī)使用統(tǒng)計(jì)方法來處理或分析數(shù)字圖像的組成像素 W產(chǎn)生反 映對(duì)圖像中的內(nèi)容的可視化理解的數(shù)值或符號(hào)信息的技術(shù)領(lǐng)域。計(jì)算機(jī)視覺任務(wù)的示例包 括臉部檢測(cè)或識(shí)別、通過姿態(tài)識(shí)別的用戶交互，對(duì)象的自動(dòng)檢查、自主的車輛導(dǎo)航，檢測(cè)事 件(諸如，對(duì)人計(jì)數(shù)）W及組織信息(諸如，圖像的數(shù)據(jù)庫）。計(jì)算機(jī)視覺處理器具有計(jì)算上復(fù) 雜的任務(wù)。然而，通過在預(yù)處理階段執(zhí)行對(duì)輸入圖像的某些基本的圖像調(diào)節(jié)操作，可使那項(xiàng) 任務(wù)變得更容易。例如，在一些情況下，使暗圖像更亮且更銳利可W使其中的對(duì)象的邊緣更 容易由姿態(tài)識(shí)別處理器檢測(cè)到。
【附圖說明】
[0003] 在所附附圖的各圖中W示例方式而非限制方式示出本公開的各方面，在附圖中， 同樣的參考編號(hào)指示類似的元件。應(yīng)當(dāng)注意，在本公開中對(duì)"一"或"一個(gè)"實(shí)施例的引用不 一定是指同一個(gè)實(shí)施例，并且它們表示至少一個(gè)實(shí)施例。此外，給定的附圖可W用來示出多 于一個(gè)的實(shí)施例的特征，并且并非附圖中的所有元件對(duì)于給定的實(shí)施例都是必需的。
[0004] 圖1是計(jì)算機(jī)視覺(CV)系統(tǒng)的框圖。
[0005] 圖2是執(zhí)行用于填充真實(shí)肯定(true positive)數(shù)據(jù)庫的過程的系統(tǒng)的框圖。
[0006] 圖3描繪了如何在服務(wù)器平臺(tái)中實(shí)現(xiàn)CV系統(tǒng)的大部分。
[0007] 圖4是其中可W實(shí)現(xiàn)CV系統(tǒng)的多個(gè)部分的最終用戶平臺(tái)的相關(guān)的硬件組件的框 圖。
【具體實(shí)施方式】
[000引現(xiàn)在參考所附附圖來解釋若干實(shí)施例。每當(dāng)未清楚地定義在此描述的實(shí)施例的多 個(gè)方面時(shí)，在此的本公開的范圍不僅限于所示出的部分，所示出的部分僅用于說明目的。此 夕h盡管闡述了眾多細(xì)節(jié)，但是應(yīng)當(dāng)理解，一些實(shí)施例可W在沒有運(yùn)些細(xì)節(jié)的情況下實(shí)施。 在其他實(shí)例中，不詳細(xì)地示出公知的電路、結(jié)構(gòu)和技術(shù)W便不至于使對(duì)本描述的理解變得 模糊。
[0009] 已經(jīng)發(fā)現(xiàn)，僅處理被輸入到計(jì)算機(jī)視覺系統(tǒng)的輸入圖像W判斷它們是否過暗或過 于模糊并據(jù)此調(diào)整它們的明度(bri曲tness)或它們的顏色或灰度對(duì)比度不能一致地確保 計(jì)算機(jī)視覺處理器(其對(duì)經(jīng)調(diào)整的圖像操作)將成功。
[0010] 實(shí)施例是可W幫助增加計(jì)算機(jī)視覺任務(wù)的成功的可能性的數(shù)字圖像處理方法。處 理輸入圖像W計(jì)算它的結(jié)構(gòu)復(fù)雜性的衡量。隨后，使用a)輸入圖像結(jié)構(gòu)復(fù)雜性的衡量和b) 真實(shí)肯定圖像的結(jié)構(gòu)復(fù)雜性的衡量，計(jì)算輸入圖像相對(duì)于真實(shí)肯定圖像的結(jié)構(gòu)相似性的衡 量。真實(shí)肯定圖像是已導(dǎo)致由計(jì)算機(jī)視覺處理器進(jìn)行的令人滿意的決策的圖像。響應(yīng)于指 示了輸入圖像與真實(shí)肯定圖像之間的足夠的相似性(匹配)的結(jié)構(gòu)相似性的衡量，執(zhí)行輸入 圖像的信號(hào)質(zhì)量的衡量與匹配的真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量之間的比較?；谀莻€(gè)比 較來更新控制變量，所述控制變量配置在由計(jì)算機(jī)視覺處理器處理輸入圖像之前對(duì)輸入圖 像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程。運(yùn)可W增加來自計(jì)算機(jī)視覺任務(wù)的令人滿意的結(jié)果的可能 性。
[0011] 另一實(shí)施例是圖像處理系統(tǒng)，其中，結(jié)構(gòu)相似性計(jì)算器從數(shù)據(jù)庫中檢索真實(shí)肯定 結(jié)構(gòu)復(fù)雜性度量，并且使用a)輸入圖像結(jié)構(gòu)復(fù)雜性的衡量W及b)從數(shù)據(jù)庫中檢索到的一個(gè) 或多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量來計(jì)算結(jié)構(gòu)相似性度量。信號(hào)質(zhì)量比較器執(zhí)行輸入圖像的 信號(hào)質(zhì)量的衡量與從數(shù)據(jù)庫中檢索到的真實(shí)肯定信號(hào)質(zhì)量度量之間的比較，并且可W根據(jù) 此比較來更新控制變量，其中，控制變量配置計(jì)算機(jī)視覺系統(tǒng)的預(yù)處理器。
[0012] 圖1是計(jì)算機(jī)視覺(CV)系統(tǒng)的框圖，所述CV系統(tǒng)的部分(如下文所述)執(zhí)行圖像處 理方法，所述圖像處理方法可W改善系統(tǒng)中的CV處理器4的決策的成功率。系統(tǒng)對(duì)輸入數(shù)字 圖像序列進(jìn)行操作。每一個(gè)輸入圖像可W直接從傳感器(例如，作為數(shù)字靜物相機(jī)或視頻相 機(jī)的部分）（未示出）接收，或可W從大容量存儲(chǔ)設(shè)備(例如，靜止圖像文件數(shù)據(jù)庫或電影文 件數(shù)據(jù)庫）（未示出）中檢索。在由預(yù)處理器2調(diào)節(jié)之后(如下文中詳細(xì)描述的那樣，在運(yùn)種情 況下，預(yù)處理器2可W是任選的），輸入圖像由CV處理器4處理。CV處理器4的任務(wù)可W是對(duì)象 或形狀檢測(cè)或識(shí)別、姿態(tài)識(shí)別、對(duì)象的自動(dòng)檢查、自主車輛導(dǎo)航、檢測(cè)事件（諸如，對(duì)人計(jì) 數(shù)）、光學(xué)字符識(shí)別、道路標(biāo)志檢測(cè)、醫(yī)學(xué)成像解釋、監(jiān)控算法W及組織信息(諸如，圖像的數(shù) 據(jù)庫）。為了實(shí)現(xiàn)其任務(wù)，CV處理器4可W根據(jù)需要來執(zhí)行諸如背景減除、旋轉(zhuǎn)W及分段之類 的操作W促進(jìn)例如特征提取和決策。CV處理器4可W實(shí)現(xiàn)為神經(jīng)網(wǎng)絡(luò)或機(jī)器學(xué)習(xí)處理器。CV 處理器4產(chǎn)生CV性能數(shù)據(jù)，該CV性能數(shù)據(jù)可包括在輸入圖像中被識(shí)別的特征或?qū)ο蟮南袼?坐標(biāo)或定性指示，諸如，在室外或在室內(nèi)，W及其任務(wù)已經(jīng)被成功地執(zhí)行(或其識(shí)別決策是 正確的）的其置信度或可能性的指示。隨后，CV性能數(shù)據(jù)可W由諸如用戶交互應(yīng)用和可視化 理解應(yīng)用之類的較高級(jí)別的功能(未示出)使用。
[OOU] CV處理器4對(duì)可W由預(yù)處理器2預(yù)處理的輸入圖像進(jìn)行操作。后者可用于在由CV處 理器4處理輸入圖像之前執(zhí)行對(duì)輸入圖像的若干基本的數(shù)字圖像調(diào)節(jié)(在此也被稱為信號(hào) 質(zhì)量調(diào)節(jié))過程。在此描述的預(yù)處理設(shè)計(jì)成使CV處理器4的任務(wù)更容易，或者如果需要改善 CV任務(wù)的結(jié)果則甚至使CV處理器4的結(jié)果是可能的。信號(hào)質(zhì)量調(diào)節(jié)過程中的每一個(gè)過程都 可W被視為由相應(yīng)的信號(hào)質(zhì)量(SQ)處理器來執(zhí)行。圖1中的示例示出了四個(gè)此類處理器SQ_ 1、--SQ_4,但運(yùn)僅是示例，因?yàn)榭蒞有少到兩個(gè)或多于四個(gè)的不同的信號(hào)質(zhì)量處理器。SQ處 理器可包括下列各項(xiàng)的任何合適的組合:噪聲消減處理器、伽馬（或?qū)Ρ榷瓤刂?處理器、銳 度調(diào)整處理器W及照度（illumination)補(bǔ)償或明度調(diào)整處理器?？蒞根據(jù)單個(gè)的"旋鈕" ("knob")或控制變量(在此也被稱為"增益"變量)來調(diào)整信號(hào)質(zhì)量調(diào)節(jié)過程中的每一個(gè)的 強(qiáng)度。換言之，明度處理器、銳度處理器、對(duì)比度處理器W及噪聲消減處理器中的兩個(gè)或更 多個(gè)可分別由兩個(gè)或更多個(gè)控制變量配置。應(yīng)當(dāng)指出的是，設(shè)置運(yùn)些控制變量的方式不是 W改善人的視覺或感知質(zhì)量為目標(biāo)而進(jìn)行的，而是為調(diào)整圖像的信號(hào)質(zhì)量來進(jìn)行的W使CV 任務(wù)更容易。
[0014] 在一個(gè)實(shí)施例中，出于效率的原因，在正常操作期間，可禁用或關(guān)閉預(yù)處理器2中 的SQ處理器中的一個(gè)或全部，直到CV任務(wù)W不令人滿意的方式執(zhí)行(例如，如由下文所描述 的性能數(shù)據(jù)評(píng)估器3確定)為止，此時(shí)，可W啟用或打開SQ處理器幫助改善CV處理器的性 能）。實(shí)際上，在許多實(shí)例中，輸入圖像的質(zhì)量足夠好W使CV任務(wù)令人滿意地對(duì)它們進(jìn)行操 作。然而，請(qǐng)注意，其他預(yù)處理操作(諸如，重新設(shè)定輸入圖像的尺寸W匹配CV處理器的輸入 處所需的格式)可W保持啟用。
[0015] 已經(jīng)發(fā)現(xiàn)，能夠自動(dòng)地配置預(yù)處理器2(特別是基本的圖像調(diào)節(jié)(信號(hào)質(zhì)量調(diào)節(jié))處 理器59_1···59_4處理器中的一個(gè)或多個(gè)）W改善后續(xù)的計(jì)算機(jī)視覺任務(wù)的性能是期望的。 已經(jīng)發(fā)現(xiàn)運(yùn)些決策（即，如何調(diào)整預(yù)處理器2)取決于輸入圖像的特定內(nèi)容，例如，風(fēng)景、室 夕h室內(nèi)、手、臉，或感興趣的另一對(duì)象，等等?，F(xiàn)在描述用于基于計(jì)算輸入圖像的結(jié)構(gòu)復(fù)雜 性的衡量并將其與"真實(shí)肯定"圖像的該度量進(jìn)行比較來作出此類決策的系統(tǒng)化方法。
[0016] 仍參考圖1，提供了控制變量計(jì)算器5,該控制變量計(jì)算器5計(jì)算可W定義將由預(yù)處 理器2中的每一個(gè)基本圖像調(diào)節(jié)的塊執(zhí)行的改變的強(qiáng)度和方向的相應(yīng)的控制變量或增益 值。例如，控制變量SQ_1可W是具有-5到巧的范圍的明度控制，其中，零指示沒有明度處理 將由SQ_1處理器對(duì)輸入圖像執(zhí)行，巧指示執(zhí)行最強(qiáng)的明亮度增加過程，而-5指示執(zhí)行最強(qiáng) 的明亮度減小過程。正數(shù)可W導(dǎo)致輸入圖像經(jīng)處理，從而增加其中的平均照度。定義每一個(gè) 控制變量的其他方式是可能的。在一個(gè)示例中，有四個(gè)控制變量，即，明度、噪聲含量、銳度 W及對(duì)比度，其中，變量SQ_2可W是配置任何合適的噪聲消減算法（由SQ_2處理器執(zhí)行）的 噪聲消減，SQ_3可W是伽馬或?qū)Ρ榷茸兞?，而SQ_4可W是銳度變量?；镜男盘?hào)質(zhì)量調(diào)節(jié)控 制變量的其他組合是可能的。
[0017] 有時(shí)，對(duì)于相同的輸入圖像，可能需要調(diào)整控制變量中的兩個(gè)或更多個(gè)，其中，例 如噪聲消減調(diào)整伴隨有伽馬調(diào)整。還應(yīng)當(dāng)注意，在此對(duì)基本的圖像信號(hào)調(diào)節(jié)過程作出的調(diào) 整不旨在使輸入圖像對(duì)人眼顯得更舒適;相反，它們僅被設(shè)計(jì)為使計(jì)算機(jī)視覺處理器的工 作更容易，例如，增加的姿態(tài)識(shí)別的置信度。基本的信號(hào)調(diào)節(jié)操作可W被設(shè)計(jì)成對(duì)具有全傳 感器帖分辨率的輸入圖像進(jìn)行操作，或它們可W被設(shè)計(jì)成對(duì)傳感器帖的部分(例如，全傳感 器帖的中間的感興趣的區(qū)域)進(jìn)行操作。
[0018] 除了控制變量計(jì)算器5之外，還提供了其中有N個(gè)條目的真實(shí)肯定的數(shù)據(jù)庫7。在此 一般地使用術(shù)語"數(shù)據(jù)庫"來指格式化為使得此處的相關(guān)數(shù)據(jù)可W被組織為例如平面文件 或查找表W由控制變量計(jì)算器5檢索的任何合適形式的數(shù)據(jù)存儲(chǔ)設(shè)備。數(shù)據(jù)庫7的每一個(gè)條 目都將a)已經(jīng)從一個(gè)或多個(gè)先前經(jīng)分析的、"表現(xiàn)好的"或真實(shí)肯定輸入圖像中提取或推導(dǎo) 出的若干結(jié)構(gòu)復(fù)雜性(SC)度量與b)表現(xiàn)良好的圖像的若干信號(hào)質(zhì)量(SQ)度量(運(yùn)些度量先 前也已從表現(xiàn)好的圖像計(jì)算出）相關(guān)聯(lián)。表現(xiàn)良好的或真實(shí)肯定的圖像可W是先前已通過 CV系統(tǒng)的圖像，包括由預(yù)處理器2處理，且隨后由CV處理器4處理，并且運(yùn)已導(dǎo)致產(chǎn)生了正確 的決策或令人滿意的CV性能數(shù)據(jù)，例如，識(shí)別了姿態(tài)，識(shí)別了正確的形狀、面部或其他對(duì)象， 或室內(nèi)還是室外的判斷是正確的充分高的置信度或可能性。換言之，數(shù)據(jù)庫7具有N個(gè)條目， 其中，每一個(gè)條目都包括兩個(gè)或更多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量，運(yùn)兩個(gè)或更多個(gè)真實(shí)肯 定結(jié)構(gòu)復(fù)雜性度量與兩個(gè)或更多個(gè)真實(shí)肯定信號(hào)質(zhì)量度量相關(guān)聯(lián)。所述真實(shí)肯定結(jié)構(gòu)復(fù)雜 性度量已從相應(yīng)的一個(gè)或多個(gè)真實(shí)肯定圖像中導(dǎo)出，并且所述真實(shí)肯定信號(hào)質(zhì)量度量也已 從所述相應(yīng)的一個(gè)或多個(gè)真實(shí)肯定圖像中推導(dǎo)出。下文中結(jié)合圖2進(jìn)一步描述如何填充數(shù) 據(jù)庫7的示例。
[0019] 控制變量計(jì)算器5處理輸入圖像W計(jì)算輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜性的衡量。 此外，計(jì)算器5還從數(shù)據(jù)庫7獲取真實(shí)肯定圖像的真實(shí)肯定結(jié)構(gòu)復(fù)雜性的衡量。換言之，計(jì)算 器5可能正在訪問數(shù)據(jù)庫7W在給定的條目中檢索真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的一個(gè)或多 個(gè)。使用運(yùn)兩個(gè)結(jié)構(gòu)復(fù)雜性衡量，計(jì)算器5計(jì)算輸入圖像相對(duì)于真實(shí)肯定圖像的結(jié)構(gòu)相似性 的衡量。請(qǐng)注意，運(yùn)不是試圖量化圖像相對(duì)于參考圖像的質(zhì)量的質(zhì)量評(píng)分(例如，在壓縮和 解壓縮操作之后），而是相似性的通用衡量。結(jié)構(gòu)相似性的度量可包括可W根據(jù)CV應(yīng)用來選 擇的一個(gè)或多個(gè)相似性度量。如下文所討論，在選擇結(jié)構(gòu)相似性的度量時(shí)具有靈活性，諸 如，使用部分相似性度量的加權(quán)和，或使用非歐幾里得相似性度量。
[0020] 響應(yīng)于指示充分的相似性或"匹配"的結(jié)構(gòu)相似性的衡量，信號(hào)質(zhì)量比較器12執(zhí)行 輸入圖像的信號(hào)質(zhì)量的衡量與匹配的真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量之間的比較。基于那 個(gè)比較，它更新控制變量，所述控制變量配置由SQ_1、SQ_2、…SQ_4處理器中的一個(gè)對(duì)輸入 圖像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程。
[0021] 換言之，計(jì)算器5訪問眾多表現(xiàn)良好的或真實(shí)肯定圖像的先前確定的結(jié)構(gòu)復(fù)雜性 度量的數(shù)據(jù)庫7,發(fā)現(xiàn)匹配的真實(shí)肯定圖像(條目），并且基于a)從匹配的條目中檢索到的SQ 度量W及b)由SQ計(jì)算器11從輸入圖像中計(jì)算出的對(duì)應(yīng)的SQ度量來確定如何調(diào)整被輸入到 SQ處理器的控制變量，從而使輸入圖像接近于合適的、表現(xiàn)良好的圖像(在數(shù)據(jù)庫7中由匹 配的條目表示）。預(yù)期運(yùn)種對(duì)預(yù)處理器2的調(diào)整將改善W下機(jī)率:CV處理器4在執(zhí)行其對(duì)經(jīng)調(diào) 整的輸入圖像的計(jì)算機(jī)視覺任務(wù)時(shí)將作出正確的決策。
[0022] 在一個(gè)實(shí)施例中，輸入圖像結(jié)構(gòu)復(fù)雜性的衡量包括輸入圖像顏色復(fù)雜性度量 (CCM)、輸入圖像明亮度（li曲tnessK或亮度（lumaKY))復(fù)雜性度量化CM似及輸入圖像空 間復(fù)雜性度量(SCM)。運(yùn)些可W由結(jié)構(gòu)復(fù)雜性計(jì)算器8(SC計(jì)算器8)計(jì)算，所述SC計(jì)算器8處 理輸入圖像來運(yùn)樣做。請(qǐng)注意，更一般而言，可W有少于Ξ個(gè)結(jié)構(gòu)復(fù)雜性度量，或可W有多 于Ξ個(gè)。作為示例，可W定義圖像的Ξ個(gè)結(jié)構(gòu)復(fù)雜性度量，如下：
2
[0027] 其中，S是賭，并可W由-sum(p.*log2(p))給出，P包含圖像的直方圖計(jì)數(shù)，R巧是互 相關(guān)，μ是平均值，σ是標(biāo)準(zhǔn)偏差，G是梯度，Η是圖像的高度，而W是圖像的寬度。還應(yīng)注意，盡 管上述示例引用了輸入圖像的紅、綠、藍(lán)(RGB)圖像平面，但是本公開中所描述的技術(shù)同樣 適用于其他顏色空間W及灰度圖像(在運(yùn)種情況下，將不需要顏色復(fù)雜性度量）。
[0028] 對(duì)于灰度圖像的替代公式：
[0029] ?亮度對(duì)比度復(fù)雜性度量
[0030] ?亮度復(fù)雜性度量
[0031] ?空間復(fù)雜性度量
[0032] C1=C2 = 1,C3 = 5,C4 = 10
[0033] 與輸入圖像結(jié)構(gòu)復(fù)雜性類似，真實(shí)肯定結(jié)構(gòu)復(fù)雜性的衡量也可W包括應(yīng)當(dāng)W與其 輸入圖像的對(duì)應(yīng)項(xiàng)相同的方式定義的真實(shí)肯定顏色或灰度復(fù)雜性度量、真實(shí)肯定明亮度復(fù) 雜性度量W及真實(shí)肯定空間復(fù)雜性度量。給定的真實(shí)肯定圖像的結(jié)構(gòu)復(fù)雜性度量先前已經(jīng) 被確定且被存儲(chǔ)在數(shù)據(jù)庫7中的分配的條目中，并且可由結(jié)構(gòu)相似性計(jì)算器9(SS計(jì)算器9) 訪問。
[0034] 在一個(gè)實(shí)施例中，SS計(jì)算器9根據(jù)下列各項(xiàng)中的兩項(xiàng)或更多項(xiàng)來計(jì)算結(jié)構(gòu)相似性 的衡量:i)輸入圖像和真實(shí)肯定顏色或灰度復(fù)雜性度量，ii)輸入圖像和真實(shí)肯定明亮度復(fù) 雜性度量，W及iii)輸入圖像和真實(shí)肯定空間復(fù)雜性度量。SS計(jì)算器9為數(shù)據(jù)庫7中的若干 條目中的每一個(gè)條目計(jì)算此類衡量，或計(jì)算根據(jù)需要的許多此類衡量，直到發(fā)現(xiàn)一個(gè)或多 個(gè)"匹配"，即，其中的每一個(gè)都導(dǎo)致計(jì)算出的充分小的結(jié)構(gòu)相似性度量的一個(gè)或多個(gè)條目。 換言之，計(jì)算結(jié)構(gòu)相似性的衡量使用a)已從輸入圖像推導(dǎo)出的兩個(gè)或更多個(gè)輸入圖像復(fù)雜 性度量的集合中的一項(xiàng)或多項(xiàng)，W及b)從數(shù)據(jù)庫7中的給定的條目檢索到的兩個(gè)或更多個(gè) 真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量的集合中的一項(xiàng)或多項(xiàng)。例如，考慮上文中介紹的情況，其中，輸 入圖像復(fù)雜性度量包括輸入圖像顏色或灰度復(fù)雜性度量、輸入圖像明亮度復(fù)雜性度量W及 輸入圖像空間復(fù)雜性度量。在那種情況下，計(jì)算結(jié)構(gòu)相似性的衡量可包括計(jì)算結(jié)構(gòu)相似性 度量，該結(jié)構(gòu)相似性度量是下列各項(xiàng)的函數(shù):a)下列各項(xiàng)中的兩項(xiàng)或更多項(xiàng)：i)輸入圖像顏 色或灰度復(fù)雜性度量，ii)輸入圖像明亮度復(fù)雜性度量和iii)輸入圖像空間復(fù)雜性度量，W 及b)從數(shù)據(jù)庫7中的給定的條目檢索到的真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的對(duì)應(yīng)的兩項(xiàng)或更多 項(xiàng)。
[0035] 在特定示例中，結(jié)構(gòu)相似性（SS)度量可W是兩個(gè)或更多個(gè)復(fù)雜性度量的任何函 數(shù)。示例是輸入圖像X的復(fù)雜性度量與真實(shí)肯定y(來自數(shù)據(jù)庫7)的復(fù)雜性度量之間的廣義 歐幾里德距離(廣義結(jié)構(gòu)相似性度量，GSSM)，即
[0036]
[0037] 較小的GSSM意味著給定條目的真實(shí)肯定與輸入圖像(在它們的結(jié)構(gòu)相似性方面） 匹配得更好。
[0038] 在一些情況下，僅沿上文給定的GSSM公式的兩個(gè)維度而非所有Ξ個(gè)維度來尋找 (具有最小的GSSM的）匹配的條目可能是期望的。此類情況可能設(shè)及其中顏色或灰度復(fù)雜性 比照度更重要（即，更可能影響CV任務(wù)的結(jié)果)的特定的應(yīng)用。例如，在圖像是室外內(nèi)容的情 況下，顏色或灰度復(fù)雜性變得比照度更重要，而對(duì)于室內(nèi)場(chǎng)景的圖像，照度變得更重要。換 言之，在此類情況下，允許沿一個(gè)維度的失真，使得上述GSSM的公式中的維度系數(shù)kc，kl或 ks中的一項(xiàng)(特別是呈現(xiàn)出復(fù)雜性度量的最大差異的維度)將被設(shè)置為0。在那種情況下，SS 度量將被視為切比雪夫互補(bǔ)型(化ebyshev-complement)度量。
[0039] 其他SS度量可W使用單個(gè)的維度(諸如，顏色或灰度、明亮度，或空間復(fù)雜性本身 中的任何一個(gè)），而GSSM的另兩個(gè)維度系數(shù)被設(shè)置為零。
[0040] 另一示例是切比雪夫型SS度量，該度量?jī)H使用CCM之間、LCM之間、W及SCM之間的 最大差異(而具有兩個(gè)最小差異的維度系數(shù)都被設(shè)置為零）。產(chǎn)生那種類型的GSSM的最小值 的條目可w是最接近的匹配條目。
[0041] 另一方面，如果目的在于發(fā)現(xiàn)在結(jié)構(gòu)上類似于輸入圖像但不一定沿特定方向的真 實(shí)肯定圖像，則我們可W使用歐幾里德距離，所述歐幾里德是單個(gè)差異的總和，即，（CCMx- CCMy) 2+ 化 CMx-LCMy) 2+(SCMx-SCMy)2 的平方根。
[0042] 換言之，可W對(duì)于數(shù)據(jù)庫7的所選擇的條目組（該組可包括數(shù)據(jù)庫7的所有N個(gè)條 目）中的每一個(gè)來計(jì)算一組SS度量。在一個(gè)實(shí)施例中，通過評(píng)估SS度量來發(fā)現(xiàn)前K個(gè)匹配的 (即，匹配輸入圖像)條目（其中，K是〉1的整數(shù)）。然后，此過程按W下操作繼續(xù)進(jìn)行：（由信號(hào) 質(zhì)量計(jì)算器11)計(jì)算輸入圖像的信號(hào)質(zhì)量度量，并且將它們與表現(xiàn)良好的圖像的信號(hào)質(zhì)量 度量(在前K個(gè)匹配的條目中）進(jìn)行比較。作為響應(yīng)，調(diào)整控制變量中的一個(gè)或多個(gè)。例如，如 果在輸入圖像與表現(xiàn)良好的圖像之間的銳度度量之間存在差異，則由SQ比較器12對(duì)銳度控 制變量作出成比例的調(diào)整。換言之，控制變量的更新步驟(其中，所述控制變量配置在由計(jì) 算機(jī)視覺處理器4處理輸入圖像之前對(duì)輸入圖像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程)可包括W下步 驟:與a)真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量比b)輸入圖像的信號(hào)質(zhì)量的衡量大多少或小多少 成比例地改變(增大或減小)控制變量。應(yīng)當(dāng)注意的是，對(duì)控制變量的設(shè)置可W遵循運(yùn)樣的 方案或策略:被設(shè)計(jì)成使輸入圖像的信號(hào)質(zhì)量進(jìn)入從統(tǒng)計(jì)意義上而言將更加可能由CV處理 器識(shí)別的區(qū)域，而不完全等于匹配的條目的信號(hào)質(zhì)量值。
[0043] 請(qǐng)注意，對(duì)輸入圖像結(jié)構(gòu)復(fù)雜性度量的計(jì)算可W基于具有例如正在捕捉圖像的數(shù) 碼相機(jī)設(shè)備的全傳感器帖分辨率的輸入圖像，即，到達(dá)全傳感器帖分辨率的邊界的"全局" 計(jì)算。或者，計(jì)算可W基于全傳感器帖的部分，例如，感興趣的區(qū)域(諸如，在全帖的中間區(qū) 域中。類似地，由預(yù)處理器巧丸行的調(diào)節(jié)在范圍上可W是全局的（至輸入圖像的邊界），或者 可W限于輸入圖像中的感興趣的區(qū)域。輸入圖像也可W是單色或灰度平面(例如，紅、綠或 藍(lán)平面產(chǎn)生的紅色、綠色，或無色灰度信號(hào)）。還應(yīng)當(dāng)指出的是，如果至CV系統(tǒng)的輸入圖像具 有比由傳感器捕捉到的并從其中導(dǎo)出所述輸入圖像的源圖像更小的尺寸(例如，由于效率 原因而按比例縮?。瑒t優(yōu)先在那個(gè)較小的分辨率上進(jìn)行預(yù)處理。
[0044] 在一個(gè)實(shí)施例中，為了改善靈活性，由SS計(jì)算器9計(jì)算在輸入圖像與數(shù)據(jù)庫7中的 給定的條目之間的多于一種類型的SS度量。當(dāng)判斷給定的條目是否是匹配時(shí)，在那種情況 下的控制變量計(jì)算器5可W僅依賴于運(yùn)些SS度量中的最相關(guān)的度量。例如，考慮沒有許多顏 色或灰度、但在細(xì)節(jié)或紋理方面豐富的圖像。在那種情況下，不是基于顏色或灰度的結(jié)構(gòu)復(fù) 雜性度量的函數(shù)而僅是基于亮度和基于空間的結(jié)構(gòu)復(fù)雜性度量的函數(shù)的SS度量可W指示 存在對(duì)給定條目的匹配，而僅是基于顏色或灰度的結(jié)構(gòu)復(fù)雜性度量的函數(shù)的另一 SS度量將 表示無匹配。在有多個(gè)(不同的）SS度量正在被計(jì)算的情況下，將它們從最大的相似性到最 小的相似性排定等級(jí)且隨后僅使用前幾個(gè)SS度量來判斷給定的條目是否匹配可能是有利 的。如上文所提及，定制對(duì)于輸入圖像中的期望的內(nèi)容的結(jié)構(gòu)相似性(按照顏色或灰度、結(jié) 構(gòu)復(fù)雜性或照度復(fù)雜性的相關(guān)性)的總體衡量(在所述總體衡量中使用特定的SS度量)的靈 活性可W足W保證（用于匹配數(shù)據(jù)庫7中的一個(gè)或多個(gè)條目）的匹配過程將起作用。根據(jù)特 定的圖像內(nèi)容和應(yīng)用的需要，對(duì)SS度量的選擇也可W包括上文給出的其他方法的任何組 厶 1=1 〇
[0045] 一旦已發(fā)現(xiàn)來自數(shù)據(jù)庫7的前K個(gè)匹配的條目，則（由信號(hào)質(zhì)量比較器12)在輸入圖 像的信號(hào)質(zhì)量的衡量與真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量之間執(zhí)行信號(hào)質(zhì)量比較。例如，運(yùn) 可W設(shè)及輸入圖像的特定的SQ度量的集合W及前Κ個(gè)匹配的條目中的SQ度量。在一個(gè)實(shí)施 例中，隨后，僅使用最大的差異（即，輸入圖像的SQ度量與K個(gè)條目中的一個(gè)條目中的SQ條目 之間的差異)來設(shè)置對(duì)應(yīng)的SQ處理器的控制變量。例如，在具有Κ = 3個(gè)匹配條目的情況下， 僅使用導(dǎo)致最大的對(duì)比度差異的條目來計(jì)算對(duì)比度處理器的增益值?？蒞對(duì)于其他SQ處理 器中的全部采取類似的方法，例如，使用最大的明度差異來計(jì)算明度處理器的增益。在一個(gè) 實(shí)施例中，增益值簡(jiǎn)單地是匹配的條目中的SQ度量與輸入圖像的SQ度量之間的計(jì)算出的差 異。然而，請(qǐng)注意，專注于最大的信號(hào)質(zhì)量差異的運(yùn)種選擇不排除執(zhí)行也可能需要的互補(bǔ)的 處理；例如，如果匹配的條目導(dǎo)致發(fā)現(xiàn)推薦照度增加，則照度增加可W伴有色飽和度的增 加，W便在增加的照度存在的情況下維持顏色或灰度對(duì)比度(對(duì)于由CV處理器進(jìn)行的改善 的分段可能是期望的）。
[0046] 在一個(gè)實(shí)施例中，控制變量計(jì)算是用于處理(在當(dāng)前的輸入圖像由序列的后續(xù)圖 像替換之前)可能仍駐留在緩沖器存儲(chǔ)器中的當(dāng)前的輸入圖像的足夠輕量的（且因此是快 速的）計(jì)算過程，所述計(jì)算過程可在輸入圖像序列期間按需激活。例如，往回參考圖1，可W 提供性能數(shù)據(jù)評(píng)估器3,該評(píng)估器3評(píng)估由CV處理器(對(duì)于特定的CV任務(wù))輸出的性能數(shù)據(jù)。 當(dāng)數(shù)據(jù)指示對(duì)當(dāng)前的輸入圖像的識(shí)別結(jié)果不令人滿意時(shí)，可W激活控制變量計(jì)算器5,使得 所述控制變量計(jì)算器5可W更新控制變量，所述控制變量更新SQ處理器的配置(參數(shù)設(shè)置）。 隨后，CV處理器4將對(duì)已經(jīng)根據(jù)經(jīng)更新的控制變量而經(jīng)預(yù)處理的輸入圖像執(zhí)行第二遍。運(yùn)可 能增加在第二遍中CV性能數(shù)據(jù)將是令人滿意的且在下一輸入圖像替換緩沖器存儲(chǔ)器中的 當(dāng)前的圖像之前將可用的可能性。
[0047] 在一個(gè)實(shí)施例中，一旦已更新信號(hào)質(zhì)量控制變量，CV處理器4就對(duì)新調(diào)整的輸入圖 像重復(fù)其任務(wù)，而無需作出關(guān)于調(diào)整是否處于正確的方向或者處于正確的量的任何驗(yàn)證或 檢查。注意，如果具有在連貫的輸入圖像之間所允許的足夠的時(shí)間，并且如果性能數(shù)據(jù)評(píng)估 器3發(fā)現(xiàn)所得到的CV性能數(shù)據(jù)繼續(xù)是不令人滿意的（例如，識(shí)別的置信度仍過低），則在此可 進(jìn)行多遍，即，多于一次地更新信號(hào)質(zhì)量控制變量。
[0048] 現(xiàn)在參考圖2,運(yùn)是執(zhí)行用于填充數(shù)據(jù)庫7的過程的系統(tǒng)的框圖。此過程可W開始 于若干圖像被收集到(例如，基準(zhǔn)圖像、和/或圖1的計(jì)算機(jī)視覺系統(tǒng)已經(jīng)正確地識(shí)別的先前 的、表現(xiàn)良好的真實(shí)肯定圖像）。由于計(jì)算機(jī)視覺任務(wù)已經(jīng)正確地識(shí)別了此類圖像中的基礎(chǔ) 事實(shí)(ground truth)，因此隨后分析圖像中的每一個(gè)圖像W確定可W定義結(jié)構(gòu)復(fù)雜性(SC) 的衡量的某些屬性。具體而言，SC計(jì)算器8可W處理每一個(gè)圖像W計(jì)算它的兩個(gè)或更多個(gè)SC 度量，例如，上文給出的SC度量_1、_2、_3。通過分配隨后將為圖像計(jì)算出的5(：度量存儲(chǔ)在其 中的存儲(chǔ)空間，數(shù)據(jù)庫7中的新條目被創(chuàng)建，并且分配給每一個(gè)真實(shí)肯定圖像。此外，例如通 過從每一個(gè)圖像計(jì)算兩種或更多種不同類型的信號(hào)質(zhì)量(SQ)度量(例如，平均照度等級(jí)、銳 度、對(duì)比度W及噪聲水平），為每一個(gè)圖像確定信號(hào)質(zhì)量的衡量。上文所描述的SQ計(jì)算器11 可W用于此目的。然后，給定的真實(shí)肯定圖像的運(yùn)些(不同類型的）代表性的SC度量W及（同 樣也是不同類型的）SQ度量被寫入到數(shù)據(jù)庫7中與那個(gè)真實(shí)肯定圖像相關(guān)聯(lián)的條目中。重復(fù) 此過程，直到已填充了期望的條目數(shù)量N為止。在此，請(qǐng)注意，真實(shí)肯定圖像的實(shí)際像素?cái)?shù)據(jù) 不必被寫入到數(shù)據(jù)庫7,因?yàn)榇鎯?chǔ)它們的SC和SQ度量對(duì)于控制變量計(jì)算器5的操作(上文中 結(jié)合圖1所描述)是足夠的。
[0049] 現(xiàn)在轉(zhuǎn)向圖3,此圖描繪了如何在服務(wù)器平臺(tái)中實(shí)現(xiàn)CV系統(tǒng)的大部分(包括控制變 量計(jì)算器5、預(yù)處理器2、CV處理器4W及數(shù)據(jù)庫7)。服務(wù)器平臺(tái)可W是通過因特網(wǎng)來提供內(nèi) 容遞送服務(wù)的服務(wù)器平臺(tái)，該服務(wù)器平臺(tái)使用內(nèi)容遞送服務(wù)器20W通過因特網(wǎng)與在例如最 終用戶平臺(tái)21中運(yùn)行的客戶端進(jìn)程進(jìn)行通信?？蛻舳诉M(jìn)程可W是由最終用戶平臺(tái)21中的處 理器執(zhí)行的、正在執(zhí)行例如如圖所示的用戶交互應(yīng)用程序23的客戶端進(jìn)程。應(yīng)用程序23可 W是執(zhí)行靜止攝影、視頻捕捉與編輯、視頻會(huì)議W及社交聯(lián)網(wǎng)（帶有成像功能）的應(yīng)用程序。 當(dāng)然，構(gòu)想了其他應(yīng)用。在運(yùn)種情況下，內(nèi)容遞送服務(wù)可包括計(jì)算機(jī)視覺服務(wù)，諸如上文所 列舉的那些中的任何一個(gè)，包括對(duì)象或形狀的檢測(cè)或識(shí)別、姿態(tài)識(shí)別、對(duì)象的自動(dòng)檢查、自 主車輛導(dǎo)航、檢測(cè)事件(諸如，對(duì)人計(jì)數(shù)）、光學(xué)字符識(shí)別、道路標(biāo)志檢測(cè)、醫(yī)學(xué)成像解釋、監(jiān) 控算法W及組織信息(諸如，圖像的數(shù)據(jù)庫）。
[0050] 在例如在臺(tái)式計(jì)算機(jī)、視頻游戲控制臺(tái)、辦公室視頻會(huì)議系統(tǒng)，或其他最終用戶平 臺(tái)中運(yùn)行的用戶交互應(yīng)用程序23、或需要對(duì)其捕捉到的輸入圖像執(zhí)行計(jì)算機(jī)視覺任務(wù)的任 何其他應(yīng)用程序的情況下，可W通過因特網(wǎng)實(shí)時(shí)地將輸入數(shù)據(jù)（即，當(dāng)運(yùn)些輸入圖像正在由 圖像傳感器設(shè)備22(例如，數(shù)碼相機(jī)設(shè)備)捕捉時(shí))傳輸?shù)椒?wù)器平臺(tái)，而從內(nèi)容遞送服務(wù)器 20往回，經(jīng)處理的輸入圖像（由服務(wù)器平臺(tái)中的CV系統(tǒng)處理)的CV性能數(shù)據(jù)被接收。
[0051] 更一般而言，取決于包括功耗優(yōu)化、可用的帶寬、期望的響應(yīng)時(shí)間（等待時(shí)間）、存 儲(chǔ)器或任何其他架構(gòu)或性能準(zhǔn)則之類的準(zhǔn)則，可跨客戶端和服務(wù)器、W各種方式來分布在 此描述的CV系統(tǒng)的計(jì)算負(fù)載。例如，客戶端可W簡(jiǎn)單地將捕捉到的圖像分派到服務(wù)器W進(jìn) 行處理，隨后可往回接收根據(jù)由服務(wù)器處的控制變量計(jì)算器5和數(shù)據(jù)庫7更新的增益值的經(jīng) 預(yù)處理的圖像（即，遠(yuǎn)程地經(jīng)預(yù)處理）；或者，它可W在本地實(shí)現(xiàn)對(duì)上文所描述的度量中的一 些或全部的計(jì)算，并且僅在服務(wù)器中對(duì)數(shù)據(jù)庫7查詢匹配的條目，基于運(yùn)些匹配的條目，它 將在本地計(jì)算其本地實(shí)現(xiàn)的SQ處理器的增益設(shè)置。計(jì)算和數(shù)據(jù)存儲(chǔ)工作負(fù)荷如何在客戶端 與服務(wù)器之間分布除取決于對(duì)工作負(fù)荷的分析W及客戶端與服務(wù)器之間的資源和帶寬之 夕h還取決于圖像的尺寸和它們的帖速率。
[0052] 注意，在此還使用圖3來描繪另一實(shí)施例，即，其中輸入圖像的源來自于可經(jīng)由因 特網(wǎng)訪問的文件存儲(chǔ)設(shè)備31，且其中輸入圖像是先前被捕捉或W其他方式產(chǎn)生并隨后被存 儲(chǔ)在文件存儲(chǔ)設(shè)備31中的實(shí)施例。在那種情況下的內(nèi)容遞送服務(wù)器20將與文件存儲(chǔ)設(shè)備31 進(jìn)行通信W檢索輸入圖像。在已由CV處理器處理或操作了輸入圖像之后，CV處理器在此基 礎(chǔ)上生成CV性能數(shù)據(jù)，隨后，服務(wù)器20可W將CV性能數(shù)據(jù)往回發(fā)送到文件存儲(chǔ)設(shè)備31(在文 件存儲(chǔ)設(shè)備31處，它們與輸入圖像相關(guān)聯(lián)地存儲(chǔ)），或者服務(wù)器20可W通過因特網(wǎng)而將CV性 能數(shù)據(jù)供應(yīng)給在另一設(shè)備(未示出）中運(yùn)行的另一客戶端進(jìn)程。在所有運(yùn)些實(shí)例中，可W提 供穿越因特網(wǎng)（未示出）的組合式有線和無線通信鏈路W將輸入圖像上傳到"云"（例如，從 可W包含捕捉圖像序列的數(shù)碼相機(jī)，或包含靜止圖像或移動(dòng)圖像文件數(shù)據(jù)庫的本地設(shè)備）。 在一個(gè)實(shí)施例中，圖像挖掘應(yīng)用程序可能正在對(duì)本地設(shè)備中的圖形文件數(shù)據(jù)庫(數(shù)據(jù)庫平 臺(tái)31)捜索某些內(nèi)容(可視化理解應(yīng)用）。
[0053] 在另一實(shí)施例中，預(yù)處理器2的SQ處理器中的一個(gè)或多個(gè)(例如，執(zhí)行自動(dòng)白平衡 的那一個(gè))被實(shí)現(xiàn)為經(jīng)編程的數(shù)字圖像處理器，所述經(jīng)編程的數(shù)字圖像處理器物理地位于 成像傳感器設(shè)備22(例如，數(shù)碼相機(jī)模塊）內(nèi)部。相機(jī)模塊可W是在圖4中描繪了其相關(guān)的硬 件組件的最終用戶平臺(tái)的部分。成像傳感器設(shè)備22可包括成像傳感器、成像透鏡系統(tǒng)和預(yù) 處理器2(參見圖1)。相機(jī)模塊可W是構(gòu)成最終用戶平臺(tái)21的更復(fù)雜的多功能系統(tǒng)的部分， 所述最終用戶平臺(tái)21諸如，可穿戴計(jì)算設(shè)備(例如，一副智能眼鏡或智能頭盎或耳機(jī)），工程 工作站、臺(tái)式計(jì)算機(jī)、膝上型計(jì)算機(jī)、智能電話、視頻游戲控制臺(tái)、電視機(jī)機(jī)頂盒、計(jì)劃用于 家庭或辦公室的娛樂系統(tǒng)或車輛娛樂系統(tǒng)。如圖4中所示，此類最終用戶平臺(tái)也可W包括其 中存儲(chǔ)了用戶交互應(yīng)用程序23的計(jì)算機(jī)存儲(chǔ)器24、用于執(zhí)行存儲(chǔ)在存儲(chǔ)器24中的程序的主 處理器25(例如，中央處理單元、應(yīng)用程序處理器）、用于實(shí)現(xiàn)各種硬件計(jì)算組件(包括圖形 處理器26)之間的通信的忍片組27、用戶輸入/輸出接口 28(例如，觸摸屏系統(tǒng)）和網(wǎng)絡(luò)通信 接口 29(例如，無線局域網(wǎng)接口、W太網(wǎng)接口、藍(lán)牙接口和/或無線蜂窩通信網(wǎng)絡(luò)接口）。在諸 如可穿戴計(jì)算設(shè)備之類的便攜式最終用戶平臺(tái)中，CV系統(tǒng)可W按比例縮小為具有更新預(yù)處 理階段的增益變量所需的最少功能，并CV系統(tǒng)的功能中的大部分(如果不是全部)也可W完 全在最終用戶平臺(tái)中實(shí)現(xiàn)?；蛘?，可W實(shí)現(xiàn)其中CV系統(tǒng)的計(jì)算任務(wù)分布在客戶端與服務(wù)器 之間的客戶端-服務(wù)器系統(tǒng)。在一個(gè)實(shí)施例中，如果CV系統(tǒng)被設(shè)計(jì)成對(duì)灰階輸入圖像進(jìn)行操 作，則可W在控制變量計(jì)算器5中使用較簡(jiǎn)單的算法來計(jì)算度量，在運(yùn)種情況下，至少控制 變量計(jì)算器5可W在客戶端中在本地實(shí)現(xiàn)。
[0054] 在圖1的CV系統(tǒng)的一些元件在最終用戶平臺(tái)（諸如，圖4中的最終用戶平臺(tái)）中實(shí)現(xiàn) 的情況下，預(yù)處理器2(包括SQ處理器W及它們的控制變量輸入)可W在成像傳感器設(shè)備22 (例如，相機(jī)模塊）內(nèi)實(shí)現(xiàn)，并且可由控制變量計(jì)算器5通過通信總線（例如，通過忍片組27) 訪問。控制變量計(jì)算器5的一些部分(諸如，信號(hào)質(zhì)量比較器12)可W在如根據(jù)存儲(chǔ)在存儲(chǔ)器 24中的軟件被編程的主處理器25(圖4)中實(shí)現(xiàn)，而其他部分(諸如，SC計(jì)算器8、SS計(jì)算器9和 數(shù)據(jù)庫7可W)在云計(jì)算系統(tǒng)中實(shí)現(xiàn)。注意，主處理器25(圖4)可W位于相機(jī)模塊外部，但是 在更復(fù)雜的系統(tǒng)的外殼內(nèi)。
[0055] 還應(yīng)當(dāng)注意，盡管在圖1中SQ處理器被示出為分開的框，但是，在實(shí)踐中，運(yùn)與W下 情況是等同的：SQ處理器中的兩個(gè)或更多個(gè)被實(shí)現(xiàn)為組合了兩個(gè)或更多調(diào)節(jié)過程的性能 (例如，銳度，噪聲和對(duì)比度）的單個(gè)經(jīng)編程的微處理器單元或"聯(lián)合的"處理器，而SQ處理器 中的兩個(gè)或更多個(gè)仍響應(yīng)于它們相應(yīng)的控制變量。
[0056] 更一般而言，實(shí)施例可W是在其上存儲(chǔ)了指令的機(jī)器可讀介質(zhì)(諸如，任何形式的 微電子存儲(chǔ)器，包括作為云計(jì)算系統(tǒng)的部分的分布式形式），所述指令編程對(duì)一個(gè)或多個(gè)數(shù) 據(jù)處理器組件(運(yùn)里一般地被稱為"處理器"）為執(zhí)行上文中針對(duì)作為CV系統(tǒng)的部分的控制 變量計(jì)算器5(參見圖1)所描述的數(shù)字圖像處理和決策操作的任何合適的組合。例如，在圖1 中所描繪的CV系統(tǒng)的所選擇的部分或者甚至其中所描繪的全部框(包括預(yù)處理器2、控制變 量計(jì)算器5、數(shù)據(jù)庫7和CV處理器4)可W實(shí)現(xiàn)為駐留在"云"中的經(jīng)編程的數(shù)據(jù)處理器，由此， 在那種情況下機(jī)器可讀介質(zhì)已將指令存儲(chǔ)在其中，所述指令用于將"云中的處理器"（例如， 服務(wù)器平臺(tái)中的一組單獨(dú)的微處理器或CPU)編程為執(zhí)行圖1中所示的硬件組件的所需操 作。當(dāng)然，那些操作中的一些可W由專用硬連線邏輯(例如，專用數(shù)字濾波器塊及硬連線 狀態(tài)機(jī)、或由經(jīng)編程的數(shù)據(jù)處理組件和硬連線邏輯電路組件的任何組合來執(zhí)行。
[0057] 在另一個(gè)實(shí)施例中，機(jī)器可讀介質(zhì)可W存儲(chǔ)指令，所述指令將處理器編程為執(zhí)行 作為圖2中描繪的數(shù)據(jù)庫填充系統(tǒng)的部分的SC計(jì)算器8和SQ計(jì)算器11的操作。在又一實(shí)施例 中，機(jī)器可讀介質(zhì)可W是真實(shí)肯定的數(shù)據(jù)庫7,其中，在此情況下的介質(zhì)在其中存儲(chǔ)了N個(gè)條 目，運(yùn)N個(gè)條目包含收集到的SC度量W及表示它們相應(yīng)的真實(shí)肯定圖像的相關(guān)聯(lián)的SQ值。
[0058] 可W按如下方式來描述實(shí)施例。作為計(jì)算機(jī)視覺系統(tǒng)的部分的制品具有其中存儲(chǔ) 了指令的計(jì)算機(jī)可讀介質(zhì)(例如，"分布式"介質(zhì)，諸如，云計(jì)算系統(tǒng)的部分，或完全位于最終 用戶平臺(tái)的外殼內(nèi)的介質(zhì)），所述指令對(duì)處理器編程W計(jì)算輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜 性的衡量，并捜索真實(shí)肯定的數(shù)據(jù)庫W在數(shù)據(jù)庫中查找表示在結(jié)構(gòu)上與輸入圖像類似的真 實(shí)肯定圖像的一個(gè)或多個(gè)條目。處理器將輸入圖像的信號(hào)質(zhì)量的衡量與從數(shù)據(jù)中庫檢索到 的真實(shí)肯定圖像中的一個(gè)的信號(hào)質(zhì)量的衡量進(jìn)行比較?；诖吮容^，處理器更新控制變量， 所述控制變量配置在由計(jì)算機(jī)視覺處理器處理輸入圖像之前要對(duì)輸入圖像執(zhí)行的信號(hào)質(zhì) 量調(diào)節(jié)過程。一方面，所存儲(chǔ)的指令將處理器編程為通過將輸入圖像結(jié)構(gòu)復(fù)雜性的衡量與 存儲(chǔ)在數(shù)據(jù)庫中的許多條目中的每一個(gè)條目中的一個(gè)或多個(gè)真實(shí)肯定復(fù)雜性度量進(jìn)行比 較來捜索真實(shí)肯定的數(shù)據(jù)庫。另一方面，所存儲(chǔ)的指令還將處理器編程為通過計(jì)算結(jié)構(gòu)相 似性度量(該結(jié)構(gòu)相似性度量是下列各項(xiàng)中的兩項(xiàng)或更多項(xiàng)的函數(shù)：i)明度度量，ii)對(duì)比 度度量，iii)銳度度量，W及iv)噪聲度量)來比較輸入圖像的信號(hào)質(zhì)量的衡量與真實(shí)肯定 圖像中的一個(gè)的信號(hào)質(zhì)量的衡量。上文給出了此方法的示例，例如，GSSM。
[0059]盡管在所附附圖中描述并示出了某些實(shí)施例，但是將會(huì)理解，此類實(shí)施例僅是說 明性的而不是對(duì)在此寬泛的公開內(nèi)容的限制，并且在此的公開不僅限于示出并描述的特定 的構(gòu)造和布置，因?yàn)楸绢I(lǐng)域技術(shù)人員可W想到各種其他修改方案。例如，雖然在圖1中預(yù)處 理器2被描繪為由四個(gè)SQ處理器組成，但是替代方案是具有少于四個(gè)SQ處理器。此外，成像 模態(tài)(輸入圖像和真實(shí)肯定圖像的類型)不必僅限于基于消費(fèi)電子的一般攝影，而且還包括 醫(yī)學(xué)成像、距離成像W及深度成像(例如，不僅使用可見光傳感器，還使用紅外光傳感器）。 說明書因此應(yīng)當(dāng)被視為是說明性的而非限定性的。
【主權(quán)項(xiàng)】
1. 一種用于計(jì)算機(jī)視覺系統(tǒng)的圖像處理方法，包括以下步驟： 處理輸入圖像以計(jì)算所述輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜性的衡量； 使用真實(shí)肯定圖像的a)所述輸入圖像結(jié)構(gòu)復(fù)雜性的衡量以及b)真實(shí)肯定結(jié)構(gòu)復(fù)雜性 的衡量，計(jì)算所述輸入圖像相對(duì)于所述真實(shí)肯定圖像的結(jié)構(gòu)相似性的衡量，其中，所述真實(shí) 肯定圖像是已導(dǎo)致由計(jì)算機(jī)視覺處理器進(jìn)行的正確的決策的圖像；以及 響應(yīng)于指示足夠的相似性的結(jié)構(gòu)相似性的衡量而執(zhí)行所述輸入圖像的信號(hào)質(zhì)量的衡 量與所述真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量之間的比較，并且基于所述比較來更新配置在由 計(jì)算機(jī)視覺處理器處理所述輸入圖像之前對(duì)所述輸入圖像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程的控 制變量。2. 如權(quán)利要求1所述的方法，其特征在于，所述輸入圖像結(jié)構(gòu)復(fù)雜性的衡量包括輸入圖 像顏色或灰度復(fù)雜性度量、輸入圖像明亮度復(fù)雜性度量以及輸入圖像空間復(fù)雜性度量。3. 如權(quán)利要求2所述的方法，其特征在于，所述真實(shí)肯定結(jié)構(gòu)復(fù)雜性的衡量包括真實(shí)肯 定顏色或灰度復(fù)雜性度量、真實(shí)肯定明亮度復(fù)雜性度量以及真實(shí)肯定空間復(fù)雜性度量。4. 如權(quán)利要求3所述的方法，其特征在于，結(jié)構(gòu)相似性的衡量是下列各項(xiàng)中的兩項(xiàng)或更 多項(xiàng)的函數(shù):所述輸入圖像和真實(shí)肯定顏色或灰度復(fù)雜性度量，ii)所述輸入圖像和真實(shí)肯 定明亮度復(fù)雜性度量，以及，iii)所述輸入圖像和真實(shí)肯定空間復(fù)雜性度量。5. 如權(quán)利要求1所述的方法，進(jìn)一步包括以下步驟:訪問具有多個(gè)條目的數(shù)據(jù)庫，其中， 每一個(gè)條目都包括與多個(gè)真實(shí)肯定信號(hào)質(zhì)量度量相關(guān)聯(lián)的多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量， 其中，所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量是從相應(yīng)的一個(gè)或多個(gè)真實(shí)肯定圖像中導(dǎo)出 的，并且所述多個(gè)真實(shí)肯定信號(hào)質(zhì)量度量是從所述相應(yīng)的一個(gè)或多個(gè)真實(shí)肯定圖像中導(dǎo)出 的， 其中，訪問所述數(shù)據(jù)庫以在給定的條目中檢索所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的 一個(gè)或多個(gè)， 并且其中，計(jì)算結(jié)構(gòu)相似性的衡量使用a)從所述輸入圖像中導(dǎo)出的多個(gè)輸入圖像復(fù)雜 性度量中的一個(gè)或多個(gè)，以及b)從所述數(shù)據(jù)庫中的所述給定的條目中檢索出的所述多個(gè)真 實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的所述一個(gè)或多個(gè)。6. 如權(quán)利要求5所述的方法，其特征在于，所述多個(gè)輸入圖像復(fù)雜性度量包括輸入圖像 顏色或灰度復(fù)雜性度量、輸入圖像明亮度復(fù)雜性度量以及輸入圖像空間復(fù)雜性度量， 并且其中，計(jì)算結(jié)構(gòu)相似性的衡量的步驟包括計(jì)算是下列各項(xiàng)的函數(shù)的結(jié)構(gòu)相似性度 量的步驟： a) 下列各項(xiàng)中的兩項(xiàng)或更多項(xiàng)：i)所述輸入圖像顏色或灰度復(fù)雜性度量，ii)所述輸入 圖像明亮度復(fù)雜性度量，以及i i i)所述輸入圖像空間復(fù)雜性度量，以及 b) 從所述數(shù)據(jù)庫中的所述給定的條目中檢索到的所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量 中的對(duì)應(yīng)的兩個(gè)或更多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量。7. 如權(quán)利要求1所述的方法，其特征在于，更新配置在由計(jì)算機(jī)視覺處理器處理所述輸 入圖像之前對(duì)所述輸入圖像執(zhí)行的信號(hào)質(zhì)量調(diào)節(jié)過程的控制變量的步驟包括以下步驟:與 a)所述真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量比b)所述輸入圖像的信號(hào)質(zhì)量的衡量大多少或小 多少成比例地增大或減小所述控制變量。8. -種圖像處理系統(tǒng)，包括： 結(jié)構(gòu)復(fù)雜性計(jì)算器，所述結(jié)構(gòu)復(fù)雜性計(jì)算器用于計(jì)算輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜性 的衡量； 信號(hào)質(zhì)量計(jì)算器，所述信號(hào)質(zhì)量計(jì)算器用于計(jì)算所述輸入圖像的信號(hào)質(zhì)量的衡量； 真實(shí)肯定的數(shù)據(jù)庫，具有多個(gè)條目，其中，每一個(gè)條目都包括與多個(gè)真實(shí)肯定信號(hào)質(zhì)量 度量相關(guān)聯(lián)的多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量； 結(jié)構(gòu)相似性計(jì)算器，所述結(jié)構(gòu)相似性計(jì)算器用于在所述數(shù)據(jù)庫的給定的條目中檢索所 述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的一個(gè)或多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量，并使用a)輸入 圖像結(jié)構(gòu)復(fù)雜性的衡量以及b)從所述數(shù)據(jù)庫中檢索到的所述一個(gè)或多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù) 雜性度量來計(jì)算結(jié)構(gòu)相似性度量;以及 信號(hào)質(zhì)量比較器，所述信號(hào)質(zhì)量比較器用于執(zhí)行所述輸入圖像的信號(hào)質(zhì)量的衡量與從 所述數(shù)據(jù)庫中檢索到的真實(shí)肯定信號(hào)質(zhì)量度量之間的比較， 其中，所述信號(hào)質(zhì)量比較器用于響應(yīng)于指示了足夠的相似性的所述結(jié)構(gòu)相似性度量以 根據(jù)所述比較來更新控制變量，其中，所述控制變量配置計(jì)算機(jī)視覺系統(tǒng)的預(yù)處理器。9. 如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述輸入圖像結(jié)構(gòu)復(fù)雜性的衡量包括輸入圖 像顏色或灰度復(fù)雜性度量、輸入圖像明亮度復(fù)雜性度量以及輸入圖像空間復(fù)雜性度量。10. 如權(quán)利要求9所述的系統(tǒng)，其特征在于，所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量包括真 實(shí)肯定顏色或灰度復(fù)雜性度量、真實(shí)肯定明亮度復(fù)雜性度量以及真實(shí)肯定空間復(fù)雜性度 量。11. 如權(quán)利要求10所述的系統(tǒng)，其特征在于，所述結(jié)構(gòu)相似性的衡量是下列各項(xiàng)中的兩 項(xiàng)或更多項(xiàng)的函數(shù):i)所述輸入圖像和真實(shí)肯定顏色或灰度復(fù)雜性度量，ii)所述輸入圖像 和真實(shí)肯定明亮度復(fù)雜性度量，以及iii)所述輸入圖像和真實(shí)肯定空間復(fù)雜性度量。12. 如權(quán)利要求8-11中的任一項(xiàng)所述的系統(tǒng)，其特征在于，所述預(yù)處理器包括分別可由 兩個(gè)或更多個(gè)控制變量配置的明度處理器、銳度處理器、對(duì)比度處理器和噪聲消減處理器 中的兩個(gè)或更多個(gè)。13. 如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述結(jié)構(gòu)相似性計(jì)算器用于使用以下兩項(xiàng) 來計(jì)算所述結(jié)構(gòu)相似性度量:a)已從所述輸入圖像中導(dǎo)出的多個(gè)輸入圖像復(fù)雜性度量中的 一個(gè)或多個(gè)但不是全部；以及b)所述數(shù)據(jù)庫中的所述給定的條目中的所述真實(shí)肯定結(jié)構(gòu)復(fù) 雜性度量中的對(duì)應(yīng)的一個(gè)或多個(gè)但不是全部。14. 如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述信號(hào)質(zhì)量比較器用于通過以下操作來 根據(jù)所述比較而更新所述控制變量:與a)所述真實(shí)肯定圖像的信號(hào)質(zhì)量的衡量比b)所述輸 入圖像的信號(hào)質(zhì)量的衡量大多少或小多少成比例地增大或減小所述控制變量。15. 如權(quán)利要求8-11中的任一項(xiàng)所述的系統(tǒng)，所述系統(tǒng)與服務(wù)器和計(jì)算機(jī)視覺處理器 相結(jié)合，其特征在于，在所述服務(wù)器中實(shí)現(xiàn)所述結(jié)構(gòu)復(fù)雜性計(jì)算器、所述信號(hào)質(zhì)量計(jì)算器、 所述真實(shí)肯定的數(shù)據(jù)庫、所述結(jié)構(gòu)相似性計(jì)算器、所述信號(hào)質(zhì)量比較器和所述計(jì)算機(jī)視覺 處理器中的一個(gè)或多個(gè)，并且其中，所述服務(wù)器用于經(jīng)由因特網(wǎng)上的通信而從最終用戶平 臺(tái)或從文件存儲(chǔ)設(shè)備接收所述輸入圖像。16. 如權(quán)利要求15所述的系統(tǒng)，其特征在于，所述服務(wù)器用于將所述接收到的輸入圖像 提供給所述計(jì)算機(jī)視覺處理器并提供給所述結(jié)構(gòu)復(fù)雜性和信號(hào)質(zhì)量計(jì)算器，并且隨后服務(wù) 來自所述計(jì)算機(jī)視覺處理器的性能數(shù)據(jù)，其中，所述性能數(shù)據(jù)是由所述計(jì)算機(jī)視覺處理器 基于通過所述因特網(wǎng)已對(duì)所述輸入圖像進(jìn)行操作而生成的。17. -種制品，包括計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)具有在其上存儲(chǔ)的指令，所 述指令將處理器編程為執(zhí)行如權(quán)利要求1所述的方法。18. -種圖像處理系統(tǒng)，包括： 用于計(jì)算輸入圖像的輸入圖像結(jié)構(gòu)復(fù)雜性的衡量的裝置； 用于計(jì)算所述輸入圖像的信號(hào)質(zhì)量的衡量的裝置； 用于存儲(chǔ)多個(gè)條目的裝置，其中，每一個(gè)條目都包括與多個(gè)真實(shí)肯定信號(hào)質(zhì)量度量相 關(guān)聯(lián)的多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量； 用于在所述存儲(chǔ)裝置的給定的條目中檢索所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量中的一 個(gè)或多個(gè)并使用a)所述輸入圖像結(jié)構(gòu)復(fù)雜性的衡量以及b)從所述存儲(chǔ)裝置檢索到的所述 一個(gè)或多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量來計(jì)算結(jié)構(gòu)相似性度量的裝置;以及 用于執(zhí)行所述輸入圖像的信號(hào)質(zhì)量的衡量與從所述存儲(chǔ)裝置檢索到的所述真實(shí)肯定 信號(hào)質(zhì)量度量之間的比較的裝置， 其中，所述比較裝置用于響應(yīng)于指示了足夠的相似性的結(jié)構(gòu)相似性度量以根據(jù)所述比 較來更新控制變量，其中，所述控制變量配置計(jì)算機(jī)視覺系統(tǒng)的預(yù)處理器。19. 如權(quán)利要求18所述的系統(tǒng)，其特征在于，所述輸入圖像結(jié)構(gòu)復(fù)雜性的衡量包括輸入 圖像顏色或灰度復(fù)雜性度量、輸入圖像明亮度復(fù)雜性度量以及輸入圖像空間復(fù)雜性度量。20. 如權(quán)利要求19所述的系統(tǒng)，其特征在于，所述多個(gè)真實(shí)肯定結(jié)構(gòu)復(fù)雜性度量包括真 實(shí)肯定顏色或灰度復(fù)雜性度量，真實(shí)肯定明亮度復(fù)雜性度量以及真實(shí)肯定空間復(fù)雜性度 量。21. 如權(quán)利要求20所述的系統(tǒng)，其特征在于，所述結(jié)構(gòu)相似性的衡量是下列各項(xiàng)中的兩 項(xiàng)或更多項(xiàng)的函數(shù):i)所述輸入圖像和真實(shí)肯定顏色或灰度復(fù)雜性度量，ii)所述輸入圖像 和真實(shí)肯定明亮度復(fù)雜性度量，以及iii)所述輸入圖像和真實(shí)肯定空間復(fù)雜性度量。
【文檔編號(hào)】G06T1/00GK105989571SQ201610093317
【公開日】2016年10月5日
【申請(qǐng)日】2016年2月19日
【發(fā)明人】J·E·卡維迪斯, S·L·吳
【申請(qǐng)人】英特爾公司