具有混合深度估計的圖像處理系統(tǒng)及其操作方法
【專利摘要】本發(fā)明公開了具有混合深度估計的圖像處理系統(tǒng)及其操作方法。一種用于操作圖像處理系統(tǒng)的系統(tǒng)和方法，包括：用于接收圖像序列的捕獲圖像序列模塊；用于計算迭代深度圖和過零陣列的計算迭代深度圖模塊；用于計算中值深度圖和深度差異圖的計算中值深度圖模塊；用于計算方差深度圖的計算方差深度圖模塊；用于基于所述迭代深度圖、過零陣列、中值深度圖、深度差異圖和方差深度圖來計算圖像深度圖的計算圖像深度圖模塊；以及用于基于所接收到的圖像和圖像深度圖來計算顯示圖像以便在顯示設備上顯示的計算顯示圖像模塊。
【專利說明】
具有混合深度估計的圖像處理系統(tǒng)及其操作方法
技術(shù)領域
[0001] 本發(fā)明總體上設及圖像處理系統(tǒng)，更具體來說設及具有混合深度估計的圖像處理 系統(tǒng)。
【背景技術(shù)】
[0002] 現(xiàn)今的消費和工業(yè)電子裝置(特別是具有圖形成像能力的設備，比如攝影機、電 視、投影儀、蜂窩電話W及組合設備)正在提供越來越高的功能水平W支持現(xiàn)今的生活，其 中包括=維顯示服務。現(xiàn)有技術(shù)中的研發(fā)可能是在許多不同方向上進行的。
[0003] 隨著S維顯示設備的成長為用戶賦予了更多能力，新的和舊的范例開始利用運一 新的設備空間。針對利用運一新的顯示設備機會存在許多技術(shù)解決方案。一種現(xiàn)有的方法 是在消費、工業(yè)和移動電子裝置上顯示=維圖像，比如視頻投影儀、電視、監(jiān)視器、智能電 話、游戲系統(tǒng)、攝影機或者個人數(shù)字助理(PDA)。
[0004] =維圖像處理系統(tǒng)已被合并在攝影機、投影儀、電視、筆記本和其他便攜式產(chǎn)品 中。如今，運些系統(tǒng)幫助用戶捕獲和顯示可用的相關(guān)信息，比如圖表、地圖或視頻。S維圖像 的顯示提供極有價值的相關(guān)信息?？蒞通過利用多個透鏡捕獲立體圖像來形成=維圖像。
[0005] 但是W=維形式顯示信息已成為消費者首要關(guān)注的問題。顯示不與真實世界相關(guān) 的=維圖像會減少使用所述工具的益處。
[0006] 因此，仍然需要有更好的圖像處理系統(tǒng)來捕獲和顯示=維圖像。鑒于不斷增大的 商業(yè)競爭壓力，連同不斷增長的消費者預期W及市場中的有意義的產(chǎn)品區(qū)分的機會不斷減 少，找到運些問題的答案也變得越來越關(guān)鍵。此外，針對降低成本、改進效率和性能W及滿 足競爭壓力的需求也為找到運些問題的答案的關(guān)鍵必要性增加了更大的緊迫性。
[0007] 長期W來一直在尋求針對運些問題的解決方案，但是先前的發(fā)展沒有教導或建議 任何解決方案，因此本領域技術(shù)人員一直W來都沒有找到針對運些問題的解決方案。

【發(fā)明內(nèi)容】

[000引本發(fā)明提供了操作圖像處理系統(tǒng)的方法，其包括:接收具有所接收到的圖像的圖 像序列，其中所接收到的圖像分別具有透鏡位置;形成具有第一圖像和第二圖像的圖像對， 所接收到的圖像的圖像對具有對應于透鏡位置的相繼順序;將所接收到的圖像劃分成具有 多個柵格塊的柵格陣列；計算對應于圖像序列的每一個圖像對之間的模糊差異的迭代次 數(shù)，其中通過把第二圖像與模糊內(nèi)核迭代地進行卷積直到第二圖像的模糊量度處在第一圖 像的模糊量度的模糊差異闊值之內(nèi)為止來計算所述迭代次數(shù);計算具有對應于所接收到的 圖像的每一個柵格塊的迭代深度的迭代深度圖，所述迭代深度是基于對應于迭代次數(shù)的過 零點（zero-crossing point);計算具有對應于圖像序列的每一個柵格塊的所有過零深度 的過零陣列;通過對迭代深度圖應用中值濾波器來計算具有對應于每一個柵格塊的中值深 度的中值深度圖；通過從迭代深度圖減去中值深度圖來計算深度差異圖；計算具有對應于 所接收到的圖像的每一個柵格塊的塊方差的方差深度圖；計算具有被指派給每一個柵格塊 的單元深度(element d邱th)的圖像深度圖，所述單元深度是基于所述迭代深度圖、過零陣 列、中值深度圖、深度差異圖W及方差深度圖；W及基于所接收到的圖像和圖像深度圖來計 算顯示圖像W用于在顯示設備上顯示。
[0009] 本發(fā)明提供了一種圖像處理系統(tǒng)，其包括:捕獲圖像序列模塊，其用于接收具有所 接收到的圖像的圖像序列，其中所接收到的圖像分別具有透鏡位置，其還用于形成具有第 一圖像、第二圖像的圖像對，其中所接收到的圖像的圖像對具有對應于透鏡位置的相繼順 序，并且還用于將所接收到的圖像劃分成具有多個柵格塊的柵格陣列;禪合到捕獲圖像序 列模塊的計算迭代深度圖模塊，其用于計算對應于圖像序列的每一個圖像對之間的模糊差 異的迭代次數(shù)，其中通過把第二圖像與模糊內(nèi)核迭代地進行卷積直到第二圖像的模糊量度 處在第一圖像的模糊量度的模糊差異闊值之內(nèi)為止來計算所述迭代次數(shù)，并且還用于計算 具有對應于所接收到的圖像的每一個柵格塊的迭代深度的迭代深度圖，所述迭代深度是基 于對應于迭代次數(shù)的過零點，并且還用于計算具有對應于圖像序列的每一個柵格塊的過零 深度的過零陣列；禪合到計算迭代深度圖模塊的計算中值深度圖模塊，其用于通過對迭代 深度圖應用中值濾波器來計算具有對應于每一個柵格塊的中值深度的中值深度圖，并且用 于通過從迭代深度圖減去中值深度圖來計算深度差異圖；禪合到計算中值深度圖模塊的計 算方差深度圖模塊，其用于計算具有對應于所接收到的圖像的每一個柵格塊的塊方差的方 差深度圖；禪合到計算方差深度圖模塊的計算圖像深度圖模塊，其用于計算具有被指派給 每一個柵格塊的單元深度的圖像深度圖，所述單元深度是基于所述迭代深度圖、過零陣列、 中值深度圖、深度差異圖W及方差深度圖；W及禪合到計算圖像深度圖模塊的計算顯示圖 像模塊，其用于基于所接收到的圖像和圖像深度圖來計算顯示圖像W用于在顯示設備上顯 /J、- O
[0010] 本發(fā)明的某些實施例具有其他步驟或單元，W作為前面所提到的那些步驟或單元 的補充或替換。通過閱讀后面參照附圖作出的詳細描述，本領域技術(shù)人員將認識到所述步 驟或單元。
【附圖說明】
[0011] 圖1是本發(fā)明的實施例中的圖像處理系統(tǒng)。
[0012] 圖2是光學系統(tǒng)的實例。
[OOK]圖3是圖像序列的實例。
[0014] 圖4是模糊差異的實例。
[0015] 圖5是模糊改變圖表的實例。
[0016] 圖6是模糊方差圖表的實例。
[0017] 圖7是模糊差異圖表的實例。
[001引圖8是迭代曲線圖表的實例。
[0019] 圖9是窗口擬合的實例。
[0020] 圖10是窗口擬合誤差分析圖表的實例。
[0021] 圖11是對應于窗口擬合誤差分析圖表的正確深度的實例。
[0022] 圖12是對應于窗口擬合誤差分析圖表的錯誤深度的實例。
[0023] 圖13是具有混合深度估計的圖像處理系統(tǒng)的處理流程的實例。
[0024] 圖14是具有混合深度估計的圖像處理系統(tǒng)的流程圖的實例。
[0025] 圖15是具有一個深度的源圖像的實例。
[0026] 圖16是對應于具有一個深度的源圖像的圖像深度圖的實例。
[0027] 圖17是具有變化的深度的源圖像的實例。
[0028] 圖18是對應于具有變化的深度的源圖像的圖像深度圖的實例。
[0029] 圖19是具有低紋理的源圖像的實例。
[0030] 圖20是對應于具有低紋理的源圖像的圖像深度圖的實例。
[0031] 圖21是場景深度方差表的實例。
[0032] 圖22是圖像處理系統(tǒng)的功能方框圖的實例。
[0033] 圖23是本發(fā)明的另一個實施例中的圖像處理系統(tǒng)的操作方法的流程圖。
【具體實施方式】
[0034] 下面將W充足的細節(jié)描述后面的實施例，從而使得本領域技術(shù)人員能夠制作及使 用本發(fā)明。應當理解的是，基于本公開內(nèi)容，其他實施例將是顯而易見的，并且在不背離本 發(fā)明的范圍的情況下可W作出系統(tǒng)、處理或機械改變。
[0035] 在后面的描述中給出了許多具體細節(jié)W提供對于本發(fā)明的透徹理解。但是應當認 識到，可W在沒有運些具體細節(jié)的情況下實踐本發(fā)明。為了避免模糊本發(fā)明，一些眾所周知 的電路、系統(tǒng)配置和處理步驟沒有被詳細公開。
[0036] 示出了所述系統(tǒng)的實施例的附圖是半示意性的并且不是按比例繪制的，并且特別 為了呈現(xiàn)清楚起見在附圖中夸大示出了其中一些維度。類似地，雖然附圖中的視圖為了容 易描述起見通常示出了類似的指向，但是附圖中的運一描繪在大多數(shù)情況下是任意的。通 常來說，本發(fā)明可W被操作在任何指向中。
[0037] 在所有附圖中使用相同的附圖標記來指代相同的單元。將各個實施例編號成第一 實施例、第二實施例等等是為了描述方便，而不意圖具有任何其他意義或者提供對于本發(fā) 明的限制。
[0038] 術(shù)語"圖像"被定義成對于對象的畫面表示。圖像可W包括二維圖像、=維圖像、視 頻帖、所計算的文件表示、來自攝影機的圖像、視頻帖或其組合。舉例來說，所述圖像可W是 機器可讀數(shù)字文件、物理照片、數(shù)字照片、電影帖、視頻帖、X射線圖像、掃描圖像或其組合。 所述圖像可W由設置在矩形陣列中的像素形成。所述圖像可W包括沿著行方向的X軸和沿 著列方向的y軸。
[0039] 水平方向是平行于圖像的X軸的方向。垂直方向是平行于圖像的y軸的方向。對角 線方向是不平行于X軸也不平行于y軸的方向。
[0040] 運里所提到的術(shù)語"模塊"可W包括軟件、硬件或其組合。舉例來說，軟件可W是機 器代碼、固件、嵌入式代碼和應用軟件。同樣是舉例來說，硬件可W是電路、處理器、計算器、 集成電路、集成電路核屯、或其組合。
[0041] 現(xiàn)在參照圖1，其中示出了本發(fā)明的一個實施例中的圖像處理系統(tǒng)100的實例。圖 像處理系統(tǒng)100可W接收在成像設備102中的成像傳感器108處所接收到的圖像114的圖像 序列144。
[0042] 所接收到的圖像114是形成在成像傳感器108上的畫面。圖像序列144的所接收到 的圖像114可W形成分別具有第一圖像104和第二圖像106的圖像對146。每一幅所接收到的 圖像114可W是在不同的透鏡位置處捕獲的。
[0043] 圖像處理系統(tǒng)100可W通過多種方式來捕獲第一圖像104和第二圖像106。舉例來 說，可W通過利用成像傳感器108順序地捕獲物理場景的源圖像140來形成第一圖像104和 第二圖像106。
[0044] 每一幅所接收到的圖像114可W包括圖像元數(shù)據(jù)110。圖像元數(shù)據(jù)110是關(guān)于相關(guān) 聯(lián)的圖像的信息。舉例來說，圖像元數(shù)據(jù)110可W包括關(guān)于產(chǎn)生所接收到的圖像114時的圖 像處理系統(tǒng)100的物理屬性的信息。在另一個實例中，圖像元數(shù)據(jù)110可W是與數(shù)字圖像一 起記錄在數(shù)字攝影機中的畫面信息。
[0045] 圖像元數(shù)據(jù)110可W包括多種信息。舉例來說，圖像元數(shù)據(jù)110可W包括拍照屬性、 成像設備指向、透鏡信息、孔徑信息、設備位置、光學參數(shù)、設定、光級、透鏡信息或其組合。
[0046] 圖像元數(shù)據(jù)110可W包括對應于圖像序列144的每一幅所接收到的圖像114的透鏡 位置118。透鏡位置118是從透鏡到成像傳感器108的距離。
[0047] 圖像序列144的所接收到的圖像114可W在圖像處理系統(tǒng)100內(nèi)通過通信鏈接132 傳輸?shù)斤@示設備130。顯示設備130是能夠在顯示單元136上對顯示圖像138進行顯示的單 元。舉例來說，顯示設備130可W是具有用于觀看圖像的液晶顯示單元的手持式設備、監(jiān)視 器、投影儀、觸摸屏、發(fā)光二極管(LED)顯示器或其組合。
[0048] 圖像處理系統(tǒng)100可W包括圖像深度圖134。圖像深度圖134是描述從圖像上的點 到圖像處理系統(tǒng)100的距離的信息。圖像深度圖134可W被用來形成顯示圖像138(比如3維 圖像），W用于在顯示設備130上顯示。
[0049] 通信鏈接132是用于傳輸信息的機制。舉例來說，通信鏈接132可W是內(nèi)部計算機 總線、設備間總線、網(wǎng)絡鏈接或其組合。雖然圖像處理系統(tǒng)100和顯示設備130被描繪成分開 的設備，但是應當理解的是，圖像處理系統(tǒng)100和顯示設備130可W被實施成單一集成設備。
[0050] 現(xiàn)在參照圖2,其中示出了光學系統(tǒng)202的一個實例。所述光學系統(tǒng)可W包括源圖 像140、具有透鏡位置118的透鏡206W及用于接收所接收到的圖像114的成像傳感器108。所 接收到的圖像114是在成像傳感器108處接收到的所有圖像，并且可W包括第一圖像104、第 二圖像106、第一校準圖像、第二校準圖像或者其組合。
[0051] 源圖像140是場景的光學表示。舉例來說，源圖像140可W是校準目標圖像、點源、 對象、圖案圖像、幾何圖案或其組合。
[0052] 在另一個實例中，源圖像140可W是階梯邊緣(St邱edge)圖像246。階梯邊緣圖像 246是一側(cè)為黑色并且一側(cè)為白色的參考圖像。
[0053] 所接收到的圖像114是成像傳感器108處的源圖像140的表示。來自源圖像140的光 穿過透鏡206從而形成所接收到的圖像114。
[0054] 透鏡206是用于透射和折射光的光學元件。透鏡206可W用于會聚或發(fā)散光。
[0055] 透鏡206可W具有多種配置。舉例來說，透鏡206可W是具有單一光學元件的簡單 透鏡。在另一個實例中，透鏡206可W是具有多個簡單透鏡的陣列的復合透鏡。
[0056] 透鏡206可W由多種材料形成。舉例來說，透鏡206可W由玻璃、塑料、液體或者其 他透明材料形成。在另一個實例中，透鏡206可W由菲涅爾元件形成。
[0化7] 透鏡206可W具有透鏡直徑214和孔徑設定244。透鏡直徑214是從透鏡206的一側(cè) 到相對側(cè)的最大距離?？讖皆O定224是光可W從該處穿過透鏡206的開口的尺寸?？讖皆O定 244可W決定孔徑直徑208。孔徑直徑208是去到透鏡206的開口的尺寸?？讖街睆?08等于或 小于透鏡直徑214。
[0化引透鏡206可W具有透鏡焦距204。透鏡焦距204是透鏡206與透鏡206的焦點205之間 的距離。焦點205是透鏡206處于焦點對準的點。
[0059] 光學系統(tǒng)202可W包括透鏡對焦位置210。透鏡對焦位置210是透鏡206與成像傳感 器108之間的距離?？蒞通過改變透鏡對焦位置210沿著對焦路徑218移動透鏡206。
[0060] 光學系統(tǒng)202可W包括最小焦距230。最小焦距230是透鏡206可W形成清晰圖像的 最近距離。光學系統(tǒng)202可W包括最大焦距232。最大焦距232是有效無限遠距離。
[0061] 當其中一幅所接收到的圖像114最清晰并且具有最高對比度時，源圖像140處于焦 點對準。當其中一幅所接收到的圖像114的焦點未對準并且沒有那么清晰時，其將具有較低 的對比度?？蒞利用較小孔徑240(由更高的f數(shù)表示)取得第一圖像104,并且其通常比第二 圖像106更加清晰。
[0062] 光學系統(tǒng)202可W具有場深度216。場深度216是其中圖像是清晰的距離范圍。場深 度216可W是關(guān)于透鏡206放置圖像平面的容限的度量。
[0063] 每一幅所接收到的圖像114可W具有模糊量度228。模糊量度228是圖像的模糊程 度的度量。形成在對應于透鏡206的焦點205處的所接收到的圖像114可W被視為焦點對準， 并且不具有模糊度。在焦點處，所接收到的圖像114可W具有對應于模糊量度228的零值。
[0064] 圖1的其中一個圖像對146當中的第一圖像104和第二圖像106可W通過圖2的模糊 差異222分開。模糊差異222是對于兩幅圖像之間的模糊水平改變的測量。模糊差異222可W 測量兩幅圖像之間的模糊量度228的改變?？蒞對于整個圖像或者圖像的一部分計算模糊 量度228。
[0065] 可W通過多種方式確定圖像的模糊量度228。舉例來說，可W通過確定圖像的各個 像素的均方誤差來計算模糊量度228。
[0066] 在另一個實例中，可W通過比較與透鏡206的給定對焦距離處的目標圖像的模糊 半徑212來測量模糊。模糊半徑212是由源圖像140的焦點未對準圖像形成的圓圈的尺寸，其 中源圖像140具有點源或階梯邊緣圖像。
[0067] 在說明性實例中，圖像處理系統(tǒng)100可W捕獲兩幅圖像，即第一圖像104和第二圖 像106,其分別具有對應于透鏡位置118的不同值。第一圖像104和第二圖像106可W被用來 基于兩幅圖像的模糊量度228形成圖1的圖像深度圖134。
[0068] 第一圖像104與第二圖像106之間的模糊差異222是被用來測量圖像的散焦程度的 模糊量度228中的差異?？蒞利用下面的等式通過從第一透鏡位置到第二透鏡位置的點擴 散函數(shù)P來對模糊差異222進行建模：
[0069] Al 沖=A2 (1)
[0070] 其中，星號*運算符表示二維卷積運算?？蒞利用通過模糊內(nèi)核224(其被標示成K) 的一系列卷積如下近似點擴散函數(shù)P:
[0071] p=K*K*...體 (2)
[0072] 模糊內(nèi)核224可W具有各種值。應當理解的是，模糊內(nèi)核224的值、尺寸和維度是示 例性的，并且正如后面所描述的那樣可W是不同的。舉例來說，模糊內(nèi)核224可W是例如下 面的具有高中屯、值和較低邊緣值的3 X 3矩陣：
[0073]
( 3 )
[0074] 模糊內(nèi)核224可W實施多種功能。舉例來說，模糊內(nèi)核224可W充當?shù)屯V波器、高 通濾波器、脈沖濾波器或其組合。
[0075] 可W通過等式2中的卷積次數(shù)來測量其中一個圖像對146當中的第一圖像104與第 二圖像106之間的模糊差異222。通過對每一幅圖像應用模糊內(nèi)核224并且計算對應于每一 幅圖像的均方值來迭代地計算模糊差異222。所述迭代卷積處理可W繼續(xù)到第一圖像104與 第二圖像106之間的模糊差異222處在模糊差異闊值226之內(nèi)為止。
[0076] 圖像對146可W被用來確定對應于不同透鏡位置值的透鏡206的模糊差異222的特 性。可W把對應于透鏡206的模糊差異222的特性和第一圖像104與第二圖像106的模糊差異 222進行比較，W便確定深度。
[0077] 透鏡位置118可W通過透鏡位置增量242的遞增從起始位置238改變到結(jié)束位置 240。起始位置238可W對應于最小焦距230。結(jié)束位置240可W對應于最大焦距232。
[0078] 現(xiàn)在參照圖3,其中示出了圖像序列144的一個實例。圖像序列144是一系列所接收 到的圖像114。圖像序列144可W是順序的相繼圖像的集合。
[0079] 可W將所接收到的圖像114劃分成柵格塊302的柵格陣列304。柵格陣列304是被劃 分成柵格配置的圖像。柵格塊302是構(gòu)成所接收到的圖像114的子畫面。
[0080] 每一個柵格塊302可W是矩形像素陣列。舉例來說，柵格塊302可W具有16x16像 素、32x32像素的規(guī)格或者其他規(guī)則矩形規(guī)格。
[0081] 圖像序列144的每一幅所接收到的圖像114可W具有對應于圖1的透鏡位置118的 不同值。舉例來說，圖像序列144可W包括對于其范圍從圖2的最小焦距230到圖2的對應于 透鏡206的最大焦距232的透鏡位置118的值所取得的一系列圖像。
[0082] 圖像序列144可W具有一定數(shù)目的所接收到的圖像114。舉例來說，圖像序列144可 W包括第一圖像104、第二圖像、第=圖像308和最終圖像310。
[0083] 圖像序列144可W包括相應塊312的集合。相應塊312是對于圖像序列144中的所有 圖像都處于相同位置的柵格塊302。每一個相應塊312可W代表對應于透鏡位置118的每一 個值的其中一個柵格塊302。舉例來說，相應塊312可W包括第一塊314、第二塊316、第=塊 318和最終塊320。
[0084] 雖然相應塊312可W具有例如第一、第二、第=和最后之類的標識符，但是相應塊 的名稱僅僅是示例性的，而不暗示或者隱含物理排序或優(yōu)先級。舉例來說第一塊314和第二 塊316可W表示圖像序列144內(nèi)的任何兩幅相繼圖像。
[0085] 其中一個圖像對146的每一個相應塊312可W通過圖2的模糊差異222分開。模糊差 異222是每一幅圖像的模糊程度的差異?？蒞通過迭代次數(shù)322來測量模糊差異222。通過利 用圖2的模糊內(nèi)核224(比如高斯內(nèi)核）的迭代卷積來計算迭代次數(shù)322。迭代深度324可W是 與迭代次數(shù)322相關(guān)聯(lián)的過零點的位置。
[0086] 可W把第二塊316中的像素與模糊內(nèi)核224進行卷積，直到對應于每一個相應塊 312的圖2的模糊量度228都處在圖2的模糊差異闊值226之內(nèi)為止。模糊量度228是模糊性的 度量。舉例來說，模糊量度228可W是對應于所接收到的圖像114的其中一個柵格塊302的均 方誤差。
[0087] 其中一幅所接收到的圖像114的每一個柵格塊302可W具有單元深度306。單元深 度306是圖2的透鏡206與由其中一幅所接收到的圖像114的其中一個柵格塊302所表示的對 象之間的距離。
[0088] 所接收到的圖像114可W包括目標塊326。目標塊326是已被選擇進行處理的其中 一個柵格塊302。目標塊326可W與圖像序列144的其他圖像中的相應塊312相關(guān)聯(lián)。
[0089] 可W通過圖2的透鏡位置增量242為單位從圖2的起始位置238到圖2的結(jié)束位置 240調(diào)節(jié)透鏡位置118。舉例來說，起始位置238可W對應于圖2的最小焦距230的位置，并且 結(jié)束位置240可W對應于最大焦距232的位置。
[0090] 現(xiàn)在參照圖4,其中示出了模糊差異222的一個實例。模糊差異222可W是第一圖像 104與第二圖像106之間的對應于圖3的其中一個柵格塊302的圖2的模糊量度228中的改變。
[0091] 可W通過匹配另一幅圖像的模糊量度228所需的迭代次數(shù)來表達模糊差異222。模 糊差異222可W被如下表示：
[0092] gl*k = g2 (4)
[0093] 其中，k是高斯內(nèi)核，gl是第一圖像104，g2是第二圖像106。
[0094] 由于01+地辛02,因此利用標準偏差對于模糊差異222的測量無法被使用，其中曰是 模糊半徑的標準偏差。相反，可W基于Ol化地2 = 022使用方差。
[00M]可W通過多種方式來表達模糊差異222。舉例來說，對于圖1的源圖像140中的給定 目標圖像（比如圓圈），第一圖像104可W對于一個值下的模糊半徑212具有目標尺寸。第二 圖像106可W對于不同值下的模糊半徑212具有目標尺寸。模糊差異222可W被測量為由對 應于模糊半徑212的兩個值所定義的兩個圓圈之間的面積差異。
[0096] 現(xiàn)在參照圖5，其中示出了模糊改變圖表502的一個實例。模糊改變圖表502示出了 通過場深度數(shù)216(D0F)和垂直軸上的標準偏差所表達的圖1的兩個圖像對146之間的模糊 程度的改變。圖2的模糊差異222在圖2的透鏡206的焦點處是零。y軸通過DOF表示樣本點。X 軸通過像素或其他測量單位表示模糊半徑的標準偏差。
[0097] 現(xiàn)在參照圖6,其中示出了模糊方差圖表602的一個實例。模糊方差圖表602示出了 表示通過場深度數(shù)216表達的方差的拋物線。y軸通過DOF表示樣本點。X軸通過像素或其他 測量單位的平方表示模糊半徑的平方(或方差）。
[0098] 現(xiàn)在參照圖7,其中示出了模糊差異圖表702的一個實例。模糊差異圖表702示出了 作為場深度216的函數(shù)的其中一個圖像對146的兩幅圖像的圖3的相應塊312之間的圖2的模 糊差異222的圖3的迭代次數(shù)322中的變化。
[0099] 迭代次數(shù)322的值可W表明柵格塊302的相對清晰度。對應于迭代次數(shù)322的負值 可W表明第二圖像106比第一圖像104更清晰。對應于迭代次數(shù)的正值可W表明第二圖像 106比第一圖像104更模糊。
[0100] 現(xiàn)在參照圖8,其中示出了迭代曲線圖表802的一個實例。迭代曲線圖表802在透鏡 位置118的范圍內(nèi)示出了對應于圖3的其中一個柵格塊302的迭代曲線804。迭代曲線804示 出了對應于圖1的其中一個圖像對146的圖3的迭代次數(shù)322與透鏡位置118之間的關(guān)系。
[0101] 迭代曲線圖表802可W包括圍繞對應于圖2的透鏡206的圖2的焦點205的透鏡位置 118的線性區(qū)段806。線性區(qū)段806是可W利用線性等式來建模的圍繞焦點205的區(qū)域。線性 區(qū)段806可W表明在至少3DOF的范圍內(nèi)可W利用線性等式對數(shù)據(jù)進行擬合。線性區(qū)段806可 W寬于3DOF。不存在預期的范圍，并且不同的圖像可W具有不同的范圍。
[0102] 迭代曲線圖表802可W包括高模糊區(qū)段，其在迭代次數(shù)322與透鏡位置118之間的 關(guān)系中具有較寬的變化。高模糊區(qū)段可W在迭代曲線804的下方和上方末端處找到。高模糊 區(qū)段可W包括不表明焦點205的存在的過零數(shù)據(jù)點。
[0103] 可W通過在對應于圖1的圖像序列144的透鏡位置118的整個范圍內(nèi)確定圖像對 146的相繼集合之間的迭代次數(shù)322來計算迭代曲線804。圖1的圖像處理系統(tǒng)100可W捕獲 圖像序列144。圖像序列144可W包括一定數(shù)目的分開的圖像，比如五十到一百幅圖像之間。 圖像序列144中的圖像的數(shù)目可W是基于攝影機和透鏡。在操作中，如果攝影機和透鏡是固 定的并且相應的參數(shù)(比如孔徑)也是固定的，則圖像的數(shù)目可W是固定的。
[0104] 每一幅圖像可W被劃分成具有柵格塊302的圖3的柵格陣列304。每一個柵格塊302 是一個矩形像素子集，比如16x16像素塊、32x32像素塊或者另一規(guī)則尺寸的像素塊。
[0105] 可W對于圖像序列144的每一個圖像對146中的圖3的每一個相應塊312計算迭代 次數(shù)322。利用圖2的模糊內(nèi)核224(比如高斯內(nèi)核)通過迭代卷積來計算迭代次數(shù)322?？蒞 把其中一個柵格塊302的像素與模糊內(nèi)核224進行卷積，直到對應于每一個相應塊312的圖2 的模糊量度228處在圖2的模糊差異闊值226之內(nèi)為止。模糊量度228是模糊性的度量，比如 對應于其中一個柵格塊302的均方誤差。
[0106] 對于每一個柵格塊302,可W形成迭代曲線804, W便隨著透鏡位置118的變化示出 對應于圖像序列144的圖像對146中的相繼圖像的迭代次數(shù)322的差異。與迭代曲線804的過 零點相關(guān)聯(lián)的透鏡位置118可W是所選擇的其中一個柵格塊302的過零深度808。過零深度 808是關(guān)于從透鏡206到表示在其中一個柵格塊302中的對象的距離的估計。
[0107] 現(xiàn)在參照圖9,其中示出了窗口擬合的一個實例。窗口擬合圖表902可W被用來示 出其中可W通過線性等式對圖8的迭代曲線804進行建模的圍繞圖2的焦點205的區(qū)段。窗口 擬合操作916可W被用來對于圖1的圖像序列144的圖3的每一個柵格塊302識別出迭代曲線 804的過零點904。
[0108] 窗口擬合圖表902可W包括高模糊區(qū)段908和圖8的線性區(qū)段806。高模糊區(qū)段908 表示作為無法利用線性等式準確地建模的有噪聲區(qū)段的迭代曲線圖表802上的區(qū)域。高模 糊區(qū)段908可W處于對應于圖1的透鏡位置118的上方和下方范圍。線性區(qū)段806是可W利用 線性等式建模的圍繞焦點205的區(qū)域。
[0109] 窗口擬合操作916可W通過W擬合步寬度916為間隔沿著X軸移動擬合窗口 906來 確定線性區(qū)段806,其中擬合窗口 906具有窗口寬度914。擬合窗口 906是可W對其檢查過零 點904的迭代曲線圖表802上的區(qū)域。沿著X軸移動擬合窗口 906，直到迭代曲線804的末尾為 止。
[0110] 在每一個間隔步處，可W對擬合窗口 906進行分析W便確定擬合窗口 906是否包括 過零點904。如果是的話，則將過零點904信息存儲在過零陣列910中。可W利用線性回歸來 分析過零陣列910中的數(shù)據(jù)，W便確定用于迭代曲線804的線性等式的參數(shù)。
[0111] 在進行線性回歸時，通過識別出原始數(shù)據(jù)與擬合數(shù)據(jù)相比具有最小均方誤差的擬 合窗口 906,可W將梯度固定為校準曲線918。對應于所選擇的其中一個柵格塊302的圖8的 過零深度808可W是與過零點904相關(guān)聯(lián)的透鏡位置118的值。
[0112] 對于不同的圖像，擬合窗口 906的長度可W是不同的。舉例來說，擬合窗口 906的長 度可W是3D0F、5D0F、或7D0F。但是應當理解的是，可W使用DOF的其他值。
[0113] 可W通過W下步驟來實施窗口擬合操作:計算擬合曲線的梯度，利用校準曲線來 校準擬合曲線的梯度，改變截距直到擬合曲線與原始數(shù)據(jù)之間的均方誤差被最小化為止， 并且隨后檢查是否存在過零點。
[0114] 已經(jīng)發(fā)現(xiàn)，通過利用過零點904來確定對應于圖像序列144的其中一個柵格塊302 的圖3的單元深度306可W增加靈活性。通過提供替換的深度度量，可W估計單元深度306的 準確度。
[0115] 已經(jīng)發(fā)現(xiàn)，通過利用過零點904來確定對應于圖像序列144的其中一個柵格塊302 的過零深度808可W改進準確度。對應于擬合窗口 906的過零點904可W提供對應于單元深 度306的附加值，W便幫助建立對應于其中一個柵格塊302的單元深度306的準確度。
[0116] 現(xiàn)在參照圖10,其中示出了窗口擬合誤差分析圖表1002的一個實例。窗口擬合誤 差分析圖表1002可W示出擬合曲線1004對于沿著圖8的迭代曲線804的各個點的線性近似。 擬合曲線1004是圖8的線性區(qū)段806的一部分處的迭代曲線804的線性近似。其中一條擬合 曲線1004的圖9的過零點904可W表明圖2的焦點205的圖1的透鏡位置118。
[0117] 現(xiàn)在參照圖11，其中示出了對應于圖10的窗口擬合誤差分析圖表1002的正確深度 的一個實例。在圖8的線性區(qū)段806中，擬合曲線1004可W具有類似的斜率值。擬合曲線1004 的位置可W彼此對準，并且可W通過單一線性等式對擬合曲線1004的集合進行建模。擬合 曲線1004可W對線性區(qū)段806中的迭代曲線804進行建模。迭代曲線804的過零點904可W表 明對應于圖3的其中一個柵格塊302的圖3的單元深度306。
[0118] 參照圖12,其中示出了對應于圖10的窗口擬合誤差分析圖表1002的錯誤深度的一 個實例。在圖9的高模糊區(qū)段908中，無法利用線性等式對擬合曲線1004準確地進行建模。由 于擬合曲線1004之間的偏移，過零點904不處在正確的深度位置處。
[0119] 現(xiàn)在參照圖13,其中示出了具有混合深度估計的圖1的圖像處理系統(tǒng)100的處理流 程1302的一個實例。圖像處理系統(tǒng)100可W包括捕獲圖像序列模塊1304、計算迭代深度圖模 塊1306、計算迭代次數(shù)模塊1308、計算過零模塊1310、計算方差深度圖模塊1312、計算方差 圖模塊1314、確定最大塊方差模塊1316、計算中值深度圖模塊1318、計算圖像深度圖模塊 1320W及計算顯示圖像模塊1322。
[0120] 捕獲圖像序列模塊1304可W在對應于圖1的透鏡位置118的不同值下采集圖1的圖 像序列144的圖1的所接收到的圖像114?？蒞在把圖1的透鏡位置118從圖2的起始位置238 改變到圖2的結(jié)束位置240的同時順序地捕獲每一幅所接收到的圖像114。在每一幅所接收 到的圖像114之間，可W通過圖2的透鏡位置增量242遞增透鏡位置118。
[0121] 計算迭代深度圖模塊1306可W計算對應于圖像序列144的迭代深度圖1324。迭代 深度圖可W包括對應于每一個柵格塊302的迭代深度324,其基于圖像序列144的每一個圖 像對146之間的模糊差異222的迭代次數(shù)322上的過零點904?？蒞利用窗口擬合操作來細化 圖3的迭代深度324, W便識別出由對應于圖3的每一個柵格塊302的圖8的迭代曲線804的圖 9的過零點904的透鏡位置118所表示的圖3的單元深度306。計算迭代深度圖模塊1306可W 包括計算迭代次數(shù)模塊1308和計算過零模塊1310。在計算迭代深度圖模塊1306完成之后， 控制流程可W傳遞到計算方差深度圖模塊1312。
[0122] 對于圖8的整個迭代曲線圖表802,窗口擬合操作916可W將迭代曲線804劃分成各 段。如果圖9的擬合窗口 906小于圖9的窗口寬度914,則所述各段可W重疊。
[0123] 對于迭代曲線804的每一段，可W應用線性回歸W便利用線性等式1327來擬合所 述數(shù)據(jù)。所述線性等式是利用線性回歸確定的擬合圖8的線性區(qū)段806中的迭代曲線804的 等式?？蒞對線性等式1327進行檢查，W便確定所述線性等式是否定義與X軸的交點并且包 括過零點904。如果存在過零點904,則可W對于圖像序列144的每一個圖像對146計算對應 于線性等式的數(shù)據(jù)與迭代曲線804的原始數(shù)據(jù)之間的差異的均方誤差。
[0124] 對于圖像序列144的每一個圖像對146的均方誤差1326的集合，可W確定均方誤差 1326的最小值，并且過零點904的位置可W是圖3的迭代深度324。可W將迭代深度324添加 到過零陣列910。在整個迭代曲線804上進行迭代之后，可W為圖像序列144中的每一個塊指 派過零點904或者為之指派表明在過零陣列910中沒有過零的空值。
[0125] 計算迭代次數(shù)模塊1308可W確定對應于圖像序列144的每一個圖像對146的每一 個柵格塊302的圖3的迭代次數(shù)322。計算迭代次數(shù)模塊1308可W形成圖9的過零陣列910并 且形成其迭代深度圖1324。
[01%]計算迭代次數(shù)模塊1308可W計算對應于圖像序列144中的每一個圖像對146的迭 代次數(shù)322。迭代次數(shù)322代表把其中一個圖像對146的其中一幅圖像的圖2的模糊量度228 帶到所述其中一個圖像對146當中的另一幅圖像的圖2的模糊差異闊值226之內(nèi)所需的迭代 卷積運算的次數(shù)。
[0127]對應于每一個柵格塊302的迭代次數(shù)322可W形成示出迭代次數(shù)322與迭代深度 324之間的關(guān)系的迭代深度圖1324。迭代深度324是由對應于圖像序列144的圖像對146的透 鏡位置118所表示的距離。迭代深度324是從圖2的透鏡206到其中一個柵格塊302中所表示 的對象的估計距離。在形成迭代深度圖1324之后，控制流程可W傳遞到計算過零模塊1310。 [01%]計算過零模塊1310可W找到對應于圖像序列144中的每一個柵格塊302的過零點 904。對于其中迭代曲線804包括過零點904的每一個柵格塊302,透鏡位置118的相應值是可 W被輸入到過零陣列910中的圖8的過零深度808。
[0129] 過零模塊1310可W實施窗口擬合操作916W把迭代曲線804劃分成各段，W便識別 出可W利用線性等式建模的相對線性的部分。所述相對線性的部分在至少3D0F上是近似線 性的。如果利用線性等式建模的線性區(qū)段806經(jīng)過X軸，則可W在與X軸的交點處確定過零點 904。隨后可W對于圖像序列144的每一個圖像對146確定對應于線性等式的數(shù)據(jù)與迭代曲 線804的原始數(shù)據(jù)之間的差異的均方誤差1326。
[0130] 隨后可W識別出對應于圖像序列144的每一個圖像對146的均方誤差1326的最小 值。對應于均方誤差1326的最小值的過零點904可W代表對應于其中一個柵格塊302的迭代 深度324。隨后可W把對應于每一個柵格塊302的迭代深度324添加到過零陣列910。在整個 迭代曲線804上進行迭代之后，可W為圖像序列144中的每一個柵格塊302指派過零點904或 者為之指派表明在過零陣列910中沒有指定的過零的空值。
[0131] 過零陣列910可W被用來表明其中一個柵格塊302是否包括過零點904。對于不具 有過零點904的柵格塊302,過零陣列910可W具有空白條目。在過零陣列910中存在過零深 度808表明存在過零點904。
[0132] 可W通過識別出迭代曲線804的圖8的線性區(qū)段806內(nèi)的過零點904來確定對應于 每一個柵格塊302的過零陣列910。過零陣列910可W包括與過零點904相關(guān)聯(lián)的過零深度 808。在完成之后，控制流程可W傳遞到計算方差深度圖模塊1312。
[0133] 計算方差深度圖模塊1312可W計算對應于圖像序列144的方差深度圖1328。方差 深度圖1328可W代表柵格塊302的方差與透鏡位置118的關(guān)系。計算方差深度圖模塊1312可 W包括計算方差圖模塊1314和計算最大塊方差模塊1316。
[0134] 方差深度圖1328基于方差圖1330。方差圖1330可W具有對應于每一個柵格塊302 的塊方差1332,其中塊方差1332是所選擇的其中一個柵格塊302中的像素的方差。在完成之 后，控制流程可W傳遞到確定最大塊方差模塊1316。
[0135] 確定最大塊方差模塊1316可W通過確定對應于圖像序列144中的每一個柵格塊 302的塊方差1332的最大值來形成方差深度圖1328。塊方差1332的最大值是方差峰值1342。 方差峰值1342與方差峰值深度1340相關(guān)聯(lián)，其可W提供對應于從透鏡206到圖3的目標塊 326中示出的對象的距離的透鏡位置118的近似。方差深度圖1328可W具有對應于每一個柵 格塊302的方差峰值深度1340。在完成之后，控制流程可W傳遞到計算中值深度圖模塊 1318。
[0136] 計算中值深度圖模塊1318可W通過對迭代深度圖1324應用中值濾波器1338來計 算中值深度圖1334。中值濾波器1338是用W計算對應于其中一個柵格塊302的中值的運算。 中值深度圖1334可W包括對應于每一個柵格塊302的中值深度1336?？蒞通過確定對應于 每一個柵格塊302的中值值來計算中值深度1336。
[0137] 計算中值深度圖模塊1318可W計算深度差異圖1344。深度差異圖1344是迭代深度 圖1324與中值深度圖1334之間的差異?？蒞通過從迭代深度圖1324的值減去中值深度圖 1334的值來計算深度差異圖1344。深度差異圖1344可W表明對應于迭代深度圖1324的質(zhì)量 的度量。
[0138] 深度差異圖1344可W具有對應于每一個柵格塊302的深度差異1346。深度差異 1346可W是對應于每一個柵格塊302的中值深度圖1334的值與迭代深度圖1324的值之間的 差異?？蒞把對應于其中一個柵格塊302的深度差異1346與深度闊值1348進行比較，W便測 量迭代深度圖1324的質(zhì)量。深度闊值1348是通過場深度216表達的距離的度量。舉例來說， 深度闊值1348可W具有0.加OF的值。在完成之后，控制流程可W傳遞到計算圖像深度圖模 塊1320。
[0139] 計算圖像深度圖模塊1320可W基于迭代深度圖1324、過零陣列910、方差深度圖 1328和中值深度圖1334來計算圖1的圖像深度圖134?？蒞通過基于深度圖內(nèi)的值對于來自 各個單獨的深度圖的單元深度306選擇適當?shù)闹祦硇纬蓤D像深度圖134。
[0140] 計算顯示圖像模塊1322可W把其中一幅所接收到的圖像114與圖像深度圖134相 組合，W便產(chǎn)生用于顯示在圖1的顯示設備130上的圖1的顯示圖像138。顯示圖像138可W是 從攝影機的方向捕獲的區(qū)段內(nèi)的3D空間的2D表示。
[0141] 現(xiàn)在參照圖14,其中示出了具有混合深度估計的圖像處理系統(tǒng)100的流程圖的一 個實例。所述流程圖示出了用于計算圖1的圖像深度圖134的示例性步驟。所述流程圖可W 包括捕獲圖像序列步驟1404、計算迭代次數(shù)步驟1406、進行窗口擬合步驟1408、計算過零步 驟1410、應用中值濾波器步驟1412、計算深度差異步驟1414、檢查低范圍深度差異步驟 1416、檢查高范圍深度差異步驟1418、檢查過零步驟1420、檢查方差峰值步驟1422、使用方 差峰值步驟1424W及無方差峰值步驟1426。
[0142] 圖像處理系統(tǒng)100可W在捕獲圖像序列步驟1404中捕獲圖1的圖像序列144。可W W按照透鏡位置增量242的間隔對于其范圍從圖2的起始位置238到圖2的結(jié)束位置240的圖 1的透鏡位置118捕獲圖像序列144的圖1的所接收到的圖像114。每兩幅相繼的圖像可W形 成圖像序列144的圖1的圖像對146。圖像序列144可W包括一定數(shù)目的所接收到的圖像114。 舉例來說，圖像序列144可W包括五十到一百幅之間的所接收到的圖像114。在另一個實例 中，圖像序列144可W具有九十五幅圖像。圖像序列144中的圖像數(shù)目是示例性的，并且應當 理解的是，圖像序列144中的圖像數(shù)目可W基于工程或數(shù)據(jù)要求而改變。
[0143] 捕獲圖像序列步驟1404可W將每一幅所接收到的圖像114劃分成具有圖3的柵格 塊302的圖3的柵格陣列304。其中一幅所接收到的圖像114的柵格塊302可W具有另一幅所 接收到的圖像114中的圖3的相應塊312。在完成之后，控制流程可W傳遞到計算迭代次數(shù)步 驟1406。
[0144] 圖像處理系統(tǒng)100可W在計算迭代次數(shù)步驟1406中計算對應于圖像序列144的每 一個柵格塊302的圖3的迭代次數(shù)322。迭代次數(shù)322是關(guān)于圖像序列144的兩幅圖像之間的 圖2的模糊差異222的度量。對于圖像序列144的每一幅所接收到的圖像114的每一個柵格塊 302計算迭代次數(shù)322。
[0145] 圖像處理系統(tǒng)100可W逐步經(jīng)過圖像序列144的圖1的圖像對146的集合，并且通過 迭代次數(shù)322來計算模糊差異222?？蒞對于每一對圖像的每一個柵格塊302計算迭代次數(shù) 322。在開始于起始位置238并且結(jié)束于結(jié)束位置240的透鏡位置118的順序值處取得圖像序 列144的每一幅圖像。
[0146] 可W對于圖像序列144的每一個圖像對146中的每一個柵格塊302計算迭代次數(shù) 322。利用圖2的模糊內(nèi)核224通過迭代卷積來計算迭代次數(shù)322。舉例來說，模糊內(nèi)核224可 W是局斯內(nèi)核。
[0147] 可W把其中一個柵格塊302與模糊內(nèi)核224進行卷積，直到對應于每一個相應塊 312的圖2的模糊量度228處在圖2的模糊差異闊值226之內(nèi)為止。對于每一個柵格塊302,可 W形成圖8的迭代曲線804, W便隨著透鏡位置118改變示出對應于圖像序列144的圖像對 146中的相繼圖像的迭代次數(shù)322中的差異。對于圖像序列144的每一幅圖像，可W利用來自 對應于每一個柵格塊302的迭代次數(shù)322的過零位置形成迭代深度圖1324。在完成之后，控 制流程可W傳遞到進行窗口擬合步驟1408。
[0148] 圖像處理系統(tǒng)100可W在進行窗口擬合步驟1408中形成迭代深度圖1324。圖像處 理系統(tǒng)100可W利用圖9的窗口擬合操作916對于圖像序列144的每一個柵格塊302計算圖9 的過零點904。窗口擬合操作916可W確定迭代曲線804的可W利用線性等式建模的部分，W 及無法利用線性等式建模的部分。
[0149] 通過確定迭代曲線804在何處相對線性并且平坦，可W檢測過零點904，其中圖13 的線性等式1327在該處的Y軸上的值為零。與過零點904相關(guān)聯(lián)的透鏡位置118可W是對應 于迭代深度圖1324的所選擇的其中一個柵格塊302的圖3的單元深度306。在完成之后，控制 流程可W傳遞到計算過零步驟1410。
[0150] 圖像處理系統(tǒng)100可W通過在計算過零步驟1410中對于圖像序列144的每一個柵 格塊302確定過零點904的存在來計算圖9的過零陣列910。其中一些柵格塊302在迭代曲線 804的圖8的線性區(qū)段806中將不具有過零點904。過零陣列910可W對于每一個柵格塊302示 出過零點904的存在W及透鏡位置118的相應值。在完成之后，控制流程可W傳遞到應用中 值濾波器步驟1412。
[0151] 圖像處理系統(tǒng)100可W在應用中值濾波器步驟1412中計算圖13的中值深度圖 1334。圖像處理系統(tǒng)100可W對迭代深度圖1324應用圖13的中值濾波器1338W便生成中值 深度圖1334。中值濾波器1338可W對于每一個柵格塊302計算中值深度1336?？蒞通過確定 對應于柵格塊302W及直接處于其上方、下方、左側(cè)和右側(cè)的柵格塊302(例如處于3點、6點、 9點和12點時鐘方向上的柵格塊302)的深度值的中值值來計算圖13的中值深度1336。在完 成之后，控制流程可W傳遞到計算深度差異步驟1414。
[0152] 圖像處理系統(tǒng)100可W在計算深度差異步驟1414中計算深度差異圖1344。通過從 迭代深度圖1324減去中值深度圖1334的條目來計算深度差異圖1344。深度差異1346可W對 于每一個柵格塊302計算中值深度圖1334的值與迭代深度圖1324的值之間的差異。深度差 異圖1344可W表明迭代深度圖1324與中值深度圖1334之間的相關(guān)。
[0153] 圖像處理系統(tǒng)100可W在檢查低范圍深度差異步驟1416中檢查對應于其中一個柵 格塊302的深度差異圖1344條目是否低于深度闊值1348。如果中值深度圖1334與迭代深度 圖1324之間的差異小于圖2的場深度216的0.5倍，則圖像深度圖134中的所選擇的其中一個 柵格塊302可W具有被設定到迭代深度圖1324中的相應值的單元深度306。
[0154] 圖像處理系統(tǒng)100可W在檢查高范圍深度差異步驟1418中檢查對應于其中一個柵 格塊302的深度差異圖1344條目是否大于或等于深度闊值1348。如果深度差異圖1344條目 表明中值深度圖1334與迭代深度圖1324之間的差異大于或等于場深度216的0.5倍的深度 闊值1348,則控制流程可W傳遞到檢查過零步驟1420。
[01W]檢查過零步驟1420可W捜索過零陣列910, W便確定所選擇的其中一個柵格塊302 是否包含過零點904。如果過零點904存在于中值深度圖1334值的±1 DOF之內(nèi)，則可W在圖 像深度圖134中把對應于過零點904的深度指派給對應于所選擇的其中一個柵格塊302的單 兀涂度306。
[0156] 檢查方差峰值步驟1422可W在圖13的方差深度圖1328中捜索對應于所選擇的其 中一個柵格塊302的圖13的方差峰值1342。如果方差峰值1342存在于中值深度圖1334的正 負兩個單位的場深度216之內(nèi)，則可W在使用方差峰值步驟1424中把與方差峰值1342相關(guān) 聯(lián)的深度指派為對應于圖3的目標塊326的深度。如果方差峰值1342不存在，則控制流程可 W傳遞到無方差峰值步驟1426。
[0157] 無方差峰值步驟1426可W把來自迭代深度圖1324的單元深度306指派為對應于圖 像深度圖134的單元深度306。圖像處理系統(tǒng)100可W在圖像序列144的圖像的所有柵格塊 302上進行迭代，直到圖像深度圖134被完全填充為止。
[0158] 現(xiàn)在參照圖15,其中示出了具有一個深度的源圖像140的一個實例。源圖像140比 如是覆蓋有樹葉的籬倍，其可W主要是一個深度，即從圖2的透鏡206到覆蓋有樹葉的籬倍 的深度。
[0159] 現(xiàn)在參照圖16,其中示出了對應于具有一個深度的圖1的源圖像140的圖像深度圖 134的一個實例。圖像深度圖134可W僅示出對應于圖1的所接收到的圖像114的圖3的每一 個柵格塊302的圖3的單元深度306之間的微小變化。
[0160] 現(xiàn)在參照圖17,其中示出了具有變化的深度的源圖像140的一個實例。源圖像140 比如是前景中的樹和背景中的風景，其可W具有變化的深度。
[0161] 現(xiàn)在參照圖18,其中示出了對應于具有變化的深度的圖1的源圖像140的圖像深度 圖134的一個實例。圖像深度圖134可W示出由具有一致深度的前景中的樹所定義的區(qū)段， 其不同于示出了更遠的背景的圖1的所接收到的圖像114的區(qū)段的圖3的單元深度306。
[0162] 現(xiàn)在參照圖19,其中示出了具有低紋理的源圖像140的一個實例。源圖像140比如 是類似著色的背景上的單個杯子，其可W具有看起來可能類似的多種深度水平。
[0163] 現(xiàn)在參照圖20,其中示出了對應于具有低紋理的圖1的源圖像140的圖像深度圖 134的一個實例。圖像深度圖134可W示出對應于代表杯子的圖1的所接收到的圖像114的圖 3的柵格塊302的圖3的單元深度306,而低紋理背景則可W具有單元深度306的范圍。
[0164] 現(xiàn)在參照圖21，其中示出了場景深度方差表的一個實例。場景深度方差表2102示 出了對應于通過本發(fā)明中所提到的方法計算的深度、通過裸眼人工選擇的深度W及兩種方 法之間的差異的典型值。
[0165] 現(xiàn)在參照圖22,其中示出了圖像處理系統(tǒng)100的功能方框圖的一個實例。圖像處理 系統(tǒng)100可W包括第一設備2201、第二設備2241和通信路徑2230。
[0166] 圖像處理系統(tǒng)100可W利用第一設備2201、第二設備2241和通信路徑2230來實施。 舉例來說，第一設備2201可W實施圖1的成像設備102,第二設備2241可W實施圖1的顯示設 備130,并且通信路徑2230可W實施圖1的通信鏈接132。但是應當理解的是，圖像處理系統(tǒng) 100可W通過多種方式來實施，并且成像設備102、顯示設備130和通信路徑2230的功能可W 被不同地劃分在第一設備2201、第二設備2241和通信路徑2230上。
[0167] 第一設備2201可W通過通信路徑2230與第二設備2241通信。第一設備2201可W通 過通信路徑2230在第一設備傳送2232中向第二設備2241發(fā)送信息。第二設備2241可W通過 通信路徑2230在第二設備傳送2234中向第一設備2201發(fā)送信息。
[0168] 出于說明的目的，圖像處理系統(tǒng)100被顯示成具有第一設備2201作為客戶端設備， 但是應當理解的是，圖像處理系統(tǒng)100可W具有第一設備2201作為不同類型的設備。舉例來 說，第一設備可W是服務器。
[0169] 同樣出于說明的目的，圖像處理系統(tǒng)100被顯示成具有第二設備2241作為服務器， 但是應當理解的是，圖像處理系統(tǒng)100可W具有第二設備2241作為不同類型的設備。舉例來 說，第二設備2241可W是客戶端設備。
[0170] 為了本發(fā)明的此實施例中的描述簡短起見，第一設備2201將被描述成客戶端設 備，比如視頻攝影機、智能電話或其組合。本發(fā)明不限于針對設備類型的運一選擇。所述選 擇是本發(fā)明的一個實例。
[0171] 第一設備2201可W包括第一控制單元2208。第一控制單元2208可W包括第一控制 接口 2214。第一控制單元2208可W執(zhí)行第一軟件2212W便提供圖像處理系統(tǒng)100的智能。
[0172] 第一控制單元2208可W通過若干種不同方式來實施。舉例來說，第一控制單元 2208可W是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(FSM)、數(shù)字 信號處理器(DSP)或其組合。
[0173] 第一控制接口 2214可W被用于第一控制單元2208與第一設備2201中的其他功能 單元之間的通信。第一控制接口 2214還可W被用于第一設備2201外部的通信。
[0174] 第一控制接口 2214可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第一設 備2201外部的源和目的地。
[0175] 第一控制接口 2214可W通過不同方式來實施，并且可W包括不同的實現(xiàn)方式，運 取決于哪些功能單元或外部單元正與第一控制接口2214進行接口。舉例來說，第一控制接 口 2214可W利用電氣電路、微機電系統(tǒng)(MEMS)、光學電路、無線電路、有線電路或其組合來 頭施。
[0176] 第一設備2201可W包括第一存儲單元2204。第一存儲單元2204可W存儲第一軟件 2212。第一存儲單元2204還可W存儲相關(guān)的信息，比如圖像、句法信息、視頻、簡檔、顯示優(yōu) 選項、傳感器數(shù)據(jù)或其任意組合。
[0177] 第一存儲單元2204可W是易失性存儲器、非易失性存儲器、內(nèi)部存儲器、外部存儲 器或其組合。舉例來說，第一存儲單元2204可W是非易失性存儲裝置，比如非易失性隨機存 取存儲器(NVRAM)、閃存、盤存儲裝置，或者是易失性存儲裝置，比如靜態(tài)隨機存取存儲器 (SRAM)O
[0178] 第一存儲單元2204可W包括第一存儲接口 2218。第一存儲接口 2218可W被用于第 一存儲單元2204與第一設備2201中的其他功能單元之間的通信。第一存儲接口 2218還可W 被用于第一設備2201外部的通信。
[0179] 第一設備2201可W包括第一成像單元2206。第一成像單元2206可W捕獲圖1的第 一圖像104和圖1的第二圖像106。第一成像單元2206可W包括數(shù)字攝影機、視頻攝影機、光 學傳感器或其任意組合。
[0180] 第一成像單元2206可W包括第一成像接口 2216。第一成像接口 2216可W被用于第 一成像單元2206與第一設備2201中的其他功能單元之間的通信。
[0181] 第一成像接口 2216可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第一設 備2201外部的源和目的地。
[0182] 第一成像接口 2216可W包括不同的實現(xiàn)方式，運取決于哪些功能單元或外部單元 正與第一成像單元2206進行接口。第一成像接口 2216可W利用類似于第一控制接口 2214的 實現(xiàn)方式的技術(shù)來實施。
[0183] 第一存儲接口 2218可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第一設 備2201外部的源和目的地。
[0184] 第一存儲接口 2218可W包括不同的實現(xiàn)方式，運取決于哪些功能單元或外部單元 正與第一存儲單元2204進行接口。第一存儲接口 2218可W利用類似于第一控制接口 2214的 實現(xiàn)方式的技術(shù)來實施。
[0185] 第一設備2201可W包括第一通信單元2210。第一通信單元2210可W用于實現(xiàn)去到 和來自第一設備2201的外部通信。舉例來說，第一通信單元2210可W允許第一設備2201與 第二設備2241、例如外圍設備或臺式計算機之類的附屬設備W及通信路徑2230進行通信。
[0186] 第一通信單元2210還可W充當通信集線器，從而允許第一設備2201充當通信路徑 2230的一部分，而不限于是通信路徑2230的端點或終端單元。第一通信單元2210可W包括 有源和無源組件，比如微電子裝置或天線，W用于與通信路徑2230進行交互。
[0187] 第一通信單元2210可W包括第一通信接口 2220。第一通信接口 2220可W被用于第 一通信單元2210與第一設備2201中的其他功能單元之間的通信。第一通信接口 2220可W接 收來自其他功能單元的信息，或者可W向其他功能單元傳送信息。
[0188] 第一通信接口 2220可W包括不同的實現(xiàn)方式，運取決于哪些功能單元正與第一通 信單元2210進行接口。第一通信接口 2220可W利用類似于第一控制接口 2214的實現(xiàn)方式的 技術(shù)來實施。
[0189] 第一設備2201可W包括第一用戶接口 2202。第一用戶接口 2202允許用戶（未示出） 與第一設備2201進行接口和交互。第一用戶接口 2202可W包括第一用戶輸入(未示出）。第 一用戶輸入可W包括觸摸屏、手勢、運動檢測、按鈕、切片器(slicer)、旋鈕、虛擬按鈕、語音 辨識控制或其任意組合。
[0190] 第一用戶接口 2202可W包括第一顯示接口 2203。第一顯示接口 2203可W允許用戶 與第一用戶接口 2202進行交互。第一顯示接口 2203可W包括顯示器、視頻屏幕、揚聲器或其 任意組合。
[0191] 第一控制單元2208可W利用第一用戶接口 2202操作來在第一顯示接口 2203上顯 示由圖像處理系統(tǒng)100生成的視頻信息。第一控制單元2208還可W執(zhí)行用于圖像處理系統(tǒng) 100的其他功能的第一軟件2212,其中包括接收來自第一存儲單元2204的圖像信息W用于 在第一顯示接口 2203上顯示。第一控制單元2208還可W執(zhí)行用于通過第一通信單元2210與 通信路徑2230進行交互的第一軟件2212。
[0192] 出于說明的目的，第一設備2201可W被劃分成具有第一用戶接口 2202、第一存儲 單元2204、第一控制單元2208和第一通信單元2210,但是應當理解的是，第一設備2201可W 具有不同的劃分。舉例來說，第一軟件2212可W被不同地劃分，從而使其一部分或全部功能 可W處在第一控制單元2208和第一通信單元2210中。此外，第一設備2201還可W包括為了 清楚起見未在圖22中示出的其他功能單元。
[0193] 圖像處理系統(tǒng)100可W包括第二設備2241。第二設備2241可W針對在具有第一設 備2201的多設備實施例中實施本發(fā)明而被優(yōu)化。第二設備2241可W提供附加的或者與第一 設備2201相比性能更高的處理能力。
[0194] 第二設備2241可W包括第二控制單元2248。第二控制單元2248可W包括第二控制 接口 2254。第二控制單元2248可W執(zhí)行第二軟件2252W便提供圖像處理系統(tǒng)100的智能。 [01M]第二控制單元2248可W通過若干種不同方式來實施。舉例來說，第二控制單元 2248可W是處理器、嵌入式處理器、微處理器、硬件控制邏輯、硬件有限狀態(tài)機(FSM)、數(shù)字 信號處理器(DSP)或其組合。
[0196] 第二控制接口 2254可W被用于第二控制單元2248與第二設備2241中的其他功能 單元之間的通信。第二控制接口 2254還可W被用于第二設備2241外部的通信。
[0197] 第二控制接口 2254可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第二設 備2241外部的源和目的地。
[0198] 第二控制接口 2254可W通過不同方式來實施，并且可W包括不同的實現(xiàn)方式，運 取決于哪些功能單元或外部單元正與第二控制接口2254進行接口。舉例來說，第二控制接 口 2254可W利用電氣電路、微機電系統(tǒng)(MEMS)、光學電路、無線電路、有線電路或其組合來 頭施。
[0199] 第二設備2241可W包括第二存儲單元2244。第二存儲單元2244可W存儲第二軟件 2252。第二存儲單元2244還可W存儲相關(guān)的信息，比如圖像、句法信息、視頻、簡檔、顯示優(yōu) 選項、傳感器數(shù)據(jù)或其任意組合。
[0200] 第二存儲單元2244可W是易失性存儲器、非易失性存儲器、內(nèi)部存儲器、外部存儲 器或其組合。舉例來說，第二存儲單元2244可W是非易失性存儲裝置，比如非易失性隨機存 取存儲器(NVRAM)、閃存、盤存儲裝置，或者是易失性存儲裝置，比如靜態(tài)隨機存取存儲器 (SRAM)O
[0201] 第二存儲單元2244可W包括第二存儲接口 2258。第二存儲接口 2258可W被用于第 二存儲單元2244與第二設備2241中的其他功能單元之間的通信。第二存儲接口 2258還可W 被用于第二設備2241外部的通信。
[0202] 第二存儲接口 2258可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第二設 備2241外部的源和目的地。
[0203] 第二存儲接口 2258可W包括不同的實現(xiàn)方式，運取決于哪些功能單元或外部單元 正與第二存儲單元2244進行接口。第二存儲接口 2258可W利用類似于第二控制接口 2254的 實現(xiàn)方式的技術(shù)來實施。
[0204] 第二設備2241可W包括第二成像單元2246。第二成像單元2246可W捕獲來自真實 世界的第一圖像104。第二成像單元2246可W包括數(shù)字攝影機、視頻攝影機、光學傳感器或 其任意組合。
[02化]第二成像單元2246可W包括第二成像接口 2256。第二成像接口 2256可W被用于第 二成像單元2246與第二設備2241中的其他功能單元之間的通信。
[0206] 第二成像接口 2256可W接收來自其他功能單元或者來自外部源的信息，或者可W 向其他功能單元或者向外部目的地傳送信息。所述外部源和外部目的地指的是處在第二設 備2241外部的源和目的地。
[0207] 第二成像接口 2256可W包括不同的實現(xiàn)方式，運取決于哪些功能單元或外部單元 正與第二成像單元2246進行接口。第二成像接口 2256可W利用類似于第二控制接口 2254的 實現(xiàn)方式的技術(shù)來實施。
[0208] 第二設備2241可W包括第二通信單元2250。第二通信單元2250可W實現(xiàn)去到和來 自第二設備2241的外部通信。舉例來說，第二通信單元2250可W允許第二設備2241與第一 設備2201、例如外圍設備或臺式計算機之類的附屬設備W及通信路徑2230進行通信。
[0209] 第二通信單元2250還可W充當通信集線器，從而允許第二設備2241充當通信路徑 2230的一部分，而不限于是通信路徑2230的端點或終端單元。第二通信單元2250可W包括 有源和無源組件，比如微電子裝置或天線，W用于與通信路徑2230進行交互。
[0210] 第二通信單元2250可W包括第二通信接口 2260。第二通信接口 2260可W被用于第 二通信單元2250與第二設備2241中的其他功能單元之間的通信。第二通信接口 2260可W接 收來自其他功能單元的信息，或者可W向其他功能單元傳送信息
[0211] 第二通信接口 2260可W包括不同的實現(xiàn)方式，運取決于哪些功能單元正與第二通 信單元2250進行接口。第二通信接口 2260可W利用類似于第二控制接口 2254的實現(xiàn)方式的 技術(shù)來實施。
[0212] 第二設備2241可W包括第二用戶接口 2242。第二用戶接口 2242允許用戶（未示出） 與第二設備2241進行接口和交互。第二用戶接口 2242可W包括第二用戶輸入(未示出）。第 二用戶輸入可W包括觸摸屏、手勢、運動檢測、按鈕、切片器、旋鈕、虛擬按鈕、語音辨識控制 或其任意組合。
[0213] 第二用戶接口 2242可W包括第二顯示接口 2243。第二顯示接口 2243可W允許用戶 與第二用戶接口 2242進行交互。第二顯示接口 2243可W包括顯示器、視頻屏幕、揚聲器或其 任意組合。
[0214] 第二控制單元2248可W利用第二用戶接口 2242操作來在第二顯示接口 2243上顯 示由圖像處理系統(tǒng)100生成的信息。第二控制單元2248還可W執(zhí)行用于圖像處理系統(tǒng)100的 其他功能的第二軟件2252,其中包括接收來自第二存儲單元2244的顯示信息W用于在第二 顯示接口 2243上顯示。第二控制單元2248還可W執(zhí)行用于通過第二通信單元2250與通信路 徑2230進行交互的第二軟件2252。
[0215] 出于說明的目的，第二設備2241可W被劃分成具有第二用戶接口 2242、第二存儲 單元2244、第二控制單元2248和第二通信單元2250,但是應當理解的是，第二設備2241可W 具有不同的劃分。舉例來說，第二軟件2252可W被不同地劃分，從而使其一部分或全部功能 可W處在第二控制單元2248和第二通信單元2250中。此外，第二設備2241還可W包括為了 清楚起見未在圖22中示出的其他功能單元。
[0216] 第一通信單元2210可W與通信路徑2230禪合，W便在第一設備傳送2232中向第二 設備2241發(fā)送信息。第二設備2241可W在第二通信單元2250中接收來自通信路徑2230的第 一設備傳送2232的信息。
[0217] 第二通信單元2250可W與通信路徑2230禪合，W便在第二設備傳送2234中向第一 設備2201發(fā)送信息。第一設備2201可W在第一通信單元2210中接收來自通信路徑2230的第 二設備傳送2234的信息。圖像處理系統(tǒng)100可W由第一控制單元2208、第二控制單元2248或 其組合執(zhí)行。
[0218] 第一設備2201中的各個功能單元可W單獨地并且獨立于其他功能單元工作。出于 說明的目的，圖像處理系統(tǒng)100是通過第一設備2201的操作來描述的。應當理解的是，第一 設備2201可W操作圖像處理系統(tǒng)100的任何模塊和功能。舉例來說，第一設備2201可W被描 述成操作第一控制單元2208。
[0219] 第二設備2241中的各個功能單元可W單獨地并且獨立于其他功能單元工作。出于 說明的目的，圖像處理系統(tǒng)100可W通過第二設備2241的操作來描述。應當理解的是，第二 設備2241可W操作圖像處理系統(tǒng)100的任何模塊和功能。舉例來說，第二設備2241被描述成 操作第二控制單元2248。
[0220] 出于說明的目的，圖像處理系統(tǒng)100是通過第一設備2201和第二設備2241的操作 來描述的。應當理解的是，第一設備2201和第二設備2241可W操作圖像處理系統(tǒng)100的任何 模塊和功能。舉例來說，第一設備2201被描述成操作第一控制單元2208,但是應當理解的 是，第二設備2241也可W操作第一控制單元2208。
[0221] 從圖I的源圖像140的物理對象的圖像到在顯示設備130的像素單元上顯示圖像的 物理變換導致對于物理世界中的顯示設備130的像素單元的物理改變，比如像素單元的電 氣狀態(tài)的改變，運是基于圖像處理系統(tǒng)100的操作而實現(xiàn)的。隨著物理世界中的改變發(fā)生， 比如被用來捕獲源圖像140的成像傳感器的運動，所述移動本身會產(chǎn)生附加的信息，比如針 對第一圖像104的更新，其被轉(zhuǎn)換回到顯示設備130的像素單元中的改變W用于圖像處理系 統(tǒng)100的繼續(xù)操作。
[0222] 第一設備2201的第一軟件2212可W實施圖像處理系統(tǒng)100的某些部分。舉例來說， 第一軟件2212可W包括圖13的捕獲圖像序列模塊1304、圖13的計算迭代深度圖模塊1306、 圖13的計算過零模塊1310、圖13的計算方差深度圖模塊1312、圖13的計算中值深度圖模塊 1318W及圖13的計算圖像深度圖模塊1320。
[0223] 第一控制單元2208可W執(zhí)行用W執(zhí)行捕獲圖像序列模塊1304的第一軟件2212, W 便接收圖1的圖像序列144。第一控制單元2208可W執(zhí)行用W執(zhí)行計算迭代深度圖模塊1306 的第一軟件2212, W便計算圖13的迭代深度圖1324。第一控制單元2208可W執(zhí)行用W執(zhí)行 計算過零模塊1310的第一軟件2212, W便計算圖9的過零陣列910。第一控制單元2208可W 執(zhí)行用W執(zhí)行計算方差深度圖模塊1312的第一軟件2212, W便計算圖13的方差深度圖 1328。第一控制單元2208可W執(zhí)行用W執(zhí)行計算中值深度圖模塊1318的第一軟件2212, W 便計算圖13的中值深度圖1334。第一控制單元2208可W執(zhí)行用W執(zhí)行計算圖像深度圖模塊 1320的第一軟件2212, W便計算圖1的圖像深度圖134。
[0224] 第二設備2241的第二軟件2252可W實施圖像處理系統(tǒng)100的某些部分。舉例來說， 第二軟件2252可W包括捕獲圖像序列模塊1304、計算迭代深度圖模塊1306、計算過零模塊 1310、計算方差深度圖模塊1312、計算中值深度圖模塊1318W及計算圖像深度圖模塊1320。
[0225] 第二控制單元2248可W執(zhí)行用W執(zhí)行捕獲圖像序列模塊1304的第二軟件2252, W 便接收圖像序列144。第二控制單元2248可W執(zhí)行用W執(zhí)行計算迭代深度圖模塊1306的第 二軟件2252, W便計算迭代深度圖1324。第二控制單元2248可W執(zhí)行用W執(zhí)行計算過零模 塊1310的第二軟件2252, W便計算過零陣列910。第二控制單元2248可W執(zhí)行用W執(zhí)行計算 方差深度圖模塊1312的第二軟件2252, W便計算方差深度圖1328。第二控制單元2248可W 執(zhí)行用W執(zhí)行計算中值深度圖模塊1318的第二軟件2252, W便計算中值深度圖1334。第二 控制單元2248可W執(zhí)行用W執(zhí)行計算圖像深度圖模塊1320的第二軟件2252, W便計算圖像 深度圖134。
[0。6]圖像處理系統(tǒng)100可W被劃分在第一軟件2212和第二軟件2252之間。舉例來說，第 一軟件2212可W包括捕獲圖像序列模塊1304、計算迭代深度圖模塊1306和計算過零模塊 1310。第二軟件2252可W包括計算方差深度圖模塊1312、計算中值深度圖模塊1318和計算 圖像深度圖模塊1320。第一控制單元2208可W執(zhí)行被劃分到第一軟件2212的模塊。第二控 制單元2248可W執(zhí)行被劃分到第二軟件2252的模塊。
[0227] 圖像處理系統(tǒng)100作為一個實例描述了模塊功能或順序。每一個模塊可W單獨地 或者獨立于其他模塊操作。所述模塊可W被不同地劃分。舉例來說，計算迭代深度圖模塊 1306和計算過零模塊1310可W被組合。
[0228] 此外，在一個模塊中生成的數(shù)據(jù)可W被另一個模塊使用，而無需彼此直接禪合。舉 例來說，計算迭代深度圖模塊1306、計算過零模塊1310、計算方差深度圖模塊1312、計算中 值深度圖模塊1318和計算圖像深度圖模塊1320可W從捕獲圖像序列模塊1304接收圖像序 列144。
[0229] 所述模塊可W通過多種方式來實施。捕獲圖像序列模塊1304、計算迭代深度圖模 塊1306、計算過零模塊1310、計算方差深度圖模塊1312、計算中值深度圖模塊1318W及計算 圖像深度圖模塊1320可W被實施在第一控制單元2208或第二控制單元2248內(nèi)的硬件加速 器(未示出）中，或者可W被實施在第一控制單元2208或第二控制單元2248之外的第一設備 2201或第二設備2241中的硬件加速器(未示出）中。
[0230] 現(xiàn)在參照圖23,其中示出了本發(fā)明的另一個實施例中的成像系統(tǒng)的操作方法2300 的流程圖。方法2300包括:在方框2302中接收具有所接收到的圖像的圖像序列，其中所接收 到的圖像分別具有透鏡位置;在方框2304中形成具有第一圖像和第二圖像的圖像對，所接 收到的圖像的圖像對具有對應于透鏡位置的相繼順序;在方框2306中將所接收到的圖像劃 分成具有各個柵格塊的柵格陣列;在方框2308中計算對應于圖像序列的每一個圖像對之間 的模糊差異的迭代次數(shù)，其中通過把第二圖像與模糊內(nèi)核迭代地進行卷積直到第二圖像的 模糊量度處在第一圖像的模糊量度的模糊差異闊值之內(nèi)為止來計算所述迭代次數(shù);在方框 2310中計算具有對應于所接收到的圖像的每一個柵格塊的迭代深度的迭代深度圖，所述迭 代深度基于對應于迭代次數(shù)的過零點;在方框2312中計算具有對應于圖像序列的每一個柵 格塊的過零深度的過零陣列;在方框2314中通過對迭代深度圖應用中值濾波器來計算具有 對應于每一個柵格塊的中值深度的中值深度圖；在方框2316中通過從迭代深度圖減去中值 深度圖來計算深度差異圖；在方框2318中計算具有對應于所接收到的圖像的每一個柵格塊 的塊方差的方差深度圖；在方框2320中計算具有被指派給每一個柵格塊的單元深度的圖像 深度圖，所述單元深度基于所述迭代深度圖、過零陣列、中值深度圖、深度差異圖W及方差 深度圖；W及在方框2322中基于所接收到的圖像和圖像深度圖來計算顯示圖像W用于在顯 示設備上顯示。
[0231] 至此已經(jīng)發(fā)現(xiàn)，本發(fā)明具有許多方面。本發(fā)明非常有價值地支持并且服務于降低 成本、簡化系統(tǒng)W及增強性能的歷史趨勢。因此，本發(fā)明的運些和其他有價值的方面至少將 本技術(shù)領域推進到了更高的水平。
[0232] 因此已經(jīng)發(fā)現(xiàn)，本發(fā)明的圖像處理系統(tǒng)給出了用于處理圖像內(nèi)容的重要的并且到 目前為止是未知的并且不可用的解決方案、能力和功能方面。所得到的處理和配置是直接 明了、成本有效、不復雜、高度通用和有效的，并且并非顯而易見的是可W令人吃驚地通過 對已知的技術(shù)進行適配來實施，因此非常適合于W高效并且經(jīng)濟的方式制造與傳統(tǒng)的制造 處理和技術(shù)完全兼容的視頻編碼設備。所得到的處理和配置是直接明了、成本有效、不復 雜、高度通用性、準確、靈敏和有效的，并且可W通過對已知的組件進行適配來實施，W用于 迅捷、高效和經(jīng)濟的制造、應用和利用。
[0233] 雖然前面結(jié)合特定的最佳模式描述了本發(fā)明，但是應當理解的是，本領域技術(shù)人 員根據(jù)前面的描述將會想到許多替換方案、修改和變型。因此其意圖涵蓋落在所附權(quán)利要 求書的范圍內(nèi)的所有此類替換方案、修改和變型。至此在運里所闡述或者在附圖中示出的 所有內(nèi)容都應當按照說明性而非限制性的意義來解釋。
【主權(quán)項】
1. 一種操作圖像處理系統(tǒng)的方法，包括： 接收具有所接收到的圖像的圖像序列，其中所接收到的圖像各自具有透鏡位置； 形成具有第一圖像和第二圖像的圖像對，所接收到的圖像的圖像對具有對應于透鏡位 置的相繼順序； 將所接收到的圖像劃分成具有多個柵格塊的柵格陣列； 計算對應于圖像序列的每一個圖像對之間的模糊差異的迭代次數(shù)，其中通過把第二圖 像與模糊內(nèi)核迭代地進行卷積直到第二圖像的模糊量度處在第一圖像的模糊量度的模糊 差異閾值之內(nèi)為止來計算所述迭代次數(shù)； 計算具有對應于所接收到的圖像的每一個柵格塊的迭代深度的迭代深度圖，所述迭代 深度基于對應于迭代次數(shù)的過零點； 計算具有對應于圖像序列的每一個柵格塊的過零深度的過零陣列； 通過對迭代深度圖應用中值濾波器來計算具有對應于每一個柵格塊的中值深度的中 值深度圖； 通過從迭代深度圖減去中值深度圖來計算深度差異圖； 計算具有對應于所接收到的圖像的每一個柵格塊的塊方差的方差深度圖； 計算具有被指派給每一個柵格塊的單元深度的圖像深度圖，所述單元深度基于所述迭 代深度圖、所述過零陣列、所述中值深度圖、所述深度差異圖以及所述方差深度圖；以及 基于所接收到的圖像和圖像深度圖來計算顯示圖像以用于在顯示設備上顯示。2. 如權(quán)利要求1所述的方法，其中，計算圖像深度圖包括:如果深度差異低于深度閾值， 則把單元深度設定到迭代深度。3. 如權(quán)利要求1所述的方法，其中，計算圖像深度圖包括:如果深度差異大于或等于深 度閾值，并且對于所選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)存在過零點，則把單元 深度設定到過零點的深度。4. 如權(quán)利要求1所述的方法，其中，計算圖像深度圖包括:如果深度差異大于或等于深 度閾值，并且對于所選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)不存在過零點，并且對 于所選擇的其中一個柵格塊存在方差峰值，則把單元深度設定到方差峰值。5. 如權(quán)利要求1所述的方法，其中，計算圖像深度圖包括:如果深度差異大于或等于深 度閾值，并且對于所選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)不存在過零點，并且對 于所選擇的其中一個柵格塊在+/_2場深度的范圍內(nèi)不存在方差峰值，則把單元深度設定到 迭代深度。6. -種操作圖像處理系統(tǒng)的方法，包括： 接收具有所接收到的圖像的圖像序列144,其中所接收到的圖像各自具有透鏡位置，所 述透鏡位置在每一幅所接收到的圖像之間順序地增加； 形成具有第一圖像和第二圖像的圖像對，所接收到的圖像的圖像對具有對應于透鏡位 置的相繼順序； 將所接收到的圖像劃分成具有多個柵格塊的柵格陣列，其中所述柵格塊具有目標塊； 計算對應于圖像序列的每一個圖像對之間的模糊差異的迭代次數(shù)，其中通過把第二圖 像與模糊內(nèi)核迭代地進行卷積直到第二圖像的模糊量度處在第一圖像的模糊量度的模糊 差異閾值之內(nèi)為止來計算所述迭代次數(shù)； 計算具有對應于所接收到的圖像的每一個柵格塊的迭代深度的迭代深度圖，所述迭代 深度基于對應于迭代次數(shù)的過零點； 計算對應于圖像序列的每一個柵格塊的過零陣列； 通過對迭代深度圖應用中值濾波器來計算具有對應于每一個柵格塊的中值深度的中 值深度圖； 通過從迭代深度圖減去中值深度圖來計算深度差異圖； 計算具有對應于所接收到的圖像的每一個柵格塊的塊方差的方差深度圖； 計算具有被指派給每一個柵格塊的單元深度的圖像深度圖，所述單元深度基于所述迭 代深度圖、所述過零陣列、所述中值深度圖以及所述方差深度圖；以及 基于所接收到的圖像和圖像深度圖來計算顯示圖像以用于在顯示設備上顯示。7. 如權(quán)利要求6所述的方法，還包括： 基于圖像序列的圖像對的迭代次數(shù)計算對應于目標塊的迭代深度;并且 其中，基于擬合曲線的過零點來計算迭代深度，所述擬合曲線是利用被應用于對應于 圖像序列的迭代次數(shù)的窗口擬合操作而形成的。8. 如權(quán)利要求6所述的方法，還包括將方差峰值深度計算為對應于圖像序列的相應塊 的塊方差的最大值。9. 如權(quán)利要求6所述的方法，還包括計算目標塊的過零陣列。10. 如權(quán)利要求6所述的方法，還包括通過對迭代深度圖應用中值濾波器來計算目標塊 的中值深度。11. 一種圖像處理系統(tǒng)，包括： 用于接收具有所接收到的圖像的圖像序列的捕獲圖像序列模塊，其中所接收到的圖像 各自具有透鏡位置，所述捕獲圖像序列模塊還用于形成具有第一圖像、第二圖像的圖像對， 所接收到的圖像的圖像對具有對應于透鏡位置的相繼順序，并且所述捕獲圖像序列模塊還 用于將所接收到的圖像劃分成具有多個柵格塊的柵格陣列； 耦合到所述捕獲圖像序列模塊的計算迭代深度圖模塊，其用于計算對應于圖像序列的 每一個圖像對之間的模糊差異的迭代次數(shù)，其中通過把第二圖像與模糊內(nèi)核迭代地進行卷 積直到第二圖像的模糊量度處在第一圖像的模糊量度的模糊差異閾值之內(nèi)為止來計算所 述迭代次數(shù)，并且所述計算迭代深度圖模塊還用于計算具有對應于所接收到的圖像的每一 個柵格塊的迭代深度的迭代深度圖，所述迭代深度基于對應于迭代次數(shù)的過零點，并且所 述計算迭代深度圖模塊還用于計算具有對應于圖像序列的每一個柵格塊的過零深度的過 零陣列； 耦合到所述計算迭代深度圖模塊的計算中值深度圖模塊，其用于通過對迭代深度圖應 用中值濾波器來計算具有對應于每一個柵格塊的中值深度的中值深度圖，并且所述計算中 值深度圖模塊用于通過從迭代深度圖減去中值深度圖來計算深度差異圖； 耦合到所述計算中值深度圖模塊的計算方差深度圖模塊，其用于計算具有對應于所接 收到的圖像的每一個柵格塊的塊方差的方差深度圖； 耦合到所述計算方差深度圖模塊的計算圖像深度圖模塊，其用于計算具有被指派給每 一個柵格塊的單元深度的圖像深度圖，所述單元深度基于所述迭代深度圖、所述過零陣列、 所述中值深度圖、所述深度差異圖以及所述方差深度圖；以及 耦合到所述計算圖像深度圖模塊的計算顯示圖像模塊，其用于基于所接收到的圖像和 圖像深度圖來計算顯示圖像以用于在顯示設備上顯示。12. 如權(quán)利要求11所述的系統(tǒng)，其中，如果深度差異低于深度閾值，則所述計算圖像深 度圖模塊用于把單元深度設定到迭代深度。13. 如權(quán)利要求11所述的系統(tǒng)，其中，如果深度差異大于或等于深度閾值，并且對于所 選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)存在過零點，則所述計算圖像深度圖模塊用 于把單元深度設定到過零點的深度。14. 如權(quán)利要求11所述的系統(tǒng)，其中，如果深度差異大于或等于深度閾值，并且對于所 選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)不存在過零點，并且對于所選擇的其中一個 柵格塊存在方差峰值，則所述計算圖像深度圖模塊用于把單元深度設定到方差峰值。15. 如權(quán)利要求11所述的系統(tǒng)，其中，如果深度差異大于或等于深度閾值，并且對于所 選擇的其中一個柵格塊在+/-1場深度的范圍內(nèi)不存在過零點，并且對于所選擇的其中一個 柵格塊在+/_2場深度的范圍內(nèi)不存在方差峰值，則所述計算圖像深度圖模塊用于把單元深 度設定到迭代深度。16. 如權(quán)利要求11所述的系統(tǒng)，其中，所述捕獲圖像序列模塊用于接收具有在每一幅所 接收到的圖像之間順序地增加的透鏡位置的圖像序列144,并且用于把所接收到的圖像劃 分成具有目標塊的柵格塊。17. 如權(quán)利要求16所述的系統(tǒng)，其中，所述計算迭代深度圖模塊用于基于圖像序列的圖 像對的迭代次數(shù)計算對應于目標塊的迭代深度;并且基于擬合曲線的過零點來計算迭代深 度，所述擬合曲線是利用被應用于對應于圖像序列的迭代次數(shù)的窗口擬合操作而形成的。18. 如權(quán)利要求16所述的系統(tǒng)，其中，所述計算方差深度圖模塊用于將方差峰值深度計 算為對應于圖像序列的相應塊的塊方差的最大值。19. 如權(quán)利要求16所述的系統(tǒng)，其中，所述計算迭代深度圖模塊用于計算目標塊的過零 陣列。20. 如權(quán)利要求16所述的系統(tǒng)，其中，所述計算中值深度圖模塊用于通過對迭代深度圖 應用中值濾波器來計算目標塊的中值深度。
【文檔編號】H04N13/00GK105979248SQ201610075123
【公開日】2016年9月28日
【申請日】2016年2月3日
【發(fā)明人】孫意, 李平山
【申請人】索尼公司