專利名稱：圖像處理設(shè)備、圖像處理方法以及程序的制作方法
技術(shù)領(lǐng)域：
本公開涉及圖像處理設(shè)備、圖像處理方法以及程序。
背景技術(shù)：
可以不使用專用于立體視圖的眼鏡地立體顯示圖像的自動(dòng)立體顯示器已經(jīng)眾所周知。自動(dòng)立體顯示器獲取在不同水平位置上描繪同一被攝物的多個(gè)圖像。自動(dòng)立體顯示器在多個(gè)圖像當(dāng)中相互比較作為含有描繪在其中的被攝物的部分的被攝物圖像，并且檢測被攝物圖像之間水平位置的差異，即，水平視差。自動(dòng)立體顯示器根據(jù)所檢測的水平視差和所獲取的圖像創(chuàng)建多個(gè)多視點(diǎn)圖像，并立體顯示多視點(diǎn)圖像。公開在JP-A-2006-164297中的局部匹配方法和公開在日本專利第4410007號(hào)的全局匹配方法被認(rèn)為是允許自動(dòng)立體顯示器檢測水平視差的方法
發(fā)明內(nèi)容
但是，局部匹配方法存在視差檢測的健壯性和精確性低的問題。相反，全局匹配方法存在當(dāng)自動(dòng)立體顯示器獲取的圖像的質(zhì)量高時(shí)，也就是說，當(dāng)在被攝物圖像之間不存在垂直位置的差異(無垂直差異)時(shí)，視差檢測的健壯性高，而當(dāng)在被攝物圖像之間存在垂直位置的差異(垂直差異)時(shí)，視差檢測的健壯性和精確性極低的問題。因此，希望提供可以高健壯性和精確性地檢測水平視差的圖像處理設(shè)備、圖像處理方法以及程序。本公開的一個(gè)實(shí)施例旨在提供包括如下的圖像處理設(shè)備水平視差檢測單元，用于在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較，并根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。所述水平視差檢測單元可以計(jì)算用于估計(jì)包括標(biāo)準(zhǔn)像素的標(biāo)準(zhǔn)區(qū)域中的特征量與包括第一參考像素的第一參考區(qū)域中的特征量之差的第一估計(jì)值、和用于估計(jì)標(biāo)準(zhǔn)區(qū)域中的特征量與包括第二參考像素的第二參考區(qū)域中的特征量之差的第二估計(jì)值，并且可以根據(jù)第一估計(jì)值和第二估計(jì)值檢測標(biāo)準(zhǔn)像素的水平視差。所述圖像處理設(shè)備可以進(jìn)一步包括校正執(zhí)行單元，用于在檢測水平視差之前校正標(biāo)準(zhǔn)圖像和參考圖像；以及校正可靠性計(jì)算單元，用于計(jì)算所述校正執(zhí)行單元中的校正的可靠性，以及所述水平視差檢測單元可以根據(jù)所述校正可靠性計(jì)算單元計(jì)算的可靠性計(jì)算第一估計(jì)值和第二估計(jì)值。所述水平視差檢測單元可以計(jì)算每單位時(shí)間標(biāo)準(zhǔn)像素的特征量的變化，并且可以根據(jù)所計(jì)算的變化計(jì)算第一估計(jì)值和第二估計(jì)值。所述水平視差檢測單元可以通過降低標(biāo)準(zhǔn)圖像的分辨率創(chuàng)建馬賽克圖像，可以計(jì)算標(biāo)準(zhǔn)圖像中的標(biāo)準(zhǔn)像素的特征量與馬賽克圖像中的標(biāo)準(zhǔn)像素的特征量之差，并且可以根據(jù)所計(jì)算的差值計(jì)算第一估計(jì)值和第二估計(jì)值。所述水平視差檢測單元可以創(chuàng)建一個(gè)節(jié)點(diǎn)包括標(biāo)準(zhǔn)像素的水平位置和標(biāo)準(zhǔn)像素的水平視差作為它的成分，和該節(jié)點(diǎn)具有第一估計(jì)值和第二估計(jì)值當(dāng)中通過使用第一估計(jì)值和第二估計(jì)值估計(jì)的差值的絕對(duì)值較小的估計(jì)值作為它的得分的DP圖，可以根據(jù)標(biāo)準(zhǔn)像素與標(biāo)準(zhǔn)像素外圍區(qū)域的像素之間的特征量差值、處在與標(biāo)準(zhǔn)像素相同的位置上的標(biāo)準(zhǔn)對(duì)應(yīng)像素與構(gòu)成參考圖像的像素當(dāng)中標(biāo)準(zhǔn)對(duì)應(yīng)圖像外圍區(qū)域的像素之間的特征量差值、和節(jié)點(diǎn)的得分計(jì)算從起點(diǎn)到對(duì)應(yīng)節(jié)點(diǎn)的累積成本，可以計(jì)算從起點(diǎn)到終點(diǎn)的累積成本最小的最短路徑，并且可以根據(jù)所計(jì)算的最短路徑檢測標(biāo)準(zhǔn)像素的水平視差?？梢詫⒌诙⒖枷袼嘏c第一參考像素之間的高度位置差限制在預(yù)定范圍內(nèi)。所述圖像處理設(shè)備可以進(jìn)一步包括第二水平視差檢測單元，用于通過使用除了作為第一水平視差檢測單元的所述水平視差檢測單元使用的檢測方法之外的其它檢測方法檢測標(biāo)準(zhǔn)像素的水平視差；以及差異圖整合單元，用于計(jì)算所述第一水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差和所述第二水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差的 可靠性，并且創(chuàng)建指示對(duì)于標(biāo)準(zhǔn)像素來說具有較高可靠性的水平視差的差異圖。所述差異圖整合單元可以分別使用不同估計(jì)方法計(jì)算所述第一水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差和所述第二水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差的可靠性。本公開的另一個(gè)實(shí)施例旨在提供包括如下的圖像處理方法在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較；以及根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。本公開的又一個(gè)實(shí)施例旨在提供使計(jì)算機(jī)執(zhí)行如下水平視差檢測功能的程序在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較；以及根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。按照本公開的上述實(shí)施例，由于在檢測標(biāo)準(zhǔn)像素的水平視差的時(shí)候，除了處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素之外，還考慮了處在與標(biāo)準(zhǔn)像素不同的高度位置上的第二參考像素，所以可以檢測水平視差對(duì)幾何差異(垂直差異)的健壯性。其結(jié)果是，按照本公開的實(shí)施例，可以高健壯性和精確性地檢測水平視差。


圖I是示意性地例示自動(dòng)立體顯示器中的過程的流程的流程圖；圖2A和2B是例示輸入圖像之間的顏色差異的圖形；圖3A和3B是例不輸入圖像之間的幾何差異的圖形；圖4是例不創(chuàng)建視差圖(差異圖)和多視點(diǎn)圖像的狀況的圖形；圖5是例示按照本公開一個(gè)實(shí)施例的圖像處理設(shè)備的配置的方塊圖；圖6是例示顏色校準(zhǔn)單元的配置的方塊圖7是例示直方圖匹配單元的配置的方塊圖；圖8A和8B是例示將輸入圖像劃分成多個(gè)塊的狀況的圖形；圖9A和9B是例示為每個(gè)塊創(chuàng)建的顏色直方圖的圖形；圖10是用于顏色直方圖匹配的顏色對(duì)應(yīng)檢測DP圖；圖11是例示線性顏色參數(shù)擬合單元的配置的方塊圖；圖12A到12D是例示經(jīng)由顏色校準(zhǔn)的圖像和未經(jīng)過顏色校準(zhǔn)的圖像的Y曲線以便相互比較的圖形；圖13是例示非線性顏色參數(shù)擬合單元的配置的方塊圖；
圖14是例示估計(jì)單元的配置的方塊圖；圖15A和15B是例示進(jìn)行顏色校準(zhǔn)之后創(chuàng)建的多視點(diǎn)圖像和未進(jìn)行顏色校準(zhǔn)創(chuàng)建的多視點(diǎn)圖像以便相互比較的圖形；圖16是例示幾何校準(zhǔn)單元的配置的方塊圖；圖17是例示經(jīng)過特征量匹配處理的輸入圖像的圖形；圖18是例示對(duì)應(yīng)點(diǎn)細(xì)化單元的配置的方塊圖；圖19是例示每個(gè)塊中的矢量的頻率分布的直方圖；圖20是例示平均移動(dòng)處理的狀況的圖形；圖21是例示線性幾何參數(shù)擬合單元的配置的方塊圖；圖22是例示初始化單元的配置的方塊圖；圖23是用于確定指示應(yīng)該如何將時(shí)間限制應(yīng)用于F矩陣的權(quán)重的曲線圖；圖24是例示線性幾何參數(shù)計(jì)算單元的配置的方塊圖；圖25是例示非線性幾何參數(shù)擬合單元的配置的方塊圖；圖26A和26B是例示未受時(shí)間限制的F矩陣的參數(shù)和受時(shí)間限制的F矩陣的參數(shù)隨著時(shí)間的流逝而變的狀況的曲線圖；圖27是例示F-矩陣隨著時(shí)間的流逝而收斂的狀況的曲線圖；圖28是例示線性幾何參數(shù)擬合單元的另一個(gè)例子的方塊圖；圖29是例示投影分量計(jì)算單元的配置的方塊圖；圖30是例示旋轉(zhuǎn)分量計(jì)算單元的配置的方塊圖；圖31是例示平移分量計(jì)算單元的配置的方塊圖；圖32是例示線性幾何參數(shù)擬合單元的另一個(gè)例子的方塊圖；圖33是例示用于更新F矩陣的更新表的圖形；圖34是例示利用更新表更新的F矩陣隨著時(shí)間的流逝而收斂的狀況的曲線圖；圖35是例示經(jīng)過幾何校準(zhǔn)的F矩陣的分量與誤差值之間的對(duì)應(yīng)關(guān)系的曲線圖；圖36是例示圖像調(diào)整中的幾何校準(zhǔn)的狀況的圖形；圖37是例示視差檢測單元的配置的方塊圖；圖38是例示全局匹配單元的配置的方塊圖；圖39是例示運(yùn)動(dòng)描述單元的配置的方塊圖；圖40是例示錨定矢量構(gòu)造單元的配置的方塊圖；圖41是例示視差頻率的局部直方圖；圖42是例示路徑構(gòu)建單元的配置的方塊圖43是例示用于視差匹配的DP圖的圖形；圖44A和44B是例示可靠性圖的圖形；圖45A、45B和45C是例示根據(jù)各種視差圖創(chuàng)建的多視點(diǎn)圖像的圖形；圖46是例示顏色校準(zhǔn)的過程的流程圖；圖47是例示幾何校準(zhǔn)的過程的流程圖；以及圖48是例示視差檢測的過程的流程圖。
具體實(shí)施例方式在下文中，將參考附圖對(duì)本公開的實(shí)施例作詳細(xì)描述。在說明書和附圖中，具有基本相同功能的元件用相同標(biāo)號(hào)引用，并且不重復(fù)對(duì)它們的描述。 該描述按如下次序作出I.自動(dòng)立體顯示器進(jìn)行的處理2.圖像處理設(shè)備的配置2-1.顏色校準(zhǔn)單元的配置2-2.幾何校準(zhǔn)單元的配置2-3.視差檢測單元的配置3.圖像處理設(shè)備進(jìn)行的處理〈I.自動(dòng)立體顯示器進(jìn)行的處理〉本公開的發(fā)明人深入研究了可以不使用專用于立體視圖的眼鏡地立體顯示圖像的自動(dòng)立體顯示器，并實(shí)現(xiàn)了按照這個(gè)實(shí)施例的圖像處理設(shè)備。這里，立體顯示指的是通過使觀眾識(shí)別雙目視差立體顯示圖像。下面首先參考顯示在圖I中的流程圖描述包括圖像處理設(shè)備的自動(dòng)立體顯示器進(jìn)行的處理。在步驟SI中，自動(dòng)立體顯示器獲取當(dāng)前幀的輸入圖像Vl和VK。圖2A和2B以及圖3A和3B示出了輸入圖像\和Vr的例子。在這個(gè)實(shí)施例中，將輸入圖像\和Vr的最左上角像素定義為原點(diǎn)，將它的水平方向定義為X軸，將它的垂直方向定義為I軸。向右方向是X軸的正方向，向下方向是y軸的正方向。每個(gè)像素具有坐標(biāo)信息(X，y)和顏色信息(亮度(色值)、色度、和色調(diào))。在下文中，將輸入圖像K以及對(duì)輸入圖像\進(jìn)行校準(zhǔn)獲得的圖像)中的像素也稱為“左坐標(biāo)點(diǎn)”，將輸入圖像VK(以及對(duì)輸入圖像Vk進(jìn)行校準(zhǔn)獲得的圖像)中的像素也稱為“右坐標(biāo)點(diǎn)”。如圖2A和2B以及圖3A和3B所示,在輸入圖像\和Vk中，在不同水平位置(x坐標(biāo))上描繪同一被攝物(例如，大海、魚類、企鵝)。在顯示在圖2A和2B中的輸入圖像\和Vr之間存在顏色差異。也就是說，同一被攝物在輸入圖像\與輸入圖像Vk之間呈現(xiàn)不同顏色。例如，被攝物圖像'I和被攝物圖像VeI顯示同一大海，但顏色不同。另一方面，顯示在圖3A和3B中的輸入圖像\和Vk在它們之間存在幾何差異。也就是說，在不同高度位置(y坐標(biāo))上描繪同一被攝物。例如，被攝物圖像'2和被攝物圖像VK2顯示同一企鵝，但被攝物圖像\2的y坐標(biāo)和被攝物圖像VK2的I坐標(biāo)相互不同。為了易于理解幾何差異，在圖3A和3B中描繪了直線LI和L2。因此，自動(dòng)立體顯示器通過進(jìn)行顏色校準(zhǔn)和幾何校準(zhǔn)縮小這樣的差異。也就是說，顏色校準(zhǔn)是校正輸入圖像\和Vk之間的顏色差異的過程，幾何校準(zhǔn)是校正輸入圖像\和Vk之間的幾何差異的過程。在步驟S2中，自動(dòng)立體顯示器根據(jù)讓輸入圖像\和\全面經(jīng)過顏色校準(zhǔn)和幾何校準(zhǔn)所得的校準(zhǔn)圖像\_2和VK_2檢測視差。視差檢測的狀況顯示在圖4中。如圖4所示，自動(dòng)立體顯示器計(jì)算校準(zhǔn)圖像\_2中的坐標(biāo)點(diǎn)Pnl與核線EPk_21中的點(diǎn)之間的水平視差dl (x坐標(biāo)的差值)，并且將更佳者，即，相對(duì)于坐標(biāo)點(diǎn)Ρκ_21的水平視差設(shè)置成坐標(biāo)點(diǎn)Pl-21的水平視差dl。這里，核線EPK_21是描繪在校準(zhǔn)圖像νκ_2中，具有與坐標(biāo)點(diǎn)Pk2I相同的I坐標(biāo)，和沿著水平方向延伸的直線。這種檢測是可能的，因?yàn)樽詣?dòng)立體顯示器事先進(jìn)行了校準(zhǔn)，縮小了校準(zhǔn)圖像\_2與校準(zhǔn)圖像VK_2之間的幾何差異。自動(dòng)立體顯示器通過對(duì)校準(zhǔn)圖像\_2中的所有像素計(jì)算水平視差dl創(chuàng)建視差圖(差異圖)DM。視差圖DM描述校準(zhǔn)圖像\_2中的所有像素的水平視差dl。在圖4中，用對(duì) 比密度表達(dá)水平視差dl的程度。在步驟S3中，自動(dòng)立體顯示器根據(jù)視差圖DM和校準(zhǔn)圖像VL_jPVK_2創(chuàng)建多視點(diǎn)圖像Vv。例如，顯示在圖4中的多視點(diǎn)圖像Vv是在校準(zhǔn)圖像\_2與校準(zhǔn)圖像VK_2之間內(nèi)插出來的圖像。因此，在像素PmI與像素Ρκ_21之間存在指示與被攝物中像素PmI所指的點(diǎn)相同的點(diǎn)的像素PvI。這里，多視點(diǎn)圖像Vv是自動(dòng)立體顯示器立體顯示的圖像，對(duì)應(yīng)于不同視點(diǎn)(觀眾眼睛的位置)。也就是說，觀眾眼睛識(shí)別的多視點(diǎn)圖像Vv隨觀眾眼睛的位置而變。例如，由于觀眾的右眼和左眼處在不同位置上，所以它們看到不同的多視點(diǎn)圖像Vv。于是，觀眾可以立體地觀看多視點(diǎn)圖像Vv。當(dāng)觀眾的視點(diǎn)隨著觀眾的移動(dòng)而改變，但存在與改變的視點(diǎn)相對(duì)應(yīng)的多視點(diǎn)圖像Vv時(shí)，觀眾可以立體地觀看多視點(diǎn)圖像Vv。這樣，隨著多視點(diǎn)圖像Vv的數(shù)量增加，觀眾可以在更多位置上立體地觀看多視點(diǎn)圖像Vv。隨著多視點(diǎn)圖像Vv的數(shù)量增力口，不太可能發(fā)生相反觀看，即，觀眾右眼要看到的多視點(diǎn)圖像Vv被觀眾左眼看到的現(xiàn)象。通過創(chuàng)建多個(gè)多視點(diǎn)圖像Vv，可以表達(dá)運(yùn)動(dòng)視差。在步驟S4中，自動(dòng)立體顯示器進(jìn)行后退。這個(gè)過程示意性地是取決于細(xì)節(jié)再次校正多視點(diǎn)圖像的過程。在步驟S5中，自動(dòng)立體顯示器立體顯示多視點(diǎn)圖像Vv?！?.圖像處理設(shè)備的配置〉下面參考附圖描述按照這個(gè)實(shí)施例的圖像處理設(shè)備I的配置。如圖5所示，圖像處理設(shè)備I包括顏色校準(zhǔn)單元2、幾何校準(zhǔn)單元3、和視差檢測單元4。顏色校準(zhǔn)單元2對(duì)當(dāng)前幀的輸入圖像\和\進(jìn)行上述顏色校準(zhǔn)，幾何校準(zhǔn)單元3對(duì)讓輸入圖像\和Vk經(jīng)過顏色校準(zhǔn)所得的顏色校準(zhǔn)圖像Vw和Vh進(jìn)行上述幾何校準(zhǔn)。視差檢測單元4對(duì)校準(zhǔn)圖像VL_2和VK_2進(jìn)行上述視差檢測。因此，圖像處理設(shè)備I進(jìn)行自動(dòng)立體顯示器進(jìn)行的處理當(dāng)中的步驟SI到S2的處理。<2-1.顏色校準(zhǔn)單元的配置>下面參考圖6描述顏色校準(zhǔn)單元2的配置。如圖6所示，顏色校準(zhǔn)單元2包括直方圖匹配單元201、線性顏色參數(shù)擬合單元202、特征量匹配單元203、非線性顏色參數(shù)擬合單元204、估計(jì)單元205、和顏色校準(zhǔn)執(zhí)行單元206。[直方圖匹配單元的配置]如圖7所示，直方圖匹配單元201包括塊劃分單元207、直方圖創(chuàng)建單元208、DP (動(dòng)態(tài)編排)匹配單元209、和顏色對(duì)計(jì)算單元210。如圖8A所示，塊劃分單元207將輸入圖像Vl劃分成八個(gè)像素塊Bh。這里，每個(gè)像素塊Bh都是長方形，具有相同尺寸。塊劃分單元207提取用作每個(gè)像素塊Bh的中心點(diǎn)的像素，并將所提取像素的坐標(biāo)設(shè)置成對(duì)應(yīng)像素塊Bh的坐標(biāo)。類似地，如圖8B所示，塊劃分單元207將輸入圖像Vk劃分成八個(gè)像素塊Bim。這里，每個(gè)像素塊Bp1具有與像素塊Bh相同的形狀和尺寸。塊劃分單元207提取用作每個(gè)像素塊Bim的中心點(diǎn)的像素，并將所提取像素的坐標(biāo)設(shè)置成對(duì)應(yīng)像素塊Bim的坐標(biāo)。于是，在各自像素塊Bi^1中存在具有相同坐標(biāo)的像素塊Bh。換句話說,像素塊Bi^1和像素塊Bim相互一一對(duì)應(yīng)。因此，塊劃分單元207將像素塊Bh和像素塊Bim相互關(guān)聯(lián)。像素塊I1和Bp1的數(shù)量不局限于八個(gè)。塊劃分單元207將像素塊Bh和Bim的灰度級(jí)降低到64個(gè)灰度級(jí)。像素塊和Bh的灰度級(jí)不局限于64個(gè)灰度級(jí)。原始輸入圖像'和Vk的灰度級(jí)未受到特別限制，而 是，例如，1024個(gè)灰度級(jí)。塊劃分單元207將有關(guān)像素塊Bh和Bp1的塊信息輸出到直方圖創(chuàng)建單元208。直方圖創(chuàng)建單元208根據(jù)塊信息進(jìn)行如下處理。也就是說，直方圖創(chuàng)建單元208為每個(gè)像素塊Bh創(chuàng)建如圖9A所示的顏色直方圖CU。顏色直方圖代表每個(gè)像素塊Bh中的亮度分布，即，亮度與具有該亮度的像素的數(shù)量(頻率)之間的對(duì)應(yīng)關(guān)系。這里，亮度用O到63的整數(shù)表達(dá)。類似地，直方圖創(chuàng)建單元208為每個(gè)像素塊Bim創(chuàng)建如圖9B所示的顏色直方圖CHK。顏色直方圖CHkR表每個(gè)像素塊Bim中的亮度分布，即，亮度與具有該亮度的像素的數(shù)量(頻率)之間的對(duì)應(yīng)關(guān)系。由于像素塊Bh和像素塊Bim以一對(duì)一方式相互對(duì)應(yīng)，所以顏色直方圖和顏色直方圖CHk也以一對(duì)一方式相互對(duì)應(yīng)。因此，直方圖創(chuàng)建單元208將顏色直方圖和顏色直方圖CHk相互關(guān)聯(lián)。直方圖創(chuàng)建單元208創(chuàng)建有關(guān)顏色直方圖CU和CHk的顏色直方圖信息，并將創(chuàng)建的顏色直方圖信息輸出到DP匹配單元209。DP匹配單元209 (匹配單元)根據(jù)顏色直方圖信息對(duì)像素塊和與像素塊Bm相對(duì)應(yīng)的像素塊Bp1的每個(gè)組進(jìn)行如下處理。也就是說，DP匹配單元209首先創(chuàng)建如圖10所示的顏色對(duì)應(yīng)檢測DP圖。顏色對(duì)應(yīng)檢測DP圖的垂直軸代表像素塊Bh中的亮度的頻率。例如，F(xiàn)L(Ik)代表亮度％(其中Ik是O到63的整數(shù))的頻率。另一方面，顏色對(duì)應(yīng)檢測DP圖的水平軸代表像素塊Bim中的亮度的頻率。例如，F(xiàn)L(nE)代表亮度ηκ(其中ηκ是O到63的整數(shù))的頻率。指示頻率FL (nj和FL(nK)的節(jié)點(diǎn)用P(nL，nK)表達(dá)。DP匹配單元209將節(jié)點(diǎn)P (0，O)設(shè)置成起點(diǎn)，將節(jié)點(diǎn)P (63，63)設(shè)置成終點(diǎn)，并按如下定義從起點(diǎn)到節(jié)點(diǎn)POv nE)的累積成本。DFI (nL, nE)。= DFI (nL, nR-l) +1FL (nL) -FL (nE) . . . (I)DFI (nL, nE) j = DFI (nL_l, nE) + FL (nL) -FL (nE) ... 2)DFI (nL, nE) 2 = DFI (nL-l, nE-l) +1FL (nL) -FL (nE) |. . . (3)這里，DFI (nL, nK)Q代表經(jīng)由路徑PAcO到節(jié)點(diǎn)Pfcy nE)的累積成本，DFI (nL, W1代表經(jīng)由路徑PAcI到節(jié)點(diǎn)P (nL, nE)的累積成本，和DFI (nL, nE) 2代表經(jīng)由路徑PAC2到節(jié)點(diǎn)P(nL,nE)的累積成本。DFI(I^nirI)代表從起點(diǎn)到節(jié)點(diǎn)P (化，ηκ_1)的累積成本。DFlOk-I,ηΕ)代表從起點(diǎn)到節(jié)點(diǎn)Ρ(%-1，ηκ)的累積成本。DFI(Ik-LnirI)代表從起點(diǎn)到節(jié)點(diǎn)P (η「1，nE-l)的累積成本。DP匹配單元209通過計(jì)算從起點(diǎn)到包括終止的節(jié)點(diǎn)的累積成本和回溯從終點(diǎn)到起點(diǎn)具有最小累積成本的路徑計(jì)算最短路徑，即，從起點(diǎn)到終點(diǎn)的累積成本最小的路徑。最短路徑中的節(jié)點(diǎn)代表彼此相似的亮度對(duì)。例如，當(dāng)最短路徑通過節(jié)點(diǎn)P(%，nE)時(shí)，亮度Ik和亮度％彼此相似。DP匹配單元209創(chuàng)建有關(guān)為像素塊和像素塊Bp1的每個(gè)組計(jì)算的最短路徑的最短路徑信息，并將創(chuàng)建的最短路徑信息輸出到顏色對(duì)計(jì)算單元210。顏色對(duì)計(jì)算單元210根據(jù)最短路徑信息為像素塊Bh和像素塊Bim的每個(gè)組計(jì)算顏色對(duì)。也就是說，顏色對(duì)計(jì)算單元210計(jì)算最短路徑中的節(jié)點(diǎn)所指的一對(duì)亮度。S卩，彼此相似的一對(duì)亮度作為顏色對(duì)。顏色對(duì)計(jì)算單元210為每個(gè)像素塊Bh計(jì)算250個(gè)顏色對(duì)，總共計(jì)算2000個(gè)顏色對(duì)。顏色對(duì)計(jì)算單元210創(chuàng)建有關(guān)所計(jì)算顏色對(duì)的顏色對(duì)信息，并將創(chuàng)建的顏色對(duì)信息輸出到線性顏色參數(shù)擬合單元202和非線性顏色參數(shù)擬合單元204。于是，由于直方圖匹配單元201將像素塊Bh和像素塊Bp1的灰度級(jí)降低成低于輸入圖像\和Vk的灰度級(jí)，所以可以減少像直方圖％和CHk那樣的數(shù)據(jù)量。由于通過降低 灰度級(jí)將輸入圖像'和Vk的多種亮度分類成一種亮度，所以認(rèn)為顏色校準(zhǔn)的精度降低了。因此，直方圖匹配單元201通過從多個(gè)像素塊Bh和Bp1中計(jì)算顏色對(duì)，即，增加顏色對(duì)的數(shù)量包容精度的降低。[線性顏色參數(shù)擬合單元]如圖11所示，線性顏色參數(shù)擬合單元202包括相加矩陣計(jì)算單元211、系數(shù)計(jì)算單元212、濾波單元213、和系數(shù)存儲(chǔ)單元214。線性顏色參數(shù)擬合單元202通過使用線性運(yùn)算，根據(jù)顏色對(duì)信息計(jì)算代表輸入圖像\的亮度與輸入圖像\的亮度之間的對(duì)應(yīng)關(guān)系的模型公式。首先考慮該模型公式。當(dāng)假設(shè)輸入圖像'和Vk的Y值接近I時(shí)，輸入圖像'的亮度通過輸入圖像Vk的売度表達(dá)如下。L = (l+α )r(1+Y) · 255. . . (4)r = R/255. . . (5)這里，L代表輸入圖像'的亮度，和R代表輸入圖像亮度。另外，α代表自動(dòng)立體顯示器的增益，和Y代表自動(dòng)立體顯示器的Y值。也就是說，輸入圖像'和Vk的亮度受增益和Y值限制。這樣，可以獲得無暗淡圖像。通過將表達(dá)式(4)泰勒(Tailor)展開可以獲得表達(dá)式(6)。厶》W0. Λ +1 Wi ■ Λ ■ IogOO1 ...(6)
J=I這里，Wi (其中i是大于等于O的整數(shù))代表系數(shù)，即，顏色校正系數(shù)。表達(dá)式(6)是模型公式。通過將補(bǔ)償項(xiàng)Wa加入表達(dá)式(6)中獲得的表達(dá)式(7)可以比表達(dá)式(6)更精確地跟隨輸入圖像'和Vk的亮度的變化。因此，線性顏色參數(shù)擬合單元202將表達(dá)式(6)或表達(dá)式(7)用作模型公式(即，近似)。Lxw0 + 'R' log(r)' +wa^S\coe/(w))…(7)
t=i這里，coef (w)代表顏色校正系數(shù)Wi和wa。下面描述上述元件進(jìn)行的處理。相加矩陣計(jì)算單元211為所有顏色對(duì)計(jì)算由表達(dá)式⑶表達(dá)的矩陣。

權(quán)利要求
1.一種圖像處理設(shè)備，其包含 水平視差檢測單元，用于在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較，并根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。
2.按照權(quán)利要求I所述的圖像處理設(shè)備，其中所述水平視差檢測單元計(jì)算用于估計(jì)包括標(biāo)準(zhǔn)像素的標(biāo)準(zhǔn)區(qū)域中的特征量與包括第一參考像素的第一參考區(qū)域中的特征量之差的第一估計(jì)值、和用于估計(jì)標(biāo)準(zhǔn)區(qū)域中的特征量與包括第二參考像素的第二參考區(qū)域中的特征量之差的第二估計(jì)值，并且根據(jù)第一估計(jì)值和第二估計(jì)值檢測標(biāo)準(zhǔn)像素的水平視差。
3.按照權(quán)利要求2所述的圖像處理設(shè)備，進(jìn)一步包含 校正執(zhí)行單元，用于在檢測水平視差之前校正標(biāo)準(zhǔn)圖像和參考圖像；以及 校正可靠性計(jì)算單元，用于計(jì)算所述校正執(zhí)行單元中的校正的可靠性， 其中所述水平視差檢測單元根據(jù)所述校正可靠性計(jì)算單元計(jì)算的可靠性計(jì)算第一估計(jì)值和第二估計(jì)值。
4.按照權(quán)利要求2所述的圖像處理設(shè)備，其中所述水平視差檢測單元計(jì)算每單位時(shí)間標(biāo)準(zhǔn)像素的特征量的變化，并且根據(jù)所計(jì)算的變化計(jì)算第一估計(jì)值和第二估計(jì)值。
5.按照權(quán)利要求2所述的圖像處理設(shè)備，其中所述水平視差檢測單元通過降低標(biāo)準(zhǔn)圖像的分辨率創(chuàng)建馬賽克圖像，計(jì)算標(biāo)準(zhǔn)圖像中的標(biāo)準(zhǔn)像素的特征量與馬賽克圖像中的標(biāo)準(zhǔn)像素的特征量之差，并且根據(jù)所計(jì)算的差值計(jì)算第一估計(jì)值和第二估計(jì)值。
6.按照權(quán)利要求2所述的圖像處理設(shè)備，其中所述水平視差檢測單元?jiǎng)?chuàng)建DP圖，其中一個(gè)節(jié)點(diǎn)包括標(biāo)準(zhǔn)像素的水平位置和標(biāo)準(zhǔn)像素的水平視差作為它的成分，并且該節(jié)點(diǎn)具有第一估計(jì)值和第二估計(jì)值當(dāng)中通過使用第一估計(jì)值和第二估計(jì)值估計(jì)的差值的絕對(duì)值較小的估計(jì)值作為它的得分，根據(jù)標(biāo)準(zhǔn)像素與標(biāo)準(zhǔn)像素外圍區(qū)域的像素之間的特征量差值、處在與標(biāo)準(zhǔn)像素相同的位置上的標(biāo)準(zhǔn)對(duì)應(yīng)像素與構(gòu)成參考圖像的像素當(dāng)中標(biāo)準(zhǔn)對(duì)應(yīng)圖像外圍區(qū)域的像素之間的特征量差值、和節(jié)點(diǎn)的得分計(jì)算從起點(diǎn)到對(duì)應(yīng)節(jié)點(diǎn)的累積成本，計(jì)算從起點(diǎn)到終點(diǎn)的累積成本最小的最短路徑，并且根據(jù)所計(jì)算的最短路徑檢測標(biāo)準(zhǔn)像素的水平視差。
7.按照權(quán)利要求I所述的圖像處理設(shè)備，其中將第二參考像素與第一參考像素之間的高度位置差限制在預(yù)定范圍內(nèi)。
8.按照權(quán)利要求I所述的圖像處理設(shè)備，進(jìn)一步包含 第二水平視差檢測單元，用于通過使用除了作為第一水平視差檢測單元的所述水平視差檢測單元使用的檢測方法之外的其它檢測方法，檢測標(biāo)準(zhǔn)像素的水平視差；以及 差異圖整合單元，用于計(jì)算所述第一水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差和所述第二水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差的可靠性，并且創(chuàng)建指示對(duì)于標(biāo)準(zhǔn)像素來說具有較高可靠性的水平視差的差異圖。
9.按照權(quán)利要求8所述的圖像處理設(shè)備，其中所述差異圖整合單元分別使用不同估計(jì)方法計(jì)算所述第一水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差和所述第二水平視差檢測單元檢測的標(biāo)準(zhǔn)像素的水平視差的可靠性。
10.一種圖像處理方法，其包含在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較；以及根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。
11.一種使計(jì)算機(jī)執(zhí)行如下水平視差檢測功能的程序 在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較；以及根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。
全文摘要
一種圖像處理設(shè)備包括水平視差檢測單元，用于在在相互不同的水平位置上描繪同一被攝物的標(biāo)準(zhǔn)圖像和參考圖像中，將構(gòu)成標(biāo)準(zhǔn)圖像的標(biāo)準(zhǔn)像素與構(gòu)成參考圖像的像素當(dāng)中，處在與標(biāo)準(zhǔn)像素相同的高度位置上的第一參考像素和處在與第一參考像素不同的高度位置上的第二參考像素相比較，并根據(jù)比較結(jié)果檢測標(biāo)準(zhǔn)像素的水平視差。
文檔編號(hào)H04N13/00GK102984531SQ20121008526
公開日2013年3月20日 申請(qǐng)日期2012年3月28日 優(yōu)先權(quán)日2011年3月28日
發(fā)明者周藤泰廣 申請(qǐng)人:索尼公司