專利名稱:一種立體圖像處理方法、圖像處理裝置和相應(yīng)的終端設(shè)備的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及一種圖像處理技術(shù),特別是涉及一種立體圖像處理方法、圖像處理裝置和相應(yīng)的終端設(shè)備。
背景技術(shù):
目前立體顯示技術(shù)已經(jīng)快速發(fā)展起來(lái),并被越來(lái)越多的用戶所認(rèn)可,其中以眼鏡式立體顯示和裸眼式立體顯示為市場(chǎng)上最常見(jiàn)的方式。其中,眼鏡式立體顯示一般用在電影院或者家庭電視設(shè)備上,裸眼式立體顯示一般應(yīng)用在筆記本電腦、平板電腦和手機(jī)等移動(dòng)設(shè)備上。針對(duì)個(gè)人消費(fèi)者的立體顯示裝置的片源內(nèi)容一般都是兩個(gè)具備一定視差信息的圖像來(lái)構(gòu)成的,我們稱之為立體圖像(stereo images),構(gòu)成立體圖像的圖像分別稱為左圖像和右圖像。圖Ia和圖Ib分別示出了作為示例的立體圖像的左圖像和右圖像,其中有三個(gè)物體,分別是第一物體101,104(101為該物體在左圖像中的標(biāo)號(hào),104為該物體在右圖像中的標(biāo)號(hào),其他物體同此)、第二物體102,105和第三物體103,106。這三個(gè)物體分別具有不同的視差信息,其中第一物體具有正視差,距離觀眾更近,凸出顯示平面;第二物體102具有零視差,呈現(xiàn)在顯示平面上;第三物體具有負(fù)視差,距離觀眾更遠(yuǎn),凹進(jìn)顯示平面。由于立體圖像的左圖像(L)和右圖像(R)可以顛倒放置,所以視差的正負(fù)也會(huì)相應(yīng)變化。文中,將比較一立體圖像上各像素點(diǎn)的視差得到的正視差的最大值和負(fù)視差的最小值稱為該立體圖像的最大正視差和最小負(fù)視差,立體圖像的最大正視差和最小負(fù)視差限定的區(qū)間為立體圖像的視差范圍。當(dāng)立體顯示裝置的硬件設(shè)計(jì)固定之后,立體顯示裝置的視差特性如支持的視差范圍(即該立體顯示裝置支持的最大正視差和最小負(fù)視差限定的區(qū)間,支持的最大正視差和最小負(fù)視差是指立體顯示裝置正常播放立體圖像時(shí)所允許的圖像像素點(diǎn)的最大正視差和最小負(fù)視差)就確定了,立體顯示裝置例如為液晶電視、PC (Personal Computer,個(gè)人電腦)顯示器、手機(jī)顯示屏等。立體顯示裝置支持的視差范圍體現(xiàn)了該立體顯示裝置的視差表現(xiàn)能力。目前,立體圖像在采集后就會(huì)把視差信息固定下來(lái)。但立體圖像的視差范圍與立體顯示裝置支持的視差范圍之間的關(guān)系,直接影響著顯示的立體效果和觀眾的立體感受。
發(fā)明內(nèi)容
本發(fā)明要解決的技術(shù)問(wèn)題是提供一種能夠使立體圖像適應(yīng)不同立體顯示裝置的立體圖像處理方法、圖像處理裝置和相應(yīng)的終端設(shè)備。為了解決上述問(wèn)題,本發(fā)明提供了一種立體圖像處理方法,包括獲取立體圖像的視差范圍;對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向;根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,包括以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整時(shí),確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的第一偏移量和第一偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)間的距離減??;所述根據(jù)確定的偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,包括根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,是無(wú)條件地進(jìn)行的;或者,是在所述立體圖像的視差范圍滿足設(shè)定的第一條件進(jìn)行;其中,所述第一條件包括以下條件中的至少一種a)所述立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍;b)所述立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離大于設(shè)定的閾值。較佳地, 所述第一偏移量X。ffsrt根據(jù)下式計(jì)算Xoffset = ki (M-M' )+k2 (N-N')其中,M為立體顯示裝置支持的最大正視差,N為立體顯示裝置支持的最小負(fù)視差,M’為立體圖像的最大正視差,N’為立體圖像的最小負(fù)視差,Ic1A2分別表示正視差的權(quán)值和負(fù)視差的權(quán)值,ki; k2相等或不等,ki+Ι^ = 1。較佳地,所述根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,方式如下將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移Xoffset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X offset2,i Xoffsetl+X。ffset2 — ^offset。較佳地,所述以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,是在所述立體圖像的視差范圍滿足設(shè)定的第一條件進(jìn)行,如所述立體圖像的視差范圍不滿足設(shè)定的第一條件,執(zhí)行以下步驟按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;
根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,根據(jù)確定的第一偏移量和第一偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移之后,還包括將所述立體圖像上各像素點(diǎn)的水平坐標(biāo)更新為偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新所述立體圖像的視差范圍;按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,包括按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;所述根據(jù)確定的偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,包括根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量時(shí),每一像素點(diǎn)的水平坐標(biāo)的第二偏移量X’。ffsrt根據(jù)下式確定X' offset = Dh· (l-p),p = min(Mb/M',Nb/N')其中,Dh表示該像素點(diǎn)的視差,Mb, Nb分別為立體顯示裝置的最佳視差范圍的最大正視差和最小負(fù)視差,M/5 ^ Mb ^ M,N/5 ^ Nb ^ N,Μ’和N’分別為立體圖像的最大正視差和最小負(fù)視差,M和N分別為立體顯示裝置支持的最大正視差和最小負(fù)視差,ρ表示Mb/M' 和Nb/N'中的最小值。較佳地,所述按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整,是無(wú)條件地進(jìn)行,或者,是在所述立體圖像的視差范圍滿足設(shè)定的條件時(shí)進(jìn)行,其中,所述條件包括以下條件中的至少一種a) ρ值小于設(shè)定的最小值Pmin ;b) ρ值大于設(shè)定的最大值Pmax ;c)立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍。較佳地,所述根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,采用以下方式
將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’ offset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移V offset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移 X,。ffset2,且滿足 X,。ffsetl+x,。ffset2 = X,。ffset。較佳地,所述立體圖像處理方法是對(duì)視頻內(nèi)容中每一幀立體圖像的處理方法,所述獲取立體圖像的視差范圍是獲取每一幀立體圖像的最大正視差和最小負(fù)視差,作為該幀立體圖像的視差范圍;或者所述立體圖像處理方法是對(duì)視頻內(nèi)容包含的一組立體圖像的處理方法,所述獲取立體圖像的視差范圍是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值,作為該組立體圖像的視差范圍;所述根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,是按相同方式對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行偏移處理。相應(yīng)地,本發(fā)明提供了一種圖像處理裝置,包括獲取單元,用于獲取立體圖像的視差范圍;偏移參數(shù)確定單元,用于對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向;偏移單元,用于根據(jù)確定的所述偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述偏移參數(shù)確定單元包括第一偏移參數(shù)確定單元,用于在以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整時(shí),確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的第一偏移量和第一偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)間的距離減??;所述偏移單元包括第一偏移單元,用于根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,第一偏移參數(shù)確定單元無(wú)條件地以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整;或者所述圖像處理裝置還包括第一判斷單元,用于判斷所述立體圖像的視差范圍是否滿足設(shè)定的第一條件,如滿足,再激活所述第一偏移參數(shù)確定單元;其中,所述第一條件包括以下條件中的至少一種a)所述立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍;b)所述立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離大于設(shè)定的閾值。較佳地, 所述第一偏移參數(shù)確定單元根據(jù)下式計(jì)算第一偏移量Xoffset
Xoffset = ki (M-M' )+k2 (N-N')
其中,M為立體顯示裝置支持的最大正視差,N為立體顯示裝置支持的最小負(fù)視差,M’為立體圖像的最大正視差,N’為立體圖像的最小負(fù)視差,Ic1A2分別表示正視差的權(quán)值和負(fù)視差的權(quán)值,ki; k2相等或不等,Vk2 = 1 ;所述第一偏移單元根據(jù)確定的第一偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移時(shí),方式如下將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移Xoffset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水
平坐標(biāo)向右偏移X offset2,i Xoffsetl+X。ffset2 — ^offset。較佳地,所述立體圖像處理裝置還包括與所述第一偏移單元連接的更新單元,用于將所述立體圖像上各像素點(diǎn)的水平坐標(biāo)更新為第一偏移單元偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新所述立體圖像的視差范圍,然后激活第二偏移參數(shù)確定單元;與所述更新單元連接的第二偏移參數(shù)確定單元,用于按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;以及與所述第二偏移參數(shù)確定單元連接的第二偏移單元,用于根據(jù)所述第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述偏移參數(shù)確定單元包括第二偏移參數(shù)確定單元,用于在按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;所述偏移單元包括第二偏移單元,用于根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。較佳地,所述第二偏移參數(shù)確定單元確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量時(shí),每一像素點(diǎn)的水平坐標(biāo)的第二偏移量X’ offset根據(jù)下式確定X' offset = Dh· (l-p),p = min(Mb/M',Nb/N')其中,Dh表示該像素點(diǎn)的視差,Mb, Nb分別為立體顯示裝置的最佳視差范圍的最大正視差和最小負(fù)視差,M/5 ^ Mb ^ M,N/5 ^ Nb ^ N,Μ’和N’分別為立體圖像的最大正視差和最小負(fù)視差,M和N分別為立體顯示裝置支持的最大正視差和最小負(fù)視差,ρ表示Mb/M' 和Nb/N'中的最小值;所述第二偏移單元根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,采用以下方式將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移V offset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移V offset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移 X,。ffset2,且滿足 X,。ffsetl+x,。ffset2 = X,。ffset。較佳地,
所述獲取單元獲取立體圖像的視差范圍,是獲取每一幀立體圖像的最大正視差和最小負(fù)視差,作為該幀立體圖像的視差范圍;其他單元是對(duì)該幀立體圖像進(jìn)行處理;或者所述獲取單元獲取立體圖像的視差范圍,是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值,作為該組立體圖像的視差范圍;其他單元是對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行相同的處理。相應(yīng)的,本發(fā)明還提供了一種終端設(shè)備,包括立體顯示裝置,其特征在于,還包括上述圖像處理裝置。上述方案基于立體顯示裝置的視差表現(xiàn)能力,對(duì)要顯示的立體圖像進(jìn)行動(dòng)態(tài)視差調(diào)整,從而讓立體圖像在該立體顯示裝置上顯示時(shí),總是充分利用該立體顯示裝置的視差表現(xiàn)能力,提供給用戶盡可能好的立體效果。
圖Ia和圖Ib分別示出了作為示例的立體圖像的左圖像(L)和右圖像(R);圖加和圖2b分別示出了圖Ia中左圖像(L)上的一像素點(diǎn)和圖Ib中右圖像(R) 上的一對(duì)應(yīng)像素點(diǎn)的坐標(biāo),用于說(shuō)明視差的正負(fù);圖3是本發(fā)明實(shí)施例一立體圖像處理方法的流程示意圖;圖如和圖4b是依照本發(fā)明第一實(shí)施例對(duì)立體圖像調(diào)整后,立體圖像中像素點(diǎn)的位置變化的示意圖;圖5是本發(fā)明實(shí)施例一提供的圖像處理裝置的模塊圖;圖6是本發(fā)明實(shí)施例二立體圖像處理方法的流程示意圖;圖7是本發(fā)明實(shí)施例二提供的圖像處理裝置的模塊圖;圖8是本發(fā)明實(shí)施例三立體圖像處理方法的流程示意圖;圖9是本發(fā)明實(shí)施例三提供的圖像處理裝置的模塊圖;圖10是基于本發(fā)明實(shí)施例三的一應(yīng)用示例的立體圖像處理方法的流程示意圖。
具體實(shí)施例方式為使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚明白,下文中將結(jié)合附圖對(duì)本發(fā)明的實(shí)施例進(jìn)行詳細(xì)說(shuō)明。需要說(shuō)明的是,在不沖突的情況下,本申請(qǐng)中的實(shí)施例及實(shí)施例中的特征可以相互任意組合。本發(fā)明的發(fā)明人發(fā)現(xiàn),目前的圖像處理中,立體圖像被采集后,視差信息被固定下來(lái),不能夠根據(jù)不同的立體顯示裝置的視差表現(xiàn)能力進(jìn)行調(diào)整以達(dá)到最佳的立體顯示效果,這限制了立體顯示技術(shù)的發(fā)展。例如,用于在電影院播放的立體圖像在液晶電視上播放時(shí),立體圖像的最大正視差和最小負(fù)視差均可能超過(guò)液晶電視支持的最大正視差和最小負(fù)視差,此時(shí)液晶電視顯示的圖像就可能出現(xiàn)不清楚或立體感降低等問(wèn)題。為此,本發(fā)明提供了一種立體圖像處理方法和相應(yīng)的圖像處理裝置,能夠?qū)σ@示的立體圖像的視差范圍進(jìn)行動(dòng)態(tài)調(diào)整,使立體圖像適應(yīng)不同立體顯示裝置。具體的,在本發(fā)明中在獲取立體圖像的視差范圍后,確定對(duì)該立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)獲取的立體圖像的視差范圍及立體顯示裝置的視差特性,確定立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量及偏移方向,根據(jù)該偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
為了便于說(shuō)明,各實(shí)施例中立體圖像的視差正負(fù)按照?qǐng)D加和圖2b所示來(lái)確定,以右方向?yàn)樗阶鴺?biāo)的正向。例如,第一物體101,104上的點(diǎn)(xl,yl)和(x2, y2)它們之間的水平視差是Dh = x2-xl,垂直視差是Dv = y2_yl。由于人眼是水平的,同時(shí)目前主流的立體顯示裝置均主要提供水平視差,在此假設(shè)立體圖像只有水平視差,也就是Dv = 0。坐標(biāo)原點(diǎn)和坐標(biāo)單位優(yōu)選的與立體顯示裝置的屏幕坐標(biāo)一致,例如對(duì)于PC通常坐標(biāo)原點(diǎn)為左 _1^角 O實(shí)施例一在某些場(chǎng)景下,例如立體圖像的視差范圍和立體顯示裝置支持的視差范圍相比, 可能立體圖像的最大正視差M,大于立體顯示裝置支持的最大正視差M,同時(shí)立體圖像的最小負(fù)視差N’也大于立體顯示裝置支持的最小負(fù)視差N,導(dǎo)致立體顯示裝置顯示該立體圖像時(shí),無(wú)法顯示其最大正視差M’。這種情況下,由于立體圖像的視差范圍的中心相對(duì)立體顯示裝置支持的視差范圍的中點(diǎn)距離較大,立體圖像的視差范圍沒(méi)有均布在立體顯示裝置支持的視差范圍的中點(diǎn)兩側(cè),因而沒(méi)有充分利用該立體顯示裝置的視差表現(xiàn)能力。如通過(guò)視差調(diào)整,對(duì)立體圖像上各像素點(diǎn)的視差進(jìn)行整體偏移(即同一圖像上所有像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向相同),就有可能充分的利用立體顯示裝置的視差表現(xiàn)能力,取得更好的立體顯示效果。如圖3所示,本實(shí)施例的立體圖像處理方法包括步驟101,獲取立體圖像的視差范圍;立體圖像的相關(guān)數(shù)據(jù)中可能存在立體圖像的視差信息,此時(shí)可根據(jù)該視差信息直接獲取立體圖像的視差范圍,即立體圖像的最大正視差M'和最小負(fù)視差N'。如果不存在該視差信息,可以通過(guò)比較立體圖像上每一個(gè)像素點(diǎn)的差異,計(jì)算得到立體圖像上各像素點(diǎn)的視差值,進(jìn)而確定立體圖像的最大正視差M'和最小負(fù)視差N'。像素點(diǎn)的視差計(jì)算的基本都是從兩個(gè)方面考慮一個(gè)是匹配約束,一個(gè)是平滑約束,只不過(guò)具體應(yīng)用這兩種約束的手段不同,本發(fā)明對(duì)于該視差計(jì)算的具體實(shí)現(xiàn)形式不做限制。步驟102,以整體偏移的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離減??;視差范圍的中點(diǎn)即最大正視差和最小負(fù)視差之和的一半。對(duì)于立體圖像而言, 其視差范圍的中點(diǎn)為(M’ +N’)/2,對(duì)于立體顯示裝置而言,其支持的視差范圍的中點(diǎn) (M+N)/20可以無(wú)條件地對(duì)所述立體圖像以上述整體偏移的方式進(jìn)行視差調(diào)整,但為了減小視差調(diào)整的計(jì)算量,提高為用戶提供立體顯示效果的效率,本實(shí)施例是在立體圖像的視差范圍滿足設(shè)定的第一條件時(shí)進(jìn)行,第一條件如可以是以下條件中的至少一種a)立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍,即滿足Μ’ >皿和 N’ < N中的至少一個(gè)條件。立體顯示裝置支持的視差范圍可作為參數(shù)配置在圖像處理裝置中或由圖像處理裝置讀取得到。b)立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離大于設(shè)定的閾值,該閾值與立體顯示裝置的種類有關(guān),可以根據(jù)經(jīng)驗(yàn)值設(shè)置,還可根據(jù)實(shí)際顯示效果加以調(diào)整。
13
不滿足上述第一條件時(shí),可以不需要調(diào)整,也可以按照其他方式進(jìn)行處理。本發(fā)明不加以限制。立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離 (等于中點(diǎn)之差的絕對(duì)值)減小,意味著立體圖像的視差在整體上,相對(duì)于立體顯示裝置支持的視差范圍的中點(diǎn)分布得更為均勻,不會(huì)一端超出很大而另一端沒(méi)有充分利用。像素點(diǎn)水平坐標(biāo)的偏移即是對(duì)視差的調(diào)整,本步驟對(duì)每一像素點(diǎn),確定的水平坐標(biāo)的偏移量x。ffsrt可以根據(jù)下式計(jì)算Xoffset = k! (M-M' )+k2 (N-N' )(1)其中,ki; k2分別表示正視差的權(quán)值和負(fù)視差的權(quán)值,ki+Ι^ = 1。特別地,如果要使立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)重合,可以取h = k2 =0. 5。水平坐標(biāo)的偏移可以只對(duì)左圖像或右圖像上的像素點(diǎn)進(jìn)行,也可以對(duì)左圖像和右圖像上的像素點(diǎn)同時(shí)進(jìn)行。在不同圖像上偏移時(shí)偏移方向不同,根據(jù)偏移要達(dá)到的目的 (中點(diǎn)之間的距離減少)可以很容易的確定。步驟103,根據(jù)確定的偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。本實(shí)施例中,將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X。ffsrt,也即X。ffsrt為正值時(shí),是向左偏移,如x。ffsrt*負(fù)值,是向右偏移。在另一實(shí)施例中,也可以將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移x。ffsrt,也即Xoffset為正值,是向右偏移,如x。ffsrt為負(fù)值,是向左偏移。在其他實(shí)施例中,也可以將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X。ffset2,且應(yīng)滿足x。ffsetl+x offset2 — ^offset ο vRX^ £ 圖像或右圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移的方式可以看成該方式下X0ffset2 = 0或者 XoffsetI = 0時(shí)的兩個(gè)特例。對(duì)像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移后生成的新的立體圖像的視差已發(fā)生了變化,即實(shí)現(xiàn)了對(duì)立體圖像的視差調(diào)整。應(yīng)說(shuō)明的是,步驟102 中的式 1 可變換為 X。ffset= Gc1 (M' -M)+k2(N' -N))/2, BP 與式⑴中的X。ffsrt的符號(hào)相反,則在步驟103中,是將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移Uset,或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X一這只是上述實(shí)施例的一種等同替代方式。根據(jù)人類眼睛的特點(diǎn),影響立體效果最大的兩個(gè)因素,一個(gè)匯聚點(diǎn) (convergence),另一個(gè)是左相機(jī)和右相機(jī)的間距(s印aration)。本實(shí)施例對(duì)視差做整體偏移的方式相當(dāng)于在成像時(shí)對(duì)匯聚點(diǎn)進(jìn)行前后移動(dòng)產(chǎn)生的變化,正視差的變化量與負(fù)視差的變化量是相同的。如圖如和圖4b所示,假設(shè)左圖中像素點(diǎn)A的正視差為AA’,像素點(diǎn)B的負(fù)視差為BB’,假定通過(guò)本實(shí)施例的處理得到右圖,像素點(diǎn)A的正視差變?yōu)锳A”,像素點(diǎn)B的負(fù)視差變?yōu)锽B”,各個(gè)像素點(diǎn)的偏移量A’A”和B’ B”是相同的。對(duì)應(yīng)在立體顯示效果上,就看到立體場(chǎng)景在整體的前后移動(dòng)。采用本實(shí)施例的處理方式,在立體圖像的視差范圍小于或等于立體顯示裝置的視差范圍即(M’-N’)( (M-N)的場(chǎng)景下,可以使得立體圖像的視差范圍落入立體顯示裝置的視差范圍(包括重合的情況),即M’<M,N’彡N。如果立體圖像的視差范圍大于立體顯示裝置的視差范圍,也可以避免正視差或者負(fù)視差有一方過(guò)分的超過(guò)范圍,即有均布的效果。相應(yīng)地,本實(shí)施例提供的圖像處理裝置如圖5所示,包括獲取單元11、判斷單元 12、偏移參數(shù)確定單元13和偏移單元14,其中獲取單元11,用于獲取立體圖像的視差范圍。判斷單元12,用于判斷是否滿足以整體偏移方式對(duì)立體圖像的視差進(jìn)行調(diào)整的第一條件,如滿足,激活偏移參數(shù)確定單元。第一條件見(jiàn)步驟102中的說(shuō)明。偏移參數(shù)確定單元13,用于在以整體偏移方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的偏移方向和偏移量,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離減小。具體的確定方法見(jiàn)步驟102中的說(shuō)明。偏移單元14,用于根據(jù)確定的偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。具體的偏移方式見(jiàn)步驟103中的說(shuō)明。如上文所說(shuō)的,可以不對(duì)視差調(diào)整的條件進(jìn)行判斷,因此,在另一實(shí)施例中,判斷單元12是可選的。在其他實(shí)施例中,也不排除其他的偏移方式,如根據(jù)立體圖像的視差范圍超出立體顯示設(shè)備支持的視差范圍的超出量,如為立體圖像的最大正視差超出立體顯示設(shè)備支持的最大正視差一定的超出量,則將該超出量作為立體視圖的偏移量X。ffsrt。實(shí)施例二在某些場(chǎng)景下,立體圖像的視差范圍大于立體顯示裝置支持的視差范圍,即 (M’-N’)> (M-N),此時(shí)立體顯示裝置只能對(duì)立體圖像的部分視差進(jìn)行顯示,影響了立體顯示效果,也沒(méi)有做到對(duì)立體顯示裝置的視差表現(xiàn)能力的充分利用。對(duì)于不同類型的立體顯示裝置而言,其視差特性除了支持的視差范圍外,還可有一個(gè)最佳視差范圍。立體顯示裝置的最佳視差范圍與顯示器的尺寸、種類和光學(xué)設(shè)計(jì)參數(shù)有關(guān),該最佳視差范圍可以根據(jù)經(jīng)驗(yàn)值設(shè)定,可根據(jù)實(shí)際效果進(jìn)行調(diào)整。該最佳視差范圍可作為參數(shù)配置在圖像處理裝置中或由圖像處理裝置讀取得到,也可以在得到立體顯示裝置支持的視差范圍后乘以相應(yīng)比例得到,假定立體顯示裝置的最佳視差范圍的最大正視差為 Mb,最小負(fù)視差為Nb,在一示例中,Mb,Nb可以在Mb = M/5 M,Nb = Ν/5 N的范圍內(nèi)取值, 如取為Mb = M/2,Nb = N/2,M為立體顯示裝置支持的最大正視差,N為立體顯示裝置支持的最小負(fù)視差。在另一示例中,也可以取Mb = M,Nb = N。如圖6所示,本實(shí)施例的立體圖像處理方法包括步驟201,獲取立體圖像的視差范圍;本步驟請(qǐng)參照步驟101。步驟202,按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;立體圖像上每一像素點(diǎn)的偏移量V offset可以根據(jù)下式來(lái)確定X' offset = Dh· (l-p),p = min(Mb/M' , Nb/N')其中,Dh表示該像素點(diǎn)的視差,ρ表示Mb/M'和Nb/N'中的最小值。同實(shí)施例一相同的,水平坐標(biāo)的偏移可以只對(duì)左圖像或右圖像上的像素點(diǎn)進(jìn)行,也可以對(duì)左圖像和右圖像上的像素點(diǎn)同時(shí)進(jìn)行。在不同圖像上偏移時(shí)偏移方向不同,根據(jù)偏移要達(dá)到的目的可以很容易的確定。步驟203,根據(jù)確定的偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。本實(shí)施例中,將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’。ffset,也即X’。ffset為正值時(shí),是向右偏移,如x’。ffsrt*負(fù)值,是向左偏移;在另一實(shí)施例中,也可以將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移χ’ offset,也即χ’ offset為正值時(shí),是向左偏移,如χ’ offset為負(fù)值,是向右偏移。在其他實(shí)施例中,也可以將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移x’。ffsrtl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X,。ffset2,且滿足X,。ffsetl+x,。ffset2 = V。ffset。上述只對(duì)左圖像或右圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移的方式可以看成該方式下X’ offset2 =O或者X’。ffsetl = O時(shí)的兩個(gè)特例。假定立體圖像的Mb/M' <Nb/N',以具有最大正視差的像素點(diǎn)為例,調(diào)整后的最大正視差為 D' h = Dh-Dh · (1-p) =Dh ·ρ,因?yàn)?Dh = M' ,ρ =Mb/M',則 D' h = Mb??梢?jiàn), 立體圖像的最大正視差已被調(diào)整為立體顯示裝置的最佳視差范圍的最大正視差,此時(shí)立體圖像調(diào)整后的最小負(fù)視差應(yīng)大于立體顯示裝置的最佳視差范圍的最小負(fù)視差。因此,調(diào)整后的立體圖像的視差范圍落入了設(shè)定的立體顯示裝置的最佳視差范圍。如果將該最佳視差范圍設(shè)置為立體顯示裝置支持的視差范圍,則調(diào)整后的立體圖像的視差范圍落入立體顯示裝置支持的視差范圍。Mb/M' >Nb/N'時(shí)情況類似,只是立體圖像的最小負(fù)視差被調(diào)整為立體顯示裝置的最佳視差范圍的最小負(fù)視差,不再贅述。本實(shí)施例對(duì)立體圖像的視差進(jìn)行等比例縮放的方式,對(duì)應(yīng)在立體顯示效果上就似乎左相機(jī)和右相機(jī)(或者說(shuō)人的左、右眼)的間距發(fā)生變化。調(diào)整后,可以充分利用立體顯示裝置的視差表現(xiàn)能力,顯示立體圖像所有像素點(diǎn)的視差,同時(shí)取得良好的顯示效果。相應(yīng)地,本實(shí)施例提供的圖像處理裝置如圖7所示,包括獲取單元21、偏移參數(shù)確定單元22和偏移單元23,其中獲取單元21,用于獲取立體圖像的視差范圍。偏移參數(shù)確定單元22,用于在按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍。具體的確定方式見(jiàn)步驟202中的說(shuō)明。偏移單元23,用于根據(jù)確定的偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,實(shí)現(xiàn)對(duì)立體圖像的視差調(diào)整。具體的偏移方式見(jiàn)步驟203中的說(shuō)明。本實(shí)施例按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整是無(wú)條件地。但在另一實(shí)施例中,也可以在立體圖像的視差范圍滿足設(shè)定的條件后再進(jìn)行,該條件可以是以下條件的至少一種a)p值小于設(shè)定的最小值Pmin ;b)p值大于設(shè)定的最大值Pmax ;c)立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍時(shí),也即M’>M*/ 或N’ < N,才進(jìn)行調(diào)整。上述條件a)和b)的判斷可以在計(jì)算出ρ值后進(jìn)行。條件C)的判斷可以在確定偏移量之前進(jìn)行。
16
相應(yīng)地,圖像處理裝置可以在偏移參數(shù)確定單元和偏移單元之間或者獲取單元和偏移參數(shù)確定單元之間增加一個(gè)判斷單元,用于進(jìn)行上述判斷,并在判斷要進(jìn)行視差調(diào)整時(shí)再激活偏移單元或偏移參數(shù)確定單元。實(shí)施例三按照實(shí)施例二的間距調(diào)節(jié)方式,可以將立體圖像的視差范圍調(diào)整到立體顯示裝置的最佳視差范圍之內(nèi)。但是,如果M,超過(guò)對(duì)應(yīng)的界限M很多,但是N’卻在N的范圍內(nèi)的時(shí)候,如果僅僅通過(guò)對(duì)視差的等比例縮放把M’調(diào)整到M的范圍,N’也相應(yīng)被調(diào)整了很大的量, N’雖然還在N的范圍內(nèi),但是卻被約束的很小,不能發(fā)揮最佳的立體顯示效果。因此,本實(shí)施例中把實(shí)施例一的匯聚點(diǎn)調(diào)整方式和實(shí)施例二的間距調(diào)整方式統(tǒng)一在一起,以獲得更好的顯示效果。如圖8所示,本實(shí)施例的立體圖像處理方法包括步驟301,獲取立體圖像的視差范圍;本步驟請(qǐng)參照步驟101。步驟302,判斷立體圖像是否滿足以整體偏移方式對(duì)立體圖像的視差進(jìn)行調(diào)整的第一條件,如果是,執(zhí)行步驟303 ;否則,執(zhí)行步驟305 ;上述第一條件可以與第一實(shí)施例步驟102中的第一條件相同。步驟303,按整體偏移的方式對(duì)立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第一偏移量和第一偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離減?。槐静襟E請(qǐng)參見(jiàn)實(shí)施例一的步驟102。步驟304,根據(jù)確定的第一偏移量和第一偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,將各像素點(diǎn)的水平坐標(biāo)更新為偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新立體圖像的視差范圍;步驟305,按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;此處,按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整可以是無(wú)條件的,也可以是有條件的,所述條件可以與實(shí)施例二中條件相同或?yàn)槠渲械囊徊糠?。第二偏移量和第二偏移方向的確定請(qǐng)參見(jiàn)實(shí)施例二的步驟202。步驟306,根據(jù)確定的第二偏移量和第二偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,實(shí)現(xiàn)對(duì)立體圖像的視差調(diào)整。本步驟請(qǐng)參見(jiàn)實(shí)施例二的步驟203。本實(shí)施例對(duì)視差調(diào)整的方式是同時(shí)對(duì)視差進(jìn)行整體偏移和等比例縮放,相當(dāng)于同時(shí)調(diào)節(jié)匯聚點(diǎn)和左、右相機(jī)的間距。先按照整體偏移方式進(jìn)行視差調(diào)整,使得立體圖像的視差范圍相對(duì)立體顯示裝置支持的視差范圍較為均布,然后再用等比例縮放方式進(jìn)行視差調(diào)整,將立體圖像的視差范圍調(diào)整到立體顯示裝置支持的最佳視差范圍,同時(shí)兼顧了正、負(fù)視差的表現(xiàn)。因此可以取得更好的顯示效果。相應(yīng)地,本實(shí)施例提供的圖像處理裝置如圖9所示,包括獲取單元31、第一判斷單元32、第一偏移參數(shù)確定單元33、第一偏移單元34、更新單元35、第二偏移參數(shù)確定單元36和第二偏移單元37,其中獲取單元31,用于獲取立體圖像的視差范圍。第一判斷單元32,用于判斷是否滿足以整體偏移方式對(duì)立體圖像的視差進(jìn)行調(diào)整的第一條件,如滿足,激活第一偏移參數(shù)確定單元,否則,激活第二偏移參數(shù)確定單元。第一條件可見(jiàn)實(shí)施例一的說(shuō)明。第一偏移參數(shù)確定單元33,用于按整體偏移的方式對(duì)立體圖像的視差進(jìn)行調(diào)整, 確定各像素點(diǎn)的水平坐標(biāo)的偏移方向和偏移量,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離減小。具體的確定方法見(jiàn)實(shí)施例一中的說(shuō)明。第一偏移單元34,用于根據(jù)確定的第一偏移量和第一偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。具體偏移方法可見(jiàn)實(shí)施例一的說(shuō)明。更新單元35,用于將所述立體圖像上各像素點(diǎn)的水平坐標(biāo)更新為第一偏移單元偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新立體圖像的視差范圍,然后激活第二偏移參數(shù)確定單元。第二偏移參數(shù)確定單元36,用于按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍。具體確定方法可見(jiàn)實(shí)施例二的說(shuō)明。第二偏移單元37,用于根據(jù)確定的第二偏移量和第二偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。如上文所述,在其他實(shí)施例中,按整體偏移的方式對(duì)立體圖像的視差進(jìn)行調(diào)整可以是無(wú)條件的,相應(yīng)的,可以取消第一判斷單元。而按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整可以是有條件的,相應(yīng)的,可以在第二偏移單元或第二偏移單元之間增加第二判斷單元,具體可參照實(shí)施例二中關(guān)于增加判斷單元的說(shuō)明。此外,本實(shí)施例在步驟302判斷立體圖像不滿足以整體偏移方式對(duì)立體圖像的視差進(jìn)行調(diào)整的第一條件時(shí),也可以不再進(jìn)行視差調(diào)整,從而得到另一實(shí)施例。圖10所示是基于本實(shí)施例的一個(gè)應(yīng)用示例,立體圖像處理方法包括步驟401,獲取M'和N';步驟402,計(jì)算 a = M-M',b = N-N';步驟403,判斷是否a < 0或b > 0,如果是,執(zhí)行步驟404,如果否,執(zhí)行步驟407 ;本步驟即判斷立體圖像的視差范圍是否超出立體顯示裝置支持的視差范圍。步驟404,計(jì)算 c = (a+b) /2 ;該偏移量相于當(dāng)使立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)重合所需的偏移量。步驟405,令左圖像各像素點(diǎn)的水平坐標(biāo)等于原水平坐標(biāo)加-C (即向左移動(dòng)c);或者,令右圖像各像素點(diǎn)的水平坐標(biāo)等于原水平坐標(biāo)加c(即向右移動(dòng)c);步驟406,計(jì)算 e = M/(M' +c), f = N/(N' +c),轉(zhuǎn)入步驟 408;本步驟是用新的視差范圍計(jì)算參數(shù)e,f ;步驟407,計(jì)算 e = M/M',f = N/N';本步驟是用未調(diào)整過(guò)的視差范圍計(jì)算參數(shù)e,f ;步驟408,計(jì)算 g = min (e, f);
參數(shù)g與實(shí)施例二中的參數(shù)ρ相關(guān),只是此處是求比值M/M’,N/N’中的最小值,而 P是求比值Mb/M’,Nb/N’中的最小值。步驟409,將左圖像各像素點(diǎn)的水平坐標(biāo)向右偏移Dh_Dh*g/2(或者將右圖像各像素點(diǎn)的水平坐標(biāo)向左偏移Dh*g/2-Dh,其中Dh為任一像素點(diǎn)的當(dāng)前視差。上述計(jì)算雖然形式上與實(shí)施例三的上述流程的描述有些差異,但是實(shí)質(zhì)上是相同的,相當(dāng)于取Mb = M/2,Nb = N/2的情況??梢粤私?,如果只執(zhí)行上述步驟中的步驟401 405,即為實(shí)施例一的一個(gè)應(yīng)用示例。如果只執(zhí)行上述步驟中的步驟401,407 409,即為實(shí)施例二的一個(gè)應(yīng)用示例。以上各個(gè)實(shí)施例中,所述立體圖像處理方法可以是對(duì)視頻內(nèi)容中每一幀立體圖像的處理方法,所述獲取立體圖像的視差范圍是獲取每一幀立體圖像的最大正視差和最小負(fù)視差,作為該幀立體圖像的視差范圍。相應(yīng)地,上述各個(gè)實(shí)施例中的立體圖像處理裝置中, 獲取單元獲取立體圖像的視差范圍,是獲取每一幀立體圖像的最大正視差和最小負(fù)視差, 作為該幀立體圖像的視差范圍;其他單元是對(duì)該幀立體圖像進(jìn)行處理?;蛘?,所述立體圖像處理方法是對(duì)視頻內(nèi)容包含的一組立體圖像的處理方法,所述獲取立體圖像的視差范圍是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值,作為該組立體圖像的視差范圍;所述根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,是按相同方式對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行偏移處理。此時(shí),實(shí)施例一達(dá)到的使立體圖像的視差范圍均布的效果應(yīng)理解為該組立體圖像在整體上有均布的效果。相應(yīng)地,上述各個(gè)實(shí)施例中的立體圖像處理裝置中,所述獲取單元獲取立體圖像的視差范圍,是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值, 作為該組立體圖像的視差范圍;其他單元是對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行相同的處理。以上各實(shí)施例的立體圖像處理裝置可以應(yīng)用于包含立體顯示裝置的終端設(shè)備中, 如手機(jī)、電腦、PDA等。也可以應(yīng)用單獨(dú)的設(shè)備,用于對(duì)視頻內(nèi)容處理后,作為具有相應(yīng)立體顯示裝置的終端設(shè)備的片源。上述立體圖像處理方法可以由圖像處理裝置自動(dòng)完成也可以通過(guò)人機(jī)交互來(lái)觸發(fā)執(zhí)行。另外,為了增加靈活性,可以由用戶通過(guò)用戶控制器向圖像處理設(shè)備配置用于確定立體圖像上各像素點(diǎn)的水平坐標(biāo)偏移量的數(shù)值,如上述實(shí)施例中的X。ffsrt、P、X’ offset等值中的一個(gè)或多個(gè)。這樣圖像處理裝置不需要按照上述實(shí)施例中的公式計(jì)算。為了防止用戶無(wú)經(jīng)驗(yàn)地調(diào)整導(dǎo)致立體圖像最終無(wú)法正常顯示,可以在設(shè)置立體圖像的視差范圍超出立體顯示裝置的視差范圍時(shí)才提示用戶配置參數(shù)。本領(lǐng)域普通技術(shù)人員可以理解上述方法中的全部或部分步驟可通過(guò)程序來(lái)指令相關(guān)硬件完成,所述程序可以存儲(chǔ)于計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中,如只讀存儲(chǔ)器、磁盤或光盤等。可選地,上述實(shí)施例的全部或部分步驟也可以使用一個(gè)或多個(gè)集成電路來(lái)實(shí)現(xiàn),相應(yīng)地,上述實(shí)施例中的各裝置/模塊/單元可以采用硬件的形式實(shí)現(xiàn),也可以采用軟件功能模塊的形式實(shí)現(xiàn)。本發(fā)明不限制于任何特定形式的硬件和軟件的結(jié)合。以上所述僅為本發(fā)明的優(yōu)選實(shí)施例而已,并不用于限制本發(fā)明,對(duì)于本領(lǐng)域的技術(shù)人員來(lái)說(shuō),本發(fā)明可以有各種更改和變化。凡在本發(fā)明的精神和原則之內(nèi),所作的任何修
19改、等同替換、改進(jìn)等,均應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1.一種立體圖像處理方法,包括 獲取立體圖像的視差范圍;對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向;根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
2.如權(quán)利要求1所述的立體圖像處理方法,其特征在于對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,包括以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整時(shí),確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的第一偏移量和第一偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)間的距離減?。凰龈鶕?jù)確定的偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移, 包括根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
3.如權(quán)利要求2所述的立體圖像處理方法,其特征在于所述以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,是無(wú)條件地進(jìn)行的;或者,是在所述立體圖像的視差范圍滿足設(shè)定的第一條件進(jìn)行; 其中,所述第一條件包括以下條件中的至少一種a)所述立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍;b)所述立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離大于設(shè)定的閾值。
4.如權(quán)利要求2或3所述的立體圖像處理方法,其特征在于 所述第一偏移量X。ffsrt根據(jù)下式計(jì)算Xoffset = MM-M' )+k2(N-N')其中,M為立體顯示裝置支持的最大正視差,N為立體顯示裝置支持的最小負(fù)視差,M, 為立體圖像的最大正視差,N’為立體圖像的最小負(fù)視差,ki; k2分別表示正視差的權(quán)值和負(fù)視差的權(quán)值,ki; k2相等或不等,1^+1 = 1。
5.如權(quán)利要求4所述的立體圖像處理方法,其特征在于所述根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,方式如下將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移Xoffset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移 X0ffset2'且 Xoffsetl+Xoffset2 = X。ffSet °
6.如權(quán)利要求3所述的立體圖像處理方法,其特征在于所述以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,是在所述立體圖像的視差范圍滿足設(shè)定的第一條件時(shí)進(jìn)行,如所述立體圖像的視差范圍不滿足設(shè)定的第一條件,執(zhí)行以下步驟按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
7.如權(quán)利要求2所述的立體圖像處理方法,其特征在于所述根據(jù)確定的第一偏移量和第一偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移之后,還包括將所述立體圖像上各像素點(diǎn)的水平坐標(biāo)更新為偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新所述立體圖像的視差范圍;按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
8.如權(quán)利要求1所述的立體圖像處理方法,其特征在于對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向,包括按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;所述根據(jù)確定的偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移, 包括根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
9.如權(quán)利要求6或7或8所述的立體圖像處理方法,其特征在于所述確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量時(shí),每一像素點(diǎn)的水平坐標(biāo)的第二偏移量 X’。ffset根據(jù)下式確定X' offset = Dh' (1-P),P =min(Mb/M',Nb/N')其中,Dh表示該像素點(diǎn)的視差,Mb, Nb分別為立體顯示裝置的最佳視差范圍的最大正視差和最小負(fù)視差,M/5彡Mb彡M,N/5彡Nb彡N,M’和N’分別為立體圖像的最大正視差和最小負(fù)視差,M和N分別為立體顯示裝置支持的最大正視差和最小負(fù)視差,ρ表示Mb/M'和 Nb/N'中的最小值。
10.如權(quán)利要求9所述的立體圖像處理方法,其特征在于所述按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整,是無(wú)條件地進(jìn)行,或者,是在所述立體圖像的視差范圍滿足設(shè)定的條件時(shí)進(jìn)行,其中,所述條件包括以下條件中的至少一種a)ρ值小于設(shè)定的最小值Pmin ;b)ρ值大于設(shè)定的最大值Pmax ;c)立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍。
11.如權(quán)利要求9所述的立體圖像處理方法,其特征在于所述根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,采用以下方式將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’ offset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X’ offset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移x’。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐fe^ilii^ X' 0ffset2' ^ X' offsetl+X ‘ offset2 = offset。
12.如權(quán)利要求1所述的立體圖像處理方法,其特征在于所述立體圖像處理方法是對(duì)視頻內(nèi)容中每一幀立體圖像的處理方法,所述獲取立體圖像的視差范圍是獲取每一幀立體圖像的最大正視差和最小負(fù)視差,作為該幀立體圖像的視差范圍;或者所述立體圖像處理方法是對(duì)視頻內(nèi)容包含的一組立體圖像的處理方法,所述獲取立體圖像的視差范圍是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值,作為該組立體圖像的視差范圍;所述根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,是按相同方式對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行偏移處理。
13.一種圖像處理裝置,其特征在于,包括 獲取單元,用于獲取立體圖像的視差范圍;偏移參數(shù)確定單元,用于對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向;偏移單元,用于根據(jù)確定的所述偏移量和偏移方向?qū)αⅢw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
14.如權(quán)利要求13所述的圖像處理裝置,其特征在于所述偏移參數(shù)確定單元包括第一偏移參數(shù)確定單元,用于在以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整時(shí),確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的第一偏移量和第一偏移方向,使得立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)間的距離減小;所述偏移單元包括第一偏移單元,用于根據(jù)確定的第一偏移量和第一偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
15.如權(quán)利要求13所述的圖像處理裝置,其特征在于第一偏移參數(shù)確定單元無(wú)條件地以整體偏移的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整;或者所述圖像處理裝置還包括第一判斷單元,用于判斷所述立體圖像的視差范圍是否滿足設(shè)定的第一條件,如滿足,再激活所述第一偏移參數(shù)確定單元;其中,所述第一條件包括以下條件中的至少一種a)所述立體圖像的視差范圍超出了立體顯示裝置支持的視差范圍;b)所述立體圖像的視差范圍的中點(diǎn)與立體顯示裝置支持的視差范圍的中點(diǎn)之間的距離大于設(shè)定的閾值。
16.如權(quán)利要求14所述的立體圖像處理裝置,其特征在于 所述第一偏移參數(shù)確定單元根據(jù)下式計(jì)算第一偏移量Xoffset Xoffset = MM-M' )+k2(N-N')其中,M為立體顯示裝置支持的最大正視差,N為立體顯示裝置支持的最小負(fù)視差,M, 為立體圖像的最大正視差,N’為立體圖像的最小負(fù)視差,ki; k2分別表示正視差的權(quán)值和負(fù)視差的權(quán)值,ki; k2相等或不等,Vk2 = 1 ;所述第一偏移單元根據(jù)確定的第一偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移時(shí),方式如下將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移Xoffset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移Xoffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移 X0ffset2'且 Xoffsetl+Xoffset2 = X。ffSet °
17.如權(quán)利要求15所述的立體圖像處理裝置,其特征在于 還包括與所述第一偏移單元連接的更新單元,用于將所述立體圖像上各像素點(diǎn)的水平坐標(biāo)更新為第一偏移單元偏移后的水平坐標(biāo),并根據(jù)偏移后各像素點(diǎn)的視差更新所述立體圖像的視差范圍,然后激活第二偏移參數(shù)確定單元;與所述更新單元連接的第二偏移參數(shù)確定單元,用于按等比例縮放的方式對(duì)所述立體圖像的視差進(jìn)行調(diào)整,確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的所述立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;以及與所述第二偏移參數(shù)確定單元連接的第二偏移單元,用于根據(jù)所述第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
18.如權(quán)利要求13所述的立體圖像處理裝置,其特征在于所述偏移參數(shù)確定單元包括第二偏移參數(shù)確定單元,用于在按等比例縮放的方式對(duì)立體圖像的視差進(jìn)行調(diào)整時(shí),確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量和第二偏移方向,使得調(diào)整后的立體圖像的視差范圍落入設(shè)定的立體顯示裝置的最佳視差范圍;所述偏移單元包括第二偏移單元,用于根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。
19.如權(quán)利要求18所述的立體圖像處理裝置,其特征在于所述第二偏移參數(shù)確定單元確定各像素點(diǎn)的水平坐標(biāo)的第二偏移量時(shí),每一像素點(diǎn)的水平坐標(biāo)的第二偏移量X’ offset根據(jù)下式確定X' offset = Dh- (l-p),p =min(Mb/M',Nb/N')其中,Dh表示該像素點(diǎn)的視差,Mb, Nb分別為立體顯示裝置的最佳視差范圍的最大正視差和最小負(fù)視差,M/5彡Mb彡M,N/5彡Nb彡N,M’和N’分別為立體圖像的最大正視差和最小負(fù)視差,M和N分別為立體顯示裝置支持的最大正視差和最小負(fù)視差,ρ表示Mb/M'和 Nb/N'中的最小值;所述第二偏移單元根據(jù)確定的第二偏移量和第二偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移,采用以下方式將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移X’ offset ;或者將右圖像上各像素點(diǎn)的水平坐標(biāo)向左偏移X’ offset ;或者將左圖像上各像素點(diǎn)的水平坐標(biāo)向右偏移x’。ffsetl,同時(shí)將右圖像上各像素點(diǎn)的水平坐fe^ilii^ X' 0ffset2' ^ X' offsetl+X ‘ offset2 = offset。
20.如權(quán)利要求13 19任一所述的立體圖像處理裝置,其特征在于所述獲取單元獲取立體圖像的視差范圍,是獲取每一幀立體圖像的最大正視差和最小負(fù)視差,作為該幀立體圖像的視差范圍;其他單元是對(duì)該幀立體圖像進(jìn)行處理;或者所述獲取單元獲取立體圖像的視差范圍,是確定該組中各立體圖像的最大正視差的均值或最大值,以及各立體圖像的最小負(fù)視差的均值或最小值,作為該組立體圖像的視差范圍;其他單元是對(duì)該組立體圖像中的每一幀立體圖像進(jìn)行相同的處理。
21.—種終端設(shè)備,包括立體顯示裝置,其特征在于,還包括如權(quán)利要求13 20中任一權(quán)利要求所述的圖像處理裝置。
全文摘要
一種立體圖像處理方法、圖像處理裝置和相應(yīng)的終端設(shè)備,該處理方法包括獲取立體圖像的視差范圍;對(duì)所述立體圖像進(jìn)行視差調(diào)整時(shí),根據(jù)所述立體圖像的視差范圍和立體顯示裝置的視差特性,確定所述立體圖像上各像素點(diǎn)的水平坐標(biāo)的偏移量和偏移方向;根據(jù)確定的所述偏移量和偏移方向?qū)λ隽Ⅲw圖像上各像素點(diǎn)的水平坐標(biāo)進(jìn)行偏移。該圖像處理裝置包括獲取單元,偏移參數(shù)確定單元和偏移單元,用于完成上述功能。本發(fā)明基于立體顯示裝置的視差表現(xiàn)能力,對(duì)要顯示的立體圖像進(jìn)行動(dòng)態(tài)視差調(diào)整,從而讓立體圖像在該立體顯示裝置上顯示時(shí),總是充分利用該立體顯示裝置的視差表現(xiàn)能力,提供給用戶盡可能好的立體效果。
文檔編號(hào)H04N13/00GK102427542SQ20111030187
公開(kāi)日2012年4月25日 申請(qǐng)日期2011年9月28日 優(yōu)先權(quán)日2011年9月28日
發(fā)明者宋磊 申請(qǐng)人:深圳超多維光電子有限公司