專利名稱：三維影像接合處的色彩處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種三維影像接合處的色彩處理方法，應(yīng)用于三維(3D)彩色影像的接合，特別是一種獨(dú)立亮度來(lái)校正，達(dá)到無(wú)接縫的色彩處理方法，同時(shí)能保留影像的原始色彩，并且不會(huì)破壞其原有的紋理。
背景技術(shù)：
制作立體影像時(shí)，二張或多張影像在接合時(shí)因光源效應(yīng)而產(chǎn)生明顯的接縫，尤其是彩色影像更為明顯。人們不希望破壞影像上的細(xì)紋及原始色彩，加上顯示坐標(biāo)定義不同，因此無(wú)法用一般的平面影像處理方式來(lái)解決接縫處的色彩差異問(wèn)題。
為了解決影像接合的種種問(wèn)題，前案提出了相當(dāng)多不同的作法，如論文Color Correction for an image Sequence(Binh Pham，Glen Pringle，1995 IEEE)所闡述的，在重疊的區(qū)域內(nèi)選擇一些較具代表性的顏色來(lái)求取校正矩陣，使其顏色一致，除了僅能適用于兩個(gè)影像重合外，更具有下列缺點(diǎn)●所選取的代表顏色將影響校正結(jié)果，選擇的方法無(wú)法有效的廣泛運(yùn)用。
●當(dāng)兩區(qū)域顏色差異較大時(shí)，效果會(huì)較差。
●因強(qiáng)迫使兩區(qū)域顏色一致，則將損失整體影像的真實(shí)色彩。
●對(duì)不同影像皆須取不同的參考色，無(wú)法適用于所有影像，有效去除不連續(xù)性問(wèn)題。
另外Computing Consistent Normals and Colors from PhotometricData(H.Rushmeier and F.Bernardini)是利用以五個(gè)光源分別置于不同位置，物體的每一角度均需對(duì)每一盞燈取一次影像，而由五張影像以不同權(quán)重合成一張影像，用以處理光源不均勻問(wèn)題，再與其它同樣處理過(guò)者接合，接合處再利用周圍平均(neighborhood average)方式處理，所謂周圍平均法乃是直接平均重疊部分的RGB色彩來(lái)校正，其缺點(diǎn)在于●接合處仍以周圍平均(neighborhood average)方式處理，會(huì)有不連續(xù)處的現(xiàn)象，且容易失去細(xì)部的影像紋理(texture)。
●需局限硬件的架設(shè)，且需較多成本。
●每攝取一次三維(3D)影像，都需要對(duì)每一角度重復(fù)取像，相當(dāng)花費(fèi)時(shí)間。
●仍須搭配軟件修正，且直接將色彩以周圍平均(neighborhoodaverage)處理，容易使影像模糊，失去真實(shí)性。
另外除了周圍平均法的外，還有一些處理影像邊界接合的方法，例如邊界平滑法(edge smoothing)等，均會(huì)使邊界處的影像變得模糊，失去細(xì)部的紋理，不適用于多張影像或是3D影像的接合。而如美國(guó)公告第6,271,847號(hào)專利，其利用特殊的視角、位置取像，再配合相對(duì)應(yīng)的運(yùn)算方式整合影像，盡管相較于先前技術(shù)能夠相當(dāng)快速以及節(jié)省成本，且能保有細(xì)部紋理，但是對(duì)于RGB色度空間內(nèi)處理影像，容易造成影像顏色的失真。

發(fā)明內(nèi)容
針對(duì)上述問(wèn)題，本發(fā)明的目的在于提出一種三維影像接合處的色彩處理方法，可去除兩張或多張彩色影像整合時(shí)，因光源不均勻造成接合處亮度差異而產(chǎn)生的不連續(xù)現(xiàn)象，并保留原有的色彩及紋理。
本發(fā)明有鑒于已知技術(shù)的缺點(diǎn)，本發(fā)明的特征在于，為了保留影像原有的色彩及細(xì)部紋理，故將亮度單獨(dú)抽離，藉由亮度來(lái)校正、處理并接合影像，而能在保有原有色彩及細(xì)部紋理的狀況下，消除復(fù)數(shù)張影像接合時(shí)因光源不均勻造成接合處亮度差異而產(chǎn)生的不連續(xù)現(xiàn)象，達(dá)到三維(3D)彩色影像無(wú)接縫的接合效果。
除此的外，本發(fā)明并采用兩階段的校正處理方式，首先校正欲處理影像整體的亮度差，接著再處理邊界接合重疊處，其主要步驟流程包含有(a)提供復(fù)數(shù)張影像；(b)計(jì)算復(fù)數(shù)張影像的亮度差，并藉由亮度差分別校正復(fù)數(shù)張影像；(c)擷取復(fù)數(shù)張影像的接合處的影像；(d)校正重疊處的影像的亮度，且使接合處的影像的邊緣及接縫的亮度與相鄰的影像的亮度相同；以及(e)重新接合復(fù)數(shù)張影像的重疊處與復(fù)數(shù)張影像。


圖1為本發(fā)明的步驟流程示意圖；圖2A～2C為本發(fā)明校正整體影像亮度的示意圖；圖3為本發(fā)明校正整體影像亮度的步驟流程示意圖；圖4為本發(fā)明獨(dú)立擷取影像亮度的步驟流程示意圖；圖5為本發(fā)明網(wǎng)格區(qū)域的示意圖；圖6為本發(fā)明邊界校正的示意圖；圖7為本發(fā)明校正重疊區(qū)域亮度的步驟流程示意圖；圖8為本發(fā)明區(qū)分較小處理區(qū)域的示意圖；以及圖9為本發(fā)明獨(dú)立擷取重疊區(qū)域影像亮度的步驟流程示意圖；圖10為本發(fā)明處理前和處理后效果對(duì)比示意圖；圖11為本發(fā)明處理前和處理后效果對(duì)比示意圖。
圖中符號(hào)說(shuō)明A、B、C 處理區(qū)域D 處理范圍P1、P2、P3頂點(diǎn)坐標(biāo)具體實(shí)施方式
本發(fā)明所揭示為一種三維影像接合處的色彩處理方法，請(qǐng)參閱圖1，用以結(jié)合復(fù)數(shù)張三維(three dimensions；3D)影像時(shí)，處理其接合處亮度及色彩的不連續(xù)性，首先提供復(fù)數(shù)張影像(步驟101)，接著計(jì)算復(fù)數(shù)張影像的亮度差，并藉由亮度差分別校正復(fù)數(shù)張影像(步驟102)，接著擷取復(fù)數(shù)張影像的接合處的影像(步驟103)，并校正重疊處的影像的亮度，且使接合處的影像的邊緣及接縫的亮度與相鄰的影像的亮度相同(步驟104)，最后重新接合復(fù)數(shù)張影像的重疊處與復(fù)數(shù)張影像(步驟105)，藉由此兩段式的校正處理方式，首先校正欲處理影像整體的亮度差，接著再處理邊界接合重疊處。
其中關(guān)于整體影像校正亮度(步驟102)的部分，首先請(qǐng)參閱圖2A，示意兩接合影像之間的亮度曲線，接合處會(huì)有一定量的亮度差，理想上，必須將兩者調(diào)整至亮度連續(xù)性的狀態(tài)(見(jiàn)圖2B)，才能使得影像接合最佳化，而步驟102中，藉由整體影像亮度的校正，來(lái)降低后續(xù)邊界亮度修正值。而亮度校正的方式，請(qǐng)參閱圖3，首先擷取重疊處的影像的亮度(步驟301)，并計(jì)算各重疊影像亮度的平均值(步驟302)，再藉由計(jì)算亮度平均值的差異量(步驟303)，來(lái)依序補(bǔ)償校正各影像的亮度(步驟304)。而取得影像的亮度的方式，可利用轉(zhuǎn)換至另一不同的色彩空間，其步驟流程如圖4所示，首先取得重疊處的影像的網(wǎng)格(步驟401)，接著計(jì)算對(duì)應(yīng)的位置及色彩資料(步驟402)，然后轉(zhuǎn)換至一可將亮度獨(dú)立出來(lái)的色彩空間坐標(biāo)(步驟403)，其中色彩空間坐標(biāo)可為CIELAB、CIELUV、YCrCb等可將亮度自色彩獨(dú)立出來(lái)的色彩空間坐標(biāo)，最后即可取得重疊處影像的亮度(步驟404)。
關(guān)于網(wǎng)格的部分，請(qǐng)參閱圖5，藉由網(wǎng)格的頂點(diǎn)坐標(biāo)P1、P2、P3，求算出對(duì)應(yīng)于復(fù)數(shù)張影像的位置坐標(biāo)，再藉由頂點(diǎn)坐標(biāo)P1、P2、P3畫(huà)出在影像上的一網(wǎng)格區(qū)域，并計(jì)算于網(wǎng)格區(qū)域內(nèi)的所有點(diǎn)的位置(圖中三角形所圈繞的區(qū)域內(nèi)的點(diǎn))，即可取出其色彩資料。而計(jì)算求得的平均亮度差異，如為兩影像，則為兩影像的平均亮度的差值，再將每一影像減去或加上此一平均亮度差異的二分的一，則可得到初步的整體影像亮度校正(見(jiàn)圖2C)。如果三張以上的影像的處理，同樣可每次輸入二張影像，處理接合后為一張影像后再與第三張影像做處理，依此類推。
接著進(jìn)行第二部分的邊界校正，主要將修正邊界的亮度差異，如圖7所示，首先將初步整體影像亮度校正后的重疊處分割為復(fù)數(shù)個(gè)較小的處理區(qū)域(步驟701)，分割的目的是為了提高影像處理的效果，至于分割的數(shù)量或是分不分割，則可根據(jù)實(shí)際上的需求而定，然后擷取處理區(qū)域中各點(diǎn)亮度值，并計(jì)算其平均亮度(步驟702)，然后計(jì)算處理區(qū)域中各點(diǎn)(像素)的校正參數(shù)(步驟703)，最后再藉由校正參數(shù)及平均亮度校正相對(duì)應(yīng)的影像的亮度，使接合處的影像的邊緣及接縫的亮度與相鄰的影像的亮度相同(步驟704)。其中，亮度值的取法可同于取網(wǎng)格的方式，如圖9所示，取得處理區(qū)域的影像的網(wǎng)格的頂點(diǎn)坐標(biāo)(步驟901)，并求算出對(duì)應(yīng)于處理區(qū)域的位置坐標(biāo)(步驟902)；藉由頂點(diǎn)坐標(biāo)畫(huà)出在處理區(qū)域上的一網(wǎng)格區(qū)域(步驟903)，計(jì)算于網(wǎng)格區(qū)域內(nèi)的所有點(diǎn)的位置(步驟904)，取出處理區(qū)域的色彩資料(步驟905)，轉(zhuǎn)換色彩資料至一可將亮度自色彩信息獨(dú)立出來(lái)的色彩空間坐標(biāo)(步驟906)以及取得處理區(qū)域的影像的亮度(步驟907)。此方法與前述雷同，故不再累述。
而其中求取校正參數(shù)的部分，如下所述，校正參數(shù)可為(1-(d(x，y)/D))W，其中D為處理范圍(見(jiàn)圖6)，d(x，y)為此處理像素與該接合處的距離，及W＝c1σm-1+c2σm+c3σm+1，其中σm-1，σm，σm+1為該處理區(qū)域與相鄰處理區(qū)域的平均亮度(見(jiàn)圖8，可分別相對(duì)應(yīng)于處理區(qū)域A、B、C)，而c1，c2，c3為其相對(duì)的位置參數(shù)，也就是距離相鄰處理區(qū)域或邊界越近者，修正越少。最后將第一次校正后的亮度再減去此校正參數(shù)即可得到最終的亮度值，因?yàn)?，根?jù)處理區(qū)域與其相鄰區(qū)域的位置距離、亮度來(lái)求得，所以校正后，兩處理區(qū)域間或是與非重疊區(qū)域之間不會(huì)有亮度的落差，同時(shí)，獨(dú)立亮度修正，而可保有原先影像的色彩以及細(xì)部紋理。如圖10所示，為根據(jù)本發(fā)明的方法而處理兩張3D影像接合的處理前、后比較示意圖，可以清楚的看出處理的效果，而如圖11所示，多張3D影像的接合也是相同的處理方式。另外本發(fā)明更具有下列優(yōu)點(diǎn)
●在不同的色彩空間坐標(biāo)下，僅對(duì)亮度做修正不改變影像原本色彩。
●先校正二張影像的總亮度，減少接合處的亮度差異，減少校正疊合處時(shí)的失真。
●以疊合處的亮度差配合轉(zhuǎn)換函式校正重疊處附近的影像可避免模糊影像，且可有效去除不連續(xù)問(wèn)題。
●程序自動(dòng)執(zhí)行，方便簡(jiǎn)捷并適用所有影像。
另一方面，盡管上述說(shuō)明僅針對(duì)三維圖像3D來(lái)說(shuō)明，但對(duì)于二維圖像(2D)或是其它維度的影像也可相同的應(yīng)用。
以上所述者，僅為本發(fā)明其中的較佳實(shí)施例而已，并非用來(lái)限定本發(fā)明的實(shí)施范圍；即凡依本發(fā)明申請(qǐng)專利范圍所作的均等變化與修飾，皆為本發(fā)明專利范圍所涵蓋。
權(quán)利要求
1.一種三維影像接合處的色彩處理方法，用以結(jié)合復(fù)數(shù)張三維(three dimensions；3D)影像時(shí)，處理其接合處亮度及色彩的不連續(xù)性，其特征在于，該方法包含有下列步驟(a)提供復(fù)數(shù)張影像；(b)計(jì)算該復(fù)數(shù)張影像的亮度差，并藉由該亮度差分別校正該復(fù)數(shù)張影像；(c)擷取該復(fù)數(shù)張影像的接合處的影像；(d)校正該重疊處的影像的亮度，且使該接合處的影像的邊緣及接縫的亮度與相鄰的影像的亮度相同；以及(e)重新接合該復(fù)數(shù)張影像的重疊處與該復(fù)數(shù)張影像。
2.如權(quán)利要求1所述的三維影像接合處的色彩處理方法，其特征在于，該步驟(b)利用色彩空間坐標(biāo)轉(zhuǎn)換而將該影像的亮度獨(dú)立處理。
3.如權(quán)利要求2所述的三維影像接合處的色彩處理方法，其特征在于，該色彩空間坐標(biāo)可為CIELAB、CIELUV、YCrCb等可將亮度自色彩獨(dú)立出來(lái)的色彩空間坐標(biāo)。
4.如權(quán)利要求1所述的三維影像接合處的色彩處理方法，其特征在于，該步驟(b)更包含下列步驟i.擷取該重疊處的影像的亮度；ii.計(jì)算各該重疊處的影像的平均亮度；iii.計(jì)算該平均亮度的差異量；以及iv.藉由該平均亮度的差異量依序?qū)υ搹?fù)數(shù)張影像校正。
5.如權(quán)利要求4所述的三維影像接合處的色彩處理方法，其特征在于，該步驟i擷取重疊處的影像的亮度步驟包含有下列步驟取得該重疊處的影像的網(wǎng)格；計(jì)算其對(duì)應(yīng)的位置及色彩資料；轉(zhuǎn)換該色彩資料至一可將亮度自色彩信息獨(dú)立出來(lái)的色彩空間坐標(biāo)；以及取得每一該重疊處的影像的亮度。
6.如權(quán)利要求5所述的三維影像接合處的色彩處理方法，其特征在于，該計(jì)算其對(duì)應(yīng)的位置及色彩資料的步驟，包括有藉由該網(wǎng)格的頂點(diǎn)坐標(biāo)，求算出對(duì)應(yīng)于該復(fù)數(shù)張影像的位置坐標(biāo)，再藉由該頂點(diǎn)坐標(biāo)畫(huà)出在該影像上的一網(wǎng)格區(qū)域，并計(jì)算于該網(wǎng)格區(qū)域內(nèi)的所有點(diǎn)的位置，即可取出該色彩資料。
7.如權(quán)利要求1所述的三維影像接合處的色彩處理方法，其特征在于，該步驟(d)包含有下列步驟I.將該影像重疊處分割為復(fù)數(shù)個(gè)較小的處理區(qū)域；II.擷取該處理區(qū)域中各點(diǎn)的亮度值，并計(jì)算其平均亮度；III.計(jì)算該處理區(qū)域中各點(diǎn)的校正參數(shù)；以及IV.藉由該校正參數(shù)及該平均亮度校正相對(duì)應(yīng)的影像的亮度，使該接合處的影像的邊緣及接縫的亮度與相鄰的影像的亮度相同。
8.如權(quán)利要求7所述的三維影像接合處的色彩處理方法，其特征在于，該步驟擷取該處理區(qū)域中各點(diǎn)的亮度值的部分系包含有下列步驟取得該處理區(qū)域的影像的網(wǎng)格的頂點(diǎn)坐標(biāo)；求算出對(duì)應(yīng)于該處理區(qū)域的位置坐標(biāo)；藉由該頂點(diǎn)坐標(biāo)畫(huà)出在該處理區(qū)域上的一網(wǎng)格區(qū)域；計(jì)算于該網(wǎng)格區(qū)域內(nèi)的所有點(diǎn)的位置；取出該處理區(qū)域的色彩資料；轉(zhuǎn)換該色彩資料至一可將亮度自色彩信息獨(dú)立出來(lái)的色彩空間坐標(biāo)；以及取得該處理區(qū)域的影像的亮度。
9.如權(quán)利要求7所述的三維影像接合處的色彩處理方法，其中該校正參數(shù)系藉由該處理區(qū)域與其相鄰區(qū)域的位置距離、亮度來(lái)求得。
10.如權(quán)利要求9所述的三維影像接合處的色彩處理方法，其中該校正參數(shù)系藉由下列公式求得(1-(d(x，y)/D))W，其中D為處理處理范圍，d(x，y)為此處理畫(huà)素與該接合處的距離，及W＝c1σm-1+c2σm+c3σm+1，其中σm-1，σm，σm+1為該處理區(qū)域與相鄰處理區(qū)域的平均亮度，而c1，c2，c3為其相對(duì)的位置參數(shù)。
全文摘要
一種三維影像接合處的色彩處理方法，用以接合復(fù)數(shù)張影像而構(gòu)成三維(3D)的彩色影像，本方法利用以不同的色彩空間轉(zhuǎn)換將亮度與色彩信息獨(dú)立出來(lái)，而利用其亮度對(duì)接合處進(jìn)行平滑處理后，再轉(zhuǎn)換回原GRB的色彩空間，如此不僅能保留影像的原始色彩，并且不會(huì)破壞影像上原有的紋理。
文檔編號(hào)G06T15/50GK1519779SQ03101929
公開(kāi)日2004年8月11日 申請(qǐng)日期2003年1月23日 優(yōu)先權(quán)日2003年1月23日
發(fā)明者陳佳綸 申請(qǐng)人:財(cái)團(tuán)法人工業(yè)技術(shù)研究院