專利名稱：圖像合成方法、圖像合成裝置、以及數(shù)據(jù)記錄媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像合成裝置、圖像合成方法以及數(shù)據(jù)記錄媒體，特別是涉及把具有形狀的圖像與其他圖像進(jìn)行合的處理，以及存儲通過軟件實現(xiàn)該合成處理的程序的記錄媒體。
近年來，統(tǒng)一處理聲音、圖像、其它數(shù)據(jù)的多媒體時代來臨了，把以往的信息媒體即報紙、雜志、電視、無線電、電話等的信息傳達(dá)到人的手段都采納為多媒體的對象。一般來說，所謂多媒體是把不僅是文字，還有圖形、聲音、特別是圖像等進(jìn)行同時相關(guān)表示，然而，當(dāng)把上述已有的信息媒體作為多媒體的對象時，其必要條件是以數(shù)字形式表示該信息。
在把上述各信息媒體所具有的信息量作為數(shù)字信息量進(jìn)行估計時，對于字符的情況，平均1字符的信息量是1～2字節(jié)；對于聲音的情況，平均1秒是64kb(電話質(zhì)量)；對于動畫來說，平均1秒100Mb(現(xiàn)行電視接收質(zhì)量)以上的信息量是必要的，但仍然用數(shù)字的形式處理電視等信息媒體的極大量信息是不現(xiàn)實的。目前，通過具有比方說64Kbps～1.5Mbps傳送速度的服務(wù)綜合數(shù)字網(wǎng)(ISDN:Integrated Services Digital Network)的電視電話已經(jīng)實用化了，但是電視攝像機(jī)的圖像不可能仍用ISDN傳送。
必要的措施是信息壓縮技術(shù)，例如，對于電視電話，在IUT-T(國際電氣通信聯(lián)合、電氣通信標(biāo)準(zhǔn)化部門)的國際標(biāo)準(zhǔn)化H.261標(biāo)準(zhǔn)的動畫壓縮技術(shù)已經(jīng)被采用了。當(dāng)采用MPEGl標(biāo)準(zhǔn)的信息壓縮技術(shù)時，即可在通常音樂用CD(光盤)上裝入聲音信息和圖像信息。
所謂MPEG(Moving Picture Experts Group)是活動圖像的數(shù)據(jù)壓縮國際標(biāo)準(zhǔn)，在MPEG1，動畫數(shù)據(jù)可達(dá)1.5Mbps，即電視信號信息被壓縮到約100分之1。作為MPEG1標(biāo)準(zhǔn)的對象的傳送速度，主要限制在約1.5Mbps，而滿足高圖像質(zhì)量要求的標(biāo)準(zhǔn)化MPEG2，可壓縮動畫數(shù)據(jù)使其傳送速度達(dá)2～15Mbps，實現(xiàn)當(dāng)前的電視質(zhì)量。
目前，按照以MPEG1、MPEG2進(jìn)行標(biāo)準(zhǔn)化的操作組合(ISO/IEC JTC1/SC29/WG11)，可對單位物體進(jìn)行圖像信息的編碼及操作，實現(xiàn)多媒體時代的必要的新功能的MPEG4正在被標(biāo)準(zhǔn)化。
MPEG4的特征之一是對于多個物體(目標(biāo))例如對表示圖23所示的前景圖像(目標(biāo))102及背景圖像(目標(biāo))100的圖像信號，可分別進(jìn)行編碼處理。與上述各物體對應(yīng)的圖像信號由表示各物體形狀(shape)的形狀信號和表示各物體圖案(texture)的結(jié)構(gòu)信號構(gòu)成。在上述圖像信號的編碼處理時，對形狀信號的編碼處理和結(jié)構(gòu)信號的編碼處理，由各自的編碼方法進(jìn)行。
上述結(jié)構(gòu)信號由表示物體圖像亮度信息的亮度信號和表示物體圖像顏色信息的色差信號構(gòu)成。該色差信號其分辨率與亮度信號的分辨率是不同的。也就是說，構(gòu)成由亮度信號得到的圖像空間的各像素大小(在表示畫面上占據(jù)的1像素面積)為在由色差信號得到的圖像空間中1像素大小的1/4。該亮度信號及色差信號由對應(yīng)于各圖像空間中的各像素的像素值構(gòu)成。
上述形狀信號其分辨率與亮度信號的分辨率是一樣的，也就是說，構(gòu)成由上述形狀信號得到的圖像空間的1像素大小與構(gòu)成由上述亮度信號得到的圖像空間的1像素大小是一樣的。該形狀信號由對應(yīng)于該圖像空間的各像素的像素值構(gòu)成。
對于包圍畫面上一個物體的領(lǐng)域(以下稱為目標(biāo)領(lǐng)域)的亮度信號和形狀信號存在相同數(shù)量的像素值。
在以下的說明中，根據(jù)需要把由亮度信號、色差信號、以及形狀信號得到的圖像空間稱為亮度空間、顏色空間、以及形狀空間；把構(gòu)成亮度空間、顏色空間、以及形狀空間的像素稱為亮度像素、顏色像素、以及形狀像素、把亮度像素、顏色像素、以及形狀像素的像素值稱為亮度數(shù)據(jù)、色差數(shù)據(jù)、以及形狀數(shù)據(jù)。對應(yīng)于1個目標(biāo)的圖像信號，也就是由形狀信號、亮度信號、以及色差信號形成的形狀空間、亮度空間、以及顏色空間，其基準(zhǔn)位置及尺寸的一致性是不言而喻的。
該形狀信號的像素值由「0值」和「非0值」表示時，像素值具有「0值」的形狀像素位于形狀空間的物體的圖像外，像素值具有「非0值」的形狀像素位于形狀空間的物體的圖像內(nèi)。
另一方面，在譯碼時，如圖23所示，對與各物體(前景圖像及背景圖像)對應(yīng)的編碼信息(編碼結(jié)構(gòu)信號及編碼形狀信號)進(jìn)行譯碼，用被譯碼的形狀信號，在前景圖像100和背景圖象102間進(jìn)行結(jié)構(gòu)信號的合成處理，重現(xiàn)合成圖像106。在圖23中，104是由上述形狀信號得到的物體的形狀。該結(jié)構(gòu)信號的合成處理，由亮度信號的合成處理和色差信號的合成處理來進(jìn)行。
如上所述，由于色差信號的分辨率是亮度信號和形狀信號分辨率的1/4，因此色差信號的合成處理不能仍使用已譯碼的形狀信號(以下稱為變換前形狀信號)，必須變換該形狀信號的分辨率，生成對應(yīng)于色差信號分辨率的形狀信號(以下稱為變換后形狀信號)。
在MPEG4中，該形狀信號的分辨率變換方法，采用MPEG-4Video VerificationModel Ver8.0(ISO/IEC JTC1/SC29/WG11 N1796.pp17)中記載的方法。
從以下的詳述可知，由于如上所述的色差信號分辨率是形狀信號分辨率的1/4，則顏色空間的1像素對應(yīng)于與由變換前形狀信號得到的圖像空間相鄰接的4像素。由于譯碼的形狀信號的分辨率進(jìn)行了對應(yīng)于色差信號分辨率的變換，則上述顏色空間1像素將對應(yīng)于由變換后形狀信號得到的圖像空間的1像素。
采用上述分辨率變換方法，當(dāng)與1個顏色像素對應(yīng)的4個形狀像素中的1個具有非「0值」像素值。換句話說，當(dāng)與某個顏色像素對應(yīng)的4個形狀像素中的1個，其像素值是「非0值」的形狀像素時，與由上述變換后形狀信號得到的圖像空間上的上述某個顏色像素對應(yīng)的1個形狀像素的像素值也是「非0值」。
下面用圖23具體說明上述圖像合成方法。
首先說明取像素值為「0值」或「非0值」的2值信號的合成處理。
在參照該形狀信號將上述前景圖像102的亮度信號與背景圖像100的亮度信號進(jìn)行合成的情況下，對于與像素值是「非0值」的形狀像素(即位于形狀空間104中涂黑表示部分之內(nèi)的像素)對應(yīng)的亮度像素，可把前景圖像的像素值作為合成像素的像素值。對于與像素值具有「0值」的形狀像素(即位于形狀空間104中涂黑表示部分之外的像素)對應(yīng)的亮度像素，可把背景圖像的像素值作為合成圖像的像素值。這樣的合成處理，對于色差信號來說，同樣可用上述變換后形狀信號來進(jìn)行。
下面說明上述形狀信號其像素值是具有0、1,2,3,……255之一值的多值信號情況下的合成處理。
在參照該形狀信號將上述前景圖像102的亮度信號與背景圖像100的亮度信號進(jìn)行合成的情況下，對應(yīng)于具有將上述多值信號的最小值作為像素值的形狀像素的合成圖像的亮度像素，其像素值具有背景圖像的像素值；對應(yīng)于具有將上述多值信號的最大值作為像素值的形狀像素的合成圖像的亮度像素，其像素值具有前景圖像的像素值。
在形狀信號是多值信號情況下的色差信號的合成處理也可按上述亮度信號的合成處理同樣進(jìn)行，對應(yīng)于具有將進(jìn)行了分辨率變換后形狀信號的最大值或最小值作為像素值的形狀像素的合成圖像的顏色像素，其像素值具有前景圖像或背景圖像的像素值。這種情況下，可把與某1個顏色像素對應(yīng)的4個形狀像素的像素值平均值。作為與由變換后的形狀信號得到的圖像空間上的上述某1個顏色像素對應(yīng)的1個形狀像素的像素值。
形狀信號是多值信號的情況應(yīng)進(jìn)行與形狀信號是2值信號的情況不同的分辨率變換處理。也就是說，對于上述形狀信號其像素值為上述多值信號，具有最大值和最小值的中間值的情況，把形狀數(shù)據(jù)(形狀信號的像素值)作為加權(quán)系數(shù)，在前景圖像和與其對應(yīng)的背景圖像之間，取結(jié)構(gòu)信號(亮度信號，色差信號)像素值的加權(quán)平均值，求出合成像素的像素值。這樣，即可透過前景圖像表示背景圖像。
下面表示出進(jìn)行上述加權(quán)平均的演算式的例子。
Pel=(alpha×fgpel+(MAX-alpha)×bgpel)/MAX…(公式1)其中，公式1各要素如下所示。
Pel合成后的像素值A(chǔ)lpha相對于前景圖像像素值的合成比率(形狀數(shù)據(jù))Fgpel前景圖像的像素值(亮度數(shù)據(jù)或者色差數(shù)據(jù))bgpel背景圖像的像素值(亮度數(shù)據(jù)或者色差數(shù)據(jù))MAX形狀信號的最大值在alpha具有0到255的值時，MAX為255。這里，從上述公式1求得加權(quán)平均值的演算包含整理演算結(jié)果的處理，公式1的演算可把演算結(jié)果中小數(shù)點(diǎn)以下部分舍去。
求得上述加權(quán)平均值的演算，使預(yù)定的前景圖像的像素值(亮度數(shù)據(jù)或色差數(shù)據(jù))乘以與其對應(yīng)的形狀信號的像素值(形狀數(shù)據(jù))，也是削減公式1中乘法的方法。這時，公式1由下述公式2表達(dá)，pel=fgpel’+(1-alpha’)×bgpel…(公式2)alpha’相對于前景圖像像素值的合成比率(形狀數(shù)據(jù))
fgpel’乘alpha’后的前景圖像像素值(亮度數(shù)據(jù)或色差數(shù)據(jù))把a(bǔ)lpha’取為0/255到255/255值。
若上述公式2為fgpel’=fgpel×alph’，可得到與上述公式1的MAX=1情況下相同的演算結(jié)果。
然而，在用2值形狀信號進(jìn)行前景圖像和背景圖像的合成處理時，在合成圖像的前景圖像和背景圖像的邊界部分，若像素的像素值(亮度數(shù)據(jù)和色差數(shù)據(jù))取為相差懸殊的值時，則邊界存在不自然的問題。
用圖24的示例說明這個問題。
在圖24(a)表示合成上述前景圖像和背景圖像得到的合成圖像106，圖24(b)是電視攝像機(jī)提高后表示包含在該合成圖像中的前景圖像和背景圖像邊界的所定尺寸(8×8像素)的領(lǐng)域200，特別表示上述領(lǐng)域200包含的各像素。
如圖24(b)所示，在合成圖像106的前景圖像和背景圖像的邊界部分，例如在像素204和像素206之間，若兩像素的像素值取為相差懸殊的值時，可看到邊界是不自然的。
圖25(a)是由前景圖像的形狀信號得到的圖像，用像素單位表示相當(dāng)于上述合成圖像106內(nèi)的邊界一部分200的部分300。在圖25(b)上，該部分300中的1像素行302包含的各像素像素值(形狀數(shù)據(jù))，表示在以橫軸為像素位置、縱軸為形狀數(shù)據(jù)值的座標(biāo)平面上。這里，各像素的形狀數(shù)據(jù)的取值為0到255。
根據(jù)該形狀信號，進(jìn)行該形狀像素對應(yīng)的前景及背景像素的像素值的合成處理時，可得到對應(yīng)于構(gòu)成合成圖像的各像素(合成像素)的像素值。這時，像素值不是0的形狀像素對應(yīng)的合成像素，其像素值具有對應(yīng)的前景像素的像素值或者上述前景及背景像素值的加權(quán)平均值。另一方面，像素值是0的形狀像素對應(yīng)的合成像素，其像素值具有對應(yīng)的背景像素的像素值。
這時，在邊界部分306，前景像素和背景像素的像素值具有不連續(xù)值時，例如在上述邊界部分，前景像素的像素值(亮度數(shù)據(jù)和色差數(shù)據(jù))和背景像素的像素值(亮度數(shù)據(jù)和色差數(shù)據(jù))為極端不同值時，則在合成圖像的表示畫面上，可以看到在上述邊界部分的前景圖像和背景圖像的表示是不自然的。
因此，適當(dāng)處理邊界部分的像素的像素值或者合成時使用的合成比率，使其看不到合成圖像的不自然的邊界部分是必要的。
當(dāng)形狀信號和結(jié)構(gòu)信號的分辨率不同時，采用形狀信號在前景圖像和背景圖像之間進(jìn)行結(jié)構(gòu)信號的合成，再把由上述結(jié)構(gòu)信號的合成得到的合成圖像變換為必要的畫面尺寸(分辨率)，圖像質(zhì)量將出現(xiàn)劣化。
下面用圖26、27說明這種圖像劣化產(chǎn)生的情況。
圖26是用4×4像素的像素值構(gòu)成的形狀信號，對由2×2像素的像素值構(gòu)成的前景圖像及背景圖像進(jìn)行合成處理的概念表示圖，圖27是表示上述合成處理以及對合成處理得到的圖成圖像的結(jié)構(gòu)信號進(jìn)行分辨率變換處理的方框圖。
已往的處理中，第1輸入端子2600輸入前景圖像的形狀信號2500，第2、第3輸入端子2602、2604輸入前景圖像的色差信號2504、背景圖像的色差信號2506。
MPEG4使用的圖像格式，其色差信號的分辨率是亮度信號或形狀信號分辨率的1/4，形狀信號2500其分辨率可由與色差信號對應(yīng)的分辨率變換部件2606進(jìn)行分辨率變換。
用經(jīng)分辨率變換的形狀信號2502，輸入的前景圖像的色差信號2504和背景圖像的色差信號2506的合成處理由像素合成部件2608進(jìn)行。由于合成的色差信號2508與上述亮度信號的分辨率不同，則在表示時，已合成的色差信號2508通過分辨率變換部件2610，其分辨率變換為與對應(yīng)的亮度信號相同的分辨率，分辨率變換后的合成色差信號2510從輸出端子2620輸出。
通常，通過分辯率變換而追加的素值，可以根據(jù)與具有該追加像素值的像素相鄰接的像素的像素值算出來，然而，將經(jīng)分辨率變換的合成色差信號2510的各個像素值與分辨率變換前的形狀信號2500的物體內(nèi)部分(黑色)以外的像素的像素值進(jìn)行比較可見，對于上述合成色差信號2510，物體外的像素也具有物體內(nèi)像素的像素值。
其結(jié)果是根據(jù)上述色差信號表示的圖像變得模糊了。
由于上述結(jié)構(gòu)信號的合成產(chǎn)生的圖像質(zhì)量的劣化，不僅是色差信號，在進(jìn)行亮度信號合成處理，分辨率變換時，因同樣的理由，重放圖像在邊界部分也存在圖像質(zhì)量劣化的問題。
本發(fā)明是為了解決上述問題而研制的，其目的在于提供了可提高合成圖像邊界部分圖像質(zhì)量的圖像合成裝置和圖像合成方法，以及存儲通過軟件實現(xiàn)用該合成方法的圖像合成處理的程序的數(shù)據(jù)記錄媒體。
本發(fā)明(方案1)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括在上述第1圖像空間，通過對位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，算出對于上述被處理像素的結(jié)構(gòu)信號合成比率的合成比率算出步驟；根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素之間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，把該合成的結(jié)構(gòu)信號作為在上述第3圖像空間對應(yīng)于上述被處理像素的像素結(jié)構(gòu)信號而使用。
本發(fā)明(方案2)是在方案1記載的圖象合成方法中，根據(jù)上述第1圖像空間的各像素的形狀信號，包含判定該各像素是否位于上述物體內(nèi)的形狀判定步驟，在上述合成比率算出步驟，當(dāng)上述判定結(jié)果是上述被處理像素位于物體內(nèi)時，用上述對象領(lǐng)域的像素形狀信號算出上述合成比率。
本發(fā)明(方案3)是在方案1記載的圖像合成方法中，根據(jù)上述第1圖像空間的各像素的形狀信號，包含判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟，在上述合成比率算出步驟，當(dāng)上述判定結(jié)果是上述被處理像素位于物體內(nèi)時，按照上述對象領(lǐng)域的像素形狀信號的加法平均值算出上述合成比率。
本發(fā)明(方案4)是在方案1記載的圖像合成方法中，在上述合成比率算出步驟，對上述形狀信號的演算處理，應(yīng)根據(jù)在該演算處理中乘數(shù)或除數(shù)為2的乘方數(shù)的變形演算式來進(jìn)行。
本發(fā)明(方案5)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括根據(jù)上述第1圖像空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟；當(dāng)上述判定結(jié)果是上述對象像素位于物體內(nèi)時，根據(jù)上述對象領(lǐng)域的像素位于物體內(nèi)的個數(shù)，算出對上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟；根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號合成處理的像素合成步驟，把該合成的結(jié)構(gòu)信號作為在上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號而使用。
本發(fā)明(方案6)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包含根據(jù)上述第1圖像空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟；在上述第1圖像空間，根據(jù)位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，算出對于上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟；當(dāng)上述形狀判定結(jié)果是上述被處理像素位于物體外時，則將上述被處理像素的結(jié)構(gòu)信號置換為根據(jù)上述對象領(lǐng)域內(nèi)像素結(jié)構(gòu)信號的加法平均值得到的結(jié)構(gòu)信號的像素信息生成步驟；根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，把該合成的結(jié)構(gòu)信號作為在上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號而使用。
本發(fā)明(方案7)是在方案6記載的圖像合成方法中，在上述合成比率生成步驟，算出上述對象領(lǐng)域包含的像素的形狀信號平均值作為上述合成比率。
本發(fā)明(方案8)是在方案6記載的圖像合成方法中，在上述像素信息生成步驟，將上述被處理像素的結(jié)構(gòu)信號置換為上述對象領(lǐng)域所包含的像素中位于物體內(nèi)的像素結(jié)構(gòu)信號的平均值。
本發(fā)明(方案9)是在方案5或方案6記載的圖像合成方法中，在上述合成比率算出步驟，預(yù)先根據(jù)上述對象領(lǐng)域內(nèi)的像素中位于物體內(nèi)的像素個數(shù)進(jìn)行計算，再根據(jù)從位于該對象領(lǐng)域內(nèi)的像素形狀信號得到的物體內(nèi)的像素個數(shù)，從上述表格求出已存儲在表格中的合成比率。
本發(fā)明(方案10)是在方案1或方案6記載的圖像合成方法中，在上述像素合成步驟，參照存儲了上述合成比率值和結(jié)構(gòu)信號值的所有組合的該兩者相乘結(jié)果的表格，求出上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號。
本發(fā)明(方案11)是在方案5或方案6記載的圖像合成方法中，在上述像素合成步驟，參照存儲了位于上述對象領(lǐng)域的物體內(nèi)的像素數(shù)和結(jié)構(gòu)信號值的所有細(xì)合的該兩者相乘結(jié)果的表格，求出上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號。
本發(fā)明(方案12)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1譯碼圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2譯碼圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括在上述第1圖像空間，通過對位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，算出對上述被處理像素的結(jié)構(gòu)信號合成比率的合成比率算出步驟；以及根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素之間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，在該像素合成步驟，當(dāng)與上述第1譯碼圖像信號對應(yīng)的編碼圖像信號生成時，參照該編碼圖像信號所付加的付加信息，轉(zhuǎn)換上述合成處理的結(jié)構(gòu)信號的合成方法。
本發(fā)明(方案13)是在方案12記載的圖像合成方法中，把上述付加信息作為表示上述對象領(lǐng)域尺寸的信息。
本發(fā)明(方案14)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包含根據(jù)上述第1圖像空間的各像素的形狀信號，檢出上述物體的邊界位置的邊界檢出步驟；在上述第1圖像空間，根據(jù)位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，僅對位于上述物體邊界附近的該物體內(nèi)及物體外的像素，進(jìn)行上述被處理像素的結(jié)構(gòu)信號合成比率的算出處理的合成比率算出步驟；對于上述邊界附近的像素，根據(jù)該算出的合成比率，在上述被處理像素和其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，對于上述邊界附近以外的像素，根據(jù)這些像素的形狀數(shù)據(jù)，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號。
本發(fā)明(方案15)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括根據(jù)表示上述物體的尺寸以及在第1圖像空間的該物體的位置的附加信息，對位于物體內(nèi)或物體外的物體邊界附近的特定像素，在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，并對上述第1圖像空間的特定像素以外的周邊像素，把這些周邊像素對應(yīng)的第2圖像空間的像素的結(jié)構(gòu)信號，作為在上述第3圖像空間的與上述周邊像素對應(yīng)的像素的結(jié)構(gòu)信號的像素合成步驟，在上述第3圖像空間，采用由上述像素合成步驟的合成處理得到的結(jié)構(gòu)信號，作為對應(yīng)于上述特定像素的像素的結(jié)構(gòu)信號。
本發(fā)明(方案16)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號和形狀信號的分辨率不相等時，對該結(jié)構(gòu)信號進(jìn)行分辨率變換處理，以使其分辨率與該形狀信息的分辨率相等的分辨率變換步驟；用進(jìn)行了上述分辨率變換處理的結(jié)構(gòu)信號和上述形狀信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成步驟。
本發(fā)明(方案17)的圖像合成方法合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖像的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號的分辨率、構(gòu)成第2圖像信號的結(jié)構(gòu)信號的分辨率、圖像表示構(gòu)成合成圖像信號的結(jié)構(gòu)信號的表示分辨率不相同時，對上述第1、第2圖像信號的結(jié)構(gòu)信號進(jìn)行分辨率變換處理，以使其分辨率與上述表示分辨率相等的分辨率變化步驟；用進(jìn)行了上述分辨率變換處理的上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成步驟。
本發(fā)明(方案18)的圖像合成方法是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖象空間的表示圖象圖案的結(jié)構(gòu)信號的第2圖象信號，生成形成第3圖像空間的合成圖像信號的一種方法，包括第1圖象合成處理，含有在上述第1圖象空間，根據(jù)位于含有被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，算出對于上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟、和根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，把該合成的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號而使用；第2圖象合成處理，含有在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，以與上述第1圖像合成處理的合成比率不同的比率，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，把該合成的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號而使用，在上述第1圖像空間，根據(jù)位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，轉(zhuǎn)換上述第1及第2圖像合成處理本發(fā)明(方案19)是在方案18記載的圖像合成方法中，上述第2圖像合成處理在上述像素合成步驟，把上述第1圖像空間的物體內(nèi)被處理像素的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號而用，與上述第1圖象空間的物體外被處理像素相對應(yīng)，把第2圖像空間的對應(yīng)像素的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號而用。
本發(fā)明(方案20)的圖像合成裝置是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1譯碼圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2譯碼圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括在上述第1圖像空間，通過對位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，對上述被處理像素的結(jié)構(gòu)信號算出合成比率的合成比率算出部件；根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成部件，該像素合成部件在上述第1譯碼圖像信號對應(yīng)的編碼圖像信號生成時，參照該編碼圖像信號所附加的附加信息，轉(zhuǎn)換上述合成處理的結(jié)構(gòu)信號的合成方法。
本發(fā)明(方案21)的圖像合成裝裝置是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括根據(jù)上述第1圖像空間的各像素的形狀信號，檢出上述物體的邊界位置的邊界檢出部件；在上述第1圖像空間，根據(jù)位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，僅對位于上述物體邊界附近的物體內(nèi)及物體外的像素，進(jìn)行上述被處理像素的結(jié)構(gòu)信號合成比率算出處理的合成比率算出部件；對上述邊界附近的像素，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，對上述邊界附近以外的像素，根據(jù)這些像素的形狀數(shù)據(jù)，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成部件，把該合成的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號而用。
本發(fā)明(方案22)的圖像合成裝置是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括像素合成部件，能根據(jù)表示上述物體的尺寸和在第1圖像空間的該物體的位置的付加信息，對位于物體內(nèi)或物體外的物體邊界附近的特定像素，在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，并對上述第1圖像空間的特定像素以外的周邊像素，把這些周邊像素對應(yīng)的第2圖像空間的像素的結(jié)構(gòu)信號，在上述第3圖像空間，作為上述周邊像素對應(yīng)的像素的結(jié)構(gòu)信號，在上述第3圖像空間，把通過上述像素合成步驟的合成處理得到的結(jié)構(gòu)信號，作為與上述特定像素對應(yīng)的像素的結(jié)構(gòu)信號而用。
本發(fā)明(方案23)的圖像合成裝置是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號和形狀信號的分辨率不相等時，對該結(jié)構(gòu)信號進(jìn)行像清晰度變換處理，以使其分辨率與該形狀信息的分辨率相等的分辨率變換部件；用進(jìn)行了上述分辨率變換處理的結(jié)構(gòu)信號和上述形狀信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成部件。
本發(fā)明(方案24)的圖像合成裝置是合成表示形成含有任意形狀物體的第1圖像空間的包含上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號的分辨率、構(gòu)成第2圖像信號的結(jié)構(gòu)信號的分辨率、圖像表示構(gòu)成合成圖像信號的結(jié)構(gòu)信號的表示分辨率不同時，對上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行分辨率變換處理，以使其分辨率與上述表示分辨率相等的分辨率變化部件；用進(jìn)行了上述分辨率變換處理的上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成部件。
本發(fā)明(方案25)的圖像合成裝置是合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號的一種裝置，包括第1圖象合成處理部和第2圖象合成處理部，第1圖象處理部有根據(jù)上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，算出上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出部件；以及根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的第1像素合成部件，把該合成的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出，第2圖象合成處理部有在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，以與上述第1圖像合成處理的合成比率不同的比率，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的第2像素合成部件，把該合成的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出，并根據(jù)上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，轉(zhuǎn)換上述第1及第2圖像合成處理。
本發(fā)明(方案26)的數(shù)據(jù)存儲媒體是存儲由計算機(jī)進(jìn)行圖像合成處理的程序的數(shù)據(jù)存儲媒體，上述程序是存儲了根據(jù)方案1到方案19任一項記載的圖像合成方法，由計算機(jī)進(jìn)行圖像合成處理的圖像合成程序。


圖1是說明本發(fā)明實施例1的圖像合成方法的處理流程圖。
圖2是說明上述實施例1的圖像合成方法的概念圖。
圖3是說明本發(fā)明實施例2的圖像合成方法的概念圖。
圖4是說明本發(fā)明實施例3的圖像合成方法的處理流程圖。
圖5是說明上述實施例3的圖像合成方法的概念圖。
圖6是說明本發(fā)明實施例4的圖像合成方法的模式圖。
圖7是說明本發(fā)明實施例5的圖像合成方法的圖。
圖8是說明上述實施例5的變形例的圖像合成方法的圖。
圖9是表示本發(fā)明實施例6的圖像合成方法中使用的位流的數(shù)據(jù)構(gòu)造的圖。
圖10是表示存儲了由計算機(jī)系統(tǒng)實現(xiàn)用本發(fā)明各實施例的圖像合成方法的處理程序的數(shù)據(jù)存儲媒體的圖。
圖11是表示上述實施例6變形例的圖像合成裝置的構(gòu)成方框圖。
圖12是說明本發(fā)明實施例7的圖像合成方法的概念性模式圖。
圖13是表示上述實施例7的圖像合成裝置的方框圖。
圖14是說明上述實施例7的圖像合成方法的變形例的概念圖。
圖15是表示上述實施例7的變形例的圖像合成裝置方框圖。
圖16是說明本發(fā)明實施例8的圖像合成方法的概念圖。
圖17是說明上述實施例8的圖像合成方法的概念圖。
圖18是表示上述實施例8的圖像合成裝置的方框圖。
圖19是說明本發(fā)明實施例9的圖像合成方法的模式圖。
圖20是說明上述實施例9的圖像合成方法的模式圖。
圖21是表示上述實施例9的圖像合成裝置的方框圖。
圖22是表示本發(fā)明實施例6的圖像合成裝置的構(gòu)成方框圖。
圖23是說明在已有的圖像合成處理中合成多個圖像的處理圖。
圖24是說明由圖23所示的圖像合成處理方法合成的圖像。
圖25是表示與圖24所示合成圖像對應(yīng)的形狀數(shù)據(jù)的模式圖。
圖26是說明在已有的圖像合成方法中合成圖像并進(jìn)行分辨率變換的處理圖。
圖27是表示進(jìn)行圖26所示分辨率變換處理的裝置的方框圖。
圖28是表示本發(fā)明實施例8的圖像合成裝置的方框圖。
下面對本發(fā)明的實施例進(jìn)行說明。實施例1本發(fā)明實施例1的圖像合成方法是接受與多個物體圖像對應(yīng)的圖像信號，參照與各圖像對應(yīng)的形狀信號，進(jìn)行圖像信號的合成處理的一種方法，對各物體圖像的邊界內(nèi)側(cè)，也就是對在物體內(nèi)與圖像邊界相鄰的像素的形狀數(shù)據(jù)(形狀信號像素值)進(jìn)行平滑處理后，對上述各物體的圖像信號進(jìn)行合成處理，即可提高合成圖像的質(zhì)量。
圖1是本發(fā)明實施例1的圖像合成方法的處理流程圖。圖2是表示圖1所示步驟110的具體處理的模式圖。
在圖2(a)中，302是以在圖25所示物體邊界部分的1行的像素300對應(yīng)的形狀數(shù)據(jù)是把橫軸作為圖像的像素位置、把縱軸作為像素的形狀數(shù)據(jù)值在座標(biāo)上表示的。這里，形狀數(shù)據(jù)取0～255的任一值作為多值數(shù)據(jù)。
下面，對在形狀數(shù)據(jù)302內(nèi)的與物體內(nèi)的物體邊界相鄰接的邊界像素(被處理像素)的形狀數(shù)據(jù)500，說明進(jìn)行像素值變換處理的情況。
首先，在未處理圖像判定步驟402，判定是否有剩余的未處理像素，在有剩余的情況下，則在形狀數(shù)據(jù)輸入步驟404，輸入作為處理對象的前景像素(被處理像素)的形狀數(shù)據(jù)。如果沒有剩余未處理像素，則終止合成處理(步驟S414)。
其次，在形狀數(shù)據(jù)判定步驟406，判定作為處理對象的前景像素的形狀數(shù)據(jù)500是否為0值。當(dāng)其判定結(jié)果的形狀數(shù)據(jù)是0值時，則在背景像素輸出步驟408，把對應(yīng)于作為對象的前景的像素位置的背景像素的像素值(結(jié)構(gòu)數(shù)據(jù))，作為合成像素的結(jié)構(gòu)數(shù)據(jù)輸出，對作為對象的前景像素，終止合成處理。
當(dāng)合成像素的結(jié)構(gòu)數(shù)據(jù)的輸出目的地是背景像素的結(jié)構(gòu)數(shù)據(jù)的存儲部時，上述步驟408的處理為無處理。
當(dāng)在上述步驟406的判定結(jié)果是作為對象的前景像素的形狀數(shù)據(jù)500為非0值時，則在形狀數(shù)據(jù)算出步驟(合成比率算出步驟)410，用在規(guī)定領(lǐng)域。也就是用在包含作為處理對象的對象像素的規(guī)定尺寸領(lǐng)域(對象領(lǐng)域)內(nèi)的所有像素的形狀數(shù)據(jù)，使用規(guī)定的方法算出作為處理對象的前景像素的形狀數(shù)據(jù)。上述對象領(lǐng)域如圖2(b)所示，是包含物體的圖像邊界部500的黑粗線包圍的領(lǐng)域，是上述對象像素位于中心的是由3×3像素組成的領(lǐng)域502。
在該對象領(lǐng)域包含的像素的配置，不限于3×3像素，也可以是用M×N(M、N是自然數(shù))表示的像素配置，還可以根據(jù)進(jìn)行合成的前景圖像變更上述對象領(lǐng)域的像素配置(縱橫尺寸、像素數(shù)等)。對構(gòu)成結(jié)構(gòu)數(shù)據(jù)的亮度數(shù)據(jù)及色差數(shù)據(jù)分別處理時，也可以改變對象領(lǐng)域的像素配置。
算出上述形狀數(shù)據(jù)的具體方法是對對象領(lǐng)域502內(nèi)的9像素具有的形狀數(shù)據(jù)進(jìn)行加法平均，把該加法平均值作為被處理像素的形狀數(shù)據(jù)。這樣，被處理像素506的形狀數(shù)據(jù)504如圖2(a)所示，電平504變小了。
采用這種方法，考慮對象領(lǐng)域500內(nèi)的像素的形狀數(shù)據(jù)，算出被處理像素的形狀數(shù)據(jù)，可以使在物體的圖像邊界兩側(cè)并列的多個像素的形狀數(shù)據(jù)的變化緩慢。
最后，在圖像合成步驟412，把如上所述算出的形狀數(shù)據(jù)504，作為結(jié)構(gòu)數(shù)據(jù)合成時使用的合成比率，對作為對象的前景像素和背景像素的結(jié)構(gòu)數(shù)據(jù)，用上述式1進(jìn)行加權(quán)平均處理，把在前景圖像和背景圖像間的合成的結(jié)構(gòu)數(shù)據(jù)，作為與對象像素對應(yīng)的合成圖像的像素的結(jié)構(gòu)數(shù)據(jù)輸出。
根據(jù)本實施例1，僅用在物體圖像內(nèi)側(cè)與其邊界相鄰的像素的形狀數(shù)據(jù)，進(jìn)行使該邊界附近的像素的形狀數(shù)據(jù)的分布平滑的形狀數(shù)據(jù)平滑處理，把由該平滑化得到的形狀數(shù)據(jù)作為合成比率，在位于邊界內(nèi)側(cè)附近的前景像素和與其對應(yīng)的背景像素間，進(jìn)行結(jié)構(gòu)數(shù)據(jù)的合成。可以提高合成圖像的前景圖像和背景圖像邊界部分的圖像質(zhì)量。
在上述實施例1中，形狀數(shù)據(jù)可以是隨機(jī)選取的0～255中的任一個值的多值數(shù)據(jù)，也可以是具有0值、非0值中任一個值的2值數(shù)據(jù)。
例如，在該形狀數(shù)據(jù)具有0值、非0值中的任一個值的2值數(shù)據(jù)時，如圖2(c)的表508所示，上述對象領(lǐng)域502內(nèi)的像素的形狀數(shù)據(jù)求出非0值的像素數(shù)，在用該對象領(lǐng)域502內(nèi)的像素數(shù)(range-count)除具有非0值的像素數(shù)(count)得到的值(count/range-count)上，乘以非0值的形狀數(shù)據(jù)(alpha value)，則可算出被處理像素的形狀數(shù)據(jù)。這里，對于表508的式中使用的alpha-value，在圖2的例子中為255，但不限于此，也可以取0～255范圍內(nèi)的中間值的值。
當(dāng)上述形狀數(shù)據(jù)是上述多值數(shù)據(jù)時，也可以把對象領(lǐng)域內(nèi)的各像素的形狀數(shù)據(jù)的加法平均值作為被處理像素的形狀數(shù)據(jù)。實施例2圖3是說明實施例2的圖像合成方法的附圖，以模式圖表示該合成方法的合成比率算出步驟410的處理。
實施例2的圖像合成方法是在上述實施例1的圖像合成方法的合成比率算出步驟410的形狀數(shù)據(jù)算出時，進(jìn)行追加處理，以使位于邊界部分附近的像素的合成比率分布更平滑。其他的處理與實施例1所述的處理順序完全一樣，省略說明。
在圖3(a)中，300、302、500、502分別與圖25及圖2所示的相同。
在實施例2的合成比率算出步驟410，進(jìn)行變更位于物體邊界內(nèi)的像素的合成比率(形成數(shù)據(jù))的處理。在含有被處理像素的對象領(lǐng)域(3×3像素組成的領(lǐng)域)的像素排列圖形，除了圖3(a)所示3×3像素組成的對象領(lǐng)域502的圖形外，大部分是圖3(d)所示的像素排列610、612、614的圖形。
對于具有這種像素排列圖形的對象領(lǐng)域。算出形狀數(shù)據(jù)是非0值的像素的個數(shù)，在該算出的個數(shù)取一定數(shù)以下值的情況下，把被處理像素的形狀數(shù)據(jù)作為0，在除此以外的情況下(算出的個數(shù)超過一定數(shù))，被處理像素的形狀數(shù)據(jù)取從0到形狀數(shù)據(jù)的最大值(圖3(b)的255)的中間值進(jìn)行變換。
具體地說，用圖3(c)的表608所示的條件式，進(jìn)行被處理像素的合成比率(形狀數(shù)據(jù))的計算。
根據(jù)表608所示的條件式，在包含被處理像素的對象領(lǐng)域內(nèi)的具有非0值的形狀數(shù)據(jù)的像素的像素數(shù)在表示閾值以下值的情況下，使被處理像素的合成比率(形狀數(shù)據(jù))為0值，在除此以外的情況下，用具有包含在對象領(lǐng)域內(nèi)的非0值形狀數(shù)據(jù)的像素個數(shù)，以及包含在對象領(lǐng)域內(nèi)的所有像素的個數(shù)，進(jìn)行使被處理像素的形狀數(shù)據(jù)從0值到非0值(圖3(b)的255)的中間值的合成比率的計算。根據(jù)該條件式，可以變更與位于物體圖像邊界的像素對應(yīng)的合成比率值，可以提高使前景圖像和背景圖像疊加的合成圖像的前景圖像邊界部分的圖像質(zhì)量。
在表608所示條件式中使用的閾值threshold根據(jù)上述對象領(lǐng)域的大小而變更。
在上述表608的條件式中使用的alpha-value，在圖3的例子中為255，但也可以取0～255的中間值。
在本實施例2，在包含物體邊界的對象領(lǐng)域內(nèi)，判定形狀數(shù)據(jù)為非0值的像素數(shù)，對位于物體邊界部分的像素的形狀數(shù)據(jù)進(jìn)行處理，以使其值(即合成比率的值)的變化更平滑，用得到的合成比率進(jìn)行前景和背景的合成?？蛇M(jìn)一步提高合成圖像的前景圖像和背景圖像的邊界部分的圖像質(zhì)量。實施例3圖4是說明本發(fā)明實施例3的圖像合成方法的附圖，表示該實施例3的圖像合成方法的處理流程。圖5(a)～5(e)是模式地表示圖4所示形狀信息生成步驟710以及像素信息生成步驟714的處理圖。
本實施例3的圖像合成方法是接受多個物體的圖像信號，進(jìn)行圖像信號的合成處理的方法，參照邊界像素的形狀數(shù)據(jù)，通過平滑化處理，對前景圖像邊界部分的像素求出合成比率，用到的合成比率，在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)信號的合成。這時，用邊界內(nèi)像素的結(jié)構(gòu)數(shù)據(jù)，生成上述前景圖像的邊界外像素的結(jié)構(gòu)數(shù)據(jù)，以達(dá)到合成圖像質(zhì)量的提高。
在圖5中，302是包含圖25所示領(lǐng)域300的邊界部分的1行的像素，對位于該1行像素302內(nèi)的物體邊界外側(cè)的邊界像素306，說明進(jìn)行形狀數(shù)據(jù)變換處理的情況。將上述領(lǐng)域300，即在包含形狀空間的物體邊界的領(lǐng)域?qū)?yīng)的結(jié)構(gòu)空間的領(lǐng)域800，表示在圖5(d)。
首先，在未處理像素判定步驟702，判定未處理像素是否存在。存在時，在像素輸入步驟704，輸入將作為對象的前景像素為中心的對象領(lǐng)域(在圖4中記述為所定領(lǐng)域)內(nèi)的像素的結(jié)構(gòu)數(shù)據(jù)及形狀數(shù)據(jù)。這里，306是作為處理對象的形狀像素(被處理像素)，804是該形狀像素對應(yīng)的結(jié)構(gòu)像素(在結(jié)構(gòu)空間的像素)。所謂對象領(lǐng)域是在以上述像素306、804為中心的形狀空間及結(jié)構(gòu)空間中所定尺寸的領(lǐng)域。
在圖5(b)、(d)，這些領(lǐng)域802、806表示由相域圍成的3×3像素組成的領(lǐng)域。該領(lǐng)域不限于由3×3像素組成。也可以由M×N(M、N是自然數(shù))像素組成。還可以隨進(jìn)行合成的前景圖像，變更大小(領(lǐng)域的縱橫尺寸、像素數(shù)等)。在構(gòu)成上述結(jié)構(gòu)數(shù)據(jù)的亮度數(shù)據(jù)及色差數(shù)據(jù)分別處理時，也可以根據(jù)情況使上述所定領(lǐng)域的尺寸有所不同。
其次，在形狀信息判定步驟706，判定將作為處理對象的前景像素為中心的對象領(lǐng)域802內(nèi)的任一像素是否具有非0值的形狀數(shù)據(jù)。當(dāng)任一像素不具有非0值的形狀信息時，在背景像素輸出步驟708，把作為處理對象的前景像素804對應(yīng)的背景像素的結(jié)構(gòu)數(shù)據(jù)，作為合成像素的結(jié)構(gòu)數(shù)據(jù)輸出。這里，當(dāng)合成像素的結(jié)構(gòu)數(shù)據(jù)的輸出目的地是存儲背景像素的結(jié)構(gòu)數(shù)據(jù)的某部分時，步驟708的處理為無處理。
另一方面，當(dāng)上述對象領(lǐng)域802內(nèi)的任一像素具有非0值的形狀數(shù)據(jù)時，在合成比率算出步驟710，將輸入的對象領(lǐng)域802內(nèi)的像素的所有形狀數(shù)據(jù)相加，用該對象領(lǐng)域802內(nèi)的像素數(shù)(圖5中是9)除該相加值。相除結(jié)果的合成比率(圖5(c)的形狀數(shù)據(jù)808)，在后述的像素合成步驟716，用在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)數(shù)據(jù)合成時的加權(quán)系數(shù)。
在形狀信息判定步驟712，判定被處理像素306的形狀數(shù)據(jù)是否是0值。當(dāng)形狀空間的被處理像素306的形狀數(shù)據(jù)是0值時，該被處理像素對應(yīng)的結(jié)構(gòu)空間的像素(對應(yīng)結(jié)構(gòu)像素)804的結(jié)構(gòu)數(shù)據(jù)是不定的，則在像素信息生成步驟714，相加結(jié)構(gòu)空間的所定領(lǐng)域(與上述形狀空間的對象領(lǐng)域?qū)?yīng)的領(lǐng)域)806內(nèi)的形狀數(shù)據(jù)是非0值的形狀像素對應(yīng)的結(jié)構(gòu)像素的結(jié)構(gòu)數(shù)據(jù)。用對應(yīng)的形狀像素的形狀數(shù)據(jù)是非0非值的結(jié)構(gòu)數(shù)據(jù)像素的個數(shù)，使上述結(jié)構(gòu)數(shù)據(jù)的相加值平均化，將上述平均化的平均值作為上述結(jié)構(gòu)像素804的結(jié)構(gòu)數(shù)據(jù)。這里，對應(yīng)的形狀像素的形狀數(shù)據(jù)是非0值的結(jié)構(gòu)像素是圖5(d)所示的所定領(lǐng)域806內(nèi)形式的2像素，把除上述結(jié)構(gòu)數(shù)據(jù)相加值得到的值，作為對應(yīng)結(jié)構(gòu)像素804的結(jié)構(gòu)數(shù)據(jù)。圖5(c)表示該對應(yīng)結(jié)構(gòu)像素804的結(jié)構(gòu)數(shù)據(jù)的值(上述平均值)820。
另一方面，當(dāng)作為處理對象的形狀像素(被處理像素)306的形狀數(shù)據(jù)是非0值時，由于在對應(yīng)的對象結(jié)構(gòu)素中存在結(jié)構(gòu)數(shù)據(jù)，所以不進(jìn)行步驟714的處理。當(dāng)對應(yīng)結(jié)構(gòu)像素的結(jié)構(gòu)數(shù)據(jù)預(yù)先填補(bǔ)了任何值時，也不進(jìn)行步驟714的處理。例如，當(dāng)保持了在被譯碼的結(jié)構(gòu)信號中含有的編碼畸變值，而且與該值相鄰的像素值也不是相離很遠(yuǎn)的值時，也可以不進(jìn)行步驟714的處理。
最后，在像素合成步驟716，把在步驟710算出的合成比率(圖5(c)所示的被處理像素的形狀數(shù)據(jù)808)作為加權(quán)系數(shù)，在作為處理對象的前景像素和背景像素間，合成結(jié)構(gòu)數(shù)據(jù)。用上面的公式(公式1)進(jìn)行合成。
在圖5，作為對象的像素的形狀信息算出步驟710后，通過被處理像素的形狀數(shù)據(jù)的判定步驟712進(jìn)行處理，這些處理可以是并列進(jìn)行的。
在本實施例3中，由于對位于物體邊界部分的物體外像素，進(jìn)行結(jié)構(gòu)數(shù)據(jù)和形狀數(shù)據(jù)的平滑化，因此圖像邊界部的圖像質(zhì)量模糊了，如實施例1和2所述，由于不能使物體內(nèi)邊界附近的像素具有的形狀數(shù)據(jù)值變小，則在物體的大小(縱橫尺寸、像素數(shù)等)非常小時，一方面要避免其縮小，也可以使前景物體的圖像與背景圖像合成。因此，可按照輸入的圖像，轉(zhuǎn)換使用實施例1、2的合成處理和實施例3的合成處理。由于結(jié)構(gòu)數(shù)據(jù)是由亮度數(shù)據(jù)和色差數(shù)據(jù)構(gòu)成的，則對于亮度數(shù)據(jù)和色差數(shù)據(jù)可獨(dú)立進(jìn)行實施例1、2的合成處理和實施例3的合成處理的轉(zhuǎn)換。
在上述實施例3中，形狀數(shù)據(jù)是隨機(jī)取0～255中的任一值的多值數(shù)據(jù)，也可以是具有0值、非0值中任一值的2值數(shù)據(jù)。
上述實施例1～3的合成方法全部用公式1進(jìn)行，但在上述合成處理中也可以用式2。這種情況下，將算出的合成比率(即用位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀數(shù)據(jù)求出)作為β，使β/alpha’與前景值fgpel’相乘，進(jìn)行同樣的處理。實施例4本發(fā)明實施例4的圖像合成方法是使實施例1～3所示的合成比率算出步驟的處理高速化的方法，其他處理的順序與實施例1～3所述的處理順序相同。
上述實施例1～3的合成方法是通過演算求出合成比率，在被處理像素的形狀數(shù)據(jù)是0值和非0值的2值情況下，根據(jù)圖2(c)所示表508的變換式、圖3(c)所示表608的變換式，算出形狀數(shù)據(jù)具有非0值的形狀像素數(shù)后求出。由于該計算涉及除法、乘法，因此對各個像素進(jìn)行處理時，計算量是非常大的。
本實施例4中，把由圖6的黑粗線圍成的3×3像素組成的領(lǐng)域作為對象領(lǐng)域(所定的領(lǐng)域)，預(yù)先分別計算形狀數(shù)據(jù)具有非0值的像素數(shù)(0～9)對應(yīng)的合成比率，保存在表900中。
在實際計算時，首先算出在上述對象領(lǐng)域的形狀數(shù)據(jù)是非0值的像素數(shù)，根據(jù)該像素數(shù)，從上表中參照其對應(yīng)的合成比率(適用的)，可減少除法、乘法。這里，以選取與實施例1、3的合成方法對應(yīng)的值的表格為例，對于實施例2也可以進(jìn)行同樣的處理。實施例5本實施例5的圖像合成方法，不僅是合成比率，還把合成比率與像素信息相乘的值保存在表中，這樣，可使根據(jù)上述公式1求出合成像素的結(jié)構(gòu)數(shù)據(jù)的計算簡化。
一般來說，在物體的邊界部分，像素大多取相同合成比率(形狀數(shù)據(jù))的值，對于結(jié)構(gòu)數(shù)據(jù)也是同樣的。
通過計算預(yù)先求出合成比率與結(jié)構(gòu)數(shù)據(jù)的相乘值并保存在表中，再根據(jù)合成比率和結(jié)構(gòu)數(shù)據(jù)的值參照上述表中的值，即可削減冗長的除法、乘法處理。
對于上述公式1，進(jìn)行圖7所示的展開，將該展開式的乘法處理換成參照表1000的處理，可削減計算量。
在根據(jù)具有非0值形狀數(shù)據(jù)的像素個數(shù)求出被處理像素合成比率的情況下，展開圖8的上述式1，把該展開式中乘法部分的結(jié)果存儲在表1100中，根據(jù)在對象領(lǐng)域具有的非0值形狀數(shù)據(jù)的像素個數(shù)和結(jié)構(gòu)數(shù)據(jù)值，可算出被處理像素的合成比率。這里，也可以削減預(yù)先準(zhǔn)備的表中索引的個數(shù)。
例如，作為上述表中的索引，與用「像素的結(jié)構(gòu)值」和「合成比率」的配置相比較，用「像素的結(jié)構(gòu)值」和「位于包含被處理像素的對象領(lǐng)域的物體內(nèi)的像素的像素數(shù)」的配置，但索引的配置個數(shù)少了。具體地說，在像素的結(jié)構(gòu)值和合成比率(形狀數(shù)據(jù))取0到255值的情況下，當(dāng)用「像素的結(jié)構(gòu)值」和「合成比率」的配置時，必須是256×256=65536個索引的配置，而用「像素的結(jié)構(gòu)值」和「像素數(shù)」的配置時，即使像素的結(jié)構(gòu)數(shù)據(jù)取256個值，由于物體內(nèi)像素的像素數(shù)是0～9的10個，則索引的配置個數(shù)是256×10=2560個就可以了。
上述圖7、8中像素信息或像素的像素值意味著結(jié)構(gòu)數(shù)據(jù)，形狀信息意味著形狀數(shù)據(jù)。
對于上述公式2，在乘背景像素值(結(jié)構(gòu)數(shù)據(jù))的項的部分，參照表格，與上述公式1一樣可削減計算量。
不言而喻，使用上述實施例4、5的表格的合成處理，對于實施例2的合成方法也是適用的。實施例6圖10是說明本發(fā)明實施例6的譯碼合成裝置的方框圖。該譯碼合成裝置如實施例1～5所示，付加了表示是否對邊界像素的形狀數(shù)據(jù)等進(jìn)行了平滑處理的付加信息，對各物體對應(yīng)的圖像信號進(jìn)行編碼得到的編碼數(shù)據(jù)進(jìn)行譯碼。
圖9表示付加了上述付加信息1250的編碼數(shù)據(jù)的位流的數(shù)據(jù)構(gòu)造。
在具有這種構(gòu)造的位流1200中，開始是記載了包含數(shù)據(jù)構(gòu)造的數(shù)據(jù)個數(shù)等的標(biāo)題信息1204，下面是付加信息1250，再下面是每個物體的單位時間按順序配置的編碼數(shù)據(jù)1206、1208、1210、1214。
編碼數(shù)據(jù)1206分為記述對數(shù)據(jù)進(jìn)行譯碼的信息的標(biāo)題信息1218、編碼過的形狀數(shù)據(jù)(形狀信息)1220、編碼過的結(jié)構(gòu)數(shù)據(jù)(像素信息)1222。這里，形狀數(shù)據(jù)用JBIG等的算術(shù)編碼方法編碼并進(jìn)一步進(jìn)行可變長編碼，結(jié)構(gòu)數(shù)據(jù)用DCT等的編碼方法編碼并進(jìn)一步進(jìn)行可變長編碼。
在具有該數(shù)據(jù)構(gòu)造的位流1200中，當(dāng)進(jìn)行上述實施例1～5說明的合成時，則在標(biāo)題信息1204部分付加1位表示是否在邊界部分進(jìn)行結(jié)構(gòu)數(shù)據(jù)或形狀數(shù)據(jù)的平滑化的付加信息(Blend flag)1250。這樣，對各物體就可以實現(xiàn)是否進(jìn)行實施例1-5所示的圖像合成處理的轉(zhuǎn)換。上述標(biāo)題信息表示上述各實施例所述對象領(lǐng)域(所定的領(lǐng)域)的縱橫尺寸(例如3×3像素)和像素數(shù)等。
通過付加多位上述附加信息，則很容易實現(xiàn)上述平滑處理的方法以及處理中必要信息的轉(zhuǎn)換。例如，如實施便1～5所示，根據(jù)付加的對象領(lǐng)域的平面圖形的付加信息，即可變更進(jìn)行合成的各圖像的對象領(lǐng)域的平面圖形(領(lǐng)域的縱橫尺寸、像素數(shù)等)。
付加信息(Blend-flag)1250插入在標(biāo)題信息1204和編碼數(shù)據(jù)1206之間，但當(dāng)插入在各編碼數(shù)據(jù)1206、1208、1210、1214中途時，可根據(jù)中途數(shù)據(jù)轉(zhuǎn)換處理。
在包含各單位時間的編碼數(shù)據(jù)1206、1208、1210、1214的各標(biāo)題信息1218中，也付加同樣的付加信息(Blend flag)1250，則僅對特定時間的編碼數(shù)據(jù)進(jìn)行實施例1～5所示的合成處理。
上述付加信息記述在結(jié)構(gòu)數(shù)據(jù)的位流1200中，所謂上述位流1200可作為另一個副信息提供。
下面說明本實施例6的譯碼合成裝置。
本實施例6的譯碼合裝置1400接受上述位流1200，它具有分離包含在該位流1200中的標(biāo)題信息、形狀數(shù)據(jù)及結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)的數(shù)據(jù)分離部件1402；對由該分離部件輸出的編碼數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部件1404；有多個合成部件，根據(jù)標(biāo)題信息包含的付加信息，通過所定的合成部件，對上述編碼數(shù)據(jù)進(jìn)行合成的合成處理部1408。
上述合成處理部1408具有根據(jù)上述付加信息，從上述多個合成部件中選擇供給上述圖像譯碼部件1404的輸出的合成部件的第1選擇開關(guān)1412；根據(jù)上述付加信息，選擇上述多個合成部件的一個輸出并予以輸出的第2開關(guān)1414。在該合成處理部1408中的多個合成部件的至少一個，可按照上述實施例1～5中的任一個的圖像合成方法進(jìn)行合成處理。
下面說明其操作過程。
當(dāng)從輸入端子1400a輸入位流1200時，該位流1200由數(shù)據(jù)分離部件1402分割為形狀數(shù)據(jù)、像素數(shù)據(jù)等各編碼數(shù)據(jù)。被分割的各編碼數(shù)據(jù)由譯碼部件1404譯碼。另一方面，上述位流1200包含的付加信息1250輸入到合成處理部1408，由開關(guān)1412、1414選擇對應(yīng)的合成方法的合成部件。
這里，設(shè)置了多個譯碼部件1404，可對輸入的多個物體的位流，并列進(jìn)行譯碼處理。
已經(jīng)譯碼、生成或保持的背景像素信息從第2輸入端子1406輸入，送到合成處理部1408。在合成處理部1408，用與由上述圖像譯碼部件1404譯碼的各像素數(shù)據(jù)、形狀數(shù)據(jù)對應(yīng)的合成方法，進(jìn)行前景圖像和背景圖像的合成處理。被合成的合成數(shù)據(jù)從輸出端子1410輸出。
下面用圖11說明上述實施例6的變形例的譯碼合成裝置。
該變形例的譯碼合成裝置1500，對于上述付加信息1250，采用上述各實施例的合成方法，表示對象領(lǐng)域的平面圖形，對增加了合成時必要的其他付加數(shù)據(jù)的位流進(jìn)行譯碼，再進(jìn)行圖像的合成。
也就是，該譯碼合成裝置1500具有接受與前景圖像對應(yīng)的第1位流，從該位流分離出已經(jīng)編碼的形狀數(shù)據(jù)和結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)，同時，分離出用該合成方法以及合成時的必要付加信息的數(shù)據(jù)分離部件1502；對由該分離部件輸出的編碼數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部件1504。
上述譯碼合成裝置1500具有用上述付加信息，算出合成時必要的信息的合成方法決定部件1506；根據(jù)上述已譯碼的形狀數(shù)據(jù)及結(jié)構(gòu)數(shù)據(jù)、從合成方法決定部件1506輸入的合成方法信，對由第2輸入端子1512輸入的已譯碼、生成或保持的背景的結(jié)構(gòu)數(shù)據(jù)和上述前景圖像的結(jié)構(gòu)數(shù)據(jù)進(jìn)行合成的圖像合成部件1508。
上述圖像合成部件1508在進(jìn)行上述圖像合成處理時，可按照上述實施例1～5中任一個的圖像合成方法進(jìn)行合成處理。
下面說明其操作過程。
從輸入端子1500a輸入上述位流1200時，用數(shù)據(jù)分離部件1502從該位流中分割出已編碼的形狀數(shù)據(jù)及結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)，同時，分離出用該合成方法以及進(jìn)行合成時必要的付加信息。該付加信輸入到合成方法決定部件1506。另一方面，被分割出的編碼數(shù)據(jù)由圖像譯碼部件1504譯碼。
合成方法決定部件1506用輸入的付加信息，算出合成時必要的信息。像素合成部件1508用已譯碼的形狀數(shù)據(jù)及結(jié)構(gòu)數(shù)據(jù)、從合成方法決定部件1506輸入的合成方法、以及從第2輸入端子1512輸入的已譯碼、生成或保持的背景的結(jié)構(gòu)數(shù)據(jù)進(jìn)行合成處理。合成的數(shù)據(jù)從輸出端子1510輸出。實施例7圖12～圖15說明本發(fā)明實施例7的圖象合成方法。
本實施例7的圖像合成方法是在合成前景圖像和背景圖像間的結(jié)構(gòu)信號時，參照表示前景物體形狀的付加信息進(jìn)行合成的，因此削減了冗長的演算處理。
圖12是概念性表示背景圖像和前景圖像的合成處理，圖中，1600是背景的結(jié)構(gòu)信號產(chǎn)生的背景圖像畫面(背景結(jié)構(gòu)空間)，1602是前景的結(jié)構(gòu)信號產(chǎn)生的前景圖像畫面(前景結(jié)構(gòu)空間)，1604是前景的形狀信號產(chǎn)生的前景形狀畫面(前景形狀空間)，與圖23中的背景圖像畫面100、前景圖像畫面102、前景形狀畫面104是一樣的。
在圖12中，前景圖像畫面1602內(nèi)的物體所占比例是全體的一半以下。這時，合成處理的判定的必要之處是包含包圍物體的領(lǐng)域(以下稱物體領(lǐng)域)1606內(nèi)的像素，或僅是與該物體領(lǐng)域1606相鄰的物體外像素，對于除此以外的像素仍然可用背景圖像1600的結(jié)構(gòu)數(shù)據(jù)(對應(yīng)于結(jié)構(gòu)信號的各像素的值)。
在合成處理時，把表示從形成前景圖像畫面1604的形狀信號得到的物體領(lǐng)域1606的縱、橫尺寸1608、1610，以及表示距該物體領(lǐng)域1606的前景形狀畫面1604的左上的距離的縱、橫變位1612、1614等的信息，作為付加信息接受，參照該付加信息，僅對包含前景圖像畫面1602內(nèi)的物體的矩形領(lǐng)域1606周邊，進(jìn)行是否有必要進(jìn)行合成處理的判定。
圖13、15是用實施例7的合成方法進(jìn)行圖像合成處理的裝置的方框圖。
圖13所示的實施例7的圖像合成裝置1700具有；接受前景圖像對應(yīng)的第1位流，從該位流中分離出已編碼的形狀數(shù)據(jù)及結(jié)構(gòu)數(shù)據(jù)的編碼數(shù)據(jù)，同時分離出進(jìn)行合成時必要的上述付加信息的數(shù)據(jù)分離部件1702；對從該分離部件輸出的編碼數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部件1704；取得并輸出上述分離出的付加信息的付加信息取得部件1706。
上述譯碼合成裝置1700含有進(jìn)行與背景圖像和前景圖像間的上述物體領(lǐng)域內(nèi)像素對應(yīng)的結(jié)構(gòu)信號的合成的矩形領(lǐng)域內(nèi)像素合成部件1710，具有根據(jù)來自上述付加信息取得部件1706的付加信息，進(jìn)行上述前景圖像和背景圖像合成的合成處理部1708。
上述圖像合成部件1710在進(jìn)行上述圖像合成處理時，可按照上述實施例1～5中任一個的圖像合成方法進(jìn)行合成處理。上述合成處理部1708具有根據(jù)來自上述付加信息取得部件1706的付加信息，把上述圖像譯碼部件1701的譯碼數(shù)據(jù)向上述合成部件1710的供給進(jìn)行開關(guān)的開閉開關(guān)1716；根據(jù)該付加信息，選擇背景圖像的結(jié)構(gòu)信號和上述合成部件1710的輸出數(shù)據(jù)其中之一的選擇開關(guān)1718。
下面說明其操作過程。
在該圖像合成裝置1700的輸入端子1700a，輸入對結(jié)構(gòu)信號及形狀信號進(jìn)行編碼的具有位流1200的數(shù)據(jù)構(gòu)造的編碼數(shù)據(jù)。輸入的編碼數(shù)據(jù)由數(shù)據(jù)分離部件1702分離為各編碼數(shù)據(jù)。另一方面，表示物體形狀大小及畫面內(nèi)位置的信息，輸入到付加信息取得部件1706。
結(jié)構(gòu)信號及形狀信號對應(yīng)的各編碼數(shù)據(jù)，在圖像譯碼部件1704譯碼。設(shè)置了多個譯碼部件1704，也可并列進(jìn)行多個編碼數(shù)據(jù)的譯碼處理。
已譯碼的形狀信號及結(jié)構(gòu)信號通過開關(guān)1716輸入到像素合成部件1708，背景圖像的結(jié)構(gòu)信號通過第2輸入端子1714輸入到合成處理部1708，在背景圖像和前景圖像間進(jìn)行結(jié)構(gòu)信號的合成。
在合成處理部1708，用輸入的物體形狀大小等的信息，通過開關(guān)1716、1718，對矩形領(lǐng)域(物體領(lǐng)域)內(nèi)的像素，在背景圖像和前景圖像間進(jìn)行結(jié)構(gòu)信號的合成并輸出，對矩形領(lǐng)域外的像素，仍然輸出背景圖像的結(jié)構(gòu)信號。
背景圖像的結(jié)構(gòu)信號是已經(jīng)譯碼或生成并被保持在存儲器中的信號，也可以用與譯碼部件1704同樣的部件，對編碼數(shù)據(jù)進(jìn)行譯碼。
在上述合成處理部1708，根據(jù)輸入的背景和前景的結(jié)構(gòu)信號以及前景的形狀信號，參照表示從其他途徑輸入的前景畫面的物體的位置及大小的付加信息，對構(gòu)成前景畫面的像素進(jìn)行上述矩形領(lǐng)域內(nèi)外的判定，用開關(guān)1716、1718，通過像素合成部件1710進(jìn)行轉(zhuǎn)換矩形領(lǐng)域內(nèi)的合成處理和該矩形領(lǐng)域外的合成處理的合成處理。對于矩形領(lǐng)域外的像素也可以用背景的結(jié)構(gòu)數(shù)據(jù)。
圖15表示上述實施例7的變形例的圖像合成裝置的構(gòu)成。該圖像合成裝置1701是在圖13所示的圖像合成裝置的結(jié)構(gòu)中，追加保持已譯碼的前景畫面的結(jié)構(gòu)信號和形狀信號以及前景畫面中物體大小信息的存儲器1802。
具有該存儲器1802的圖像合成裝置1701，在合成靜止的圖像時，用已譯碼的數(shù)據(jù)，可削減處理量。在存儲器1802中，除了已譯碼的形狀信號及結(jié)構(gòu)信號外，還保持表示譯碼時得到的形狀畫面的矩形領(lǐng)域(物體領(lǐng)域)的大小、位置、或該矩形領(lǐng)域邊界位置的付加信息。當(dāng)進(jìn)行圖像合成時，把這些信息輸入到像素合成部件1710，進(jìn)行與圖13所示圖像合成裝置1700同樣的處理。由于把矩形領(lǐng)域的邊界位置等信息送到了合成處理部1708，則可以削減判定處理對象的像素是否位于邊界部分的處理。
另外，在進(jìn)行上述圖像合成時參照的矩形領(lǐng)域的位置和尺寸等信息，也可以不用付加信息取得部件1706，直接從譯碼部件1704送到合成處理部1708。
按照這種合成處理，有必受進(jìn)行在前景和背景間是否實行結(jié)構(gòu)數(shù)據(jù)合成處理的判定僅限定在某個前景畫面內(nèi)的領(lǐng)域。這樣，即可削減在該判定中必要的冗長的演算處理。
在付加信息中，也可以記述在背景畫面上合成并表示的前景畫面的尺寸及位置等信息。
用圖14對此予以說明。
圖14中，與圖12相同的符號與上述實施例7的說明是一樣的。
用背景結(jié)構(gòu)信號(畫面1600)、前景結(jié)構(gòu)信號(畫面1602)及前景形狀信號(畫面1604)，在前景圖像和背景圖像合成時，可擴(kuò)大地表示合成的圖像也可以把合成的圖像表示在其他合成用畫面上。
這時，可同樣輸入合成圖像1600a在其他合成畫面2700a上的位置2704、2702以及圖像尺寸2708、2706，即可根據(jù)合成圖像變更表示位置及表示的尺寸。實施例8圖16及圖17是說明本發(fā)明實施例8的圖像合成方法的附圖。本實施例8的圖像合成方法是在進(jìn)行合成處理時，預(yù)先調(diào)查物體內(nèi)及物體外的像素的位置，可削減是否進(jìn)行合成處理的冗長的判定處理。
圖16及圖17表示由所定圖像的形狀信號得到的形狀畫面。圖中一個小框相當(dāng)一個像素，有顏色的像素(例如像素1902等)表示在物體內(nèi)，沒有顏色的像素(例如1904等)表示在物體外。
本發(fā)明實施例1、2、3所述的圖像合成方法是用以作為合成處理對象的被處理像素為中心的對象領(lǐng)域1910、1910內(nèi)的像素信息，算出被處理像素的合成比率以及結(jié)構(gòu)數(shù)據(jù)。
如實施例1～3所述，對前景和背景的邊界部分的像素的形狀數(shù)據(jù)的處理是必要的部分，例如，僅對物體內(nèi)像素的處理，即為圖16中白色箭頭1906所示部分，或者與白色箭頭1906所示部分相鄰接的像素。
然而，對于如圖17中白色箭頭2002所示不與邊界相鄰的物體內(nèi)像素，或者如黑色箭頭2004所示位于物體外像素，可不必用實施例1～3的圖像合成方法，對邊界部分的像素進(jìn)行處理。
如圖16及圖17所示，預(yù)先檢索形狀信號(從該形狀信號得到的形狀畫面1900、2000)，檢索對邊界部分的像素處理的必要部分的始點(diǎn)和終點(diǎn)，以及對邊界部分的像素處理的不必要像素位置的始點(diǎn)和終點(diǎn)。用檢素到的像素位置信息，對邊界部分和此外的地方分別進(jìn)行處理。這樣，與每一個像素都進(jìn)行判定處理比較，可以削減冗長的處理。
圖18是說明對圖16及圖17所示的形狀信號進(jìn)行檢索處理并進(jìn)行圖像合成的圖像合成裝置的方框圖。
該圖像合成裝置2100具有根據(jù)從輸入端子2100a輸入的形狀信號，判定物體的邊界位置的邊界位置判定部件2104；根據(jù)在邊界位置判定部件2104的邊界位置判定結(jié)果，算出作為合成處理對象的被處理像素的合成比率的合成比率生成部件2106。該圖像合成裝置2100還有合成處理部件2110，根據(jù)由合成比率生成部件2106算出的合成比率，對由第2輸入端子2102輸入的作為處理對象的前景圖像的結(jié)構(gòu)數(shù)據(jù)(結(jié)構(gòu)信號的像素值)，以及由第3輸入端子2116輸入的背景圖像的結(jié)構(gòu)數(shù)據(jù)(結(jié)構(gòu)信號的像素值)，進(jìn)行合成以求出合成圖像的結(jié)構(gòu)數(shù)據(jù)。
上述合成處理部2110具有進(jìn)行位于邊界附近的像素的合成處理的邊界附近像素合成部件2112；進(jìn)行位于邊界附近以外的像素的合成處理的邊界內(nèi)像素合成部件2114；根據(jù)來自邊界位置判定部件2108的邊界位置信息，把第2輸入端子2102輸入的作為處理對象的前景圖像的結(jié)構(gòu)數(shù)據(jù)，供給像素合成部件2112和像素合成部件2114其中之一的開關(guān)2122；根據(jù)邊界位置信息，選擇上述像素合成部件2112的輸出、上述像素合成部件2114的輸出、以及從上述第3輸入端子2116輸入的背景圖象的結(jié)構(gòu)數(shù)據(jù)的其中之一的開關(guān)2124。
首先，當(dāng)從該合成裝置2100的輸入端子2100a輸入形狀信號時，輸入的形狀信號通過邊界位置判定部件2104，判定物體的邊界位置。當(dāng)邊界位置判定部件2104判定是邊界位置的像素時，則由合成比率生成部件2106算出作為合成處理對象的被處理像素的合成比率。合成處理部2110用從第2輸入端子2102輸入的作為處理對象的前景圖像的結(jié)構(gòu)數(shù)據(jù)(結(jié)構(gòu)信號的像素值)、從第3輸入端子2116輸入的背景圖像的結(jié)構(gòu)數(shù)據(jù)(結(jié)構(gòu)信號的像素值)、由合成比率生成部件2106算出的合成比率，求出合成圖像的結(jié)構(gòu)數(shù)據(jù)。
在上述合成處理時，根據(jù)從邊界位置判定部件2108輸入的邊界位置信息，通過開關(guān)2122、2124，進(jìn)行由合成部件2112對位于邊界附近的像素的合成處理和由合成部件2114對邊界附近以外的合成處理的轉(zhuǎn)換。
由于僅對邊界附近像素的必要像素進(jìn)行必要的合成比率算出處理，則可削減處理量。
由合成比率生成部件2106進(jìn)行的合成比率算出處理，不僅是合成比率生成部件，也可以用邊界附近的像素合成部件2112算出上述合成比率，進(jìn)行合成處理。
可進(jìn)一步把本實施例8的圖像合成方法與實施例7的圖像合成方法進(jìn)行組合，也就是說，采用實施例8的圖像合成方法，用表示物體形狀大小等的付加信息，在包含物體形狀的矩形領(lǐng)域內(nèi)，進(jìn)行檢素本實施例8的形狀信號的處理，即可進(jìn)一步削減物體內(nèi)外判定所必要的冗長的演算處理。實施例9圖19是說明本發(fā)明實施例9的圖像合成方法的附圖。本實施例9的圖像合成方法是在把結(jié)構(gòu)信號與形狀信號的分辨率不同的前景圖像的圖像信號與背景圖像的圖像信號進(jìn)行合成時，與形狀信號的分辨率相配合，對作為上述結(jié)構(gòu)信號的色差信號進(jìn)行分辨率變換，在前景圖像和背景圖像間進(jìn)行色差信號的合成處理。
圖19概念性表示在分辨率變換后，對前景圖像和背景圖像的色差信號進(jìn)行的合成處理圖19中的2200、2204、2206分別與圖26中的前景圖像的形狀像素2500、背景圖像的顏色像素2504、背景圖像的顏色像素2506相同。
以下用圖19進(jìn)行說明。
首先，參照前景的形狀像素2200的像素值(形狀數(shù)據(jù))，對對應(yīng)的顏色像素2204的像素值(色差數(shù)據(jù))進(jìn)行與形狀數(shù)據(jù)相同尺寸(分辨率)的變換，得到色差像素2202。分辨率變換的方法采用MPEG4中規(guī)定的方法(MPEG4 Video VerificationModel Ver8.8(ISO/IEC JTCI/SC29/WG11 N1796)中的2.2.2 filteringprocess)。同樣，對于背景的顏色像素2206的像素值(色差數(shù)據(jù))，在合成時尺寸不同的情況下，通過分辨率變換，由上述2×2尺寸的顏色像素2206求出4×4尺寸的顏色像素2204。
用經(jīng)分辨率變換的前景、背景的顏色像素2202、2204以及形狀像素2202的像素值，在前景和背景間進(jìn)行色差數(shù)據(jù)的合成。通過該合成，得到合成顏色像素2210。
上述合成顏色像素2210與已合成后進(jìn)行了分辨率變換的合成顏色像素2510相比較時，上述合成顏色像素2210中物體內(nèi)像素的像素值。不會影響物體外像素。
使如圖26所示的分辨率高的形狀信號降低其分辨率，用降低了分辨率的形狀信號進(jìn)行色差信號的合成。再通過提高合成后的色差信號的分辨率的處理，與圖19所示高分辨率(這時是形狀信號)相配合，則進(jìn)行了色差信號合成的其圖像劣化的情況變少了。
圖20是對每個像素表示構(gòu)成形狀信號的形狀數(shù)據(jù)，以及構(gòu)成作為結(jié)構(gòu)信號的亮度信號的亮度數(shù)據(jù)的概念圖。圖20中的8×8形狀像素800、8×8亮度像素300與圖25所示的形狀像素300和圖5所示的結(jié)構(gòu)像素800相同。
圖20中的2302、2304表示與亮度像素800對應(yīng)的2個顏色像素。圖20所示形狀像素800是與亮度像素300相同的像素數(shù)，但是由于顏色像素2302、2304的像素數(shù)是形狀像素800和亮度像素300的像素數(shù)的1/4，這樣，在色差信號和亮度信號以及形狀信號間，不能達(dá)到像素的對應(yīng)。
因此，在前景圖像和背景圖像合成時，進(jìn)行使色差信號與形狀信號的像素數(shù)一致的分辨率變換，得到8×8的顏色像素2306、2308。該分辨率變換方法也可以使用MPEG4規(guī)定的方法(MPEG-4 Video Verification Model Ver8.0(ISO/IECJTCI/SC29WG11 N1796)中2.2.2 filtering process)。具體地說，對相鄰像素進(jìn)行加權(quán)平均，插入像素，進(jìn)行分辨率變換。
在進(jìn)行物體內(nèi)外邊界部分的像素的分辨率變換時，由于物體外像素的色差數(shù)據(jù)具有不定值，則可用物體內(nèi)像素的色差數(shù)據(jù)作為對應(yīng)的色差數(shù)據(jù)，進(jìn)行分辨率變換。
對于已進(jìn)行了分辨率變換的色差數(shù)據(jù)，參照對應(yīng)的形狀數(shù)據(jù)，在前景圖像和背景圖像間進(jìn)行合成處理，合成的方法可使用本發(fā)明實施例的合成方法。
在本實施例中，在色差信號和形狀信號的析像清析度不同時，已經(jīng)敘述了通過分辨率變換進(jìn)行合成的合成方法，但也可以在分別表示結(jié)構(gòu)信號(亮度信號、色差信號)和形狀信號的畫面上，以適當(dāng)大小進(jìn)行分辨率變換后，合成并表示前景和背景。這時的結(jié)構(gòu)信號的分辨率變換方法也可以用前述的方法。對于形狀信號的分辨率變換方法，可以使用MPEG-4記載的方法(MPEG-4 Video Verification ModelVer 8.0(ISO/IEC JTCI/SC29/WG11 N1796)中3.2.5 Size Conversion)。
以下用圖21說明在分辨率變換后進(jìn)行合成處理的合成裝置。
該圖像合成裝置2400具有對從上述第1輸入端子2400輸入的形狀信號，進(jìn)行分辨率變換，使其與表示畫面的尺寸(分辨率)一致的第1分辨率變換部件(形狀信息分辨率變換部件)2406；對從第2輸入端子2402輸入的結(jié)構(gòu)信號，進(jìn)行分辨率變換，使其與形狀信號的尺寸(分辨率)一致的第2分辨率變換部件(像素信息分辨率變換部件)2408；對從第3輸入端子2404輸入的背景的結(jié)構(gòu)信號進(jìn)行分辨率變換的第3分辨率變換部件(像素信息分辨率變換部件)2410。
上述圖像合成裝置2400具有接受上述第1、第2、第3分辨率變換部件2406、2408、2410的輸出，在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)信號的合成處理的像素合成部件2414，在輸出端子2420輸出合成的結(jié)構(gòu)信號。
下面說明其工作過程首先，從該裝置2400的第1輸入端子2400a輸入表示物體形狀的前景圖像的形狀信號，從第2輸入端子2402輸入與形狀信號對應(yīng)的前景圖像的結(jié)構(gòu)信號。從第3輸入端子2404輸入背景圖像的結(jié)構(gòu)信號。
從上述第1輸入端子2400輸入的形狀信號，如果有必要，由第1分辨率變換部件2406進(jìn)行分辨率變換處理，使其與表示畫面的尺寸(分辨)一致。從第2輸入端子2402輸入的結(jié)構(gòu)信號，由第2分辨率變換部件2408進(jìn)行分辨率變換處理，使其與形狀信號的尺寸(分辨)一致。對于由第3輸入端子2404輸入的背景的結(jié)構(gòu)信號，如果有必要，由第3分辨率變換部件2410進(jìn)行分辨率變換處理。
上述第1、第2、第3分辨率變換部件2406、2408、2410的輸出，輸入到像素合成部件2412，在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)信號的合成處理。合成的結(jié)構(gòu)信號從輸出端子2420輸出。
分辨率變換不僅是如上所述的擴(kuò)大處理，在表示畫面的尺寸小時，可以在使輸入的形狀信號及結(jié)構(gòu)信號進(jìn)行適當(dāng)?shù)膱D像尺寸縮小處理后，再進(jìn)行合成處理。
必要時可僅進(jìn)行擴(kuò)大、縮小前景或背景的合成處理?？捎脴?gòu)成結(jié)構(gòu)信號的亮度信號和色差信號，獨(dú)立進(jìn)行擴(kuò)大和縮小處理。
在上述實施例9已經(jīng)說明了色差信號的分辨率是亮度信號的分辨率的1/4的情況，即色差信號的分辨率在水平方向及垂直方向都是亮度信號的分辨率的1/2的情況，但如上述實施例9所述，在對色差信號進(jìn)行分辨率變換后，在前景圖像和背景圖像間進(jìn)行色差信號的合成處理的圖像合成方法，相對于亮度信號分辨率的色差信號分辨率的比例不僅限于以上的記述。例如，色差信號水平方向的分辨率是亮度信號的分辨率的1/2，色差信號垂直方向的分辨率與亮度信號的分辨率相同時，即可進(jìn)行與上述實施9同樣的圖像合成處理。實施例10
由于用上述各實施例所示的圖像合成方法實現(xiàn)合成處理的圖像合成程序，都記錄在軟盤等數(shù)據(jù)存儲媒體上，因此可以由獨(dú)立的計算機(jī)系統(tǒng)簡單實施上述各實施例所示的處理。
圖22是用存儲了上述編碼或譯碼程序的軟盤，由計算機(jī)系統(tǒng)實施上述實施例1-9的圖像合成處理的說明圖。
圖22(a)表示從軟盤正面看到的外觀、斷面結(jié)構(gòu)及軟盤，圖22(b)表示記錄媒體本身的軟盤D的物理格式。軟盤D裝于盒F內(nèi)，在該盤的表面，從外周向內(nèi)周形成同心園狀的多條磁道Tr，各磁道在角度方向被分割為15個扇形區(qū)Se。存儲了上述程序的軟盤，在上述軟盤D上分配的領(lǐng)域記錄上述程序的數(shù)據(jù)。
圖22(c)表示在軟盤D上進(jìn)行上述程序的記錄重放的構(gòu)成。在軟盤FD上記錄上述程序的情況是通過軟盤驅(qū)動器FDD，寫入來自計算機(jī)系統(tǒng)Cs的上述程序數(shù)據(jù)。根據(jù)軟盤FD內(nèi)的程序，在計算機(jī)系統(tǒng)中構(gòu)建上述編碼或譯碼裝置的情況是通過軟盤驅(qū)動器FDD，從軟盤FD中讀出程序，再轉(zhuǎn)送到計算機(jī)系統(tǒng)。
在上述說明中，用軟盤說明數(shù)據(jù)記錄媒體，用光盤同樣也是可以的。記錄媒體不僅限于這些，還有IC插件、ROM盒式磁帶等，凡是能記錄程序的裝置，都同樣能使用。
在上述實施例的圖像合成方法中，對位于邊界部分的像素，對橫跨邊界部分并列像素的形狀數(shù)據(jù)或結(jié)構(gòu)數(shù)據(jù)，進(jìn)行平滑后，再進(jìn)行合成。然而，不對每一像素判定是否是位于邊界部分的像素，對于預(yù)先進(jìn)行的邊界部分的判定后的邊界部分適用本發(fā)明的合成方法，除此以外的物體內(nèi)像素進(jìn)行已有的處理，則可削減冗長的判定處理。
由于結(jié)構(gòu)信號是由亮度信號和色差信號構(gòu)成的，因此，可獨(dú)立設(shè)定亮度信號合成處理時包含被處理像素的對象領(lǐng)域的大小，也可獨(dú)立設(shè)定色差信號合成處理時包含被處理像素的對象領(lǐng)域的大小，再對亮度信號和色差信號進(jìn)行不同的合成處理。
在上述各實施例中，根據(jù)(公式1)定義的演算處理，在前景圖像和背景圖像間進(jìn)行亮度數(shù)據(jù)或色差數(shù)據(jù)的合成處理，但作為該演算式，由于使用了該演算處理中的乘數(shù)或除數(shù)為2的乘方數(shù)的變形式，使上述演算處理簡單了。也就是說通過演算器的被乘數(shù)或被除數(shù)的移位處理，可簡單求得被乘數(shù)與乘數(shù)的積或被除數(shù)與除數(shù)的商。
具體地說，上述(公式1)在alpha是0＜alpha＜255范圍的值的情況下，可進(jìn)行如下公式3的變形。
pel=(alpha×fgpel+(256-alpha)×bgpel)/256…(公式3)但是，在公式3中，當(dāng)alpha=0時，pel=bgpel，alpha=255時，pel=fgpel。
在alpha是alpha＜0范圍的值的情況下，上述(公式1)可變形為以下公式4。
pel=((alpha+1)×fgpel+(255-alpha)×bgpel)/256…(公式4)但是，在公式4中，當(dāng)alpha=0時，pel=bgpel。
求圖2(c)、圖3(c)、圖7、圖8所示合成后的像素值pel的公式，可進(jìn)行與上述同樣的變形，因此也可實現(xiàn)演算處理的簡化。實施例11圖28是說明本發(fā)明實施例11的圖像合成方法及圖像合成裝置的附圖。
本實施例11的圖像合成方法與上述實施例1的圖像合成方法相同合成包含形成含有意形狀物體的表示第1圖像空間的上述物體形狀的形狀信號以及表示物體圖案的結(jié)構(gòu)信號的第1圖像信號和合成包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號，生成形成第3圖像空間的合成圖像信號。
本實施例11的圖像合成方法，在上述第1圖像空間，根據(jù)位于包含被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，轉(zhuǎn)換合成方法不同的第1及第2圖像合成處理。
第1圖像合成處理與上述實施例1的圖像合成方法一樣，包含合成比率算出步驟及像素合成步驟，把合成的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號。
在上述合成比率算出步驟，在上述第1圖像空間，根據(jù)位于包含被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，對上述被處理像素的結(jié)構(gòu)信號算出合成比率。在像素合成步驟，根據(jù)上述算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理。
上述第2圖像合成處理在上述像素合成步驟，把上述第1圖像空間的物體內(nèi)被處理像素的結(jié)構(gòu)信號，在上述第3圖像空間，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號，進(jìn)行合成處理。
圖28是用上述實施例11的圖像合成方法進(jìn)行合成處理的圖像合成裝置構(gòu)成的方框圖。
該圖像合成裝置3500具有邊界區(qū)域判定部件3510，能根據(jù)從前景圖像信號得到的形狀類型信號，在實施例1的所定領(lǐng)域。也就是包含作為處理對象的對象像素的所定尺寸的領(lǐng)域(對象領(lǐng)域)，判定其全部像素位于物體之外的領(lǐng)域(下稱物體外區(qū)域)、其全部像素位于物體之內(nèi)的領(lǐng)域(下稱物體內(nèi)區(qū)域)、以及包含位于物體之外的像素和位于物體之內(nèi)的像素的領(lǐng)域(下稱邊界區(qū)域)中任一種情況。這里，物體外像素的形狀數(shù)據(jù)其值為[O2]，物體內(nèi)像素的形狀數(shù)據(jù)其值為[255]。
上述圖像合成裝置3500具有接受前景的形狀信號，根據(jù)上述邊界區(qū)域判定部件3510的判定結(jié)果，進(jìn)行上述邊界區(qū)域內(nèi)各像素是否是物體內(nèi)像素的判定的邊界像素判定部件3520；根據(jù)該邊界像素判定部件3520的判定結(jié)果，算出上述邊界區(qū)域內(nèi)的物體內(nèi)像素數(shù)，根據(jù)物體內(nèi)像素數(shù)是否在所定閾值以上，輸出合成控制信號3506的合成方法判定部件3530。
上述圖像合成裝置3500還具有在背景圖像和前景圖像間，進(jìn)行各個結(jié)構(gòu)信號(色彩信號)的合成的第1、第2像素合成部件3540、3550。
第1像素合成部件3540根據(jù)實施例1的圖像合成方法，實現(xiàn)合成處理。
該第1像素合成部件3540具有根據(jù)前景的形狀信號，對前景被處理像素的結(jié)構(gòu)信號，算出合成比率的合成比率算出部件；根據(jù)該算出的合成比率，在上述前景的被處理像素和與其對應(yīng)的背景的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成部件，把該合成的結(jié)構(gòu)信號，在合成圖像中，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號并輸出。
上述第2像素合成部件3550，把上述前景圖像的物體內(nèi)的被處理像素的結(jié)構(gòu)信號，在上述合成圖像中，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用，與上述前景圖像的物體外的被處理像素相對應(yīng)，把背景圖像的對應(yīng)像素的結(jié)構(gòu)信號，在上述合成圖像中，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
上述圖像合成裝置3500還具有根據(jù)來自上述合成方法判定部件3530的合成控制信號3506，把前景的色彩信號供給上述第1及第2像素合成部件3540及3550其中之一的前段開關(guān)3560a；根據(jù)來自上述合成方法判定部件3530的合成控制信號3506，選擇上述第1及第2像素合成部件3540及3550其中之一的輸出信號，把選擇的輸出信號作為合成圖像的色彩信號并在輸出端子3500e輸出的后段開關(guān)3560b。
3500a～3500d分別為第1～第4輸入端子。第1輸入端子3500a輸入形狀類型信號，第2輸入端子3500b輸入前景的形狀信號，第3輸入端子3500c輸入前景的色彩信號，第4輸入端子3500d輸入背景的色彩信號。
下面說明其工作過程。
在該圖像合成裝置3500的第1輸入端子3500a輸入由前景的圖像信號得到的形狀類型信號3501時，邊界區(qū)域判定部件3510進(jìn)行判定；包含作為處理對象的對象像素的所定尺寸的領(lǐng)域(這里是由3×3像素組成的區(qū)域)是其全部像素位于物體外的領(lǐng)域(物體外區(qū)域)、其全部像素位于物體內(nèi)的領(lǐng)域(物體內(nèi)區(qū)域)、以及包含位于物體外的像素和位于物體內(nèi)的像素的領(lǐng)域(邊界區(qū)域)中哪一種情況。
上述圖像合成裝置3500的邊界像素判定部件3520，接受在第2輸入端子3500b輸入的前景的形狀信號3502，根據(jù)上述邊界區(qū)域判定部件3510的判定結(jié)果，進(jìn)行上述邊界區(qū)域內(nèi)各像素是否是物體內(nèi)像素的判定。
上述圖像合成裝置3500的合成方法判定部件3530，根據(jù)該邊界像素判定部件3520的判定結(jié)果，僅對上述邊界區(qū)域。算出該區(qū)域內(nèi)的物體內(nèi)像素數(shù)，根據(jù)物體內(nèi)像素數(shù)是否在所定閾值以上，輸出合成控制信號3506。
這時，上述圖像合成裝置3500的前段開關(guān)3560a，根據(jù)上述合成控制信號3506，控制第3輸入端子3500c輸入的前景的色彩信號，將其供給上述第1及第2合成部件3540及3550其中之一；上述圖象合成裝置3500的后段開關(guān)3560b，根據(jù)上述合成控制信號3506，選擇地控制上述第1及第2合成部件3540及3550其中之一的輸出。
例如，當(dāng)上述合成方法判定部件3530的判定結(jié)果是上述邊界區(qū)域的物體內(nèi)像素數(shù)在所定閾值以上時，上述前景的色彩信號3503通過上述前段開關(guān)3560a供給第1像素合成部件3540，該像素合成部件3540的輸出通過后段開關(guān)3560b，作為合成色彩信號3505，在輸出端子3500e輸出。該第1像素合成部件3540與實施例1的圖像合成方法一樣，根據(jù)前景的形狀信號，對前景的被處理像素的結(jié)構(gòu)信號算出合成比率，根據(jù)該算出的合成比率，在上述前景的被處理像素和與其對應(yīng)的背景的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理。
另一方面，在上述合成方法判定部件3530的判定結(jié)果是上述邊界區(qū)域的物體內(nèi)像素數(shù)不在所定閾值以上時，上述前景的色彩信號3503通過上述前段開關(guān)3560a供給第2像素合成部件3550，該像素合成部件3550的輸出通過后段開關(guān)3560b，作為合成色彩信號3505，在輸出端子3500e輸出。在第2像素合成部附3550，上述前景圖像的物體內(nèi)被處理像素的結(jié)構(gòu)信號，在上述合成圖像中，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出，與上述前景圖像的物體外的被處理像素相對應(yīng)，背景圖像的對應(yīng)像素的結(jié)構(gòu)信號，在上述合成圖像中，作為與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出。
在本結(jié)構(gòu)的實施例11中，根據(jù)前景的形狀信號，進(jìn)行以下合成處理的轉(zhuǎn)換對跨越前景圖像和背景圖像的邊界部分的并列像素，在對作為處理對象的被處理像素的結(jié)構(gòu)數(shù)據(jù)進(jìn)行平滑化后，在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)數(shù)據(jù)的合成的第1合成處理；把上述前景圖像的物體內(nèi)被處理像素的結(jié)構(gòu)數(shù)據(jù)，作為上述合成圖像的對應(yīng)像素的結(jié)構(gòu)信號輸出，與上述前景圖像的物體外被處理像素對應(yīng)，把背景圖像的對應(yīng)像素的結(jié)構(gòu)信號，作為上述合成圖像的對應(yīng)像素的結(jié)構(gòu)信號輸出的第2合成處理，這樣，就抑制了在合成圖像的前景圖像和背景圖像的邊界部的不自然表示，具有避免邊界部分模糊的效果。
在本實施例11中，作為上述第1像素合成部件，已經(jīng)說明了用實施例1的圖像合成方法進(jìn)行合成處理的情況，但上述第1像素合成部件，還有實施例1以外的實施例，例如，可用實施例2～8中任一個圖像合成方法進(jìn)行合成處理。
由于把用上述實施例11的圖像合成方法實現(xiàn)合成處理的圖像合成程序記錄在軟盤等數(shù)據(jù)存儲媒體上，則與上述實施例1～9的圖像合成處理同樣，也可在獨(dú)立的計算機(jī)系統(tǒng)中簡單實施上述實施例11的圖像合成處理。
如上所述，用本發(fā)明的圖像合成方法，對跨越前景圖像和背景圖像的邊界部的并列像素，在對作為處理對象的被處理像素的結(jié)構(gòu)數(shù)據(jù)或形狀數(shù)據(jù)進(jìn)行平滑化處理后，再在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)數(shù)據(jù)的合成。即可實現(xiàn)在合成后的前景和背景的邊界部分的圖像質(zhì)量的提高。
由于在本發(fā)明的數(shù)據(jù)存儲媒體上存儲了可由計算機(jī)根據(jù)上述圖像合成方法進(jìn)行圖像合成處理的程序，則通過裝入該程序的計算機(jī)，能實現(xiàn)提高合成圖像質(zhì)量的圖像合成處理。
權(quán)利要求
1.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于通過對在上述第1圖像空間的位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，算出對上述被處理像素的結(jié)構(gòu)信號合成比率的合成比率算出步驟，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素之間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為與上述第3圖像空間的上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
2.如權(quán)利要求1記載的圖像合成方法，其特征在于，包含根據(jù)上述第1圖象空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)的形狀判定步驟，在上述合成比率算出步驟，當(dāng)上述判定結(jié)果是上述被處理像素位于物體內(nèi)時，用上述對象領(lǐng)域的像素形狀信號算出上述合成比率。
3.如權(quán)利要求1記載的圖像合成方法，其特征在于，包含根據(jù)上述第1圖像空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟，在上述合成比率算出步驟，當(dāng)上述判定結(jié)果是上述被處理像素位于物體內(nèi)時，按照上述對象領(lǐng)域的像素形狀信號的加法平均值算出上述合成比率。
4.如權(quán)利要求1記載的圖像合成方法，其特征在于，在上述合成比率算出步驟，對上述形狀信號的演算處理，應(yīng)根據(jù)在該演算處理中乘數(shù)或除數(shù)為2的乘方數(shù)的變形演算式來進(jìn)行。
5.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于根據(jù)上述第1圖像空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟，當(dāng)上述判定結(jié)果是上述對象像素位于物體內(nèi)時，根據(jù)上述象領(lǐng)域的像素位于物體內(nèi)的個數(shù)，算出對上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
6.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于根據(jù)上述第1圖像空間的各像素的形狀信號，判定該各像素是否位于上述物體內(nèi)部的形狀判定步驟，根據(jù)上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，算出對上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟，當(dāng)上述形狀判定結(jié)果是上述被處理像素位于物體外時，則將上述被處理像素的結(jié)構(gòu)信號置換為由上述對象領(lǐng)域內(nèi)像素結(jié)構(gòu)信號的加法平均值得到的結(jié)構(gòu)信號的像素信息生成步驟，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號。
7.如權(quán)利要求6記載的圖像合成方法，其特征在于，在上述合成比率生成步驟，算出上述對象領(lǐng)域包含的像素的形狀信號平均值作為上述合成比率。
8.如權(quán)利要求6記載的圖像合成方法，其特征在于，在上述像素信息生成步驟，將上述被處理像素的結(jié)構(gòu)信號置換為上述對象領(lǐng)域所包含的像素中位于物體內(nèi)的像素的結(jié)構(gòu)信號的平均值。
9.如權(quán)利要求5或權(quán)利要求6記載的圖像合成方法，其特征在于，在上述合成比率算出步驟，預(yù)先根據(jù)上述對象領(lǐng)域內(nèi)的像素中位于物體內(nèi)的像素個數(shù)進(jìn)行計算，再根據(jù)從位于該對象領(lǐng)域內(nèi)的像素形狀信號得到的物體內(nèi)的像素個數(shù)，從上述表格求出已存儲在表格中的合成比率。
10.如權(quán)利要求1或權(quán)利要求6記載的圖像合成方法，其特征在于，在上述像素合成步驟，參照存儲了上述合成比率值和結(jié)構(gòu)信號值的所有組合的該兩者相乘結(jié)果的表格，求出上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號。
11.如權(quán)利要求5或權(quán)利要求6記載的圖像合成方法，其特征在于，在上述像素合成步驟，參照存儲了位于上述對象領(lǐng)域的物體內(nèi)的像素數(shù)和結(jié)構(gòu)信號值的所有組合的該兩者相乘結(jié)果的表格，求出上述第3圖像空間的與上述被處理像素對應(yīng)的像素結(jié)構(gòu)信號。
12.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間表示的上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于通過對在上述第1圖像空間的位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，算出對上述被處理像素的結(jié)構(gòu)信號合成比率的合成比率算出步驟，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖象空間的對應(yīng)像素之間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，在該像素合成步驟，當(dāng)與上述第1譯碼圖像信號對應(yīng)的編碼圖像信號生成時，參照該編碼圖像信號所付加的付加信息，轉(zhuǎn)換上述合成處理的構(gòu)信號的合成方法。
13.如權(quán)利要求12記載的圖像合成方法，其特征在于，上述付加信息是表示上述對象領(lǐng)域尺寸的信息。
14.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間表示的上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于根據(jù)上述第1圖像空間的各像素的形狀信號，檢出上述物體的邊界位置的邊界檢出步驟，根據(jù)在上述第1圖像空間的位于包含被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，僅對位于上述物體邊界附近的該物體內(nèi)及物體外的像素，進(jìn)行上述被處理像素的結(jié)構(gòu)信號合成比率的算出處理的合成比率算出步驟，對于上述邊界附近的像素，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，對于上述邊界附近以外的像素，根據(jù)這些像素的形狀數(shù)據(jù)，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
15.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于根據(jù)表示上述物體的尺寸以及在第1圖像空間的該物體的位置的付加信息，對位于物體內(nèi)或物體外的物體邊界附近的特定像素，在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，并對上述第1圖像空間的特定像素以外的周邊像素，把這些周邊像素對應(yīng)的第2圖像空間的像素的結(jié)構(gòu)信號，作為在上述第3圖像空間的與上述周邊像素對應(yīng)的像素的結(jié)構(gòu)信號的像素合成步驟，采用由上述像素合成步驟的合成處理得到的結(jié)構(gòu)信號，作為在上述第3圖像空間的對應(yīng)于上述特定像素的像素結(jié)構(gòu)信號。
16.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號和形狀信號的分辨率不相等時，對該結(jié)構(gòu)信號進(jìn)行分辨率變換處理，以使其分辨率與該形狀信號的分辨率相等的分辨率變換步驟，用進(jìn)行了上述分辨率變換處理的結(jié)構(gòu)信號和上述形狀信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成步驟。
17.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號的分辨率、構(gòu)成第2圖像信號的結(jié)構(gòu)信號的分辨率、圖像表示構(gòu)成合成圖像信號的結(jié)構(gòu)信號的表示分辨率不相同時，對上述第1、第2圖像信號的結(jié)構(gòu)信號進(jìn)行分辨率變換處理，以使其分辨率與上述表示分辨率相等的分辨率變化步驟，用進(jìn)行了上述分辨率變換處理的上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理的圖像合成步驟。
18.一種圖像合成方法，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于第1圖像合成處理，含有根據(jù)在上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，算出對于上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出步驟，和根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號，第2圖像合成處理，含有在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，以與上述第1圖像合成處理的合成比率不同的比率，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成步驟，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號，根據(jù)在上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，轉(zhuǎn)換上述第1及第2圖像合成處理。
19.如權(quán)利要求18記載的圖像合成方法，其特征在于，上述第2圖像合成處理在上述像素合成步驟，把上述第1圖像空間的物體內(nèi)被處理像素的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用，與上述第1圖像空間的物體外被處理像素相對應(yīng)，把第2圖像空間的對應(yīng)像素的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
20.一種圖像合成裝置，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于通過對在上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號的演算處理，對上述被處理像素的結(jié)構(gòu)信號算出合成比率的合成比率算出部件，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成部件，該像素合成部件在上述第1譯碼圖像信號對應(yīng)的編碼圖像信號生成時，參照該編碼圖像信號付加的付加信息，轉(zhuǎn)換上述合成處理的結(jié)構(gòu)信號的合成方法。
21.一種圖像合成裝置，能合成包含形成含任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間表示的圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于根據(jù)上述第1圖像空間的各像素的形狀信號，檢出上述物體的邊界位置的邊界檢出部件，根據(jù)上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，僅對位于上述物體邊界附近的物體內(nèi)及物體外的像素，進(jìn)行上述被處理像素的結(jié)構(gòu)信號合成比率算出處理的合成比率算出部件，對上述邊界附近的像素，根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，對上述邊界附近以外的像素，根據(jù)這些像素的形狀數(shù)據(jù)，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的像素合成部件，將該合成的結(jié)構(gòu)信號作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號用。
22.一種圖像合成裝置，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于具有像素合成部件，能根據(jù)表示上述物體的尺寸和在第1圖像空間的該物體的位置的付加信息，對位于物體內(nèi)或物體外的物體邊界附近的特定像素，在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理，對上述第1圖像空間的特定像素以外的周邊像素，把這些周邊像素對應(yīng)的第2圖像空間的像素的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述周邊像素對應(yīng)的像素的結(jié)構(gòu)信號，把通過上述像素合成步驟的合成處理得到的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述特定像素對應(yīng)的像素的結(jié)構(gòu)信號。
23.一種圖像合成裝置，用于合成包含形成含有任意形狀物體的第1圖像空間表示的上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于分辨率變換部件，當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號和形狀信號的分辨率不相等時，對該結(jié)構(gòu)信號進(jìn)行分辨率變換處理，以使其分辨率與該形狀信息的分辨率相等，以及圖像合成部件，用進(jìn)行了上述分辨率變換處理的結(jié)構(gòu)信號和上述形狀信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理。
24.一種圖像合成裝置，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于分辨率變化部件，當(dāng)構(gòu)成上述第1圖像信號的結(jié)構(gòu)信號的分辨率、構(gòu)成第2圖像信號的結(jié)構(gòu)信號的分辨率、圖像表示構(gòu)成合成圖像信號的結(jié)構(gòu)信號的表示分辨率不同時，對上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行分辨率變換處理，以使其分辨率與上述表示分辨率相等，以及圖像合成部件，用進(jìn)行了上述分辨率變換處理的上述第1、第2圖像信號的結(jié)構(gòu)信號，進(jìn)行上述第1圖像信號和第2圖像信號的合成處理。
25.一種圖像合成裝置，用于合成包含形成含有任意形狀物體的第1圖像空間的表示上述物體形狀的形狀信號和表示物體圖案的結(jié)構(gòu)信號的第1圖像信號、和包含形成第2圖像空間的表示圖像圖案的結(jié)構(gòu)信號的第2圖像信號；生成形成第3圖像空間的合成圖像信號，其特征在于第1圖像合成處理部和第2圖象合成處理部，第1圖象合成處理部具有根據(jù)在上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素形狀信號，算出上述被處理像素的結(jié)構(gòu)信號的合成比率的合成比率算出部件，以及根據(jù)該算出的合成比率，在上述被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素間，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的第1像素合成部件，把該合成的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出，第2圖像合成處理部具有在上述第1圖像空間的被處理像素和與其對應(yīng)的第2圖像空間的對應(yīng)像素之間，以與上述第1圖像合成處理的合成比率不同的比率，進(jìn)行這些像素的結(jié)構(gòu)信號的合成處理的第2像素合成部件，把該合成的結(jié)構(gòu)信號，作為上述第3圖像空間的與上述被處理像素對應(yīng)的像素的結(jié)構(gòu)信號輸出，根據(jù)上述第1圖像空間的位于含有被處理像素的對象領(lǐng)域內(nèi)的像素的形狀信號，轉(zhuǎn)換第1及第2圖像合成處理。
26.一種存儲由計算機(jī)進(jìn)行圖像合成處理的程序的數(shù)據(jù)存儲媒體，其特征在于上述程序是根據(jù)權(quán)利要求1到權(quán)利要求19任一項記載的圖像合成方法，由計算機(jī)進(jìn)行圖像合成處理的圖像合成程序。
全文摘要
本發(fā)明為一種在背景圖像上合成具有任意形狀物體的前景圖像的圖像合成方法,可提高合成圖像的前景物體邊界部分的圖像質(zhì)量。在本發(fā)明中,對跨越前景圖像和背景圖像邊界部分的并列像素,在對作為處理對象的被處理像素的形狀數(shù)據(jù)進(jìn)行平滑化后(步驟410),在前景圖像和背景圖像間進(jìn)行結(jié)構(gòu)數(shù)據(jù)的合成(步驟412)。
文檔編號G06T15/04GK1234570SQ99103339
公開日1999年11月10日 申請日期1999年2月2日 優(yōu)先權(quán)日1998年2月2日
發(fā)明者高橋潤, 文仲丞, 角野真也 申請人:松下電器產(chǎn)業(yè)株式會社