專利名稱：圖像特效設(shè)備、圖形處理器和記錄介質(zhì)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于通過紋理映射將視頻數(shù)據(jù)變換成任意形狀的圖像特效設(shè)備、以及在該圖像特效設(shè)備中使用的圖形處理器等。
背景技術(shù)：
圖像特效設(shè)備(效應(yīng)器)已知為構(gòu)成用于廣播和商業(yè)用途的非線性編輯系統(tǒng)的設(shè)備之一。用于廣播和商業(yè)用途的圖像特效設(shè)備是通過硬件電路執(zhí)行諸如視頻數(shù)據(jù)(活動圖像數(shù)據(jù))的擴(kuò)展、縮減和旋轉(zhuǎn)之類的變換處理的設(shè)備。
就相關(guān)技術(shù)領(lǐng)域的用于廣播和商業(yè)用途的圖像特效設(shè)備而言，可變換的模式由生產(chǎn)商預(yù)先限定為幾種類型，以避免擴(kuò)大硬件尺寸和增加成本，因此僅僅可以使用有限的模式執(zhí)行變換。
另一方面，在計(jì)算機(jī)圖形學(xué)領(lǐng)域，通過使用圖形處理器來執(zhí)行稱為紋理映射的圖像變換方法，該圖形處理器是以相對低的成本專門用于圖像處理的處理器。紋理映射是這樣的方法，其中將圖像(紋理)粘貼到通過在虛擬三維空間中組合多邊形而準(zhǔn)備的模型上。
已知的是，在圖形處理器中安裝了用于幾何處理的頂點(diǎn)著色器(shader)和用于繪制處理的像素著色器。近來，其中這些著色器是可編程的圖形處理器已經(jīng)變?yōu)橹髁鳌?br> 然而，在紋理映射中，取決于模型在顯示屏幕上的尺寸(這個尺寸與從視點(diǎn)到模型的距離相對應(yīng)地減少)而導(dǎo)致了混疊(aliasing)，混疊是這樣的現(xiàn)象，其中所粘貼紋理的邊緣被看作為沿著顯示屏幕中的像素的鋸齒。在圖形處理器中，采用了MIPMAP(小中見大映射Multum In Parvo Mapping)方法來控制這個混疊。在MIPMAP方法中，預(yù)先將通過使用多個離散的縮減率(1，1/2，1/4，1/8...)縮減同一圖像獲得的紋理存儲在存儲器中，并且選擇其縮減率接近于顯示屏幕上的模型的縮減率的紋理(例如，參見日本公開的專利申請第2002-83316號(第0004段))。

發(fā)明內(nèi)容
在相關(guān)技術(shù)領(lǐng)域用于廣播和商業(yè)用途的圖像特效設(shè)備中，如上所述，因?yàn)樽儞Q模式是受限的，所以用戶很難任意地確定變換模式。
此外，如果將用于把視頻數(shù)據(jù)變換為任意形狀的硬件電路添加到該用于廣播和商業(yè)用途的圖像特效設(shè)備中，則可能擴(kuò)大了硬件尺寸并且可能增加了成本。
相反，在計(jì)算機(jī)圖形學(xué)領(lǐng)域使用的圖形處理器中，可以通過紋理映射將圖像變換為任意形狀。然而，因?yàn)橄铝性?，圖形處理器不適于處理廣播和商業(yè)領(lǐng)域中的視頻數(shù)據(jù)。
(1)MIPMAP方法導(dǎo)致的圖像質(zhì)量降級在MIPMAP方法中，在其中顯示屏幕上的模型的縮減率不對應(yīng)于預(yù)先準(zhǔn)備的紋理的縮減率的情況下，可能不能充分地控制混疊。因此，MIPMAP方法不能滿足廣播和商業(yè)領(lǐng)域可能要求的圖像質(zhì)量。
(2)色空間轉(zhuǎn)換導(dǎo)致的圖像質(zhì)量降級圖形處理器被配置為在RGB(紅、綠和藍(lán))色空間中處理圖像數(shù)據(jù)。因此，為了對處于在廣播和商業(yè)領(lǐng)域使用的YUV(亮度和色度差)空間中的視頻數(shù)據(jù)執(zhí)行紋理映射，當(dāng)將視頻數(shù)據(jù)輸入到圖形處理器或者從中輸出時(shí)，必須執(zhí)行色空間的轉(zhuǎn)換處理(從YUV空間到RGB空間的轉(zhuǎn)換以及從RGB空間到Y(jié)UV空間的轉(zhuǎn)換)。然而，因?yàn)槟軌虮磉_(dá)的顏色范圍在YUV空間和RGB空間之間是不同的，因此不能保證在執(zhí)行了色空間轉(zhuǎn)換之后獲得與輸入視頻相同的圖像。
(3)圖像數(shù)據(jù)分辨率的限制圖形處理器僅僅能夠處理高達(dá)8位分辨率的圖像數(shù)據(jù)。因此，不能處理作為廣播和商業(yè)領(lǐng)域主流的10位的高質(zhì)量視頻數(shù)據(jù)。
(4)處理速度的限制在圖形處理器中處理高分辨率視頻數(shù)據(jù)的情況下，因?yàn)樵L問將視頻數(shù)據(jù)存儲為紋理的存儲器的時(shí)段變長，所以實(shí)時(shí)處理視頻數(shù)據(jù)變難。
本發(fā)明解決上述及其它與傳統(tǒng)方法和設(shè)備相關(guān)聯(lián)的問題。
滿足廣播和商業(yè)領(lǐng)域可能要求的圖像質(zhì)量和實(shí)時(shí)處理是所期望的，而且通過紋理映射將視頻數(shù)據(jù)變換為任意形狀而不會導(dǎo)致硬件尺寸擴(kuò)大和成本增加也是所期望的。
根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像特效設(shè)備，其包括圖形處理器，其中安裝了可編程著色器；以及視頻處理塊，其用硬件電路配置。該圖形處理器被編程為執(zhí)行以下處理根據(jù)提供的有關(guān)虛擬三維空間中的模型的形狀的信息，將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕上的二維坐標(biāo)；以及計(jì)算粘貼在顯示屏幕上的圖像的紋理坐標(biāo)和該顯示屏幕上的模型的縮減率。該圖形處理器還被編程為執(zhí)行從圖像數(shù)據(jù)輸出單元中輸出有關(guān)紋理坐標(biāo)和縮減率的信息的處理。該視頻處理塊包括前置濾波器，其通過使用與所提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波器系數(shù)而執(zhí)行輸入視頻數(shù)據(jù)的濾波；存儲器，其中寫入由這個前置濾波器濾波的視頻數(shù)據(jù)；以及控制電路，其通過使用所提供的紋理坐標(biāo)作為讀取地址的信息來從存儲器中讀出視頻數(shù)據(jù)。在這個圖像特效設(shè)備中，從圖形處理器輸出的有關(guān)紋理坐標(biāo)的信息和有關(guān)縮減率的信息分別被提供給該視頻處理塊的控制電路和該視頻處理塊的前置濾波器。
此外，根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像特效設(shè)備，其中將由圖形處理器離線(處于其中視頻處理塊遠(yuǎn)離處理器的狀態(tài))計(jì)算的有關(guān)紋理坐標(biāo)和縮減率的信息借助于記錄介質(zhì)或者網(wǎng)絡(luò)提供給視頻處理塊。
此外，根據(jù)本發(fā)明的實(shí)施例，提供了一種其中記錄了程序的記錄介質(zhì)，其中上述圖形處理器根據(jù)該程序運(yùn)行，而且安裝了可編程著色器的現(xiàn)有圖形處理器也和上述圖形處理器一樣根據(jù)該程序運(yùn)行。
根據(jù)本發(fā)明的實(shí)施例，在紋理映射的處理當(dāng)中，通過對現(xiàn)有的可編程圖形處理器進(jìn)行編程，來執(zhí)行不與圖像質(zhì)量相關(guān)的、計(jì)算和輸出有關(guān)圖像的已變換形狀(紋理坐標(biāo)和縮減率)等的信息的處理。
換句話說，在相關(guān)技術(shù)的使用圖形處理器的一般方法中，僅僅在圖形處理器內(nèi)使用有關(guān)紋理坐標(biāo)和縮減率的信息，并且從該圖形處理器中輸出最終變換的圖像數(shù)據(jù)。然而，根據(jù)本發(fā)明的實(shí)施例，這樣進(jìn)行編程以便將有關(guān)紋理坐標(biāo)和縮減率的信息本身從圖形處理器的圖像數(shù)據(jù)輸出單元中輸出。
與視頻數(shù)據(jù)的分辨率無關(guān)，有關(guān)這樣的紋理坐標(biāo)和縮減率的信息的計(jì)算和輸出處理所需的時(shí)段是不變的，從而可以有利地執(zhí)行實(shí)時(shí)處理。
另一方面，基于從圖形處理器輸出的信息，由利用硬件電路配置的視頻處理塊執(zhí)行視頻數(shù)據(jù)本身的處理(也就是與圖像質(zhì)量相關(guān)的處理)。
在該視頻處理塊中，根據(jù)從圖形處理器提供的有關(guān)縮減率的信息執(zhí)行輸入視頻數(shù)據(jù)的濾波(縮減)。然后，在將視頻數(shù)據(jù)寫入到存儲器中之后，通過使用從圖形處理器提供的有關(guān)紋理坐標(biāo)的信息作為讀取地址，而從存儲器中讀出該視頻數(shù)據(jù)，然后將該視頻數(shù)據(jù)粘貼到顯示屏幕上的模型上。因此，對該視頻數(shù)據(jù)適當(dāng)?shù)貓?zhí)行與顯示屏幕上的模型的縮減率對應(yīng)的濾波，并然后粘貼該視頻數(shù)據(jù)，從而可以充分地控制混疊。
此外，如上所述，通過使用與圖形處理器分離地提供的另一硬件電路來處理視頻數(shù)據(jù)，直接處理YUV空間中的圖像數(shù)據(jù)(而不用將它轉(zhuǎn)換到RGB空間中)以及處理10位的高質(zhì)量視頻數(shù)據(jù)就變得有可能。
因此，可以通過紋理映射來變換視頻數(shù)據(jù)，同時(shí)滿足廣播和商業(yè)領(lǐng)域中可能要求的圖像質(zhì)量和實(shí)時(shí)處理。
此外，因?yàn)橥ㄟ^使用相對低成本的圖形處理器計(jì)算有關(guān)圖像的已變換形狀等的信息，所以可以將視頻數(shù)據(jù)變換為任意形狀，而不會導(dǎo)致硬件尺寸的擴(kuò)大以及成本的增加。
此外，由圖形處理器離線計(jì)算的信息借助于記錄介質(zhì)或者網(wǎng)絡(luò)而提供給這個圖像特效設(shè)備。因此，由例如在遠(yuǎn)離提供這個圖像特效設(shè)備的位置的位置處的個人計(jì)算機(jī)中的圖形處理器計(jì)算有關(guān)圖像的已變換形狀等的信息，并且在那之后，可以基于那個信息實(shí)際地粘貼視頻數(shù)據(jù)。因此，可以改進(jìn)紋理映射的工作流程。
根據(jù)本發(fā)明的實(shí)施例，獲得了以下的效果可以通過紋理映射將視頻數(shù)據(jù)變換為任意形狀，而不會導(dǎo)致硬件尺寸的擴(kuò)大和成本的增加，同時(shí)滿足了在廣播和商業(yè)領(lǐng)域中可能要求的圖像質(zhì)量和實(shí)時(shí)處理。
此外，通過經(jīng)由記錄介質(zhì)或者網(wǎng)絡(luò)將由圖形處理器離線計(jì)算的信息提供給圖像特效設(shè)備，可以獲得改進(jìn)紋理映射的工作流程的效果。


圖1為示出根據(jù)本發(fā)明的實(shí)施例的圖像特效設(shè)備的配置示例的框圖；圖2為示意地示出圖1中的圖形處理器的配置的框圖；
圖3是示出通過使用過去的典型方法的圖形處理器的處理的圖示；圖4是示出圖1的圖像特效設(shè)備中的圖形處理器的處理的圖示；圖5是示出屏幕坐標(biāo)上的模型以及粘貼到該模型上的圖像的紋理坐標(biāo)的示例的圖示；圖6是示出其中在圖4的處理中將紋理坐標(biāo)分配為R、G和B位的示例的圖示；以及圖7為示出圖1中的視頻處理塊的配置的圖示。
具體實(shí)施例方式
在下文中，通過使用附圖具體地說明本發(fā)明的實(shí)施例。圖1為示出根據(jù)本發(fā)明的實(shí)施例的圖像特效設(shè)備的配置示例的框圖。這個圖像特效設(shè)備1是用作電視廣播臺等中的非線性編輯系統(tǒng)的一部分的設(shè)備。該圖像特效設(shè)備1包括操作面板2、CPU 3、圖形處理器4、緩沖存儲器5、四個系統(tǒng)的視頻處理塊6、疊加電路7、小存儲卡槽8和用于網(wǎng)絡(luò)通信的通信接口9。圖形處理器4安裝在用于圖形處理器的槽(未在圖中示出)中，該槽在圖像特效設(shè)備1的外殼表面上提供。視頻處理塊6中的每一個分別連接到一個VTR 51[51(1)到51(4)]。
使用3D(三維)計(jì)算機(jī)圖形學(xué)的應(yīng)用軟件，操作面板2準(zhǔn)備虛擬三維空間中的模型；指定用作紋理的視頻數(shù)據(jù)(最大四個系統(tǒng))；以及執(zhí)行各種參數(shù)的設(shè)置。這些參數(shù)包括模型表面的屬性、視點(diǎn)、光源、透明度、顯示屏幕的分辨率、紋理空間、在其中疊加兩個或更多系統(tǒng)的視頻數(shù)據(jù)的情況下的景深方向的位置關(guān)系等。
基于操作面板2的操作等，CPU 3控制圖像特效設(shè)備1中的每個單元以及每個VTR 51。
圖形處理器4是其中安裝了可編程著色器的現(xiàn)有(市場上可買到的)圖形處理器。然而，這個圖形處理器4具有被編程的關(guān)于處理內(nèi)容的特征。
圖2是示意地示出圖形處理器4的配置的框圖。圖形處理器4包括AGP接口11，用于將數(shù)據(jù)傳送到外部CPU或者從外部CPU中接收數(shù)據(jù)；執(zhí)行幾何處理的頂點(diǎn)著色器12；執(zhí)行繪制處理的像素著色器13；存儲器接口14；以及用于輸出圖像數(shù)據(jù)(各自為8位的R、G和B信息、以及表示透明度的8位信息α)的顯示接口15。
在說明在這個圖像特效設(shè)備1中的圖形處理器4的處理之前，將參考圖3說明在過去的典型方法中使用圖形處理器4的情況下、圖形處理器4的處理。
當(dāng)從外部CPU提供了有關(guān)構(gòu)成已準(zhǔn)備模型的多邊形的頂點(diǎn)信息以及各種參數(shù)時(shí)，頂點(diǎn)著色器12將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕(屏幕坐標(biāo))上的2D(二維)坐標(biāo)(步驟S1)。然后，為顯示屏幕中的每個像素單元計(jì)算粘貼到顯示屏幕上的模型上的圖像的紋理坐標(biāo)(X，Y)以及該顯示屏幕上的模型的縮減率(s)(步驟S2)。此外，在步驟S2中，如果設(shè)置了光源，則還為每個像素單元計(jì)算用于光源處理的發(fā)光系數(shù)(L)，以及如果指定了兩個或更多系統(tǒng)的紋理，則還為每個像素單元計(jì)算指示紋理沿景深方向的位置關(guān)系的景深方向(Z)的信息。
隨后，通過存儲器接口14，像素著色器13通過使用坐標(biāo)(X，Y)作為讀取地址、使用MIPMAP方法從存儲在外部存儲器(DRAM)中的紋理當(dāng)中讀出具有接近該縮減率(s)的縮減率的紋理(步驟S3)。然后，從顯示接口15輸出有關(guān)該紋理的R、G和B的數(shù)據(jù)(步驟S4)。要注意到，在步驟S4中，如果將透明度設(shè)置為參數(shù)，則還從顯示接口15輸出有關(guān)透明度的信息(α)。
相反，圖4示出了在這個圖像特效設(shè)備1中的圖形處理器4的處理。
當(dāng)通過操作面板2的操作準(zhǔn)備了模型并且設(shè)置了參數(shù)時(shí)，CPU 3將有關(guān)構(gòu)成所準(zhǔn)備模型的多邊形的頂點(diǎn)信息、被設(shè)置的參數(shù)、以及指定要從圖形處理器4輸出的信息的ID提供給圖形處理器4的AGP接口11(參見圖2)。
要注意到，由這個ID指定的信息必定包括有關(guān)紋理坐標(biāo)的信息以及有關(guān)顯示屏幕上的模型的縮減率的信息。此外，如果將光源設(shè)置為參數(shù)，則這個信息包括用于光源處理的發(fā)光系數(shù)。此外，如果在其中疊加兩個或更多系統(tǒng)的視頻數(shù)據(jù)的情況下將景深方向的位置關(guān)系設(shè)置為參數(shù)，則這個信息包括指示位置關(guān)系的、有關(guān)景深的信息。
當(dāng)從CPU 3提供了這些信息、參數(shù)和ID時(shí)，頂點(diǎn)著色器12將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為2D(二維)坐標(biāo)(屏幕坐標(biāo))(步驟S11)。然后，為顯示屏幕中的每個像素單元計(jì)算粘貼到顯示屏幕上的模型上的圖像的紋理坐標(biāo)(X，Y)以及該顯示屏幕上的模型的縮減率(s)(步驟S12)。此外，在步驟S12中，如果設(shè)置了光源，則還為每個像素單元計(jì)算用于光源處理的發(fā)光系數(shù)(L)，以及如果指定了兩個或更多系統(tǒng)的視頻數(shù)據(jù)，則還為每個像素單元計(jì)算指示兩個或更多視頻數(shù)據(jù)在景深方向的位置關(guān)系的、景深方向(Z)的信息。
到這些步驟S11和S12為止的處理和圖3中到步驟S1和S2為止的處理相同。圖5是示出在步驟S11轉(zhuǎn)換的(顯示屏幕上的)屏幕坐標(biāo)上的模型以及在步驟S12計(jì)算的紋理坐標(biāo)的示例的圖示。在這個示例中，將紋理空間中的陰影部分的紋理坐標(biāo)的圖像粘貼到顯示屏幕上的波模型61的顯示位置上。
隨后，由像素著色器13將由ID指定的、有關(guān)紋理坐標(biāo)和縮減率的信息從CPU 3分配給R、G、B和α中的位(步驟S13)。換句話說，必定將由頂點(diǎn)著色器12計(jì)算的、有關(guān)紋理坐標(biāo)(X，Y)和縮減率(s)的信息分配給這些位。此外，如果由這個ID指定了發(fā)光系數(shù)和有關(guān)景深的信息，則還把發(fā)光系數(shù)(L)以及有關(guān)景深的信息(Z)分配給R、G、B和α中的位。
然后，從顯示接口15輸出分配給R、G、B和α中的位的信息(步驟S14)。
圖6是示出其中分配了紋理坐標(biāo)(X，Y)的步驟S13的示例的圖示。在這個示例中，由32位浮點(diǎn)模式計(jì)算的紋理坐標(biāo)(X，Y)被轉(zhuǎn)換為18位的定點(diǎn)模式(14位用于整數(shù)，4位用于小數(shù))，然后分離這18位并且將其分配給R中的低階2位、G中的8位以及B中的8位。類似地，還將縮減率(s)(以及，如果計(jì)算了的話，發(fā)光系數(shù)(L)和有關(guān)景深的信息(Z))分配給R中的剩余位或者α中的位。
如上所述，對圖形處理器4進(jìn)行編程以便從顯示接口15輸出有關(guān)顯示屏幕中的像素單元的紋理坐標(biāo)(X，Y)、縮減率(s)等的信息。此外，如果這個程序作為諸如CD-ROM等之類的封裝介質(zhì)被有償或者無償?shù)胤职l(fā)，則用戶可以使用用戶早已擁有的圖形處理器作為在這個圖像特效設(shè)備1中的圖形處理器4。
如圖1所示，從圖形處理器4輸出的、有關(guān)像素單元的紋理坐標(biāo)(X，Y)、縮減率(s)等的信息被傳送到緩沖存儲器5。
在緩沖存儲器5中，作為CPU 3的初始化處理，已經(jīng)把代表顯示屏幕的背景部分(例如，圖5中的背景62)的亮度和顏色的10位YUV(亮度和色度差)信號的值寫入到對應(yīng)于顯示屏幕中的全部像素的存儲區(qū)域中。然后，在這個初始化的緩沖存儲器5中，重寫來自圖形處理器4的、有關(guān)紋理坐標(biāo)(X，Y)、縮減率(s)等的信息。因此，在緩沖存儲器5的存儲區(qū)域當(dāng)中的、與未重寫有關(guān)紋理坐標(biāo)(X，Y)、縮減率(s)等的信息的像素(即，顯示屏幕上的背景部分中的像素)相對應(yīng)的存儲區(qū)域中，初始值的YUV信號的值保持不變。
此外，可以在緩沖存儲器5中重寫由槽8從小存儲卡中讀出的信息以及由通信接口9通過網(wǎng)絡(luò)接收的信息。
圖7是示出每個視頻處理塊6的配置的框圖。視頻處理塊6用硬件電路配置，并且包括前置濾波器單元21、紋理控制器22、紋理存儲器23、插值電路24、光源處理電路25和同步分離電路26。前置濾波器單元21被配置為具有濾波系數(shù)計(jì)算電路27、H(水平)方向前置濾波器28、HV掃描轉(zhuǎn)換器29和V(垂直)方向前置濾波器30。
將由連接到每個視頻處理塊6的VTR 51(圖1所示)再現(xiàn)的視頻數(shù)據(jù)(10位的YUV(亮度和色度差)信號)提供給前置濾波器單元21和同步分離電路26。同步分離電路26從這個視頻數(shù)據(jù)中分離出垂直同步信號(vs)，并且將這個垂直同步信號(vs)傳送給圖1中的CPU 3。
與這個垂直同步信號(vs)同步地，CPU 3為視頻數(shù)據(jù)的每幀而從緩沖存儲器5中順序地讀出與顯示屏幕中的全部像素相對應(yīng)的、存儲在存儲區(qū)域中的信息。
對于從中讀出不同于初始值(背景中的YUV信號的值)的值的像素，CPU 3通過使用CPU 3內(nèi)部的RAM而重構(gòu)紋理坐標(biāo)(X，Y)、縮減率(s)、發(fā)光系數(shù)(L)和景深信息(z)。例如，在其中如圖6所示、這樣分配紋理坐標(biāo)(X，Y)以便Y被劃分成R中的低階2位、G中的8位和B中的8位的情況下，從這些位中重構(gòu)紋理坐標(biāo)(X，Y)。
CPU 3將有關(guān)紋理坐標(biāo)(X，Y)的信息提供給每個視頻處理塊6中的紋理存儲控制器22(參見圖7)；將有關(guān)縮減率(s)的信息提供給每個視頻處理塊6中的前置濾波器單元21(參見圖7)；將發(fā)光系數(shù)(L)提供給每個視頻處理塊6中的光源處理電路25(參見圖7)；以及將景深信息(Z)提供給疊加電路7。
此外，對于其中讀出了初始值(背景中的YUV信號的值)的像素，CPU3將初始值的數(shù)據(jù)按照原樣提供給每個視頻處理塊6的紋理存儲控制器22。
如圖7所示，在每個視頻處理塊6的前置濾波器單元21中，濾波系數(shù)計(jì)算電路27計(jì)算與來自CPU 3(參見圖1)的縮減率(s)相對應(yīng)的、用于縮減視頻數(shù)據(jù)的濾波系數(shù)(F)，并且將該濾波系數(shù)(F)提供給H方向前置濾波器28和V方向前置濾波器30。
H方向前置濾波器28使用這個濾波系數(shù)(F)對從VTR 51(參見圖1)提供的視頻數(shù)據(jù)執(zhí)行濾波(在屏幕水平方向的濾波)，并且將結(jié)果傳送到HV掃描轉(zhuǎn)換器29。
在將一幀的視頻數(shù)據(jù)寫入到內(nèi)部存儲器中之后，HV掃描轉(zhuǎn)換器29沿屏幕的垂直方向從存儲器中讀出每個像素的數(shù)據(jù)，以便對該視頻數(shù)據(jù)進(jìn)行掃描轉(zhuǎn)換。然后，將掃描轉(zhuǎn)換了的視頻數(shù)據(jù)傳送到V方向前置濾波器30。
V方向前置濾波器30使用濾波系數(shù)(F)執(zhí)行這個視頻數(shù)據(jù)的濾波(在屏幕垂直方向的濾波)。
由V方向前置濾波器30對其執(zhí)行濾波的視頻數(shù)據(jù)從前置濾波器單元21被傳送到紋理存儲控制器22。
在將這個視頻數(shù)據(jù)寫入到紋理存儲器23中之后，紋理存儲控制器22通過使用來自CPU 3(參見圖1)的紋理坐標(biāo)(X，Y)作為讀取地址，而從紋理存儲器23中讀出顯示屏幕中的每個像素的視頻數(shù)據(jù)。(當(dāng)顯示屏幕的分辨率和視頻數(shù)據(jù)的分辨率相等時(shí)，讀出有關(guān)與顯示屏幕中的像素相對應(yīng)的像素位置的數(shù)據(jù)。當(dāng)顯示屏幕的分辨率高于視頻數(shù)據(jù)的分辨率時(shí)，讀出有關(guān)在該顯示屏幕中的像素附近的多個(四個或者八個)像素位置的數(shù)據(jù)。)然后，將所讀出的視頻數(shù)據(jù)傳送到插值電路24。
然而，在顯示屏幕的像素當(dāng)中，對于從CPU 3(參見圖1)向其提供了初始值(背景中的YUV信號值)數(shù)據(jù)的像素，紋理存儲控制器22不執(zhí)行從紋理存儲器23中的讀出，而且沒有任何改變地將這些初始值傳送到插值電路24。
在其中相對于顯示屏幕中的一個像素傳送了有關(guān)多個像素位置的數(shù)據(jù)的情況下(如上所述，當(dāng)顯示屏幕的分辨率高于視頻數(shù)據(jù)的分辨率時(shí))，插值電路24通過對多個數(shù)據(jù)執(zhí)行線性插值來生成與顯示屏幕中的像素相對應(yīng)的數(shù)據(jù)。然后，將所生成的數(shù)據(jù)傳送給光源處理電路25。在除此之外的其它情況下，插值電路24將從紋理存儲器23傳送過來的數(shù)據(jù)按照原樣傳送給光源處理電路25。
在顯示屏幕的像素當(dāng)中，對于從CPU 3(參見圖1)向其提供了發(fā)光系數(shù)(L)的像素，由光源處理電路25對來自插值電路24的視頻數(shù)據(jù)執(zhí)行與這個發(fā)光系數(shù)(L)相對應(yīng)的光源處理(反射光和陰影表示)。對于除此之外的其它像素，光源處理電路25按照原樣輸出從插值電路24傳送過來的視頻數(shù)據(jù)。
如圖1所示，將從每個視頻處理塊6的光源處理電路25輸出的視頻數(shù)據(jù)提供給疊加電路7。在從CPU 3(參見圖1)提供了景深信息(Z)的情況下，疊加電路7根據(jù)這個景深信息(Z)疊加從每個視頻處理塊6提供的兩個或更多系統(tǒng)(最大為四個系統(tǒng))的視頻數(shù)據(jù)。在除此之外的其它情況下(換句話說，在僅僅從一個視頻處理塊6提供視頻數(shù)據(jù)的情況下)，疊加電路7按照原樣輸出所提供的視頻數(shù)據(jù)。
將從疊加電路7輸出的視頻數(shù)據(jù)(10位的YUV信號)傳送到與該圖像特效設(shè)備1相連接的圖像記錄設(shè)備、監(jiān)視器等(未在圖中示出)。
如上所述，通過對現(xiàn)有的可編程圖形處理器4進(jìn)行編程，這個圖像特效設(shè)備1執(zhí)行紋理映射處理當(dāng)中、不涉及圖像質(zhì)量的處理。不涉及圖像質(zhì)量的處理是計(jì)算和輸出有關(guān)圖像的已變換形狀等(紋理坐標(biāo)(X，Y)、縮減率(s)、發(fā)光系數(shù)(L)和景深信息(Z))的信息的處理。
換句話說，在相關(guān)技術(shù)的使用圖形處理器的一般方法中，僅僅在圖形處理器內(nèi)使用有關(guān)紋理坐標(biāo)、縮減率等的信息，并且從該圖形處理器中輸出最終變換的圖像數(shù)據(jù)。相反，在這個圖像特效設(shè)備1中，對圖形處理器4進(jìn)行編程，以便從圖形處理器4的顯示接口15輸出有關(guān)紋理坐標(biāo)、縮減率等的信息本身。
與視頻數(shù)據(jù)的分辨率無關(guān)，有關(guān)該紋理坐標(biāo)和縮減率等的信息的計(jì)算和輸出處理所必需的時(shí)段是不變的，從而可以執(zhí)行實(shí)時(shí)處理。
另一方面，由利用硬件電路配置的視頻處理塊6基于從圖形處理器4輸出的信息，而執(zhí)行作為涉及圖像質(zhì)量的處理的、視頻數(shù)據(jù)本身的處理。在視頻處理塊6中，根據(jù)從圖形處理器4提供的、有關(guān)縮減率(s)的信息，在前置濾波器單元21中執(zhí)行輸入視頻數(shù)據(jù)的濾波(縮減)。然后，在將視頻數(shù)據(jù)寫入到紋理存儲器23中之后，通過使用從圖形處理器4提供的、有關(guān)紋理坐標(biāo)(X，Y)的信息作為讀取地址，而從紋理存儲器23中讀出該視頻數(shù)據(jù)。(當(dāng)還從圖形處理器4中輸出發(fā)光系數(shù)(L)和景深信息(Z)時(shí)，根據(jù)上述信息執(zhí)行光源處理以及在疊加電路7中的疊加處理。)然后，將該視頻數(shù)據(jù)粘貼到顯示屏幕上的模型上。因此，在對視頻數(shù)據(jù)適當(dāng)?shù)貓?zhí)行與顯示屏幕上的模型的縮減率相對應(yīng)的濾波之后，粘貼該視頻數(shù)據(jù)，從而可以充分地控制混疊。
此外，如上所述，因?yàn)橥ㄟ^使用與圖形處理器4分離地提供的另一硬件電路來處理視頻數(shù)據(jù)，所以直接處理YUV空間中的圖像數(shù)據(jù)(不用將它轉(zhuǎn)換到RGB空間中)以及處理10位的高質(zhì)量視頻數(shù)據(jù)就變得有可能。
因此，可以通過紋理映射來變換視頻數(shù)據(jù)，同時(shí)還滿足廣播和商業(yè)領(lǐng)域可能要求的圖像質(zhì)量和實(shí)時(shí)處理。
此外，因?yàn)橥ㄟ^使用相對低成本的圖形處理器4來計(jì)算有關(guān)圖像的已變換形狀等的信息，所以可以將視頻數(shù)據(jù)變換為任意形狀而不會導(dǎo)致硬件尺寸的擴(kuò)大以及成本的增加。
此外，例如，使用安裝有圖形處理器并且執(zhí)行與圖形處理器4相同的程序的個人計(jì)算機(jī)，可以離線計(jì)算紋理坐標(biāo)(X，Y)、縮減率(s)等(處于其中沒有在附近提供圖像特效設(shè)備1的狀態(tài))。隨后，通過小存儲卡或者網(wǎng)絡(luò)將所計(jì)算的信息提供給圖像特效設(shè)備1(即，由槽8從該小存儲卡中讀出以存儲到緩沖存儲器5中、或者由接口9接收以寫入到緩沖存儲器5中)，并且可以基于該信息而在圖像特效設(shè)備1的視頻處理塊6中實(shí)際地粘貼該視頻數(shù)據(jù)。因此，還可以改進(jìn)紋理映射的工作流程。
要注意到，雖然在上述實(shí)施例的圖像特效設(shè)備1中提供了視頻處理塊6的四個系統(tǒng)，但是不用說，系統(tǒng)數(shù)目可被任意選擇為諸如三個系統(tǒng)或更少、五個系統(tǒng)或更多等。
本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解在所附權(quán)利要求及其等效的范圍之內(nèi)，取決于設(shè)計(jì)要求及其他因素，可以出現(xiàn)各種修改、組合、子組合以及改變。
權(quán)利要求
1.一種圖像特效設(shè)備，包含圖形處理器，其中安裝了可編程著色器；以及視頻處理塊，用硬件電路配置；所述圖形處理器被編程為執(zhí)行根據(jù)提供的有關(guān)虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕上的二維坐標(biāo)、以及計(jì)算粘貼在顯示屏幕上的圖像的紋理坐標(biāo)和該顯示屏幕上的模型的縮減率的處理，以及從圖像數(shù)據(jù)輸出單元輸出有關(guān)所述紋理坐標(biāo)以及有關(guān)所述縮減率的信息的處理；所述視頻處理塊包括前置濾波器，其通過使用與所提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)而執(zhí)行輸入視頻數(shù)據(jù)的濾波，存儲器，其中寫入由所述前置濾波器濾波的視頻數(shù)據(jù)，控制電路，其通過使用所提供的紋理坐標(biāo)作為讀取地址的信息，來從所述存儲器中讀出視頻數(shù)據(jù)；以及其中，將從所述圖形處理器輸出的有關(guān)所述紋理坐標(biāo)的信息提供給所述視頻處理塊中的所述控制電路，以及將從所述圖形處理器輸出的有關(guān)所述縮減率的信息提供給所述視頻處理塊中的所述前置濾波器。
2.如權(quán)利要求1所述的圖像特效設(shè)備，其中所述圖形處理器還被編程為執(zhí)行計(jì)算光源處理中的系數(shù)、并且同樣從所述圖像數(shù)據(jù)輸出單元中輸出有關(guān)所述系數(shù)的信息的處理，所述視頻處理塊還包括光源處理電路，其對從所述存儲器讀出的視頻數(shù)據(jù)執(zhí)行與所提供的系數(shù)相對應(yīng)的光源處理，以及將從所述圖形處理器輸出的有關(guān)所述系數(shù)的信息提供給所述視頻處理塊中的所述光源處理電路。
3.如權(quán)利要求1所述的圖像特效設(shè)備，其中所述圖形處理器還被編程為執(zhí)行以下這樣的處理，即在其中疊加兩個或更多系統(tǒng)的視頻數(shù)據(jù)以便顯示的情況下，計(jì)算景深方向的信息并且同樣從所述圖像數(shù)據(jù)輸出單元中輸出所述景深方向的信息；包含了所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統(tǒng)以便并行處理兩個或更多系統(tǒng)中的視頻數(shù)據(jù)，并且還包括了疊加電路，通過該電路，而與所提供的景深方向的信息相對應(yīng)地疊加從每個系統(tǒng)的所述存儲器讀出的視頻數(shù)據(jù)；以及將從所述圖形處理器輸出的、所述景深方向的信息提供給所述疊加電路。
4.如權(quán)利要求1所述的圖像特效設(shè)備，還包含存儲單元，其存儲從所述圖形處理器的所述圖像數(shù)據(jù)輸出單元中輸出的、有關(guān)所述紋理坐標(biāo)的信息以及有關(guān)所述縮減率的信息，其中與輸入到所述視頻處理塊的視頻數(shù)據(jù)同步地從所述存儲單元中讀出有關(guān)所述紋理坐標(biāo)的信息以及有關(guān)所述縮減率的信息，并且將它們分別提供給所述視頻處理電路中的所述控制電路和所述前置濾波器。
5.一種圖像特效設(shè)備，包含讀出裝置，用于從記錄介質(zhì)中讀出信息；以及視頻處理塊，其用硬件電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)來執(zhí)行輸入視頻數(shù)據(jù)的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數(shù)據(jù)；以及控制電路，其通過使用提供的紋理坐標(biāo)作為讀取地址的信息來從所述存儲器中讀出視頻數(shù)據(jù)；以及其中將由所述讀出裝置從記錄介質(zhì)中讀取的、有關(guān)紋理坐標(biāo)的信息以及有關(guān)縮減率的信息分別提供給所述視頻處理塊的所述控制電路和所述前置濾波器。
6.如權(quán)利要求5所述的圖像特效設(shè)備，其中所述記錄介質(zhì)存儲有關(guān)光源處理中的系數(shù)的信息；所述視頻處理塊還包括光源處理電路，其對從所述存儲器中讀出的視頻數(shù)據(jù)執(zhí)行與所提供的有關(guān)光源處理中的系數(shù)的信息相對應(yīng)的光源處理；以及將由所述讀出裝置從記錄介質(zhì)中讀出的有關(guān)光源處理中的系數(shù)的信息提供給所述視頻處理塊中的所述光源處理電路。
7.如權(quán)利要求5所述的圖像特效設(shè)備，其中在疊加兩個或更多系統(tǒng)的視頻數(shù)據(jù)以便顯示的情況下，所述記錄介質(zhì)存儲景深方向的信息；包含了所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統(tǒng)以便并行處理兩個或更多系統(tǒng)中的視頻數(shù)據(jù)，并且還包括了疊加電路，通過該電路，與所提供的景深方向的信息相對應(yīng)地疊加從每個系統(tǒng)的所述存儲器讀出的視頻數(shù)據(jù)；以及將由所述讀出裝置從記錄介質(zhì)中讀出的有關(guān)所述景深信息的信息提供給所述疊加電路。
8.一種圖像特效設(shè)備，包含通信裝置，用于執(zhí)行通過網(wǎng)絡(luò)的通信；以及視頻處理塊，其用硬件電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)來執(zhí)行輸入視頻數(shù)據(jù)的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數(shù)據(jù)；以及控制電路，其通過使用提供的紋理坐標(biāo)作為讀取地址的信息、來從所述存儲器中讀出視頻數(shù)據(jù)；以及其中將由所述通信裝置接收的有關(guān)紋理坐標(biāo)的信息以及有關(guān)縮減率的信息分別提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
9.如權(quán)利要求8所述的圖像特效設(shè)備，其中所述視頻處理塊還包括光源處理電路，其對從所述存儲器中讀出的視頻數(shù)據(jù)執(zhí)行與所提供的有關(guān)光源處理中的系數(shù)的信息相對應(yīng)的光源處理；以及將由所述通信裝置接收的有關(guān)所述光源處理中的系數(shù)的信息提供給所述視頻處理塊中的所述光源處理電路。
10.如權(quán)利要求8所述的圖像特效設(shè)備，還包含所述前置濾波器、所述存儲器和所述控制電路的兩個或更多系統(tǒng)，以便并行處理兩個或更多系統(tǒng)中的視頻數(shù)據(jù)，以及疊加電路，通過該電路，與所提供的景深方向的信息相對應(yīng)地疊加從每個系統(tǒng)的所述存儲器讀出的視頻數(shù)據(jù)，其中將由所述通信裝置接收的所述景深方向的信息提供給所述疊加電路。
11.一種包含可編程著色器安裝在其中的圖形處理器，被編程為執(zhí)行根據(jù)提供的有關(guān)虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕上的二維坐標(biāo)、并且計(jì)算粘貼在所述顯示屏幕上的圖像的紋理坐標(biāo)和所述顯示屏幕上的模型的縮減率的處理；以及從圖像數(shù)據(jù)輸出單元輸出有關(guān)所述紋理坐標(biāo)的信息以及有關(guān)所述縮減率的信息的處理。
12.一種記錄介質(zhì)，其中記錄有程序，使得包含可編程著色器的圖形處理器執(zhí)行以下過程根據(jù)提供的有關(guān)虛擬三維空間中的模型形狀的信息而將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕上的二維坐標(biāo)，以及計(jì)算粘貼在顯示屏幕上的圖像的紋理坐標(biāo)和該顯示屏幕上的模型的縮減率，以及從圖像數(shù)據(jù)輸出單元中輸出有關(guān)所述紋理坐標(biāo)的信息以及有關(guān)所述縮減率的信息。
13.一種圖像特效設(shè)備，包含讀出單元，從記錄介質(zhì)中讀出信息；以及視頻處理塊，其用硬件電路配置；所述視頻處理塊包括前置濾波器，其通過使用與要提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)來執(zhí)行輸入視頻數(shù)據(jù)的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數(shù)據(jù)；以及控制電路，其通過使用提供的紋理坐標(biāo)作為讀取地址的信息，來從所述存儲器中讀出視頻數(shù)據(jù)；以及其中將由所述讀出單元從記錄介質(zhì)中讀出的有關(guān)紋理坐標(biāo)的信息和有關(guān)縮減率的信息分別提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
14.一種圖像特效設(shè)備，包含通信單元，執(zhí)行通過網(wǎng)絡(luò)的通信；以及視頻處理塊，其用硬件電路配置；所述視頻處理塊包括前置濾波器，其通過使用與提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)來執(zhí)行輸入視頻數(shù)據(jù)的濾波；存儲器，其中寫入由所述前置濾波器濾波的視頻數(shù)據(jù)；以及控制電路，其通過使用提供的紋理坐標(biāo)作為讀取地址的信息，來從所述存儲器中讀出視頻數(shù)據(jù)；以及其中將由所述通信單元接收的有關(guān)紋理坐標(biāo)的信息和有關(guān)縮減率的信息提供給所述視頻處理塊中的所述控制電路和所述前置濾波器。
全文摘要
一種圖像特效設(shè)備，包括圖形處理器和視頻處理塊；該圖形處理器根據(jù)提供的有關(guān)虛擬三維空間中的模型的形狀的信息，而將虛擬三維空間中的坐標(biāo)轉(zhuǎn)換為顯示屏幕上的二維坐標(biāo)；計(jì)算粘貼在顯示屏幕上的圖像的紋理坐標(biāo)、以及該顯示屏幕上的模型的縮減率；以及從圖像數(shù)據(jù)輸出單元中輸出有關(guān)紋理坐標(biāo)和縮減率的信息；視頻處理塊在使用與從圖形處理器提供的有關(guān)縮減率的信息相對應(yīng)的前置濾波系數(shù)進(jìn)行濾波之后，將輸入視頻數(shù)據(jù)YUV寫入到存儲器中，并且通過使用所提供的紋理坐標(biāo)作為讀取地址的信息，從存儲器中讀出該視頻數(shù)據(jù)。
文檔編號G06T15/04GK1893564SQ20061010111
公開日2007年1月10日 申請日期2006年7月4日 優(yōu)先權(quán)日2005年7月4日
發(fā)明者高島彰博, 志野雅昭, 橫山琢, 清水英之 申請人:索尼株式會社