專(zhuān)利名稱(chēng)：視頻繪制裝置及方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻繪制裝置以及用于繪制視頻的方法。
背景技術(shù)：
在計(jì)算機(jī)圖形(CG)繪制中，使用了一種稱(chēng)為全局照明的技術(shù)。全局照明是在考慮了來(lái)自目標(biāo)物體周?chē)钠渌矬w的間接光的影響的場(chǎng)景中繪制該物體時(shí)進(jìn)行照明計(jì)算的技術(shù)。
常規(guī)的照明計(jì)算不能再現(xiàn)物體反射的光照亮另一個(gè)物體時(shí)所產(chǎn)生的效果，因此，可以認(rèn)為稱(chēng)為環(huán)境光的均勻光照亮光不能直接作用到的部分。與之不同，全局照明可以表現(xiàn)與真實(shí)世界類(lèi)似的反射效果和聚光效果，從而使得可以實(shí)現(xiàn)更真實(shí)的視頻繪制。
全局照明中的間接光計(jì)算技術(shù)包括幾種類(lèi)型，例如，輻射度、照相地圖以及通路跟蹤(path tracing)。所有這些技術(shù)都基于通過(guò)圖像像素的視線(xiàn)(光線(xiàn))和物體的相交判定。因此，基本上，計(jì)算時(shí)間正比于圖像的分辨率。
由于這個(gè)原因，通過(guò)僅在以適當(dāng)間隔放置的低分辨率采樣點(diǎn)進(jìn)行相交判定，而不是對(duì)于圖像的所有像素進(jìn)行光線(xiàn)和物體的相交判定來(lái)嘗試縮短計(jì)算時(shí)間并交互式地繪制全局照明視頻，并通過(guò)之后的濾波增加所得到的數(shù)據(jù)的分辨率。
在這些嘗試中，例如，一些發(fā)明集中于在時(shí)間上相互差異很大的位置的采樣點(diǎn)，而不是等間距放置的采樣點(diǎn)，或者改變?yōu)V波的抽頭位置(其指示將被濾波的特定點(diǎn))，從而防止物體的輪廓線(xiàn)變模糊(例如，參考K.Bala，B.Walter，以及D.P.Greenberg，“Combining Edges and Points forInteractive High-Quality Rendering”，SIGGRAPH2003)。
另一方面，在計(jì)算機(jī)視覺(jué)研究領(lǐng)域，已經(jīng)進(jìn)行了從低分辨率運(yùn)動(dòng)圖像重建高分辨率運(yùn)動(dòng)圖像的研究。這些研究大致可分為兩類(lèi)，包括一種，其僅使用一幀圖像，以及另一種，其使用多幀圖像。由于所得到的信息量的限制，前者的重建準(zhǔn)確度不太高，但是其可得到相對(duì)穩(wěn)定的計(jì)算。相反，由于多幀信息的使用，后者在理論上具有較高的重建準(zhǔn)確度，但是需要在子像素(subpixel)級(jí)上計(jì)算多幀之間的匹配，這很難穩(wěn)定地進(jìn)行(例如，參見(jiàn)Sung Cheol Park，Min Kyu Park，以及Moon Gi Kang，“Super-Resolution Image ReconstructionA Technical Overview”，IEEESIGNAL PROCESSING MAGAZINE，May 2003)。
如上所述，常規(guī)的視頻繪制裝置被設(shè)計(jì)為通過(guò)在繪制全局照明視頻時(shí)僅在低分辨率采樣點(diǎn)對(duì)光線(xiàn)和物體進(jìn)行相交判定，并且對(duì)其濾波以增加所得到的數(shù)據(jù)的分辨率，從而縮短計(jì)算時(shí)間。
然而，由于僅使用一幀中的采樣點(diǎn)進(jìn)行計(jì)算來(lái)增加分辨率，為了提高高分辨率視頻的質(zhì)量，每幀的采樣點(diǎn)的數(shù)目必須相對(duì)較高。這樣，很難同時(shí)滿(mǎn)足更短計(jì)算時(shí)間和更高質(zhì)量。
另一方面，在計(jì)算機(jī)視覺(jué)領(lǐng)域，已經(jīng)對(duì)利用多幀的分辨率增加技術(shù)進(jìn)行了研究。此技術(shù)可應(yīng)用于全局照明的計(jì)算。然而，其不能穩(wěn)定地計(jì)算多幀之間的子像素匹配，而這在以上的應(yīng)用中是必需的。
如果物體的圖案(紋理)是同質(zhì)的，或者所述物體的亮度隨時(shí)間改變，則常常會(huì)發(fā)生匹配誤差。在上述Sung Cheol Park等的文獻(xiàn)中，描述了一種技術(shù)，其通過(guò)基于統(tǒng)計(jì)誤差模型進(jìn)行迭代計(jì)算，以減少匹配誤差的影響。然而，這種技術(shù)需要大量計(jì)算，不適于交互式應(yīng)用。

發(fā)明內(nèi)容
根據(jù)本發(fā)明的第一方面，提供了一種視頻繪制裝置，其包括第一存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括了關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭(camera)的數(shù)據(jù)、關(guān)于幾何(geometry)的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；變換單元，其被配置為將CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；第一計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從將被顯示的圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3維(3D)坐標(biāo)；第二計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；第三計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；分配單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中，每個(gè)物體的標(biāo)識(shí)不相同；投影單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和所述3D運(yùn)動(dòng)向量投影到投影平面，并計(jì)算在所述交點(diǎn)的2維(2D)坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值和所述分配的物體標(biāo)識(shí)存儲(chǔ)在一起作為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；第二存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
根據(jù)本發(fā)明的第二方面，提供了一種視頻繪制裝置，其包括3維(3D)數(shù)據(jù)處理單元和2維(2D)數(shù)據(jù)處理單元所述3D數(shù)據(jù)處理單元包括存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；變換單元，其被配置為將所述CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；交點(diǎn)計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從將被顯示的圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3維(3D)坐標(biāo)；第一計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；第二計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；分配單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中，每個(gè)物體的標(biāo)識(shí)不相同；投影單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和3D運(yùn)動(dòng)向量投影到投影平面，并計(jì)算在所述交點(diǎn)的2D坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)，以及所述2D數(shù)據(jù)處理單元包括分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
根據(jù)本發(fā)明的第三方面，提供了一種視頻繪制裝置，其包括分辨率存儲(chǔ)單元，其被配置為將3維空間中的物體與通過(guò)從將被顯示的圖像平面的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的2維(2D)坐標(biāo)，和在所述交點(diǎn)的多個(gè)2D運(yùn)動(dòng)向量，其中通過(guò)參考變換到攝像頭坐標(biāo)系的CG數(shù)據(jù)將所述交點(diǎn)的3D坐標(biāo)和在所述交點(diǎn)的3D運(yùn)動(dòng)向量投影到投影平面而得到所述2D坐標(biāo)和所述2D運(yùn)動(dòng)向量，其中，所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系，在所述交點(diǎn)的所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)顏色值，以及所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)，其中每個(gè)物體的標(biāo)識(shí)不相同，一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
根據(jù)本發(fā)明的第四方面，提供了一種視頻繪制方法，包括步驟準(zhǔn)備第一存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；將所述CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3維(3D)坐標(biāo)；通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；通過(guò)參考所述變換的CG數(shù)據(jù)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；通過(guò)參考所述變換的CG數(shù)據(jù)將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中每個(gè)物體的標(biāo)識(shí)不相同；通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和所述3D運(yùn)動(dòng)向量投影到投影平面，并且計(jì)算在所述交點(diǎn)的2維(2D)坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；準(zhǔn)備分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；準(zhǔn)備第二存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。


圖1是根據(jù)本發(fā)明第一實(shí)施例的視頻繪制裝置的框圖；圖2是視圖，示出了在圖1中的CG數(shù)據(jù)存儲(chǔ)單元中存儲(chǔ)的CG數(shù)據(jù)的例子；圖3是視圖，示出了由圖1中的坐標(biāo)變換單元進(jìn)行坐標(biāo)變換的CG數(shù)據(jù)的例子；圖4是視圖，示出了本發(fā)明第一實(shí)施例中的3D運(yùn)動(dòng)向量；圖5是視圖，示出了頂點(diǎn)的物體標(biāo)識(shí)(物體ID)；圖6是流程圖，示出了在圖1中的坐標(biāo)變換單元中進(jìn)行的流程；圖7是流程圖，示出了在圖1中的交點(diǎn)坐標(biāo)計(jì)算單元中進(jìn)行的流程；圖8是流程圖，示出了在圖1中的交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元中進(jìn)行的流程；圖9是流程圖，示出了在圖1中的交點(diǎn)顏色計(jì)算單元中進(jìn)行的流程；圖10是流程圖，示出了由圖1中的交點(diǎn)顏色計(jì)算單元進(jìn)行的交點(diǎn)顏色計(jì)算方法；圖11是流程圖，示出了在圖1中的交點(diǎn)物體ID分配單元中進(jìn)行的流程；圖12是流程圖，示出了在圖1中的交點(diǎn)投影單元中進(jìn)行的流程；圖13是視圖，示出了在圖1中的第一分辨率視頻序列存儲(chǔ)單元中存儲(chǔ)的低分辨率視頻數(shù)據(jù)的例子；圖14是流程圖，示出了在圖1中的第二分辨率視頻計(jì)算單元中進(jìn)行的流程；圖15A到15F是視圖，用于解釋在圖1中的第二分辨率視頻計(jì)算單元中的中分辨率視頻數(shù)據(jù)計(jì)算技術(shù)；圖16是流程圖，示出了在圖1中的第三分辨率視頻計(jì)算單元中進(jìn)行的流程；圖17A到17F是視圖，示出了在圖1中的第三分辨率視頻計(jì)算單元中的高分辨率視頻數(shù)據(jù)計(jì)算技術(shù)的例子；圖18是視圖，示出了本發(fā)明第二實(shí)施例中的3D運(yùn)動(dòng)向量；圖19是流程圖，示出了在本發(fā)明第二實(shí)施例中的在圖1中的第二分辨率視頻計(jì)算單元中進(jìn)行的流程；圖20A到20F是視圖，用于解釋在本發(fā)明第二實(shí)施例中的在圖1中的第二分辨率視頻計(jì)算單元中的中分辨率視頻數(shù)據(jù)的計(jì)算技術(shù)；
圖21是視圖，示出了本發(fā)明第三實(shí)施例中的3D運(yùn)動(dòng)向量；圖22是流程圖，示出了在本發(fā)明第三實(shí)施例中的在圖1中的第二分辨率視頻計(jì)算單元中進(jìn)行的流程；圖23A到23F是視圖，用于解釋在本發(fā)明第三實(shí)施例中的在圖1中的第二分辨率視頻計(jì)算單元中的中分辨率視頻數(shù)據(jù)計(jì)算技術(shù)；圖24是根據(jù)本發(fā)明第四實(shí)施例的視頻繪制裝置的框圖；圖25是根據(jù)本發(fā)明第五實(shí)施例的視頻繪制裝置的框圖；圖26是根據(jù)本發(fā)明第六實(shí)施例的視頻繪制裝置的框圖；圖27是根據(jù)本發(fā)明第七實(shí)施例的視頻繪制裝置的框圖；圖28是視圖，示出了視頻塊的例子；圖29是根據(jù)本發(fā)明第八實(shí)施例的視頻繪制裝置的框圖；圖30是根據(jù)本發(fā)明第九實(shí)施例的視頻繪制裝置的框圖；圖31是根據(jù)本發(fā)明第十實(shí)施例的視頻繪制裝置的框圖；圖32是根據(jù)本發(fā)明第十一實(shí)施例的視頻繪制裝置的框圖；圖33是根據(jù)本發(fā)明第十二實(shí)施例的視頻繪制裝置的框圖；圖34是根據(jù)本發(fā)明第十三實(shí)施例的視頻繪制裝置的框圖；以及圖35是根據(jù)本發(fā)明第十六實(shí)施例的視頻繪制裝置的框圖。
具體實(shí)施例方式
下面將參照附圖中的視圖來(lái)描述根據(jù)本發(fā)明實(shí)施例的視頻繪制裝置和方法。
考慮以上情形作出本發(fā)明的每一個(gè)實(shí)施例，其目的是提供能夠交互式地繪制高質(zhì)量、高分辨率的全局照明視頻的視頻繪制裝置和方法。
根據(jù)本發(fā)明各實(shí)施例的視頻繪制裝置和方法能夠交互式地繪制高質(zhì)量、高分辨率的全局照明視頻。
后續(xù)幀的疊加以下將參照?qǐng)D1描述根據(jù)本發(fā)明第一實(shí)施例的視頻繪制裝置。
如圖1所示，根據(jù)此實(shí)施例的視頻繪制裝置包括CG數(shù)據(jù)存儲(chǔ)單元101，坐標(biāo)變換單元102，交點(diǎn)坐標(biāo)計(jì)算單元103，交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104，交點(diǎn)顏色計(jì)算單元105，交點(diǎn)物體ID分配單元106，交點(diǎn)投影單元107，第一分辨率視頻序列存儲(chǔ)單元108，第二分辨率視頻計(jì)算單元109，第三分辨率視頻計(jì)算單元110，高分辨率視頻存儲(chǔ)單元111，呈現(xiàn)單元112，以及控制單元113。參考圖1和后續(xù)附圖，呈現(xiàn)單元112不包含在視頻繪制裝置中，但是也可以包含在其中。
CG數(shù)據(jù)存儲(chǔ)單元101存儲(chǔ)CG數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭(未示出)的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)、關(guān)于紋理的數(shù)據(jù)等。
坐標(biāo)變換單元102對(duì)從CG數(shù)據(jù)存儲(chǔ)單元101獲取的CG數(shù)據(jù)進(jìn)行坐標(biāo)變換，以將所述數(shù)據(jù)變換到從視點(diǎn)進(jìn)行觀察的坐標(biāo)系(攝像頭坐標(biāo)系)。
交點(diǎn)坐標(biāo)計(jì)算單元103通過(guò)利用由坐標(biāo)變換單元102計(jì)算得到的經(jīng)過(guò)坐標(biāo)變換后的CG數(shù)據(jù)來(lái)計(jì)算光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)。
交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104通過(guò)利用由坐標(biāo)變換單元102計(jì)算得到的經(jīng)過(guò)坐標(biāo)變換后的CG數(shù)據(jù)來(lái)計(jì)算在交點(diǎn)的3D坐標(biāo)的3D運(yùn)動(dòng)向量，其中所述交點(diǎn)的3D坐標(biāo)由交點(diǎn)坐標(biāo)計(jì)算單元103計(jì)算得到。交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104通過(guò)從構(gòu)成物體多邊形表面的頂點(diǎn)進(jìn)行插值來(lái)計(jì)算在所述交點(diǎn)的3D運(yùn)動(dòng)向量。
交點(diǎn)顏色計(jì)算單元105通過(guò)利用由坐標(biāo)變換單元102計(jì)算得到的經(jīng)過(guò)坐標(biāo)變換后的CG數(shù)據(jù)來(lái)計(jì)算在所述3D坐標(biāo)的交點(diǎn)的顏色值，其中所述3D坐標(biāo)由交點(diǎn)坐標(biāo)計(jì)算單元103計(jì)算得到。交點(diǎn)顏色計(jì)算單元105通過(guò)從構(gòu)成物體多邊形表面的頂點(diǎn)進(jìn)行插值來(lái)計(jì)算在3D坐標(biāo)的交點(diǎn)的顏色值。
交點(diǎn)物體ID分配單元106通過(guò)利用由坐標(biāo)變換單元102計(jì)算得到的經(jīng)過(guò)坐標(biāo)變換后的CG數(shù)據(jù)來(lái)將不同的物體ID分配給在交點(diǎn)的3D坐標(biāo)的各物體，其中所述交點(diǎn)的3D坐標(biāo)由交點(diǎn)坐標(biāo)計(jì)算單元103計(jì)算得到。
交點(diǎn)投影單元107利用由坐標(biāo)變換單元102計(jì)算得到的經(jīng)過(guò)坐標(biāo)變換后的CG數(shù)據(jù)通過(guò)將由交點(diǎn)坐標(biāo)計(jì)算單元103計(jì)算得到的所述交點(diǎn)的3D坐標(biāo)以及由交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104計(jì)算得到的在所述交點(diǎn)的3D運(yùn)動(dòng)向量投影到投影平面來(lái)計(jì)算交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
第一分辨率視頻序列存儲(chǔ)單元108將由交點(diǎn)投影單元107計(jì)算得到的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量、由交點(diǎn)顏色計(jì)算單元105計(jì)算得到的交點(diǎn)的顏色值、由交點(diǎn)物體ID分配單元106分配的交點(diǎn)的物體ID一起存儲(chǔ)為基于幀的低分辨率視頻數(shù)據(jù)。
第二分辨率視頻計(jì)算單元109通過(guò)將從第一分辨率視頻序列存儲(chǔ)單元108獲取的當(dāng)前幀的低分辨率視頻數(shù)據(jù)與多個(gè)不同幀的低分辨率視頻數(shù)據(jù)進(jìn)行疊加來(lái)計(jì)算中分辨率視頻數(shù)據(jù)。
第三分辨率視頻計(jì)算單元110通過(guò)對(duì)由第二分辨率視頻計(jì)算單元109計(jì)算得到的中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)。
高分辨率視頻存儲(chǔ)單元111基于幀存儲(chǔ)和保存由第三分辨率視頻計(jì)算單元110計(jì)算得到的高分辨率視頻數(shù)據(jù)。高分辨率視頻數(shù)據(jù)是保存每個(gè)像素的顏色值的一般圖像數(shù)據(jù)。如圖1所示，在由第三分辨率視頻計(jì)算單元110將所述高分辨率視頻數(shù)據(jù)寫(xiě)入高分辨率視頻存儲(chǔ)單元111之后，呈現(xiàn)單元112獲取所述高分辨率視頻數(shù)據(jù)，并將其呈現(xiàn)給用戶(hù)。
呈現(xiàn)單元112將從高分辨率視頻存儲(chǔ)單元111獲取的高分辨率視頻數(shù)據(jù)呈現(xiàn)給用戶(hù)。呈現(xiàn)單元112包括顯示器等，其可以將高分辨率視頻數(shù)據(jù)呈現(xiàn)給用戶(hù)。
假設(shè)在此實(shí)施例中，所有塊由單一的控制單元113進(jìn)行控制。
以下將參照?qǐng)D2到17F對(duì)圖1中的視頻繪制裝置的每一塊的詳細(xì)操作以及塊之間的數(shù)據(jù)流的結(jié)構(gòu)進(jìn)行描述。
參照?qǐng)D2描述在CG數(shù)據(jù)存儲(chǔ)單元101中保存的CG數(shù)據(jù)的例子。如圖2所示，CG數(shù)據(jù)包括坐標(biāo)變換數(shù)據(jù)、攝像頭數(shù)據(jù)、幾何數(shù)據(jù)、光源數(shù)據(jù)以及紋理數(shù)據(jù)。
坐標(biāo)變換數(shù)據(jù)是關(guān)于世界矩陣、視圖矩陣(view matrix)、投影矩陣、視口縮放矩陣(viewport scaling matrix)等的坐標(biāo)變換的數(shù)據(jù)。
攝像頭數(shù)據(jù)是關(guān)于攝像頭的數(shù)據(jù)，諸如視體(視覺(jué)金字塔)。
幾何數(shù)據(jù)是關(guān)于幾何的數(shù)據(jù)，諸如構(gòu)成物體多邊形表面的頂點(diǎn)的3D坐標(biāo)、頂點(diǎn)的索引值、在頂點(diǎn)的3D運(yùn)動(dòng)向量、頂點(diǎn)的顏色值、頂點(diǎn)的紋理坐標(biāo)、在頂點(diǎn)的法向量以及頂點(diǎn)的物體ID。
光源數(shù)據(jù)是關(guān)于光源的數(shù)據(jù)，諸如光源的類(lèi)型、光源的3D坐標(biāo)以及光源的顏色值。
紋理數(shù)據(jù)是關(guān)于紋理圖像的數(shù)據(jù)。
在CG數(shù)據(jù)中，圖3所示的頂點(diǎn)3D坐標(biāo)、在頂點(diǎn)的3D運(yùn)動(dòng)向量、在頂點(diǎn)的法向量以及光源的3D坐標(biāo)可以被定義于特有的局部坐標(biāo)系、共用的世界坐標(biāo)系、或者以攝像頭位置作為原點(diǎn)的攝像頭坐標(biāo)系。這些數(shù)據(jù)被坐標(biāo)變換單元102坐標(biāo)變換到攝像頭坐標(biāo)系，并且然后被發(fā)送到后續(xù)塊。
圖3所示之外的其它CG數(shù)據(jù)無(wú)需由坐標(biāo)變換單元102處理即被發(fā)送到后續(xù)塊。
一般而言，用3D坐標(biāo)XYZ或齊次坐標(biāo)XYZW表示頂點(diǎn)坐標(biāo)的值和光源坐標(biāo)。然而，在此說(shuō)明書(shū)中，將它們都稱(chēng)為3D坐標(biāo)。
注意到在頂點(diǎn)的3D運(yùn)動(dòng)向量是連接當(dāng)前幀中的頂點(diǎn)的3D坐標(biāo)和不同幀中的對(duì)應(yīng)頂點(diǎn)的3D坐標(biāo)的向量。此向量表示所述頂點(diǎn)的時(shí)間上的運(yùn)動(dòng)。如圖4所示，在此實(shí)施例中，當(dāng)前幀中的各頂點(diǎn)被預(yù)先分配了多個(gè)向量作為屬性，其表示到時(shí)間上在當(dāng)前幀之前的多個(gè)幀中的對(duì)應(yīng)位置的后向運(yùn)動(dòng)。這些向量被保存在CG數(shù)據(jù)存儲(chǔ)單元101中。
如圖5所示，頂點(diǎn)的物體ID是用于唯一地識(shí)別包括了該頂點(diǎn)所屬的多邊形表面的物體的ID。這樣的ID被預(yù)先分配給每個(gè)頂點(diǎn)，并且被保存在CG數(shù)據(jù)存儲(chǔ)單元101中。例如，如圖5所示，物體a的每個(gè)頂點(diǎn)的物體ID是“a”。
圖1將CG數(shù)據(jù)存儲(chǔ)單元101、第一分辨率視頻序列存儲(chǔ)單元108以及高分辨率視頻存儲(chǔ)單元111示為不同的塊。然而，可以將它們集成到單個(gè)存儲(chǔ)器或分別設(shè)置為具有不同容量和存取速度的多個(gè)存儲(chǔ)器。此外，保存在CG數(shù)據(jù)存儲(chǔ)單元101中的CG數(shù)據(jù)不限于圖2所示的形式，并且可以包括繪制所希望的CG圖像所需要的所有數(shù)據(jù)。
下面將參照?qǐng)D6描述在坐標(biāo)變換單元102中的處理流程。
在第一步S601中，獲取保存在CG數(shù)據(jù)存儲(chǔ)單元101中的CG數(shù)據(jù)。
在步驟S602中，在步驟S601中獲取的CG數(shù)據(jù)中的，圖3所示的頂點(diǎn)的3D坐標(biāo)、在頂點(diǎn)的3D運(yùn)動(dòng)向量、在頂點(diǎn)的法向量以及光源的3D坐標(biāo)被乘以包含在CG數(shù)據(jù)中的世界矩陣和視圖矩陣，以將所述坐標(biāo)系轉(zhuǎn)換到攝像頭坐標(biāo)系。
基于在其中將CG數(shù)據(jù)定義為變換對(duì)象數(shù)據(jù)的坐標(biāo)系來(lái)確定矩陣乘法技術(shù)。如果在局部坐標(biāo)系中定義CG數(shù)據(jù)，以此順序乘以世界矩陣和視圖矩陣。如果在世界坐標(biāo)系中定義CG數(shù)據(jù)，僅乘以視圖矩陣。如果從一開(kāi)始就在攝像頭坐標(biāo)系中定義CG數(shù)據(jù)，則在步驟S602中不進(jìn)行任何處理。
在步驟S603中，經(jīng)過(guò)步驟S602中的坐標(biāo)變換的CG數(shù)據(jù)和剩余的CG數(shù)據(jù)(除了坐標(biāo)變換對(duì)象數(shù)據(jù)之外的CG數(shù)據(jù))被輸出到交點(diǎn)坐標(biāo)計(jì)算單元103、交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104、交點(diǎn)顏色計(jì)算單元105、交點(diǎn)物體ID分配單元106以及交點(diǎn)投影單元107。
以下將參照?qǐng)D7描述在交點(diǎn)計(jì)算單元103中的處理流程。
在第一步驟S701中，獲取包含在從坐標(biāo)變換單元102發(fā)送的CG數(shù)據(jù)中的視體和頂點(diǎn)的3D坐標(biāo)。
在步驟S702中，將在步驟S701中獲取的視體的前剖面視為具有與最終呈現(xiàn)到呈現(xiàn)單元112的高分辨率視頻相同的分辨率的圖像平面，并且從該圖像平面選取適當(dāng)數(shù)目的像素作為低分辨率(第一分辨率)采樣點(diǎn)。
如上所述，例如在K.Bala，B.Walter和D.P.Greenberg的“CombiningEdges and Points for Interactive High-Quality Rendering”，SIGGRAPH2003中已經(jīng)提出了關(guān)于采樣點(diǎn)選擇技術(shù)的設(shè)計(jì)。假設(shè)在本發(fā)明的實(shí)施例中，利用與這些常規(guī)技術(shù)類(lèi)似的技術(shù)來(lái)選擇采樣點(diǎn)。由于這個(gè)原因，省略對(duì)采樣點(diǎn)選擇技術(shù)的詳細(xì)描述。
在步驟S703中，通過(guò)參考在步驟S701中獲取的頂點(diǎn)的3D坐標(biāo)來(lái)計(jì)算通過(guò)在步驟S702中選出的采樣點(diǎn)的視線(xiàn)向量(光線(xiàn))和構(gòu)成物體的多邊形表面的交點(diǎn)的3D坐標(biāo)。
已知此計(jì)算需要非常大的處理量。已經(jīng)提出了各種設(shè)計(jì)來(lái)增加處理速度。在本發(fā)明的實(shí)施例中，利用類(lèi)似于常規(guī)技術(shù)的技術(shù)進(jìn)行計(jì)算。為此，省略對(duì)所述計(jì)算技術(shù)的詳細(xì)描述。
在步驟S704中，在由步驟S703中計(jì)算得到的所述光線(xiàn)和物體的交點(diǎn)3D坐標(biāo)中，選出位置最接近視點(diǎn)的交點(diǎn)的3D坐標(biāo)。
在步驟S705中，將在步驟S704中選出的所述光線(xiàn)和物體的交點(diǎn)3D坐標(biāo)和分配給所述交點(diǎn)所屬的多邊形表面的頂點(diǎn)的索引值輸出到交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104、交點(diǎn)顏色計(jì)算單元105、交點(diǎn)物體ID分配單元106以及交點(diǎn)投影單元107。
下面將參照?qǐng)D8描述交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104中的處理流程。
在第一步驟S801中，獲取包含在從坐標(biāo)變換單元102發(fā)送的CG數(shù)據(jù)中的所述頂點(diǎn)的3D坐標(biāo)和在頂點(diǎn)的3D運(yùn)動(dòng)向量。
在步驟S802中，獲取從交點(diǎn)坐標(biāo)計(jì)算單元103發(fā)送的所述光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)以及指示交點(diǎn)所屬的多邊形平面的頂點(diǎn)的索引值。
在步驟S803中，通過(guò)利用在步驟S802中獲取的頂點(diǎn)的索引值，從在步驟S801中獲取的頂點(diǎn)的3D坐標(biāo)和在頂點(diǎn)的3D運(yùn)動(dòng)向量中選出構(gòu)成所述光線(xiàn)和物體的交點(diǎn)所屬的多邊形表面的3D坐標(biāo)和3D運(yùn)動(dòng)向量。
在步驟S804中，利用在步驟S802中獲取的所述光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)和在步驟S803中選出的頂點(diǎn)的3D坐標(biāo)，通過(guò)對(duì)在步驟S803中選擇的在頂點(diǎn)的3D運(yùn)動(dòng)向量進(jìn)行插值來(lái)計(jì)算在交點(diǎn)的3D運(yùn)動(dòng)向量。
在步驟S805中，將在步驟S804中計(jì)算的在交點(diǎn)的3D運(yùn)動(dòng)向量輸出到交點(diǎn)投影單元107。
下面參照?qǐng)D9描述在交點(diǎn)顏色計(jì)算單元105中的處理流程。
在第一步驟S901中，獲取從坐標(biāo)變換單元102發(fā)送的CG數(shù)據(jù)中包含的頂點(diǎn)3D坐標(biāo)、頂點(diǎn)顏色值、頂點(diǎn)紋理坐標(biāo)、在頂點(diǎn)的法向量、光源類(lèi)型、光源的3D坐標(biāo)、光源的顏色值以及紋理數(shù)據(jù)。
在步驟S902中，獲取從交點(diǎn)坐標(biāo)計(jì)算單元103發(fā)送的所述光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)以及指示交點(diǎn)所屬的多邊形平面的頂點(diǎn)的索引值。
在步驟S903中，利用在步驟S902中獲取的頂點(diǎn)的索引值，從在步驟S901中荻取的所述頂點(diǎn)的3D坐標(biāo)、頂點(diǎn)的顏色值、頂點(diǎn)的紋理坐標(biāo)以及在頂點(diǎn)的法向量中選擇構(gòu)成所述光線(xiàn)和物體的交點(diǎn)所屬的多邊形表面的數(shù)據(jù)。
在步驟S904中，通過(guò)利用在步驟S901中獲取的光源類(lèi)型、光源的3D坐標(biāo)、光源的顏色值和紋理數(shù)據(jù)，在步驟S902中獲取的光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)，以及在步驟S903中選擇的頂點(diǎn)的3D坐標(biāo)、頂點(diǎn)的顏色值、頂點(diǎn)的紋理坐標(biāo)以及在頂點(diǎn)的法向量，來(lái)計(jì)算所述交點(diǎn)的顏色值。后面將參照?qǐng)D10詳細(xì)描述交點(diǎn)顏色值的計(jì)算。
在步驟S905中，將在步驟S904中計(jì)算的交點(diǎn)顏色值輸出給第一分辨率視頻序列存儲(chǔ)單元108。
接下來(lái)將參照?qǐng)D10描述在步驟S904中計(jì)算交點(diǎn)顏色值的處理流程的典型例子。
在第一步驟S1001中，通過(guò)對(duì)交點(diǎn)所屬的多邊形表面的頂點(diǎn)的紋理坐標(biāo)進(jìn)行插值來(lái)計(jì)算所述交點(diǎn)的紋理坐標(biāo)。
在步驟S1002中，通過(guò)對(duì)交點(diǎn)所屬的多邊形表面的頂點(diǎn)的顏色值進(jìn)行插值來(lái)計(jì)算所述交點(diǎn)的初始顏色值。
在步驟S1003中，通過(guò)對(duì)在交點(diǎn)所屬的多邊形表面的頂點(diǎn)的法向量進(jìn)行插值來(lái)計(jì)算在所述交點(diǎn)的法向量。
在步驟S1004中，通過(guò)參照在步驟S1001中計(jì)算的紋理坐標(biāo)的紋理數(shù)據(jù)來(lái)獲取紋理的顏色值。
在步驟S1005中，考慮在步驟S1003中計(jì)算的在交點(diǎn)的法向量、在步驟S1004中獲取的紋理顏色值以及來(lái)自光源的光的影響來(lái)改變?cè)诓襟ES1002中計(jì)算的交點(diǎn)的顏色值。在這種情況下，通過(guò)考慮來(lái)自頂點(diǎn)所屬的多邊形表面附近的其它多邊形表面的間接光的影響來(lái)實(shí)現(xiàn)全局照明效果。
全局照明中有幾種類(lèi)型的間接光計(jì)算技術(shù)，并且已經(jīng)提出了各種設(shè)計(jì)。假設(shè)在本發(fā)明實(shí)施例中，通過(guò)利用與這些常規(guī)技術(shù)類(lèi)似的技術(shù)來(lái)計(jì)算間接光。因此省略對(duì)間接光計(jì)算技術(shù)的詳細(xì)描述。圖10中的計(jì)算交點(diǎn)顏色值的技術(shù)僅僅是一個(gè)例子，在本發(fā)明中使用的計(jì)算技術(shù)不限于此技術(shù)。
下面參照?qǐng)D11描述在交點(diǎn)物體ID分配單元106中的處理流程。
在第一步驟S1101中，獲取從坐標(biāo)變換單元102發(fā)送的CG數(shù)據(jù)中包含的頂點(diǎn)的物體ID。
在步驟S1102中，獲取從交點(diǎn)坐標(biāo)計(jì)算單元103發(fā)送的指示光線(xiàn)和物體的交點(diǎn)所屬的多邊形平面的頂點(diǎn)的索引值。
在步驟S1103中，通過(guò)利用在步驟S1102中獲取的頂點(diǎn)的索引值，從在步驟S1101中獲取的頂點(diǎn)的物體ID中選出構(gòu)成所述光線(xiàn)和物體的交點(diǎn)所屬的多邊形表面的頂點(diǎn)的物體ID。
在步驟S1104中，將在步驟S1103中選出的頂點(diǎn)的物體ID分配為交點(diǎn)的物體ID。
在步驟S1105中，將在步驟S1104中分配的交點(diǎn)的物體ID輸出到第一分辨率視頻序列存儲(chǔ)單元108。
下面參照?qǐng)D12描述在交點(diǎn)投影單元107中的處理流程。
在第一步驟S1201中，獲取包含在從坐標(biāo)變換單元102發(fā)送的CG數(shù)據(jù)中的投影矩陣和視口縮放矩陣。
在步驟S1202中，獲取從交點(diǎn)坐標(biāo)計(jì)算單元103發(fā)送的所述光線(xiàn)和物體的交點(diǎn)的3D坐標(biāo)。
在步驟S1203中，獲取從交點(diǎn)運(yùn)動(dòng)向量計(jì)算單元104發(fā)送的在所述光線(xiàn)和物體的交點(diǎn)的3D運(yùn)動(dòng)向量。
在步驟S1204中，通過(guò)將在步驟S1202中獲取的交點(diǎn)的3D坐標(biāo)以及在步驟S1203中獲取的在交點(diǎn)的3D運(yùn)動(dòng)向量乘以在步驟S1201中獲取的投影矩陣并且將得到的數(shù)據(jù)投影到投影平面，來(lái)計(jì)算交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S1205中，通過(guò)將在步驟S1204中計(jì)算的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量乘以在步驟S1201中獲取的視口縮放矩陣來(lái)將交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量平移到圖像平面上的適當(dāng)位置。
在步驟S1206中，將在步驟S1205中計(jì)算的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量輸出到第一分辨率視頻序列存儲(chǔ)單元108。注意到以浮點(diǎn)數(shù)或定點(diǎn)數(shù)的形式輸出這些數(shù)據(jù)。
下面參照?qǐng)D13描述在第一分辨率視頻序列存儲(chǔ)單元108中保存的低分辨率視頻數(shù)據(jù)的例子。
由圖13明顯看出，作為低分辨率視頻數(shù)據(jù)，通過(guò)各采樣點(diǎn)的光線(xiàn)和物體的交點(diǎn)的2D坐標(biāo)、在該交點(diǎn)的2D運(yùn)動(dòng)向量、交點(diǎn)的顏色值以及交點(diǎn)的物體ID被基于幀保存在一起。參照?qǐng)D13，參考符號(hào)nk表示幀k的交點(diǎn)數(shù)目。
如圖1所示，從交點(diǎn)投影單元107、交點(diǎn)顏色計(jì)算單元105以及交點(diǎn)物體ID分配單元106發(fā)送關(guān)于這些交點(diǎn)的數(shù)據(jù)。
注意到在第一分辨率視頻序列存儲(chǔ)單元108中保存的低分辨率視頻數(shù)據(jù)不限于圖13所示的形式，并且可包括繪制期望的CG圖像所需要的所有數(shù)據(jù)。
下面參照?qǐng)D14描述在第二分辨率視頻計(jì)算單元109中的處理流程。
從第一分辨率視頻序列存儲(chǔ)單元108獲取包含在當(dāng)前幀的低分辨率(第一分辨率)視頻數(shù)據(jù)中的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S1402中，如圖15A、15B以及15C所示，獲取在時(shí)間上落后當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S1403中，如圖15D和15E所示，通過(guò)從在步驟S1402中獲取的在時(shí)間上落后當(dāng)前幀的幀的低分辨率視頻數(shù)據(jù)中包含的分配給各交點(diǎn)的多個(gè)2D運(yùn)動(dòng)向量中選擇并加上表示相對(duì)于當(dāng)前幀的后向運(yùn)動(dòng)的2D運(yùn)動(dòng)向量，將在時(shí)間上落后當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)疊加到當(dāng)前幀的低分辨率視頻數(shù)據(jù)上。例如，在圖15A到15F所示的情況中，通過(guò)疊加圖15A中的低分辨率視頻數(shù)據(jù)、圖15D中的低分辨率視頻數(shù)據(jù)以及圖15E中的低分辨率視頻數(shù)據(jù)來(lái)獲得圖15F中的中分辨率視頻數(shù)據(jù)。在這種情況下，圖15F中的數(shù)據(jù)的分辨率比圖15A中的數(shù)據(jù)的分辨率高三倍。注意到在此說(shuō)明書(shū)中將通過(guò)疊加得到的低分辨率視頻數(shù)據(jù)稱(chēng)為中分辨率(第二分辨率)視頻數(shù)據(jù)。
在這種情況下，將標(biāo)記值0賦給初始包含在當(dāng)前幀中的各低分辨率視頻數(shù)據(jù)，并將標(biāo)記值1賦給新疊加到當(dāng)前幀上的各低分辨率視頻數(shù)據(jù)。
在步驟S1404中，將在步驟S1403中計(jì)算的中分辨率視頻數(shù)據(jù)輸出到第三分辨率視頻計(jì)算單元110。
下面參照?qǐng)D16描述在第三分辨率視頻計(jì)算單元110中的處理流程。
在第一步驟S1601中，獲取從第二分辨率視頻計(jì)算單元109發(fā)送的中分辨率(第二分辨率)視頻數(shù)據(jù)。
在步驟S1602中，在高分辨率視頻存儲(chǔ)單元111中確保顏色緩沖區(qū)具有與呈現(xiàn)給呈現(xiàn)單元112的高分辨率視頻相同的分辨率。
在步驟S1603中，如圖17A和17B所示，從在步驟S1601中獲取的中分辨率視頻數(shù)據(jù)(圖17A)中包含的交點(diǎn)中選出位于在步驟S1602中確保的高分辨率顏色緩沖區(qū)中的各像素的臨近區(qū)域中的交點(diǎn)。
如上所述，例如，在K.Bala，B.Walter和D.P.Greenberg的“Combining Edges and Points for Interactive High-Quality Rendering”，SIGGRAPH 2003中已經(jīng)提出了關(guān)于選擇用于濾波的抽頭位置的設(shè)計(jì)。在本發(fā)明的這個(gè)實(shí)施例中，圖17A和17B中的選擇技術(shù)僅僅作為例子，可通過(guò)利用與常規(guī)技術(shù)類(lèi)似的技術(shù)來(lái)選擇用于濾波的交點(diǎn)。
通過(guò)對(duì)在時(shí)間上不同的多個(gè)幀中采樣得到的交點(diǎn)進(jìn)行疊加來(lái)得到在此選擇的交點(diǎn)。為此，當(dāng)物體的可視性由于在幀之間的物體和攝像頭的運(yùn)動(dòng)而改變時(shí)，可包括屬于該物體而沒(méi)有在當(dāng)前幀中被描述的交點(diǎn)。因此，在后續(xù)步驟中，進(jìn)行處理以消除這樣的來(lái)自濾波目標(biāo)的交點(diǎn)。
在步驟S1604中，從在步驟S1603中選出的交點(diǎn)中選擇為其分配了標(biāo)記值1的交點(diǎn)(對(duì)應(yīng)于圖17A到17F中的陰影圓圈)。
如上所述，由第二分辨率視頻計(jì)算單元109將此標(biāo)記值分配給各交點(diǎn)。標(biāo)記值0被分配給初始包含于當(dāng)前幀的各交點(diǎn)，并且標(biāo)記值1被分配給從不同于當(dāng)前幀的幀疊加到當(dāng)前幀的各交點(diǎn)。
在步驟S1605中，選出位于賦予了標(biāo)記值1的并且在步驟S1604中選出的各交點(diǎn)的臨近區(qū)域中的賦予了標(biāo)記值0的交點(diǎn)(圖17C、17D、17E以及17F)。圖17B所示的臨近區(qū)域以及圖17C、17D、17E和17F所示的臨近區(qū)域的大小取決于所述物體。
在步驟S1606中，如圖17C、17D、17E以及17F所示，將賦予了標(biāo)記值1并于步驟S1604中選出的交點(diǎn)的物體ID與賦予了標(biāo)記值0并于步驟S1605中選出的臨近交點(diǎn)的物體ID進(jìn)行比較。如果檢測(cè)到至少一個(gè)誤匹配，則將賦予了標(biāo)記值1的交點(diǎn)從濾波目標(biāo)中去除(圖17F)。
在步驟S1607中，在對(duì)顏色值加上適當(dāng)權(quán)重之后，通過(guò)對(duì)在步驟S1606中沒(méi)有去除的剩余交點(diǎn)的顏色值進(jìn)行插值來(lái)計(jì)算在步驟S1602中確保的高分辨率顏色緩沖區(qū)中的各像素的顏色值。
高分辨率視頻存儲(chǔ)單元111存儲(chǔ)高分辨率視頻數(shù)據(jù)。高分辨率視頻數(shù)據(jù)是一般的圖像數(shù)據(jù)，其保存各像素的顏色值。如圖1所示，在第三分辨率視頻計(jì)算單元110將高分辨率視頻數(shù)據(jù)寫(xiě)入之后，從呈現(xiàn)單元112獲取所述數(shù)據(jù)并呈現(xiàn)給用戶(hù)。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，通過(guò)利用在將要繪制CG圖像時(shí)得到的物體ID以及在低分辨率采樣點(diǎn)的運(yùn)動(dòng)向量，可以將在時(shí)間上落后當(dāng)前幀的多個(gè)幀中的低分辨率采樣點(diǎn)快速且穩(wěn)定地疊加到當(dāng)前幀上。
與現(xiàn)有技術(shù)相比，這可以降低每幀的采樣點(diǎn)的個(gè)數(shù)。于是，能夠交互式繪制高質(zhì)量、高分辨率的全局照明視頻。
(第二實(shí)施例)先前幀的疊加根據(jù)第二實(shí)施例的視頻繪制裝置的布置與圖1所示的第一實(shí)施例的布置相同。然而，在CG數(shù)據(jù)存儲(chǔ)單元101中保存的CG數(shù)據(jù)的內(nèi)容以及在第二分辨率視頻計(jì)算單元109中處理的內(nèi)容不同于第一實(shí)施例。在以下的描述中，與之前已經(jīng)描述的裝置的單元的參考數(shù)字相同的參考數(shù)字表示相同的單元，并且省略對(duì)其的描述。
如圖18所示，在此實(shí)施例中，當(dāng)前幀中的各頂點(diǎn)被預(yù)先分配了多個(gè)向量作為屬性，所述向量表示前向運(yùn)動(dòng)到時(shí)間上在當(dāng)前幀之后的多個(gè)幀中的對(duì)應(yīng)位置。這些向量被存儲(chǔ)和保存在CG數(shù)據(jù)存儲(chǔ)單元101中。
下面參照?qǐng)D19描述在本實(shí)施例中的第二分辨率視頻計(jì)算單元109中的處理流程。
在第一步驟S1901中，從第一分辨率視頻序列存儲(chǔ)單元108獲取包含在當(dāng)前幀的低分辨率視頻數(shù)據(jù)中的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S1902中，如圖20A、20B以及20C所示，獲取在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S1903中，如圖20D和20E所示，通過(guò)從在步驟S1902中獲取的分配給在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的各交點(diǎn)的多個(gè)2D運(yùn)動(dòng)向量中選擇并且加上表示相對(duì)于當(dāng)前幀的前向運(yùn)動(dòng)的2D運(yùn)動(dòng)向量，將在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)疊加到當(dāng)前幀的低分辨率視頻數(shù)據(jù)上。例如，在圖20A到20F所示的情況中，通過(guò)疊加圖20C中的低分辨率視頻數(shù)據(jù)、圖20D中的低分辨率視頻數(shù)據(jù)以及圖20E中的低分辨率視頻數(shù)據(jù)來(lái)得到圖20F中的中分辨率視頻數(shù)據(jù)。在這種情況下，圖20F中的數(shù)據(jù)的分辨率比圖20A中的數(shù)據(jù)的分辨率高三倍。
在這種情況下，將標(biāo)記值0賦給初始包含在當(dāng)前幀中的低分辨率視頻數(shù)據(jù)，并將標(biāo)記值1賦給新疊加到當(dāng)前幀上的低分辨率視頻數(shù)據(jù)。
在步驟S1904中，將在步驟S1903中計(jì)算得到的中分辨率視頻數(shù)據(jù)輸出到第三分辨率視頻計(jì)算單元110。
如上所述，根據(jù)此實(shí)施例的視頻繪制裝置，通過(guò)利用在繪制CG圖像時(shí)得到的物體ID以及在低分辨率采樣點(diǎn)的運(yùn)動(dòng)向量，能夠?qū)r(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀中的低分辨率采樣點(diǎn)快速且穩(wěn)定地疊加到當(dāng)前幀上。
與現(xiàn)有技術(shù)相比，這可以降低每幀的采樣點(diǎn)的個(gè)數(shù)。于是，能夠交互式繪制高質(zhì)量、高分辨率的全局照明視頻。
(第三實(shí)施例)先前和后續(xù)幀的疊加根據(jù)第三實(shí)施例的視頻繪制裝置的布置與圖1所示的第一實(shí)施例的布置相同。然而，在CG數(shù)據(jù)存儲(chǔ)單元101中保存的CG數(shù)據(jù)的內(nèi)容以及在第二分辨率視頻計(jì)算單元109中處理的內(nèi)容不同于第一實(shí)施例。
如圖21所示，在此實(shí)施例中，當(dāng)前幀中的各頂點(diǎn)被預(yù)先分配了多個(gè)向量作為屬性，其表示相對(duì)于時(shí)間上在當(dāng)前幀之前的多個(gè)幀中的對(duì)應(yīng)位置的后向運(yùn)動(dòng)，以及另外的多個(gè)向量作為屬性，其表示相對(duì)于時(shí)間上在當(dāng)前幀之后的多個(gè)幀中的對(duì)應(yīng)位置的前向運(yùn)動(dòng)。這些向量被存儲(chǔ)和保存在CG數(shù)據(jù)存儲(chǔ)單元101中。
下面參照?qǐng)D22描述在本實(shí)施例中的第二分辨率視頻計(jì)算單元109中的處理流程。
在第一步驟S2201中，從第一分辨率視頻序列存儲(chǔ)單元108獲取包含在當(dāng)前幀的低分辨率視頻數(shù)據(jù)中的交點(diǎn)的2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S2202中，如圖23A、23B以及23C所示，獲取在時(shí)間上落后當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的交點(diǎn)2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量以及在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的交點(diǎn)2D坐標(biāo)和在交點(diǎn)的2D運(yùn)動(dòng)向量。
在步驟S2203中，如圖23D和23E所示，通過(guò)從在步驟S2202中獲取的分配到在時(shí)間上落后當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的各交點(diǎn)以及在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)中包含的各交點(diǎn)的多個(gè)2D運(yùn)動(dòng)向量中選擇并加上表示相對(duì)于當(dāng)前幀的運(yùn)動(dòng)的2D運(yùn)動(dòng)向量，將在時(shí)間上落后當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)以及在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)疊加到當(dāng)前幀的低分辨率視頻數(shù)據(jù)上。例如，在圖23A到23F所示的情況中，通過(guò)疊加圖23B中的低分辨率視頻數(shù)據(jù)、圖23D中的低分辨率視頻數(shù)據(jù)以及圖23E中的低分辨率視頻數(shù)據(jù)來(lái)得到圖23F中的中分辨率視頻數(shù)據(jù)。在這種情況下，圖23F中的數(shù)據(jù)的分辨率比圖23B中的數(shù)據(jù)的分辨率高三倍。
在這種情況下，將標(biāo)記值0賦給初始包含在當(dāng)前幀中的低分辨率視頻數(shù)據(jù)，并將標(biāo)記值1賦給新疊加到當(dāng)前幀上的低分辨率視頻數(shù)據(jù)。
在步驟S2204中，將在步驟S2203中計(jì)算得到的中分辨率視頻數(shù)據(jù)輸出到第三分辨率視頻計(jì)算單元110。
如上所述，根據(jù)此實(shí)施例的視頻繪制裝置，通過(guò)利用在繪制CG圖像時(shí)得到的物體ID以及在低分辨率采樣點(diǎn)的運(yùn)動(dòng)向量，可以將在時(shí)間上落后當(dāng)前幀的多個(gè)幀中的低分辨率采樣點(diǎn)以及在時(shí)間上領(lǐng)先當(dāng)前幀的多個(gè)幀中的低分辨率采樣點(diǎn)快速且穩(wěn)定地疊加到當(dāng)前幀上。
與現(xiàn)有技術(shù)相比，這可以降低每幀的采樣點(diǎn)的個(gè)數(shù)。于是，能夠交互式繪制高質(zhì)量、高分辨率的全局照明視頻。
(第四實(shí)施例)異步并行操作(3D數(shù)據(jù)處理單元以及2D數(shù)據(jù)處理單元的并行操作)圖24示出了視頻繪制裝置的布置。從圖24可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，根據(jù)圖1的第一、第二或第三實(shí)施例的視頻繪制裝置被分為兩個(gè)處理單元，即，3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410，并且通過(guò)作為所述處理單元的專(zhuān)用單元的控制單元113進(jìn)行各處理單元的異步并行操作。
3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410通過(guò)作為各處理單元的專(zhuān)用單元的第一分辨率視頻序列存儲(chǔ)單元108交換數(shù)據(jù)。然而，各單元并不總是需要通過(guò)作為各單元的專(zhuān)用單元的第一分辨率視頻序列存儲(chǔ)單元108進(jìn)行上述操作，并且可以將各處理單元設(shè)計(jì)為共享單個(gè)的第一分辨率視頻序列存儲(chǔ)單元。
根據(jù)本實(shí)施例的視頻繪制裝置，由于異步且并行地進(jìn)行包含在3D數(shù)據(jù)處理單元2400的塊中的處理以及包含在2D數(shù)據(jù)處理單元2410的塊中的處理，與根據(jù)第一、第二和第三實(shí)施例的視頻繪制裝置相比，增加了各塊的運(yùn)行速率。
于是，能夠交互式地繪制高質(zhì)量、高分辨率的全局照明視頻。
(第五實(shí)施例)通用視頻處理(僅2D數(shù)據(jù)處理單元中的通用視頻處理)圖25示出了根據(jù)第五實(shí)施例的視頻繪制裝置的布置。從圖25可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，僅具有根據(jù)圖24中第四實(shí)施例的視頻繪制裝置的2D數(shù)據(jù)處理單元2410。
假設(shè)在本實(shí)施例的視頻繪制裝置中，預(yù)先計(jì)算的多個(gè)幀的低分辨率視頻數(shù)據(jù)被保存在第一分辨率視頻序列存儲(chǔ)單元108中。
根據(jù)第一、第二、第三以及第四實(shí)施例的視頻繪制裝置基于從CG數(shù)據(jù)計(jì)算低分辨率視頻數(shù)據(jù)的假設(shè)。相反，根據(jù)第五實(shí)施例的視頻繪制裝置被設(shè)計(jì)為輸入通過(guò)其它技術(shù)從CG數(shù)據(jù)之外的其它視頻源計(jì)算得到的低分辨率視頻數(shù)據(jù)。
根據(jù)本實(shí)施例，能夠從不限于CG數(shù)據(jù)的任意視頻源交互式地的繪制高質(zhì)量、高分辨率視頻。
(第六實(shí)施例)3D數(shù)據(jù)處理單元的多芯布置(基于幀)圖26示出了根據(jù)第六實(shí)施例的視頻繪制裝置的布置。從圖26可明顯看出，本實(shí)施例的視頻繪制裝置2600的特征在于，具有多個(gè)3D數(shù)據(jù)處理單元2400，其每一個(gè)都與圖24中第四實(shí)施例的視頻繪制裝置的3D數(shù)據(jù)處理單元相同。
在圖24中根據(jù)第四實(shí)施例的視頻繪制裝置中，在3D數(shù)據(jù)處理單元2400的處理量和2D數(shù)據(jù)處理單元2410的處理量之間的平衡根據(jù)多種因素動(dòng)態(tài)變化，例如，這些因素可以是，從CG數(shù)據(jù)存儲(chǔ)單元101獲取的CG數(shù)據(jù)的量，由交點(diǎn)坐標(biāo)計(jì)算單元103計(jì)算的交點(diǎn)的數(shù)目(低分辨率采樣點(diǎn)的數(shù)目)，在交點(diǎn)顏色計(jì)算單元105中的照明計(jì)算的量，第一分辨率視頻序列存儲(chǔ)單元108的帶寬，最終呈現(xiàn)到呈現(xiàn)單元112的高分辨率視頻的分辨率，以及各塊的吞吐量。為此，在給定幀中，在3D數(shù)據(jù)處理單元2400中的處理成為瓶頸，導(dǎo)致幀速率降低。
在本實(shí)施例的視頻繪制裝置中，控制單元113將用于不同幀的處理分配到多個(gè)3D數(shù)據(jù)處理單元2400，并使所述單元異步地且并行地進(jìn)行所述處理，從而防止在3D數(shù)據(jù)處理單元2400中的處理成為瓶頸。
根據(jù)本實(shí)施例，例如，當(dāng)給定的一個(gè)3D數(shù)據(jù)處理單元2400處理第一幀時(shí)，不同的一個(gè)3D數(shù)據(jù)處理單元2400能夠同時(shí)地處理不同幀，例如，第二或第三幀。
注意到在對(duì)多個(gè)3D數(shù)據(jù)處理單元2400分配處理時(shí)，控制單元113可以選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的3D數(shù)據(jù)處理單元2400，并且將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第七實(shí)施例)3D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(基于塊)圖27示出了根據(jù)第七實(shí)施例的視頻繪制裝置2700的設(shè)計(jì)。從圖27可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，低分辨率視頻塊結(jié)合單元2701被加到圖26中的第六實(shí)施例的視頻繪制裝置中。
在本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)相同幀中不同視頻塊的處理分配到多個(gè)3D數(shù)據(jù)處理單元2400，并使所述單元異步地且并行地進(jìn)行處理。然后，低分辨率視頻塊結(jié)合單元2701結(jié)合作為處理結(jié)果的不同視頻塊的低分辨率視頻數(shù)據(jù)。
如圖28所示，視頻塊表示通過(guò)將給定幀的視頻分為任何矩形所得到的區(qū)域。例如，可對(duì)所有幀使用相同的視頻塊大小和相同的分割技術(shù)。可選地，控制單元113可為每一幀對(duì)它們進(jìn)行控制，從而使得低分辨率采樣點(diǎn)的數(shù)目盡可能地平均。
通過(guò)這樣的設(shè)計(jì)，當(dāng)給定的一個(gè)3D數(shù)據(jù)處理單元2400處理第一視頻塊時(shí)，不同的一個(gè)3D數(shù)據(jù)處理單元2400可以同時(shí)處理不同的視頻塊，諸如第二或第三視頻塊。這可以防止在3D數(shù)據(jù)處理單元2400中的處理成為瓶頸。
注意到在對(duì)多個(gè)3D數(shù)據(jù)處理單元2400分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的3D數(shù)據(jù)處理單元2400，并且將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第八實(shí)施例)2D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(基于幀)圖29示出了根據(jù)第八實(shí)施例的視頻繪制裝置2900的設(shè)計(jì)。從圖29可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，具有多個(gè)2D數(shù)據(jù)處理單元2410，其每一個(gè)都與根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置的2D數(shù)據(jù)處理單元相同。
如上所述，在圖24中根據(jù)第四實(shí)施例的視頻繪制裝置中，在3D數(shù)據(jù)處理單元2400的處理量和2D數(shù)據(jù)處理單元2410的處理量之間的平衡根據(jù)各種因素動(dòng)態(tài)地變化。為此，在給定幀中，在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸，導(dǎo)致幀速率降低。
在本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)不同幀的處理分配到多個(gè)2D數(shù)據(jù)處理單元2410，并使所述單元異步地且并行地進(jìn)行處理，從而防止在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸。
通過(guò)這種設(shè)計(jì)，例如，當(dāng)給定的一個(gè)2D數(shù)據(jù)處理單元2410處理第一幀時(shí)，不同的一個(gè)2D數(shù)據(jù)處理單元2410能夠同時(shí)處理不同幀，例如，第二或第三幀。
注意到在對(duì)多個(gè)2D數(shù)據(jù)處理單元2410分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的2D數(shù)據(jù)處理單元2410，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第九實(shí)施例)2D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(基于塊)圖30示出了根據(jù)第九實(shí)施例的視頻繪制裝置3000的設(shè)計(jì)。從圖30可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，低分辨率視頻塊分割單元3001和高分辨率視頻塊結(jié)合單元3002被加到圖29中的第八實(shí)施例的視頻繪制裝置中。
在根據(jù)本實(shí)施例的視頻繪制裝置中，由低分辨率視頻塊分割單元3001對(duì)從單個(gè)3D數(shù)據(jù)處理單元2400中輸出的給定幀的低分辨率視頻數(shù)據(jù)進(jìn)行分割，并將得到的數(shù)據(jù)分配到多個(gè)2D數(shù)據(jù)處理單元2410，以進(jìn)行異步且并行地處理。然后，由高分辨率視頻塊結(jié)合單元3002結(jié)合作為處理結(jié)果的不同視頻塊的高分辨率視頻數(shù)據(jù)。
通過(guò)這樣的設(shè)計(jì)，當(dāng)給定的一個(gè)2D數(shù)據(jù)處理單元2410處理第一視頻塊時(shí)，不同的一個(gè)2D數(shù)據(jù)處理單元2410能夠同時(shí)處理不同視頻塊，例如，第二或第三視頻塊。這可以防止在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸。
注意到，例如，可對(duì)所有幀使用相同的視頻塊大小和相同的分割技術(shù)。可選地，控制單元113可為每一幀控制低分辨率視頻塊分割單元3001，從而使得低分辨率采樣點(diǎn)的數(shù)目盡可能地平均。
注意到在對(duì)多個(gè)2D數(shù)據(jù)處理單元2410分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的2D數(shù)據(jù)處理單元2410，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第十實(shí)施例)3D數(shù)據(jù)處理單元和2D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(均勻并行地基于幀)圖31示出了根據(jù)第十實(shí)施例的視頻繪制裝置3100的設(shè)計(jì)。從圖31可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，具有多個(gè)3D數(shù)據(jù)處理單元2400，其每一個(gè)都與根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置的3D數(shù)據(jù)處理單元相同，以及多個(gè)2D數(shù)據(jù)處理單元2410，其每一個(gè)都與所述相同裝置的2D數(shù)據(jù)處理單元相同。假設(shè)在本實(shí)施例的視頻繪制裝置中，3D數(shù)據(jù)處理單元2400在數(shù)目上等于2D數(shù)據(jù)處理單元2410，并且它們以一對(duì)一的方式連接。
如上所述，在根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置中，在3D數(shù)據(jù)處理單元2400的處理量和2D數(shù)據(jù)處理單元2410的處理量之間的平衡根據(jù)各種因素動(dòng)態(tài)地變化。為此，在給定幀中，在3D數(shù)據(jù)處理單元2400中的處理可能成為瓶頸，導(dǎo)致幀速率降低。相反，同時(shí)，在2D數(shù)據(jù)處理單元2410中的處理也可能成為瓶頸，導(dǎo)致幀速率降低。
在本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)不同幀的處理分配給多個(gè)3D數(shù)據(jù)處理單元2400和與該3D數(shù)據(jù)處理單元2400以一對(duì)一方式連接的多個(gè)2D數(shù)據(jù)處理單元2410，并使所述單元異步且并行地進(jìn)行處理。
通過(guò)這種設(shè)計(jì)，當(dāng)以一對(duì)一方式連接的給定對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410處理第一幀時(shí)，不同對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410能夠同時(shí)處理不同幀，例如，第二或第三幀。這可以防止在3D數(shù)據(jù)處理單元2400中的處理和在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸。
注意到在對(duì)以一對(duì)一方式連接的多個(gè)3D數(shù)據(jù)處理單元2400和多個(gè)2D數(shù)據(jù)處理單元2410分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的對(duì)，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理或2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第十一實(shí)施例)3D數(shù)據(jù)處理單元和2D處理單元的多芯設(shè)計(jì)(均勻并列地基于塊)圖32示出了根據(jù)第十一實(shí)施例的視頻繪制裝置3200的設(shè)計(jì)。從圖32可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，高分辨率視頻塊結(jié)合單元3002被加到圖31中的第十實(shí)施例的視頻繪制裝置中。
在本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)不同視頻塊的處理分配到多個(gè)3D數(shù)據(jù)處理單元2400和與3D數(shù)據(jù)處理單元2400以一對(duì)一方式連接的多個(gè)2D數(shù)據(jù)處理單元2410，并使所述單元異步且并行地進(jìn)行處理。高分辨率視頻塊結(jié)合單元3002結(jié)合作為處理結(jié)果的不同視頻塊的高分辨率視頻數(shù)據(jù)。
通過(guò)這種設(shè)計(jì)，當(dāng)以一對(duì)一方式連接的給定對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410處理第一視頻塊時(shí)，不同對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410可以同時(shí)處理不同的視頻塊，例如，第二或第三視頻塊。這可以防止在3D數(shù)據(jù)處理單元2400中的處理和在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸。
例如，可對(duì)所有幀使用相同的視頻塊大小和相同的分割技術(shù)?？蛇x地，控制單元113可為每一幀控制它們，從而使得低分辨率采樣點(diǎn)的數(shù)目盡可能地平均。
注意到在對(duì)以一對(duì)一方式連接的多個(gè)3D數(shù)據(jù)處理單元2400和多個(gè)2D數(shù)據(jù)處理單元2410分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的對(duì)，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理或2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠繪制高質(zhì)量、高分辨率的全局照明視頻。
(第十二實(shí)施例)3D數(shù)據(jù)處理單元和2D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(非均勻并列地基于幀)
圖33示出了根據(jù)第十二實(shí)施例的視頻繪制裝置3300的設(shè)計(jì)。從圖33可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，具有多個(gè)3D數(shù)據(jù)處理單元2400，其每一個(gè)都與根據(jù)圖24中第四實(shí)施例的視頻繪制裝置的3D數(shù)據(jù)處理單元相同，以及多個(gè)2D數(shù)據(jù)處理單元2410，其每一個(gè)都與所述相同裝置的2D數(shù)據(jù)處理單元相同。
在根據(jù)本實(shí)施例的視頻繪制裝置中，3D數(shù)據(jù)處理單元2400的數(shù)目不等于2D數(shù)據(jù)處理單元2410的數(shù)目，并且與根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置不同，它們通過(guò)總線(xiàn)互相連接。
在根據(jù)本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)不同幀的處理分配給多個(gè)3D數(shù)據(jù)處理單元2400，并將處理結(jié)果分配給在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的2D數(shù)據(jù)處理單元2410。
通過(guò)這種設(shè)計(jì)，當(dāng)通過(guò)總線(xiàn)連接的給定對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410處理第一幀時(shí)，不同對(duì)的3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410可以同時(shí)處理不同幀，例如，第二或第三幀。這可以防止在3D數(shù)據(jù)處理單元2400中的處理和在2D數(shù)據(jù)處理單元2410中的處理成為瓶頸。
優(yōu)選地可將處理分配給其上承受較輕負(fù)荷的2D數(shù)據(jù)處理單元2410，使得增加各2D數(shù)據(jù)處理單元2410的運(yùn)行速率。這可以增加幀速率。
注意到在對(duì)多個(gè)3D數(shù)據(jù)處理單元2400分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的單元，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理或2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠互動(dòng)地繪制高質(zhì)量、高分辨率的全局照明視頻。
(第十三實(shí)施例)3D數(shù)據(jù)處理單元和2D數(shù)據(jù)處理單元的多芯設(shè)計(jì)(非均勻并列地基于塊)圖34示出了根據(jù)第十三實(shí)施例的視頻繪制裝置3400的設(shè)計(jì)。從圖34可明顯看出，本實(shí)施例的視頻繪制裝置的特征在于，低分辨率視頻塊分配單元3401被加到圖33中的第十二實(shí)施例的視頻繪制裝置。與根據(jù)圖33中的第十二實(shí)施例的視頻繪制裝置中一樣，3D數(shù)據(jù)處理單元2400的數(shù)目不需要與2D數(shù)據(jù)處理單元2410的數(shù)目相等。
在根據(jù)本實(shí)施例的視頻繪制裝置中，控制單元113將對(duì)不同視頻塊的處理分配給多個(gè)3D數(shù)據(jù)處理單元2400，并使它們異步且并行地處理這些塊。低分辨率視頻塊分配單元3401將作為處理結(jié)果的不同視頻塊的低分辨率視頻數(shù)據(jù)分配到在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的2D數(shù)據(jù)處理單元2410。此時(shí)，可以將低分辨率視頻塊分配單元3401設(shè)計(jì)為臨時(shí)地結(jié)合從3D數(shù)據(jù)處理單元2400接收到的不同視頻塊的低分辨率視頻數(shù)據(jù)，將得到的數(shù)據(jù)重新分割為任意數(shù)目或任意大小的視頻塊，并將這些塊分配給2D數(shù)據(jù)處理單元2410。這使得可以同時(shí)處理不同的視頻塊。
優(yōu)選地可將處理分配給在其上承受較輕負(fù)荷的2D數(shù)據(jù)處理單元2410，使得可增加各2D數(shù)據(jù)處理單元2410的運(yùn)行速率。這可以增加幀速率。
注意到在對(duì)多個(gè)3D數(shù)據(jù)處理單元2400分配處理時(shí)，控制單元113可選擇在當(dāng)時(shí)其上承受相對(duì)輕的負(fù)荷的單元，并將處理分配給它們。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谒膶?shí)施例的視頻繪制裝置中的3D數(shù)據(jù)處理單元2400中的處理或2D數(shù)據(jù)處理單元2410中的處理成為瓶頸時(shí)，也能夠互動(dòng)地繪制高質(zhì)量、高分辨率的全局照明視頻。
(第十四實(shí)施例)取決于數(shù)據(jù)量的對(duì)采樣點(diǎn)個(gè)數(shù)的動(dòng)態(tài)控制根據(jù)第十四實(shí)施例的視頻繪制裝置的布置與根據(jù)圖24中的第四實(shí)施例相同。根據(jù)本實(shí)施例的視頻繪制裝置的特征在于，包含在3D數(shù)據(jù)處理單元2400中的控制單元113根據(jù)在3D數(shù)據(jù)處理單元2400的第一分辨率視頻序列存儲(chǔ)單元108和2D數(shù)據(jù)處理單元2410的第一分辨率視頻序列存儲(chǔ)單元108之間流動(dòng)的(由控制單元113測(cè)量的)數(shù)據(jù)量對(duì)將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)(每幀的低分辨率視頻數(shù)據(jù)量)進(jìn)行動(dòng)態(tài)控制。例如，當(dāng)3D數(shù)據(jù)處理單元2400通過(guò)網(wǎng)絡(luò)與2D數(shù)據(jù)處理單元2410相連接時(shí)，網(wǎng)絡(luò)擁塞的程度有時(shí)隨著從其它裝置傳送的數(shù)據(jù)在所述網(wǎng)絡(luò)上流動(dòng)而改變。
因此，在根據(jù)本實(shí)施例的視頻繪制裝置中，當(dāng)在3D數(shù)據(jù)處理單元2400的第一分辨率視頻序列存儲(chǔ)單元108和2D數(shù)據(jù)處理單元2410的第一分辨率視頻序列存儲(chǔ)單元108之間流動(dòng)的數(shù)據(jù)量相對(duì)較大時(shí)，包含在3D數(shù)據(jù)處理單元2400中的控制單元113通過(guò)相對(duì)地減少將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)降低每幀的低分辨率視頻數(shù)據(jù)量。
這可以防止在3D數(shù)據(jù)處理單元2400的第一分辨率視頻序列存儲(chǔ)單元108和2D數(shù)據(jù)處理單元2410的第一分辨率視頻序列存儲(chǔ)單元108之間的傳送成為瓶頸。因此，能夠以穩(wěn)定的幀速率繪制高分辨率的全局照明視頻。
相反，如果在3D數(shù)據(jù)處理單元2400的第一分辨率視頻序列存儲(chǔ)單元108和2D數(shù)據(jù)處理單元2410的第一分辨率視頻序列存儲(chǔ)單元108之間流動(dòng)的數(shù)據(jù)量相對(duì)較小，包含在3D數(shù)據(jù)處理單元2400中的控制單元113通過(guò)相對(duì)地增加將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)增加每幀的低分辨率視頻數(shù)據(jù)量。這可以增加可由第三分辨率視頻計(jì)算單元110使用的交點(diǎn)(采樣點(diǎn))的個(gè)數(shù)。因此，能夠交互式地繪制高質(zhì)量、高分辨率的全局照明視頻。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)在3D數(shù)據(jù)處理單元2400和2D數(shù)據(jù)處理單元2410之間流動(dòng)的數(shù)據(jù)量由于外部因素而改變時(shí)，也能夠繪制具有可能的最高質(zhì)量的高分辨率全局照明視頻，同時(shí)保持幀速率穩(wěn)定。
(第十五實(shí)施例)取決于帶寬的對(duì)采樣點(diǎn)個(gè)數(shù)的動(dòng)態(tài)控制根據(jù)本實(shí)施例的視頻繪制裝置的特征在于，控制單元113依照根據(jù)圖1中的第一、第二或者第三實(shí)施例的視頻繪制裝置，或者，根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置中的第一分辨率視頻序列存儲(chǔ)單元108的帶寬大小對(duì)將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)(每幀的低分辨率視頻數(shù)據(jù)量)動(dòng)態(tài)地進(jìn)行控制。
假設(shè)第一分辨率視頻序列存儲(chǔ)單元108由單個(gè)大存儲(chǔ)器的一部分形成，而所述存儲(chǔ)器的剩余部分由其它裝置訪(fǎng)問(wèn)。當(dāng)來(lái)自其它裝置的訪(fǎng)問(wèn)集中于給定幀時(shí)，消耗所述存儲(chǔ)器的帶寬，并且第一分辨率視頻序列存儲(chǔ)單元108的帶寬可能減少。
因此，在根據(jù)本實(shí)施例的視頻繪制裝置中，當(dāng)?shù)谝环直媛室曨l序列存儲(chǔ)單元108的帶寬相對(duì)較小時(shí)，控制單元113通過(guò)相對(duì)地減少將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)減少每幀的低分辨率視頻數(shù)據(jù)量。
這可以防止通過(guò)第一分辨率視頻序列存儲(chǔ)單元108的數(shù)據(jù)傳送成為瓶頸。因此，能夠以穩(wěn)定的幀速率繪制高分辨率的全局照明視頻。
相反，當(dāng)?shù)谝环直媛室曨l序列存儲(chǔ)單元108的帶寬相對(duì)較大時(shí)，控制單元113通過(guò)相對(duì)地增加將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)增加每幀的低分辨率視頻數(shù)據(jù)量。通過(guò)此操作，可以增加可由第三分辨率視頻計(jì)算單元110使用的交點(diǎn)(采樣點(diǎn))的個(gè)數(shù)，并且因此能夠繪制具有更高質(zhì)量的高分辨率全局照明視頻。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，即使當(dāng)?shù)谝环直媛室曨l序列存儲(chǔ)單元108的帶寬由于外部因素改變時(shí)，也能夠繪制具有可能的最高質(zhì)量的高分辨率全局照明視頻，同時(shí)保持幀速率穩(wěn)定。
(第十六實(shí)施例)取決于交互式的對(duì)采樣點(diǎn)個(gè)數(shù)的動(dòng)態(tài)控制圖35示出了根據(jù)第十六實(shí)施例的視頻繪制裝置的布置。根據(jù)第十六實(shí)施例的視頻繪制裝置的特征在于，控制單元113根據(jù)當(dāng)前幀中繪制的視頻的交互性的大小對(duì)將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)(每幀的低分辨率視頻數(shù)據(jù)量)進(jìn)行動(dòng)態(tài)控制。
例如，當(dāng)在當(dāng)前幀中繪制必須根據(jù)用戶(hù)輸入而動(dòng)態(tài)地改變的視頻時(shí)，控制單元113通過(guò)相對(duì)地減少將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)減少每幀的低分辨率視頻數(shù)據(jù)量。通過(guò)此操作，由于減少了將由后續(xù)塊處理的數(shù)據(jù)量，能夠以穩(wěn)定的幀速率繪制高分辨率全局照明視頻。
相反，當(dāng)在當(dāng)前幀中繪制不依照用戶(hù)輸入而改變的靜態(tài)視頻時(shí)(例如，游戲中的重放場(chǎng)景的視頻)，控制單元113通過(guò)相對(duì)地增加將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)增加每幀的低分辨率視頻數(shù)據(jù)量。這樣可以增加可由第三分辨率視頻計(jì)算單元110使用的交點(diǎn)(采樣點(diǎn))的個(gè)數(shù)，并且因此，能夠繪制具有更高質(zhì)量的高分辨率全局照明視頻。
注意到當(dāng)前幀的交互性大小被作為數(shù)值數(shù)據(jù)預(yù)先保存在CG數(shù)據(jù)存儲(chǔ)單元101中。交互性評(píng)價(jià)單元3501從CG數(shù)據(jù)存儲(chǔ)單元101獲取此數(shù)值數(shù)據(jù)，并且基于獲取的值輸出評(píng)價(jià)值?？蓪@取的數(shù)據(jù)直接作為評(píng)價(jià)值使用，或者可結(jié)合諸如運(yùn)動(dòng)向量的另外的CG數(shù)據(jù)來(lái)計(jì)算評(píng)價(jià)值。
控制單元113接收從交互性評(píng)價(jià)單元3501輸出的所述評(píng)價(jià)值，并基于所述評(píng)價(jià)值對(duì)將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)進(jìn)行動(dòng)態(tài)控制。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，能夠根據(jù)在當(dāng)前幀中繪制的視頻所需要的交互性大小來(lái)動(dòng)態(tài)地調(diào)整在幀速率和質(zhì)量之間的權(quán)衡。
(第十七實(shí)施例)取決于功率消耗的對(duì)采樣點(diǎn)個(gè)數(shù)的動(dòng)態(tài)控制根據(jù)第十七實(shí)施例的視頻繪制裝置的特征在于，根據(jù)圖1中所示的第一、第二或者第三實(shí)施例的視頻繪制裝置，或者，根據(jù)圖24中的第四實(shí)施例的視頻繪制裝置中的控制單元113依照當(dāng)前的功率消耗動(dòng)態(tài)地改變將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)(每幀的低分辨率視頻數(shù)據(jù)量)?？刂茊卧?13測(cè)量當(dāng)前的功率消耗。
例如，如果當(dāng)前幀的功率消耗相對(duì)較高，控制單元113通過(guò)相對(duì)地減少將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)降低每幀的低分辨率視頻數(shù)據(jù)量。這樣可以降低將由后續(xù)塊進(jìn)行處理的數(shù)據(jù)量，因此，能夠繪制高分辨率全局照明視頻，同時(shí)抑制能量消耗的增加。
相反，如果當(dāng)前幀的功率消耗相對(duì)較低，控制單元113通過(guò)相對(duì)地增加將由交點(diǎn)坐標(biāo)計(jì)算單元103進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)來(lái)增加每幀的低分辨率視頻數(shù)據(jù)量。通過(guò)此操作，可以增加可由第三分辨率視頻計(jì)算單元110所使用的交點(diǎn)(采樣點(diǎn))的個(gè)數(shù)，因此，能夠繪制具有更高質(zhì)量的高分辨率全局照明視頻。
如上所述，根據(jù)本實(shí)施例的視頻繪制裝置，能夠繪制具有可能的最高質(zhì)量的高分辨率全局照明視頻，同時(shí)抑制能量消耗的增加。
根據(jù)以上描述的每個(gè)實(shí)施例所述的視頻繪制裝置和方法以及程序，通過(guò)對(duì)多個(gè)幀中的低分辨率采樣點(diǎn)進(jìn)行濾波，與現(xiàn)有技術(shù)相比，能夠減少每幀的采樣點(diǎn)個(gè)數(shù)。于是，能夠交互式地繪制高質(zhì)量、高分辨率的全局照明視頻。通過(guò)利用在繪制CG圖像時(shí)獲得的在采樣點(diǎn)的運(yùn)動(dòng)向量以及物體ID，能夠?qū)崿F(xiàn)高速、穩(wěn)定的匹配計(jì)算。
權(quán)利要求
1.一種視頻繪制裝置，包括第一存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；變換單元，其被配置為將所述CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；第一計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從將被顯示的圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3維(3D)坐標(biāo)；第二計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；第三計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；分配單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)，將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中每個(gè)物體的標(biāo)識(shí)不相同；投影單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和所述3D運(yùn)動(dòng)向量投影到投影平面，并計(jì)算在所述交點(diǎn)的2維(2D)坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值和所述分配的物體標(biāo)識(shí)存儲(chǔ)在一起作為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；第二存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
2.根據(jù)權(quán)利要求1的裝置，其中，所述中分辨率計(jì)算單元通過(guò)將所述當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上落后所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算所述中分辨率視頻數(shù)據(jù)。
3.根據(jù)權(quán)利要求1的裝置，其中，所述中分辨率計(jì)算單元通過(guò)將所述當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上領(lǐng)先所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算所述中分辨率視頻數(shù)據(jù)。
4.根據(jù)權(quán)利要求1的裝置，其中，所述中分辨率計(jì)算單元通過(guò)疊加所述當(dāng)前幀的低分辨率視頻數(shù)據(jù)、在時(shí)間上落后所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)以及在時(shí)間上領(lǐng)先所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)來(lái)計(jì)算所述中分辨率視頻數(shù)據(jù)。
5.根據(jù)權(quán)利要求1的裝置，其中，所述中分辨率計(jì)算單元包括獲取單元，其被配置為獲取在所述當(dāng)前幀的低分辨率視頻數(shù)據(jù)中包含的所述交點(diǎn)的2D坐標(biāo)和在所述交點(diǎn)的2D運(yùn)動(dòng)向量；獲取單元，其被配置為獲取在時(shí)間上不同于所述當(dāng)前幀的幀的低分辨率視頻數(shù)據(jù)中包含的多個(gè)交點(diǎn)的2D坐標(biāo)和多個(gè)在所述交點(diǎn)的2D運(yùn)動(dòng)向量；選擇單元，其被配置為從所述獲取的2D運(yùn)動(dòng)向量中選擇表示相對(duì)于所述當(dāng)前幀后向運(yùn)動(dòng)的2D運(yùn)動(dòng)向量；以及相加單元，其被配置為將對(duì)應(yīng)于所述選擇的2D運(yùn)動(dòng)向量的低分辨率視頻數(shù)據(jù)與所述當(dāng)前幀的低分辨率視頻數(shù)據(jù)相加。
6.根據(jù)權(quán)利要求1的裝置，其中，所述高分辨率計(jì)算單元包括選擇單元，其被配置為根據(jù)將被呈現(xiàn)的所述高分辨率視頻數(shù)據(jù)選擇多個(gè)像素；選擇單元，其被配置為，為所述像素的每一個(gè)從包含在所述中分辨率視頻數(shù)據(jù)中的交點(diǎn)中選擇包括在以所述像素的每一個(gè)為中心且具有一定大小的區(qū)域中的多個(gè)第一交點(diǎn)；選擇單元，其被配置為從所述第一交點(diǎn)中選擇包含在不同于所述當(dāng)前幀的幀中的第二交點(diǎn)；選擇單元，其被配置為，為所述選擇的第二交點(diǎn)從以所述第二交點(diǎn)為中心并且大小根據(jù)所述物體確定的區(qū)域中選擇包含在所述當(dāng)前幀中的第三交點(diǎn)；比較單元，其被配置為將所述第二交點(diǎn)的物體標(biāo)識(shí)與所述第三交點(diǎn)的物體標(biāo)識(shí)進(jìn)行比較；去除單元，其被配置為，如果所述比較單元確定所述第二交點(diǎn)的物體標(biāo)識(shí)不同于所述第三交點(diǎn)的物體標(biāo)識(shí)，則從所述中分辨率視頻數(shù)據(jù)中去除所述第二交點(diǎn)；以及計(jì)算單元，其被配置為基于包含在所述中分辨率視頻數(shù)據(jù)中的交點(diǎn)中的未被成功去除的交點(diǎn)來(lái)計(jì)算所述像素的多個(gè)顏色值。
7.一種視頻繪制裝置，其包括3維(3D)數(shù)據(jù)處理單元和2維(2D)數(shù)據(jù)處理單元所述3D數(shù)據(jù)處理單元包括第一存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；變換單元，其被配置為將所述CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；交點(diǎn)計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從將被進(jìn)行顯示的圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3D坐標(biāo)；第一計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；第二計(jì)算單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；分配單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中每個(gè)物體的標(biāo)識(shí)不相同；投影單元，其被配置為通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和所述3D運(yùn)動(dòng)向量投影到投影平面，并計(jì)算在所述交點(diǎn)的2D坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)，以及所述2D數(shù)據(jù)處理單元包括分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；第二存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
8.根據(jù)權(quán)利要求7的裝置，進(jìn)一步包括測(cè)量單元，其被配置為測(cè)量在所述3D數(shù)據(jù)處理單元和所述2D數(shù)據(jù)處理單元之間流動(dòng)的數(shù)據(jù)量；以及控制單元，其被配置為根據(jù)測(cè)量到的數(shù)據(jù)量控制將由交點(diǎn)計(jì)算單元進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)。
9.根據(jù)權(quán)利要求7的裝置，進(jìn)一步包括測(cè)量單元，其被配置為測(cè)量所述分辨率存儲(chǔ)單元的帶寬；以及控制單元，其被配置為依照所述測(cè)量的帶寬來(lái)控制將由所述交點(diǎn)計(jì)算單元進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)。
10.根據(jù)權(quán)利要求7的裝置，進(jìn)一步包括評(píng)價(jià)單元，其被配置為評(píng)價(jià)在所述當(dāng)前幀中繪制的視頻的交互性的大?。灰约翱刂茊卧?，其被配置為依照所述評(píng)價(jià)的交互性大小來(lái)控制將由所述交點(diǎn)計(jì)算單元進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)。
11.根據(jù)權(quán)利要求7的裝置，進(jìn)一步包括測(cè)量單元，其被配置為測(cè)量在所述當(dāng)前幀中的功率消耗；以及控制單元，其被配置為依照所述功率消耗來(lái)控制將由所述交點(diǎn)計(jì)算單元進(jìn)行計(jì)算的交點(diǎn)的個(gè)數(shù)。
12.一種視頻繪制裝置，包括分辨率存儲(chǔ)單元，其被配置為將3維空間中的物體與通過(guò)從將被顯示的圖像平面的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的2維(2D)坐標(biāo)，在所述交點(diǎn)的多個(gè)2D運(yùn)動(dòng)向量，其中通過(guò)利用變換到攝像頭坐標(biāo)系的CG數(shù)據(jù)將所述交點(diǎn)的3D坐標(biāo)和在所述3D坐標(biāo)的交點(diǎn)的3D運(yùn)動(dòng)向量投影到投影平面而得到所述2D坐標(biāo)和所述2D運(yùn)動(dòng)向量，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系，在所述交點(diǎn)的所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)顏色值，以及所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)，其中每個(gè)物體的標(biāo)識(shí)不相同，一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；中分辨率計(jì)算單元，其被配置為通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；高分辨率計(jì)算單元，其被配置為通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)單元，其被配置為呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
13.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理與其它3D數(shù)據(jù)處理單元所處理的幀不同的幀；以及在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述2D數(shù)據(jù)處理單元從所述每個(gè)3D數(shù)據(jù)處理單元接收低分辨率視頻數(shù)據(jù)。
14.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理多個(gè)視頻塊中的視頻塊，其中所述多個(gè)視頻塊為通過(guò)在形狀上分割相同幀中的視頻而得到的多個(gè)區(qū)域，所述處理的視頻塊不同于其它3D數(shù)據(jù)處理單元所處理的視頻塊；結(jié)合單元，其被配置為在從所述各3D數(shù)據(jù)處理單元獲取各視頻塊的低分辨率視頻數(shù)據(jù)之后結(jié)合各幀的低分辨率視頻數(shù)據(jù)，并且以每幀獲取低分辨率視頻數(shù)據(jù)；以及在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述2D數(shù)據(jù)處理單元從所述結(jié)合單元接收低分辨率視頻數(shù)據(jù)。
15.一種視頻繪制裝置，包括在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元；以及多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元處理的幀不同于由其它2D數(shù)據(jù)處理單元所處理的幀。
16.一種視頻繪制裝置，包括在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元；分割單元，其被配置為將所述低分辨率視頻數(shù)據(jù)分割為多個(gè)視頻塊，所述視頻塊是通過(guò)在形狀上分割相同幀的視頻所得到的多個(gè)區(qū)域；多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元處理的視頻塊不同于由其它2D數(shù)據(jù)處理單元所處理的視頻塊；以及結(jié)合單元，其被配置為結(jié)合由所述2D數(shù)據(jù)處理單元計(jì)算得到的高分辨率視頻數(shù)據(jù)的各視頻塊。
17.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理的幀不同于由其它3D數(shù)據(jù)處理單元所處理的幀；以及多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元以一對(duì)一的方式與所述每個(gè)3D數(shù)據(jù)處理單元相連接，并且從所述各3D數(shù)據(jù)處理單元接收各幀的低分辨率視頻數(shù)據(jù)。
18.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理多個(gè)視頻塊中的視頻塊，所述多個(gè)視頻塊為通過(guò)在形狀上分割相同幀中的視頻而得到的多個(gè)區(qū)域，所述處理的視頻塊不同于由其它3D數(shù)據(jù)處理單元所處理的視頻塊；多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元以一對(duì)一的方式與所述每個(gè)3D數(shù)據(jù)處理單元相連接，并且從所述各3D數(shù)據(jù)處理單元接收各視頻塊的低分辨率視頻數(shù)據(jù)；以及結(jié)合單元，其被配置為結(jié)合由所述每個(gè)2D數(shù)據(jù)處理單元計(jì)算得到的高分辨率視頻數(shù)據(jù)的各視頻塊。
19.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理的幀不同于由其它3D數(shù)據(jù)處理單元所處理的幀；多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元從所述3D數(shù)據(jù)處理單元中選擇3D數(shù)據(jù)處理單元，并且從所述選擇的3D數(shù)據(jù)處理單元接收各幀的低分辨率視頻數(shù)據(jù)。
20.一種視頻繪制裝置，包括多個(gè)在權(quán)利要求7中定義的3D數(shù)據(jù)處理單元，所述每個(gè)3D數(shù)據(jù)處理單元處理多個(gè)視頻塊中的視頻塊，所述多個(gè)視頻塊為通過(guò)在形狀上分割相同幀中的視頻而得到的多個(gè)區(qū)域，所述處理的視頻塊不同于由其它3D數(shù)據(jù)處理單元所處理的視頻塊；接收單元，其被配置為從所述各3D數(shù)據(jù)處理單元接收各視頻塊的低分辨率視頻數(shù)據(jù)，并重建通過(guò)將各幀分割為具有大小的視頻塊所獲得的低分辨率視頻數(shù)據(jù)；多個(gè)在權(quán)利要求7中定義的2D數(shù)據(jù)處理單元，所述每個(gè)2D數(shù)據(jù)處理單元接收具有大小的視頻塊的低分辨率視頻數(shù)據(jù)，所述視頻塊的大小對(duì)應(yīng)于所述各2D數(shù)據(jù)處理單元上的負(fù)荷；以及結(jié)合單元，其被配置為結(jié)合由所述各2D數(shù)據(jù)處理單元計(jì)算得到的高分辨率視頻數(shù)據(jù)的各視頻塊。
21.一種視頻繪制方法，包括準(zhǔn)備第一存儲(chǔ)單元，其被配置為存儲(chǔ)計(jì)算機(jī)圖形(CG)數(shù)據(jù)，該數(shù)據(jù)包括關(guān)于坐標(biāo)變換的數(shù)據(jù)、關(guān)于攝像頭的數(shù)據(jù)、關(guān)于幾何的數(shù)據(jù)、關(guān)于光源的數(shù)據(jù)以及關(guān)于紋理的數(shù)據(jù)；將所述CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系，其中所述攝像頭坐標(biāo)系是從視點(diǎn)進(jìn)行觀察的坐標(biāo)系；通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算3維空間中的物體與通過(guò)從圖像平面上的像素采樣得到的采樣點(diǎn)的光線(xiàn)向量的多個(gè)交點(diǎn)的3維(3D)坐標(biāo)；通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)3D運(yùn)動(dòng)向量；通過(guò)參考所述變換的CG數(shù)據(jù)來(lái)計(jì)算在所述交點(diǎn)的多個(gè)顏色值；通過(guò)參考所述變換的CG數(shù)據(jù)將在所述3D坐標(biāo)下的所述交點(diǎn)的多個(gè)物體標(biāo)識(shí)分配給所述交點(diǎn)，其中每個(gè)物體的標(biāo)識(shí)不相同；通過(guò)參考所述變換的CG數(shù)據(jù)，將所述3D坐標(biāo)和所述3D運(yùn)動(dòng)向量投影到投影平面，并且計(jì)算在所述交點(diǎn)的2維(2D)坐標(biāo)以及在所述交點(diǎn)的2D運(yùn)動(dòng)向量；準(zhǔn)備分辨率存儲(chǔ)單元，其被配置為將所述2D坐標(biāo)、所述2D運(yùn)動(dòng)向量、所述顏色值以及所述分配的物體標(biāo)識(shí)一起存儲(chǔ)為每幀的低分辨率視頻數(shù)據(jù)；通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于所述當(dāng)前幀的多個(gè)幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)；通過(guò)對(duì)所述中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)；準(zhǔn)備第二存儲(chǔ)單元，其被配置為以每幀存儲(chǔ)所述高分辨率視頻數(shù)據(jù)；以及呈現(xiàn)所述高分辨率視頻數(shù)據(jù)。
全文摘要
裝置包括存儲(chǔ)包括關(guān)于坐標(biāo)變換、攝像頭、幾何、光源以及紋理的數(shù)據(jù)的CG數(shù)據(jù)的單元；將CG數(shù)據(jù)的坐標(biāo)系變換到攝像頭坐標(biāo)系的單元；計(jì)算物體與通過(guò)采樣點(diǎn)的光線(xiàn)向量的交點(diǎn)的3D坐標(biāo)的單元；計(jì)算3D運(yùn)動(dòng)向量的單元；計(jì)算在交點(diǎn)的顏色值的單元；將在3D坐標(biāo)的交點(diǎn)的物體ID分配給交點(diǎn)的單元；將3D坐標(biāo)和3D運(yùn)動(dòng)向量投影到平面并計(jì)算在交點(diǎn)的2D坐標(biāo)以及在交點(diǎn)的2D運(yùn)動(dòng)向量的單元；將2D坐標(biāo)、2D運(yùn)動(dòng)向量、顏色值以及和物體ID一起存儲(chǔ)為低分辨率視頻數(shù)據(jù)的單元；通過(guò)將當(dāng)前幀的低分辨率視頻數(shù)據(jù)疊加到在時(shí)間上不同于當(dāng)前幀的幀的低分辨率視頻數(shù)據(jù)上來(lái)計(jì)算中分辨率視頻數(shù)據(jù)的單元；通過(guò)對(duì)中分辨率視頻數(shù)據(jù)進(jìn)行濾波來(lái)計(jì)算高分辨率視頻數(shù)據(jù)的單元；存儲(chǔ)高分辨率視頻數(shù)據(jù)的單元；以及呈現(xiàn)高分辨率視頻數(shù)據(jù)的單元。
文檔編號(hào)G06T15/55GK1924931SQ20061012648
公開(kāi)日2007年3月7日 申請(qǐng)日期2006年8月31日 優(yōu)先權(quán)日2005年8月31日
發(fā)明者爰島快行, 杉田馨, 關(guān)根真弘, 三原功雄, 山本澄彥 申請(qǐng)人:株式會(huì)社東芝