實時的順序無關透明渲染的制作方法
【專利摘要】本發(fā)明涉及實時的順序無關透明渲染。本發(fā)明公開一種產生待顯示圖像的方法和系統(tǒng)。該圖像包括多個像素。示例性方法包括將固定量的存儲器專用于存儲用于多個像素中的像素的數據結構。該方法還包括創(chuàng)建可見度函數并為用于多個片段中的每個片段確定部分色彩和。使用可見度函數及部分色彩和確定像素色彩。
【專利說明】實時的順序無關透明渲染
[0001]本申請要求于2012年5月7日提交的序列號為61/643780的美國臨時申請的優(yōu)先權。
【背景技術】
[0002]正確渲染透明表面可能需要為屏幕上每個像素從后到前或者從前到后排序多個透明片段。從計算和存儲器帶寬的角度來看此操作是非常密集的，并且通常是緩慢并功率效率不高。公知的方法采用先驗無限量存儲器，其與屏幕上的可見透明片段量成比例。
[0003]一些不需要排序透明片段的近似方法是眾所周知的。這些方法相對更快速和高效，但仍需要無限量存儲器。此外，這些方法會使用兩個或更多個渲染通道以生成所需圖像。
【專利附圖】

【附圖說明】
[0004]圖1是根據實施例的具有透明對象的幀；
[0005]圖2是根據實施例的可用于渲染圖像的計算設備的方框圖；
[0006]圖3是根據實施例示出可見度函數的曲線圖；
[0007]圖4是根據實施例示出具有額外節(jié)點的可見度函數的曲線圖；
[0008]圖5是根據實施例示出具有標記用于壓縮的區(qū)域的可見度函數的曲線圖；
[0009]圖6是根據實施例示出具有標記用于壓縮的區(qū)域以及傳送到后面的節(jié)點的色彩數據的可見度函數的曲線圖；
[0010]圖7是根據實施例示出具有標記用于壓縮的區(qū)域以及傳送到第一節(jié)點的色彩數據的可見度函數的曲線圖；
[0011]圖8是根據實施例示出具有標記用于壓縮的區(qū)域以及傳送到所有節(jié)點的色彩數據的可見度函數的曲線圖；
[0012]圖9是根據實施例示出用于渲染圖像的方法的實施例的處理流程圖；
[0013]圖10是根據實施例的可用于渲染圖像的計算設備的方框圖；
[0014]圖11是根據實施例示出存儲用于渲染圖像的代碼的有形的非瞬態(tài)計算機可讀介質的方框圖；
[0015]圖12是根據實施例的用于渲染圖像的示例性系統(tǒng)的方框圖；以及
[0016]圖13是根據實施例的可以具體實現(xiàn)圖12的系統(tǒng)的小型設備的示意圖。
[0017]在整個公開和附圖中使用相同的編號指示類似的部件和特征。100系列的數字指最先出現(xiàn)于圖1的特征；200系列的數字指最先出現(xiàn)于圖2的特征；等等。
【具體實施方式】
[0018]如上所述，從計算和存儲器帶寬的角度來看渲染透明對象是密集的。此外，實時渲染透明對象可能加重計算和存儲密集型操作。在渲染圖形時，為每一幀可以使用數百或數千的多邊形網格對透明對象的兒何形狀建模。為了便于描述，用于建模透明對象幾何形狀的多邊形是三角形。但是，可以使用任意多邊形為透明對象的幾何形狀建模。
[0019]每個三角形可以生成一個或多個片段，并且每個片段向該片段的屏幕空間內包含的像素添加色彩層。例如，如果被渲染的圖像包括通過(looking through) 10層鏡片，則每層鏡片包含有助于在鏡片的屏幕空間內被渲染的像素色彩的片段。當來自正被渲染的圖像的光線通過每層鏡片時，通過每層鏡片的光量可能會減少。在一些實施例中，由透明對象的像素片段傳送的光量被稱為該像素的透射率。此外，像素可能具有按任何順序渲染的幾個片段。最前面的片段是最靠近觀察者的片段，其中所述觀察者是正在觀看圖像的照相機或人眼。最后面的片段是離觀察者最遠的片段。
[0020]圖1是根據實施例的具有透明對象的幀100。幀100包括樹對象102，以及10個透明玻璃板104A-104J。樹對象102可以通過所有10個透明玻璃板104A-104J可見。透明玻璃板104A是最前面的片段，而透明玻璃板104J是最后面的片段。盡管以在樹對象102前面的所有10個透明玻璃板104A-104J顯示圖像，但是圖像可包括貫穿樹對象102的渲染玻璃板。在這種情況下，部分樹對象102在玻璃板前面而其他部分的樹對象102在玻璃板后面。
[0021]為了便于說明，以二維示出幀100。然而，幀100可能包括三維(3D)的透明對象。因此，為了以3D進行渲染，樹對象102及10個透明玻璃板104A-104J可以被劃分為多邊形網格。在實施例中，多邊形網格可以是三角網格。多邊形網格定義3D對象的形狀。在實施例中，3D對象的形狀可以被稱為3D對象的幾何形狀。多邊形網格包括用于定義3D對象形狀的頂點、線、邊，以及面。為了便于描述，本文所述的技術使用三角網格進行描述。然而，根據現(xiàn)有技術可以使用任何類型的網格。
[0022]在示例中，包含像素106的透明玻璃板104A的三角形可完全“覆蓋”包含像素106的樹對象102的三角形，以及也包含像素106的剩余的透明玻璃板104B-104J的三角形。如本文所用，覆蓋三角形意味著:為了正確渲染，應該在整個第二三角形之上渲染整個第一三角形。在這種情況下，可以從后到前排序包含像素106的每個透明對象的三角形，并隨后將其放在幀緩沖器中?？蓪彌_器中的內容發(fā)送到專門硬件中以按順序渲染。專門硬件可以包括但不限于圖形處理單元(GPU)。
[0023]在一些示例中，在渲染特定像素時，三角網格的兩個或更多個三角形可能重疊，從而第一三角的片段覆蓋第二三角的片段。但是，第一三角形沒有完全覆蓋第二三角形。在這種示例中，當排序三角形時，應當將為特定像素覆蓋第二三角片段的第一三角片段放在第二三角片段的前面。但是，為了正確渲染，第二三角剩余的片段不能排序在第一三角剩余的片段之后?？蓪⑷切畏指顬槠?，從而能正確排序片段。每一幀的排序時間依照應該被排序的分割三角形的數量而變化。隨后將分割三角形發(fā)送至幀緩沖器，并且隨后使用GPU渲染。隨著3D透明對象視角的變化，重復分割、排序以及渲染的過程。還隨著視角變化而重新計算3D透明對象的幾何形狀。由于分割及排序的量是未知的，所以分割以及排序透明對象三角形的過程可使用無限量存儲器來存儲分割以及排序的三角形。此外，重新計算3D對象的幾何形狀可能是計算密集型操作。在以每個像素級排序片段的示例中，每一幀的排序時間根據重疊單個像素的片段總數而變化。在片段以像素級進行排序時，這個過程還可能使用無限量存儲器并作為計算密集型操作。
[0024]對于非實時渲染的圖像，可為每個像素存儲所有重疊透明片段的列表?？蓮暮蟮角芭判蛄斜碇械拿總€片段并以正確的順序進行渲染。但是，可能不能有效獲得實時圖形的重疊透明片段列表。因此，本文所述實施例與以獨立順序實時渲染透明圖像相關。渲染透明圖像所用的存儲器量可能是有限的。此外，在實施例中，可以用一個渲染通道渲染透明幾何形狀。
[0025]在以下描述和權利要求中，可以使用術語“耦合”及“連接”以及它們的派生詞。應當理解這些術語并非旨在作為彼此的同義詞。然而，在特定實施例中，“連接”可用來指示兩個或多個元件彼此直接物理或電連接?！榜詈稀笨梢馕吨鴥蓚€或多個元件直接物理或電連接。然而，“耦合”也可意味著兩個或多個元件不是彼此直接相連，但仍然彼此合作或交互。
[0026]可以以硬件、固件以及軟件的一個或組合實現(xiàn)一些實施例。一些實施例還可以實現(xiàn)為存儲于機器可讀介質上的指令，其可由計算平臺讀取和執(zhí)行以執(zhí)行本文所述的操作。機器可讀介質可以包括用于存儲或傳送機器(例如，計算機)可讀形式的信息的任何機制。例如，機器可讀介質可以包括只讀存儲器(ROM);隨機讀取存儲器(RAM);磁盤存儲介質；光存儲介質；閃存設備；或者電、光、聲或其他形式的傳播信號，例如，載波、紅外信號、數字信號，或者傳送和/或接收信號的接口，以及其他。
[0027]實施例是一種實施或示例。本說明書使用的“實施例”、“ 一實施例”、“一些實施例”、“各種實施例”或“其他實施例”意味著結合實施例描述的特定特征、結構或特性包括于至少一些實施例中，但不必是本發(fā)明的所有實施例。各種出現(xiàn)“實施例”、“一實施例”或“一些實施例”不一定都指相同的實施例。一實施例的元件或方面可以結合于另一實施例的元件或方面。
[0028]并非此處所描述及闡明的所有部件、特征、結構、特性等都必須包括于特定的一實施例或多個實施例中。例如，如果說明書聲明部件、特征結構或特性“可以”、“可能”，“能夠”或“可能會”被包括，則所述特定部件、特征、結構或特性不要求包括在內。如果說明書或權利要求涉及“一(a)”或“一(an)”元件，并不是意味著只有一個該元件。如果說明書或權利要求涉及“附加的”元件，這不排除有一個以上附加元件。
[0029]但是應當指出的是，雖然參照特定實施而描述了一些實施例，但是根據一些實施例的其他實施也是可能的。此外，附圖示出的和/或本文描述的電路元件或其他特征的布置和/或次序不必以所闡明和描述的特定方式安排。根據一些實施例的許多其他的安排也是可能的。
[0030]在圖示的每個系統(tǒng)中，某些情況下每個元件可具有相同的附圖標記或不同的附圖標記以表示所示元件可以是不同的和/或相似的。然而，元件可以足夠靈活以具有不同的實施并與此處所示或所述的部分或全部系統(tǒng)合作。圖中所示的各種元件可以是相同的或不同的。哪一個被稱為第一元件和哪一個被稱為第二元件是任意的。
[0031]圖2是根據實施例的可用于渲染圖像的計算設備200的方框圖。計算設備200可以是，例如，膝上型計算機、臺式計算機、平板計算機、移動設備、服務器或蜂窩電話，以及其他。計算設備200可以包括配置以執(zhí)行存儲指令的中央處理單元(CPU) 202，以及存儲CPU202可執(zhí)行的指令的存儲器設備204。存儲器設備204還可以存儲可見度函數以及本文所述的其他數據結構。CPU202可以是單核處理器、多核處理器、計算集群，或任意數量的其他配置。此外，計算設備200可以包括一個以上的CPU202。由CPU202執(zhí)行的指令可以用于實現(xiàn)實時的順序無關透明度。存儲器設備204可以包括隨機存取存儲器(RAM)、只讀存儲器(ROM)、閃存，或任何其他適合的存儲器系統(tǒng)。例如，存儲器設備204可以包括動態(tài)隨機存取存儲器(DRAM)。
[0032]計算設備200還可以包括圖形處理單元(GPU) 206。如圖所示，CPU202可以通過總線208連接到GPU206?？梢耘渲肎PU206以執(zhí)行計算設備200內的任意數量的圖形操作。例如，可以配置GPU206渲染或操縱圖形圖像、圖形幀、視頻，等等，以顯示給計算設備200的用戶。
[0033]CPU202可以通過總線208使用輸入/輸出(I/O)設備接口 210與I/O部件相連，其中所述I/o設備接口 210被配置為將計算設備200連接到一個或多個I/O設備212。I/O設備212可以包括，例如，鍵盤以及定點設備，其中定點設備可以包括觸摸板或觸摸屏，以及其他。I/O設備212可以是計算設備200中的嵌入式部件，或者I/O設備212可以是外部連接到計算設備200的設備。
[0034]CPU202還可以通過總線208鏈接到配置為將計算設備200與顯示設備216連接的顯示接口 214。顯示設備216可以包括作為計算設備200的嵌入式部件的顯示屏。顯示設備216還可以包括外部連接到計算設備200的計算機監(jiān)視器、電視或投影儀，以及其他。
[0035]計算設備200還可以包括存儲設備218。存儲設備218是物理存儲器，例如硬盤驅動器、光盤驅動器、閃存盤、驅動器陣列，或其任意組合。存儲設備218還可以包括遠程存儲驅動器。類似于存儲器設備204，存儲設備218還可以存儲可見度函數以及本文所述的其他數據結構。存儲設備218還可以包括一個或多個應用程序220。應用程序220包括但不限于，視頻回放應用程序或游戲應用程序。在示例中，當應用程序220向CPU206發(fā)送用于渲染的透明對象時，由CPU202執(zhí)行的指令可用于實現(xiàn)實時的順序無關透明度。
[0036]網絡接口控制器(NIC) 222可被配置為將計算設備200連接至網絡224。網絡224可以是有線網絡、無線網絡或蜂窩網絡。網絡224可以是任何廣域網(WAN)、任何局域網(LAN)或互聯(lián)網，以及其他。例如，網絡224可以是3GPP LTE網絡或WiFi網絡。
`[0037]圖2的方框圖并不旨在表明計算設備200包括圖2所示的所有部件。此外，根據具體實施的細節(jié)，計算設備200可以包括圖2未示出的任何數量的附加部件。
[0038]可見度函數可用于表示通過一個或多個透明對象的光傳輸?？梢姸群瘮颠€可以用于表示當光穿過一個或多個透明對象時的光吸收?？梢姸群瘮凳雇该鲗ο蟮钠文軌蛞哉_順序合成以用于渲染，而不對有助于像素的所有片段進行排序。正如上面所討論的，排序可變數目的片段可能會對渲染過程引入可變的時間量。通過消除片段排序，與對透明對象的片段排序的方法相比，該渲染過程更加穩(wěn)定并且更適合于實時渲染。
[0039]可以通過繪制透射率與距相機的距離來繪制可見度函數。通常情況下，隨著距相機的距離增加，光穿過幾個對象并且透射率降低。在實施例中，可見度函數是階梯函數的集合。例如，當通過窗口觀看外部時，外部產生的一部分光由窗口吸收，同時一些光被傳送。在實施例中，一些光可能會被散射。因此，可見度函數是穿過每像素每個片段的光量的表示。
[0040]可以使用以下公式計算可見度函數:
[0041]vii(z)= Π (1 - α?)⑴
o<zt<z(I)
[0042]其中α是第i個片段的透明因子，且z是距第i個片段的觀察者的距離。
[0043]圖3是根據實施例示出可見度函數300的曲線圖。如上所述，可見度函數300表示為每個像素的透射率與距觀察者距離(深度)的圖。該曲線圖將可見度函數300示為多個階梯函數。可見度函數300包括三階:附圖標記為302處的節(jié)點(O)，附圖標記為304處的節(jié)點(I)，以及附圖標記為306處的節(jié)點(2)。可見度函數300的每個節(jié)點對應于相應像素的片段。因此，像素具有渲染的三個透明片段。使用可見度函數從后到前渲染片段，從而附圖標記為302處的節(jié)點(O)首先被渲染，隨后是附圖標記為304處的節(jié)點(I)，最后是附圖標記為306處的節(jié)點⑵。
[0044]在實施例中，可以使用GPU來讀-修改-寫存儲在存儲器中任意位置的數據，而不會導致由同時并行處理上千片段引起的數據爭用。以這種方式，可以通過獲得有助于像素的所有片段的列表而創(chuàng)建可見度函數。隨后讀取片段并將片段放置于可見度函數內正確的位置?？梢姸群瘮祵雌谕夭捎霉潭康拇鎯ζ鳎瑥亩梢蕴^最初對所有透明片段的緩沖。因此，包含像素數據的數據結構可以直接以流方式進行更新，只要圖形處理器可以為每個片段從存儲器中讀取可見度函數數據，對其進行更新并將其存回存儲器，同時避免數據爭用。通過避免數據爭用，避免了有助于同一像素的兩個或更多片段同時工作于同一可見度函數的情況。在實施例中，對于屏幕上的給定像素，為了避免數據損壞，在任意給定時間內只通過單個片段更新可見度函數以及所有相關數據。這些數據損壞也被稱為數據爭用。
[0045]在將所有透明對象提交以進行渲染之后，為每個像素獲得表示圖3所示類型的可見度函數的數據結構。此外，可以為每個像素獲得包含色彩數據部分和的另一數據結構。該種包含色彩數據部分和的數據結構也可以流方式進行更新。
[0046]適當地，附圖標記為302處的節(jié)點(O)、附圖標記為304處的節(jié)點(I)，以及附圖標記為306處的節(jié)點(2)的每一個均具有由可見度函數表示的相關聯(lián)的透射率值和深度值。在附圖標記308處，可見度函數最靠近觀察者，并且具有值為I的透射率。隨著距觀察者的距離增加，光穿過附圖標記為302處的節(jié)點(O)、附圖標記為304處的節(jié)點(I)，以及附圖標記為306處的節(jié)點(2)中的每 一個。在每個節(jié)點處，因為對應于每個節(jié)點的片段吸收了部分光，所以透射率值減小。
[0047]此外，附圖標記為302處的節(jié)點(O)、附圖標記為304處的節(jié)點(I)，以及附圖標記為306處的節(jié)點(2)中的每一個具有相關聯(lián)的色彩值，該色彩值在創(chuàng)建可見度函數時存儲于另一種數據結構中。以這種方式，可以同時通過一個渲染通道計算可見度函數及最終像素色彩。可以如上所述創(chuàng)建可見度函數，并可在可見度函數的每一步評估對像素色彩的貢獻。
[0048]N重透明片段對最終像素色彩的貢獻被計算為N項的和，所述和中的每一項由片段色彩(C)乘以其α (透明因子)以及解釋為在照相機/人眼與當前項之間的所有片段的可見項而確定:
【權利要求】
1.一種用于渲染圖像的方法，所述圖像包括多個像素，所述方法包括: 將固定量的存儲器專用于存儲用于所述多個像素中的像素的數據結構； 通過在所述數據結構的位置上執(zhí)行讀-修改-寫操作以改變可見度函數的多個節(jié)點處的數據，來使用與像素相關的數據創(chuàng)建可見度函數，其中所述多個節(jié)點對應于用于所述像素的多個片段； 使用所述讀-修改-寫操作為用于所述像素的多個片段中的每個片段確定部分色彩和；以及 使用所述可見度函數及用于所述多個片段中的每個片段的所述部分色彩和來計算像素色彩。
2.如權利要求1所述的方法，其中，為每個片段確定部分色彩和包括:對于所述多個片段中的每個片段，使片段透明度乘以片段色彩。
3.如權利要求1所述的方法，包括:通過獲得有助于所述像素的所有片段的列表來為所述像素創(chuàng)建可見度函數。
4.如權利要求1所述的方法，其中，用于所述像素的每個片段的部分色彩和存儲于另一數據結構中并以流方式進行更新。
5.如權利要求1所述的方法，其中，通過移除在所述可見度函數下具有最小區(qū)域的所述可見度函數的節(jié)點以及所述像素的對應片段來壓縮所述可見度函數。
6.如權利要求1所述的方法，其中，通過將色彩信息傳送到后面的節(jié)點，來為一節(jié)點和在壓縮期間從可見度函`數移除的對應片段維持色彩信息。
7.如權利要求1所述的方法，其中，通過將色彩信息傳送到第一節(jié)點，來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
8.如權利要求1所述的方法，其中，通過將色彩信息傳送到所有剩余的節(jié)點，來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
9.如權利要求1所述的方法，其中，通過將色彩信息傳送到任意數量的節(jié)點，來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
10.如權利要求1所述的方法，其中，所述圖像的質量與所述固定量的存儲器的大小成比例。
11.一種計算設備，包括: 被配置用于執(zhí)行存儲的指令的處理單元；以及 存儲指令的存儲設備，所述存儲設備包括處理器可執(zhí)行代碼，當所述處理器可執(zhí)行代碼由所述處理單元執(zhí)行時，適用于: 提供用于存儲與構成圖像的多個像素中的像素相關的數據結構的存儲器預算； 通過在所述數據結構的位置上執(zhí)行讀-修改-寫操作以改變與多個片段相關的數據，使用與像素的多個片段相關的數據，來計算可見度函數； 使用所述讀-修改-寫操作為用于所述圖像的像素的多個片段中的每個片段確定部分色彩和；以及 使用所述可見度函數及用于所述多個片段中的每個片段的所述部分色彩和來計算像素色彩。
12.如權利要求11所述的計算設備，其中，為每個片段確定部分色彩和包括:對于所述多個片段中的每個片段，使片段透明度乘以片段色彩。
13.如權利要求11所述的計算設備，其中，所述處理單元通過使用有助于像素的所有片段的列表來為所述像素計算可見度函數。
14.如權利要求11所述的計算設備，其中，所述計算設備在另一數據結構中存儲用于所述多個片段中的每個片段的部分色彩和，并以流方式更新所述部分色彩和。
15.如權利要求11所述的計算設備，其中，所述處理單元通過移除與可見度函數的其他片段比較時對所述可見度函數貢獻最少數據的可見度函數的片段來壓縮可見度函數。
16.如權利要求11所述的計算設備，其中，所述計算設備通過將色彩信息傳送到后面的片段來為在壓縮期間從可見度函數移除的片段維持色彩信息。
17.如權利要求11所述的計算設備，其中，所述計算設備通過將色彩信息傳送到第一片段來為在壓縮期間從可見度函數移除的片段維持色彩信息。
18.如權利要求11所述的計算設備，其中，通過將色彩信息傳送到所有剩余的片段來為在壓縮期間從可見度函數移除的片段維持色彩信息。
19.如權利要求11所述的計算設備，其中，通過將色彩信息傳送到任意數量的片段來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
20.如權利要求11所述的計算設備，還包括無線電設備和顯示器，所述無線電設備和所述顯示器至少通信地耦合到中央處理單元。
21.至少一種存儲有指令的機器可讀介質，響應于在計算設備上被執(zhí)行，所述指令使所述計算設備: 將固定量的存儲器專用于存儲`用于多個像素中的像素的數據結構； 通過在所述數據結構的位置上執(zhí)行讀-修改-寫操作以改變可見度函數的多個節(jié)點處的數據，使用與像素相關的數據創(chuàng)建可見度函數，其中所述多個節(jié)點對應于用于像素的多個片段； 使用所述讀-修改-寫操作為用于所述像素的多個片段中的每個片段確定部分色彩和；以及 使用可見度函數及用于所述多個片段中的每個片段的所述部分色彩和來計算像素色彩。
22.如權利要求21所述的機器可讀介質，其中，確定用于每個片段的部分色彩和包括:對于所述多個片段中的每個片段，使片段透明度乘以片段色彩。
23.如權利要求21所述的機器可讀介質，包括:通過獲得有助于像素的所有片段的列表來為所述像素創(chuàng)建可見度函數。
24.如權利要求21所述的機器可讀介質，其中，用于所述像素的每個片段的部分色彩和存儲于另一數據結構中并以流方式進行更新。
25.如權利要求21所述的機器可讀介質，其中，通過移除在可見度函數下具有最小區(qū)域的可見度函數的節(jié)點以及像素的對應片段來壓縮可見度函數。
26.如權利要求21所述的機器可讀介質，其中，通過將色彩信息傳送到后面的節(jié)點來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
27.如權利要求21所述的機器可讀介質，其中，通過將色彩信息傳送到第一節(jié)點來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
28.如權利要求21所述的機器可讀介質，其中，通過將色彩信息傳送到所有剩余的節(jié)點來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
29.如權利要求21所述的機器可讀介質，其中，通過將色彩信息傳送到任意數量的節(jié)點來為一節(jié)點和在壓縮期間從可見度函數移除的對應片段維持色彩信息。
30.如權利要求21所述的機器可 讀介質，其中，所述圖像的質量與所述固定量的存儲器的大小成比例。
【文檔編號】G06T1/60GK103632337SQ201310277618
【公開日】2014年3月12日 申請日期:2013年5月7日 優(yōu)先權日:2012年5月7日
【發(fā)明者】M·薩爾維 申請人:英特爾公司