專利名稱：實時數(shù)字修改代表原始圖象的視頻數(shù)據(jù)流的方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及數(shù)字圖象處理，更確切地說，涉及用于修改實時視頻數(shù)據(jù)流的系統(tǒng)和方法，該系統(tǒng)和方法通過刪除部分原始圖象并替換部分元素創(chuàng)建新圖象而無需采用傳統(tǒng)的藍(lán)屏技術(shù)。
在動畫和視頻界，通常將兩幅或多幅圖象合并為一個場景。例如，可以將一幅氣象員圖象與另一幅氣象象結(jié)合起來表示站在氣象圖前面的氣象員。主要采用“藍(lán)屏”處理實現(xiàn)以上組合圖象技術(shù)，在藍(lán)屏處理中，以純藍(lán)為背景拍攝一幅圖象，并且以第二圖象替換藍(lán)色背景。可以電子或通過光學(xué)攝影技術(shù)實現(xiàn)以上替換。
人們對現(xiàn)有“藍(lán)屏”處理進(jìn)行了各種改進(jìn)。美國專利No.4,968,132公開了一種產(chǎn)生陰陽遮片(matte)的移動遮片處理過程，該效果可以在計算機(jī)上逐幀替換或修改，同時該遮片可用于在常規(guī)電影攝制或視頻記錄中產(chǎn)生特殊效果而無需藍(lán)屏背景。此外，在美國專利No.4,800,432中，一個視頻差分鍵生成器具有一幅已存儲的參考視頻圖象。利用絕對差分電路比較輸入視頻圖象與參考視頻圖象，該絕對差分電路去掉兩幅視頻圖象中不同的對應(yīng)象素，即從較大的象素中去掉較小的象素，從而產(chǎn)生一幅差分視頻圖象。可以過濾以上差分視頻圖象，隨后輸入到轉(zhuǎn)換函數(shù)電路以產(chǎn)生一個輸出，該輸出可以作為合成視頻圖象的關(guān)鍵信號。
如果能夠?qū)崟r執(zhí)行以上費力費時的功能，如果視頻幀的分析能夠更好地理解各視頻幀內(nèi)的圖象構(gòu)成，并且如果還能完全避免使用藍(lán)屏技術(shù)的話，則以上背景替換方法具有顯著優(yōu)勢。
本發(fā)明簡化了從視頻圖象中刪除背景場景并利用備用背景替換以上背景的處理過程?？梢允褂煤唵蜳C計算機(jī)代替現(xiàn)有技術(shù)的復(fù)雜計算機(jī)系統(tǒng)。在本發(fā)明中，固定攝象機(jī)生成的一系列的視頻幀(或一幀)被拍攝下來。這些圖象和它們幀與幀之間的細(xì)微變化，諸如高度、顏色、陰影、微小的移動以及攝象機(jī)本身產(chǎn)生的正常偏差，都會從攝象機(jī)傳送給計算機(jī)，在計算機(jī)中這些圖象被軟件以實時方式分析生成視頻的數(shù)據(jù)描述。如同它是被計算機(jī)拍攝的。
隨后使用已捕獲視頻的數(shù)學(xué)描述分析同一場景的新的視頻分割，以便確定該場景是否發(fā)生任何變化。相對于原始數(shù)學(xué)描述而言，將落在預(yù)置容差之內(nèi)的新視頻元素稱為背景。將落在預(yù)置容差以外的新視頻元素稱為前景，并且可以從背景中分離出來。對不同前景和背景視頻元素的理解和分離使得能夠修改新的視頻流。
例如，可以將背景改變?yōu)橐粋€全新圖象，而保留前景不變。背景圖象可任意為所希望的移動視頻、位圖或動畫之一。
因此，無須采用藍(lán)屏就能實現(xiàn)傳統(tǒng)藍(lán)屏處理的功能性。
因此，本發(fā)明的目的在于通過采用僅有軟件的程序設(shè)計機(jī)制以實時方式從實況視頻場景中刪除背景圖象，并且利用包含原始前景元素的備用背景圖象以實時方式替換以上背景圖象，其中僅有軟件的程序設(shè)計機(jī)制采用實況視頻場景元素的數(shù)學(xué)描述而并不采用傳統(tǒng)的藍(lán)屏處理。
因此，本發(fā)明涉及利用計算機(jī)系統(tǒng)以實時方式數(shù)字修改實況視頻場景的方法，其中計算機(jī)系統(tǒng)具有一個存儲器、一個可視顯示器以及一個與計算機(jī)相連的固定攝象機(jī)，以便將來自攝象機(jī)的視頻信號傳送到計算機(jī)，并在計算機(jī)中形成經(jīng)過修改的視頻場景。這是通過以下處理完成的，首先以數(shù)字方式捕獲并且以存儲器的第一數(shù)據(jù)結(jié)構(gòu)數(shù)學(xué)描述實況視頻場景(以下稱為“參考視圖”)的一幀或幾幀。接著，由計算機(jī)數(shù)字化并捕獲實況視頻場景的各后繼幀，用軟件數(shù)學(xué)描述各個新幀并存儲在存儲器的第二數(shù)據(jù)結(jié)構(gòu)中。利用熟練技術(shù)人員可用的多種信噪處理算法以實時方式比較以上第一和第二數(shù)據(jù)結(jié)構(gòu)，并且從最近捕獲的幀中數(shù)學(xué)刪除參考視圖的背景圖象。此外，在該階段中，假定存儲器第三數(shù)據(jù)結(jié)構(gòu)中的不同背景圖象的數(shù)學(xué)描述是可用的，如錄制的視頻、位圖或動畫，則可以將其代入第二數(shù)據(jù)結(jié)構(gòu)代替已被刪除的參考視圖的背景圖象，從而創(chuàng)建數(shù)字化幀的新的數(shù)學(xué)描述。最后，將該幀的數(shù)學(xué)描述轉(zhuǎn)換回視頻信號并在可視顯示器上顯示，或者傳送到諸如視頻會議參與者或捕獲文件之類的任何適當(dāng)目的。因此，以上處理的結(jié)果得到以下現(xiàn)象原始視頻場景(參考視圖)中的任何前景元素現(xiàn)在被疊加到一個創(chuàng)建新圖象的不同背景上。
結(jié)合以下最佳實施例的詳細(xì)說明，本發(fā)明的上述特點和其他特點將會更加顯示出來，其中相同數(shù)字表示相同元素，附圖為

圖1(A)-(D)分別表示顯示參考視圖時的顯示屏幕，顯示數(shù)學(xué)刪除參考視圖后的黑色(空白)屏幕，檢測到新前景元素的黑色屏幕，以及利用先前的前景視圖代替參考視圖形成新圖象的置換視圖；圖2概要表示獲取圖1所示屏幕的方式；圖3表示算術(shù)布爾異或運算，該運算匹配兩組待匹配布爾數(shù)據(jù)集之間的重復(fù)位值，布爾數(shù)據(jù)表示以標(biāo)準(zhǔn)數(shù)字?jǐn)?shù)據(jù)格式存儲的參考視圖，其中把參考視圖與表示實況視頻場景的數(shù)據(jù)進(jìn)行數(shù)字比較，以便僅留下并未在兩個場景中同時出現(xiàn)的數(shù)據(jù)；以及圖4是一個流程圖，該圖表示本發(fā)明的創(chuàng)新步驟。
圖1(A)-(D)表示本發(fā)明之創(chuàng)新處理中的基本步驟。在圖1(A)中，捕獲并在計算機(jī)的可視顯示器上顯示一幅參考視圖。參考視圖被定義為存儲在計算機(jī)存儲單元之?dāng)?shù)據(jù)結(jié)構(gòu)中的一系列有限數(shù)字化視頻幀的數(shù)學(xué)描述。參考視圖被用作典型視頻場景，以便從隨后捕獲的數(shù)字視頻幀中分離出前景元素和背景元素。根據(jù)所選擇的算法，一幅參考視圖可以由一幅或多幅數(shù)字化視頻幀組成。
通過比較參考視圖，從已捕獲的各幀中數(shù)學(xué)刪除同一視圖的后繼視頻場景。如圖1(B)所示，修改算法的參數(shù)(或者手工或者利用軟件自動)直至顯示屏幕完全空白(在此案例中選擇黑色，但是可以輕而易舉地選擇白色或任何其他顏色)，空白表示以實時方式從數(shù)字化視頻流中完全刪除參考視圖。
圖1(C)所示的屏幕表示當(dāng)某人進(jìn)入攝象機(jī)捕獲的場景時達(dá)到的效果。由于該人并不是參考視圖的一部分，所以軟件處理認(rèn)為他是前景元素，并以疊加在黑色背景前方的方式出現(xiàn)。該軟件以實時方式從數(shù)字化視頻流中數(shù)學(xué)刪除除該人之外的所有場景。
圖1(D)表示利用備用視圖替換已刪除的參考視圖的能力?？梢岳糜嬎銠C(jī)圖形、動畫或視頻數(shù)字替換參考視圖，以得到該人位于備用視圖前方的現(xiàn)像。因此，圖1(D)所示的結(jié)果表示如何數(shù)字重排前景元素和背景元素以產(chǎn)生一幅新圖象。
圖2表示用于創(chuàng)建以上新圖象的本發(fā)明的裝置。參考視圖10包括一張桌子12和一把椅子14，桌子12和椅子14被定義為攝象機(jī)16捕獲的可視圖象。為了獲得最佳效果，以上參考視圖應(yīng)沒有多余動作并且應(yīng)利用固定的、全局強(qiáng)光照明設(shè)備照明。
必須將攝象機(jī)16安裝在一個固定位置，并且與個人計算機(jī)18相連。個人計算機(jī)18包括安裝攝象機(jī)以及攝象機(jī)運行時所需的適當(dāng)視頻軟件和硬件。視頻軟件可以包括操作系統(tǒng)視頻驅(qū)動程序、壓縮程序、解壓縮程序以及諸如視頻會議或視頻編輯軟件之類的應(yīng)用軟件。個人計算機(jī)18對捕獲的參考視頻進(jìn)行數(shù)字化，將其存儲在利用部件19示意表示的存儲器的第一單元，并進(jìn)行顯示。個人計算機(jī)18包含在其隨機(jī)存取存儲器(也利用部件19示意表示)中運行的軟件系統(tǒng)。當(dāng)表示部分參考視圖的各幀出現(xiàn)時，軟件系統(tǒng)從攝象機(jī)16捕獲視頻信號。正如參數(shù)20所示，捕獲各后繼幀。為了獲得出眾的結(jié)果，正在被攝象機(jī)16拍攝的場景應(yīng)沒有移動并有良好照明。軟件的參考階段20建立一組任何熟練技術(shù)人員均可輕易理解的數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)結(jié)構(gòu)包含表示場景、照明動力以及由攝象機(jī)接收器引起的象素值中的偏差的值。可以調(diào)整參考階段，以便表現(xiàn)最佳場景。
在計算機(jī)的監(jiān)視器22上顯示參考場景10，以方便操作員調(diào)整。該軟件也可供自動調(diào)整之用。階段24表示軟件系統(tǒng)的刪除階段，軟件系統(tǒng)的刪除階段從捕獲的視頻信號中數(shù)學(xué)刪除參考視圖，從而在計算機(jī)的監(jiān)視器22上留下空白視圖27(這里用黑色表示)。刪除階段要求對表示視頻場景的各捕獲幀的數(shù)據(jù)執(zhí)行多遍信噪處理算法(周知技術(shù))，以創(chuàng)建視覺上可接受的空白視圖27。“視覺上可接受的”被定義為一幅穩(wěn)定的單色(這里選擇黑色)視頻圖象。
軟件的置換階段28允許以實時方式在合成的視頻信號上置換選擇的背景圖象。在用部件19示意表示的另一計算機(jī)存儲單元中存儲置換場景32，置換場景32可以為移動視頻、位圖或動畫?？梢詫⑷魏晤愋偷目梢晥D象或圖象組放置在空白視圖上。將置換圖象逐象素映射到刪除參考視圖時留下的空白象素。由于各象素從相同坐標(biāo)系映射到參考視圖，所以可按預(yù)期方式顯示置換圖象。如圖所示，隨后在計算機(jī)的監(jiān)視器22上顯示新的置換視圖32。
現(xiàn)在操作員34進(jìn)入攝象機(jī)的視野，從而向捕獲的視頻場景33增加了一個新元素。由同一攝象機(jī)16捕獲以上視頻場景。在部件19中的另一計算機(jī)存儲單元中存儲表示視頻場景33的輸入視頻信號，并在計算機(jī)18的監(jiān)視器22上顯示。該信號傳送到數(shù)字40表示的遮擋(matting)階段并被處理，從而僅在置換視圖32上顯示位于實況場景33與原始參考視圖10之可調(diào)容差內(nèi)的數(shù)學(xué)偏差(在此案例中，人員34)，這樣將其變換為新圖象。顯示監(jiān)視器22上顯示的新圖象包括備用場景32和添加的人員34。如果該操作員所穿衣服的顏色恰恰與參考視圖10中正后面的顏色不一致，則獲得最佳結(jié)果。該結(jié)果與藍(lán)屏處理的結(jié)果類似，并且可能引起漏過(bleed-through)效果。然而，與藍(lán)屏處理不同，軟件內(nèi)的某些參數(shù)(由于它理解場景內(nèi)的可視元素)可以計算出漏過效果的百分比并刪除它。
如前所述，可以輕而易舉地將能夠置換參考視圖的備用場景換入或換出視頻流。該處理可以很好地?fù)Q算到彩色視頻，盡管由于較大的顏色數(shù)據(jù)需求而要求PC的中央處理器比較大?？梢詫⒁苿右曨l背景替換到表現(xiàn)辦公會議的實況視頻場景中。
圖3表示所有熟練技術(shù)人員周知的過分簡單化的布爾異或排列，異或排列匹配兩組待匹配二進(jìn)制數(shù)據(jù)集之間的重復(fù)位值，本處理中利用這一概念獲取空白視圖。把行A的8比特看作存儲的參考視圖，而把行B的8比特看作從隨后捕獲的輸入視頻中捕獲的一幀。如果行B的8比特與行A的8比特相同并須經(jīng)異或運算，則輸出將全為零，即產(chǎn)生一空白幀。假設(shè)行B表示圖2所示的視頻場景33的8比特并在計算機(jī)的顯示器22上顯示，通過在行A與行B之間進(jìn)行異或運算，得到行C。請注意，與參考視圖相比，視頻場景中存在變化的地方才存在所示數(shù)據(jù)。因此，唯一顯示的信息是由位3、位5和位8表示的數(shù)據(jù)的變化。
因此，作為總結(jié)，將參考視圖捕獲到行A內(nèi)并且以標(biāo)準(zhǔn)數(shù)字?jǐn)?shù)據(jù)格式存儲。然后須與行B所示的表示同一視圖之實況視頻場景的數(shù)據(jù)進(jìn)行異或運算。這樣從實況視頻的各幀中去掉兩個場景中同時出現(xiàn)的公共數(shù)據(jù)。在理想世界中，該操作是獲取完美遮擋效果需要的唯一操作。然而，在現(xiàn)實中，由于光照、陰影隨時間變化，參考視圖中的微小移動以及CCD攝象機(jī)在連續(xù)幀之間的象素上的數(shù)字量化結(jié)果，為了分離前景元素和背景元素，必須對該數(shù)據(jù)多次應(yīng)用一整套的高級信噪處理算法。反復(fù)使用以上一整套算法對熟練技術(shù)人員而言是眾所周知的。
圖4表示本發(fā)明的創(chuàng)新處理過程。因此，該處理在步驟46開始。在步驟48，將表示實況視頻的數(shù)據(jù)從諸如攝象機(jī)之類的輸入設(shè)備發(fā)送到諸如PC之類的計算設(shè)備。在該PC內(nèi)，將其轉(zhuǎn)換為表示模擬數(shù)據(jù)的數(shù)字(如果攝象機(jī)沒有進(jìn)行該轉(zhuǎn)換的話)，并傳送到存儲單元中的典型數(shù)據(jù)結(jié)構(gòu)中。這就是捕獲的參考視圖。
在步驟50，該步驟為判定步驟，確定是否捕獲到正確場景。如果沒有捕獲到正確場景，則該處理沿52回到步驟48，直至捕獲到正確場景。該處理由軟件的操作員觀察確定。
當(dāng)捕獲到正確場景時，在步驟54，利用在步驟48中最初存儲的參考視圖中的數(shù)據(jù)，對來自當(dāng)前視頻輸入的數(shù)字化的各捕獲幀應(yīng)用一連串的算法。以上算法試圖匹配各幀內(nèi)對應(yīng)位置的象素的色度和輝度值與步驟48中作為參考視圖而最初存儲的對應(yīng)色度和輝度象素。當(dāng)確定一個匹配時，將該幀內(nèi)的象素位置標(biāo)記為空白。
由于將模擬數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)時的光照、陰影、移動以及量化結(jié)果內(nèi)的偏差，故與后繼各幀內(nèi)同一視圖相對應(yīng)的象素值可能改變。因此，創(chuàng)建表示以上全部信息的數(shù)據(jù)結(jié)構(gòu)，并由存儲器內(nèi)的軟件維護(hù)。隨后，對輸入的視頻數(shù)據(jù)應(yīng)用復(fù)雜的眾所周知的信號處理算法，即“過濾器”，以便在各幀之間進(jìn)行匹配時精確地標(biāo)識各象素，從而將其標(biāo)記為空白。用這種方法，從捕獲到的視頻場景中刪除了在步驟48捕獲的參考視圖。對輸入的視頻數(shù)據(jù)的各捕獲幀重復(fù)該處理。在判定步驟56，確定是否從捕獲到的視頻中完全刪除了參考視圖?？梢允止ふ{(diào)節(jié)或利用軟件自動調(diào)節(jié)背景刪除等級，以便從當(dāng)前視頻輸入中刪除最大數(shù)量的參考視圖。如果并未完全刪除該場景，則該處理沿58返回到步驟54。如果軟件或操作員確定參考視圖被充分刪除，則該處理沿60移動到步驟64，在步驟64隨著用戶進(jìn)入攝象機(jī)的視野，場景被改變。通常在該步驟中，某人(在攝制界中稱為人物“(talent)”)進(jìn)入攝象機(jī)正在捕獲的場景中。由于人物象素數(shù)據(jù)并不是參考視圖的一部分，所以該軟件判明人物象素值與原始象素值不匹配，并把他們看作是前景元素。人物象素沒有被刪除，并出現(xiàn)在圖1(C)所示視頻的空白幀內(nèi)。在步驟66，可以對捕獲到的視頻輸入應(yīng)用額外的信噪處理算法，以便增強(qiáng)圖1(C)所示空白幀中的人物或“主角”圖象。這些過濾器可以是非常完善的。例如，如果人物的領(lǐng)帶與圖1(A)所示參考視圖中的背景的顏色匹配，則觀察到“漏過”。然而，通過應(yīng)用適當(dāng)?shù)倪^濾算法，根據(jù)前景元素包圍領(lǐng)帶這一事實，可以由該軟件進(jìn)行復(fù)雜推測以阻止將領(lǐng)帶標(biāo)記為空白(由于它匹配領(lǐng)帶正后面的參考視圖的象素數(shù)據(jù))。這是諸如色度鍵和最終遮擋(ultimatte)之類的傳統(tǒng)廣播技術(shù)不能達(dá)到的重要特征?？梢允止せ蚶密浖詣訉崿F(xiàn)以上過濾器。
在步驟68，如果人物的圖象是可以接受的，則該處理前進(jìn)到步驟72。否則，該處理沿70返回到步驟66，在步驟66繼續(xù)執(zhí)行過濾器直至在步驟68正確顯示該人物。
當(dāng)在步驟68正確顯示該人物時，該處理前進(jìn)到步驟72，在步驟72可以利用備用背景替換視頻場景的空白部分。以上新圖象可以為能夠在計算機(jī)系統(tǒng)內(nèi)數(shù)字表示的任何圖形圖象，并將創(chuàng)建人物在新背景之前的錯覺。通過以逐幀為基礎(chǔ)利用新圖象的對應(yīng)象素替換對應(yīng)的空白象素，實現(xiàn)新圖象的替換。利用這種技術(shù)，如果人物移動，則將顯示他在新背景之前移動。背景可以為能夠逐幀處理的事先錄制的視頻。這樣得到在移動背景之前的人物效果。
如果會話期在步驟74結(jié)束，則處理在步驟78停止。如果會話并未結(jié)束，則處理沿76移動，回到步驟72。
因此，公開了一種創(chuàng)新系統(tǒng)，該系統(tǒng)能利用選擇的背景實時替換輸入視頻信號的指定背景部分。該系統(tǒng)利用參考視圖的實際背景圖象作為基礎(chǔ)，創(chuàng)建一幅其最終結(jié)果可以與諸如色度鍵和最終遮擋技術(shù)之類的傳統(tǒng)藍(lán)屏處理相比的新的視頻圖象，但是只需要一臺個人計算機(jī)、一部攝象機(jī)和軟件。然而，在此案例中，背景圖象可以為攝象機(jī)捕獲的具有充足固定光源的任何合理的靜態(tài)場景。以實時方式修改視頻流，隨后傳送到其原始目的。
權(quán)利要求書中的相應(yīng)結(jié)構(gòu)、部件、動作及功能或步驟加功能性描述的等同物目的在于包括用于完成這些功能的任何結(jié)構(gòu)、部件或動作。
權(quán)利要求
1.一種用包括一個存儲器和一個可見顯示屏幕的計算機(jī)系統(tǒng)實時對代表原始圖象的視頻數(shù)據(jù)流進(jìn)行數(shù)字化替換的方法，以便去除部分原始視頻圖象并替換新元素來創(chuàng)建一個新視頻圖象，該方法包括以下步驟在所述計算機(jī)存儲器之第一存儲單元中的一個數(shù)據(jù)結(jié)構(gòu)中，至少存儲表示第一輸入視頻數(shù)據(jù)流中所述原始圖象的一幀數(shù)據(jù)；在所述顯示器上顯示所述已存儲的原始圖象；從表示后來已改變的原始圖象的第二輸入視頻數(shù)據(jù)流中捕獲實時視頻，并在所述計算機(jī)存儲器之第二存儲單元中的一個數(shù)據(jù)結(jié)構(gòu)中存儲表示所述已改變的原始圖象的數(shù)據(jù)；比較表示具有改變的所述原始圖象的第二視頻數(shù)據(jù)流中的數(shù)據(jù)與所述已存儲的原始圖象視頻數(shù)據(jù)，以區(qū)別背景元素和前景元素；刪除所述已存儲的原始圖象與后來已改變的原始圖象的公共背景元素，只留下所述后來已改變的原始圖象的前景元素；利用備用背景替換元素替換所述后來已改變的原始圖象的所述背景元素；以及僅在所述備用背景替換元素上顯示所述后來已改變的原始圖象中的前景元素，以形成所述新圖象。
2.權(quán)利要求1的方法還包括以下步驟利用一部固定攝象機(jī)，以所述第一輸入視頻數(shù)據(jù)的方式獲取所述原始圖象，并且以第二輸入視頻數(shù)據(jù)的方式獲取所述后來已改變的原始圖象；將所述攝象機(jī)之第一和第二輸入視頻數(shù)據(jù)耦合到所述計算機(jī)；以及將所述原始圖象的所述第一輸入視頻數(shù)據(jù)以及所述第二實時視頻數(shù)據(jù)流的所述第二輸入視頻數(shù)據(jù)數(shù)字化，以便分別在所述存儲器之第一存儲單元和第二存儲單元中存儲。
3.權(quán)利要求2的方法還包括以下步驟使所述原始圖象免于移動；以及對所述原始圖象進(jìn)行充足照明處理，以便在比較所述數(shù)字化的第二實時輸入視頻數(shù)據(jù)流與所述已存儲的數(shù)字化的原始圖象時，能夠檢測和分割背景元素和前景元素。
4.權(quán)利要求3的方法還包括以下步驟利用所述攝象機(jī)中的象素接收器創(chuàng)建所述第一和第二視頻信號，一個象素接收器生成一個輸出信號，輸出信號包含表示第一輸入視頻數(shù)據(jù)流攜帶的已存儲的原始圖象和第二視頻數(shù)據(jù)流攜帶的已存儲的實時輸入原始圖象的值；以及在所述存儲器中創(chuàng)建第一組數(shù)據(jù)結(jié)構(gòu)，以便存儲來自所述象素接收器的值，該值表示原始圖象中的偏差，原始圖象照明動力中的偏差，以及由生成表示所述原始圖象的第一輸入視頻數(shù)據(jù)流的攝象機(jī)象素接收器造成的象素信號值中的偏差。
5.權(quán)利要求4的方法，其中比較表示所述已改變的原始圖象的第二實時視頻數(shù)據(jù)流中的視頻數(shù)據(jù)與已存儲的原始圖象的數(shù)據(jù)的步驟還包括以下步驟在所述存儲器中創(chuàng)建第二組數(shù)據(jù)結(jié)構(gòu)，以便存儲表示以下偏差的數(shù)據(jù)，即第二實時原始圖象中的偏差，照明動力中的偏差，以及由第二實時原始圖象的攝象機(jī)象素接收器造成的象素信號值中的信號偏差。比較存儲在所述第二實時原始圖象之所述第二數(shù)據(jù)結(jié)構(gòu)中的所述數(shù)據(jù)的象素值與存儲在所述第一數(shù)據(jù)結(jié)構(gòu)中的對應(yīng)象素數(shù)據(jù)值，以便確定所述第二實時原始圖象中的前景元素和背景元素。
6.權(quán)利要求5的方法還包括以下步驟比較表示所述已改變的原始圖象的所述第二實時視頻數(shù)據(jù)流中的數(shù)據(jù)與已存儲的原始圖象數(shù)據(jù)；以及生成只表示所述前景元素的信號，以便在所述備用背景替換元素上顯示。
7.權(quán)利要求6的方法還包括以下步驟將一個人添加到所述第二實時視頻數(shù)據(jù)流，以便替換至少一部分所述原始圖象。
8.權(quán)利要求6的方法，其中形成所述備用替換圖象的步驟還包括以下步驟提供一段移動視頻、一幅位圖、動畫或者任何能夠以數(shù)字格式表示的圖象作為備用替換圖象。
9.一種通過識別并將原始圖象的所有部分分割為前景元素和背景元素、利用替換元素替換原始圖象的背景元素創(chuàng)建新圖象以實時方式數(shù)字編輯表示原始圖象的視頻數(shù)據(jù)流的計算機(jī)輔助系統(tǒng)，該系統(tǒng)包括一臺用于顯示所述視頻數(shù)據(jù)流中包含的所述原始圖象的可視顯示器；一部攝象機(jī)，該攝象機(jī)具有一個與其相連的用于對所上述攝象機(jī)捕獲的并表示所述原始圖象的視頻數(shù)據(jù)進(jìn)行數(shù)字化的設(shè)備；一臺與所述可視顯示器和所述數(shù)字化設(shè)備相連的計算機(jī)；用于存儲所述視頻數(shù)據(jù)流的數(shù)字化原始圖象的計算機(jī)中的第一存儲器；所述攝象機(jī)和數(shù)字化設(shè)備獲取包含表示原始圖象的數(shù)據(jù)的第二實時視頻數(shù)據(jù)流并對之?dāng)?shù)字化；用于存儲所述視頻數(shù)據(jù)流的數(shù)字化的第二實時原始圖象的計算機(jī)中的第二存儲器；用于存儲程序指令的計算機(jī)中的第三存儲器，其中程序指令用于比較數(shù)字化的第二實時原始圖象與已存儲的原始圖象，以便檢測和分割前景元素和背景元素；一幅備用替換背景圖象，存儲在第四存儲器中，可由所述已存儲的程序指令獲得以便在所述可視顯示器上顯示；通過利用備用替換背景圖象替換其背景元素，修改所述第二實時原始圖象；所述撮象機(jī)和相關(guān)設(shè)備獲取具有替換背景圖象的所述已修改的原始圖象并對之?dāng)?shù)字化；以及所述程序指令比較所述已修改的原始圖象與所述已存儲的原始圖象，以便只獲取前景元素，并且在備用替換圖象上顯示所述前景元素，從而形成新的圖象。
10.一種計算機(jī)存儲器產(chǎn)品，其中含有一種程序，該程序通過刪除部分原始圖象并替換該元素，以實時方式數(shù)字修改來自攝象機(jī)之象素接收器的表示原始圖象的視頻數(shù)據(jù)流，該程序包括以下步驟在第一計算機(jī)存儲單元中存儲表示原始圖象的第一視頻數(shù)據(jù)流中的視頻數(shù)據(jù)；比較表示添加有替換部分的原始圖象的實時視頻數(shù)據(jù)流與已存儲的原始圖象，以便只獲取替換部分；以及控制計算機(jī)響應(yīng)存儲在計算機(jī)存儲器中的程序指令，以便在備用替換圖象上僅僅可視顯示原始圖象的替換部分，從而形成新的圖象。
11.權(quán)利要求10的程序還包括以下步驟訪問存儲數(shù)字化視頻信號的計算機(jī)的第一存儲單元中的第一組數(shù)據(jù)結(jié)構(gòu)，數(shù)字化的視頻信號表示第一視頻數(shù)據(jù)流攜帶的原始圖象，包括原始圖象照明動力、移動中的偏差，以及攝象機(jī)象素接收器造成的象素信號值中的偏差；訪問存儲數(shù)據(jù)的計算機(jī)存儲器中的第二組數(shù)據(jù)結(jié)構(gòu)，該數(shù)據(jù)表示其中具有第二實時視頻數(shù)據(jù)流中之替換部分的原始圖象的偏差，原始圖象之照明動力、移動中的偏差，以及的象素信號值中的信號偏差；控制計算機(jī)，以便對包括替換部分的第二實時視頻流的存儲數(shù)據(jù)與已存儲的原始圖象數(shù)據(jù)進(jìn)行比較，確定前景元素和背景元素。
全文摘要
一種可利用備用背景(72)實時替換輸入視頻信號的指定背景部分(54)的方法。該方法利用參考視圖(48)的實際背景圖象作為基礎(chǔ),測定其最終圖象內(nèi)的背景元素和前景元素,結(jié)果可以與諸如色度健和最終遮擋技術(shù)之類的傳統(tǒng)藍(lán)屏處理相比,只需要一臺個人計算機(jī)、一部攝象機(jī)和軟件。然而,在此案例中,背景圖象可以為攝象機(jī)拍攝的具有充足固定光源的任何合理的靜態(tài)場景。通過比較參考視圖的背景圖象,視頻流得以實時方式修改,隨后傳送到其原始目的地。以實時方式對以上信號施加多種信噪處理算法,以達(dá)到視覺上可接受的遮擋。
文檔編號G11B27/034GK1251235SQ98803459
公開日2000年4月19日 申請日期1998年3月11日 優(yōu)先權(quán)日1997年3月18日
發(fā)明者邁克爾·D·斯蒂芬諾 申請人:麥托福集團(tuán)