專利名稱：動態(tài)地替換及插入節(jié)目內(nèi)容中的電影舞臺道具的制作方法
動態(tài)地替換及插入節(jié)目內(nèi)容中的電影舞臺道具本申請是申請?zhí)枮?00780016668. 3，申請日為2007年3月5日，名稱為“動態(tài)地替換及插入節(jié)目內(nèi)容中的電影舞臺道具”的申請的分案申請。相關(guān)申請的交叉參考
本申請的母案申請是2006年3月7日提交的標(biāo)題為“DYNAMIC REPLACEMENT OFCINEMATIC STAGE PROPS IN PROGRAM CONTENT” 的美國專利申請 No. 11/371，367 和 2006年 3 月 7 日提交的標(biāo)題為 “DYNAMIC INSERTION OF CINEMATIC STAGE PROPS IN PROGRAMCONTENT”的美國專利申請No. 11/371,215的繼續(xù)申請，這兩個申請的整個公開內(nèi)容由此被全文結(jié)合在此以作參考。發(fā)明背景1、發(fā)明領(lǐng)域
本發(fā)明一般而言涉及數(shù)字視頻處理，更具體來說，涉及在節(jié)目內(nèi)容中數(shù)字地插入圖像以用于廣告。2、相關(guān)技術(shù)領(lǐng)域的討論
一種傳統(tǒng)形式的廣告是電視商業(yè)廣告。這種電視商業(yè)廣告通常包括其長度從幾秒鐘到幾分鐘的簡短廣告插播。所述商業(yè)廣告出現(xiàn)在節(jié)目之間，并且以規(guī)則的間隔中斷所述節(jié)目。廣告商的目標(biāo)是令觀眾的注意力集中在所述商業(yè)廣告上，但是觀眾常常會在商業(yè)廣告期間換頻道以避免觀看所述商業(yè)廣告。觀眾避免電視商業(yè)廣告的另一種方式是通過使用數(shù)字視頻記錄器(DVR)。利用DVR，一個人可以記錄節(jié)目并且隨后在重放期間快進(jìn)通過商業(yè)廣告。其他媒體播放器預(yù)期會為觀眾提供甚至更好的跟蹤及跳過商業(yè)廣告的能力。本發(fā)明關(guān)于上述和其他背景信息因素取得了進(jìn)展。
發(fā)明概要通過提供一種用于修改節(jié)目內(nèi)容的方法，本發(fā)明有利地解決了上面的需求以及其他需求。所述方法包括以下步驟在所述內(nèi)容中識別出要替換的道具；確定每一項(xiàng)所識別出的道具的位置信息；確定與每一項(xiàng)所識別出的道具相關(guān)聯(lián)的視覺效果信息；以及產(chǎn)生參考文件，所述參考文件包括所述內(nèi)容以及與每一項(xiàng)所識別出的道具相關(guān)聯(lián)的所述位置和視覺效果信息。本發(fā)明的另一個實(shí)施例提供一種用于修改節(jié)目內(nèi)容的系統(tǒng)。所述系統(tǒng)包括用于在所述內(nèi)容中識別出要替換的道具的裝置；用于確定每一項(xiàng)所識別出的道具的位置信息的裝置；用于確定與每一項(xiàng)所識別出的道具相關(guān)聯(lián)的視覺效果信息的裝置；以及用于產(chǎn)生參考文件的裝置，所述參考文件包括所述內(nèi)容以及與每一項(xiàng)所識別出的道具相關(guān)聯(lián)的所述位置和視覺效果信息。本發(fā)明的另一個實(shí)施例提供一種用于生成節(jié)目內(nèi)容的方法。所述方法包括以下步驟提供內(nèi)容以及一個或多個參考文件，所述參考文件索 引與所述內(nèi)容中的一項(xiàng)或多項(xiàng)可替換道具相關(guān)聯(lián)的位置和視覺效果信息；獲得將被替換的道具的一幅或多幅替換圖像；利用所述視覺效果信息來修改每一幅替換圖像的視覺外觀；以及在所述內(nèi)容中插入所述一幅或多幅替換圖像以便替換所述一項(xiàng)或多項(xiàng)可替換道具。本發(fā)明的另一個實(shí)施例提供一種用于播放節(jié)目內(nèi)容的系統(tǒng)。所述系統(tǒng)包括用于提供所述內(nèi)容以及參考文件的裝置，所述參考文件包括與所述內(nèi)容中的一項(xiàng)或多項(xiàng)可替換道具相關(guān)聯(lián)的所述位置和視覺效果信息；用于獲得一幅或多幅替換圖像的裝置；用于利用所述視覺效果信息來修改每一幅替換圖像的視覺外觀的裝置；以及用于在所述內(nèi)容中插入所述一幅或多幅替換圖像以便替換所述一項(xiàng)或多項(xiàng)可替換道具的裝置。本發(fā)明的另一個實(shí)施例提供一種計(jì)算機(jī)程序產(chǎn)品，所述計(jì)算機(jī)程序產(chǎn)品包括用于具體實(shí)現(xiàn)計(jì)算機(jī)程序以供輸入到計(jì)算機(jī)的介質(zhì)以及具體實(shí)現(xiàn)在所述介質(zhì)中以用于使得所述計(jì)算機(jī)執(zhí)行以下步驟的計(jì)算機(jī)程序訪問參考文件，所述參考文件包括節(jié)目內(nèi)容以及與所述內(nèi)容中的一項(xiàng)或多項(xiàng)可替換道具相關(guān)聯(lián)的位置和視 覺效果信息；獲得一幅或多幅替換圖像；利用所述視覺效果信息來修改每一幅替換圖像的視覺外觀；以及在所述內(nèi)容中插入所述一幅或多幅替換圖像以便替換所述一項(xiàng)或多項(xiàng)可替換道具。本發(fā)明的另一個實(shí)施例提供一種用于修改節(jié)目內(nèi)容的方法。所述方法包括以下步驟識別出在所述內(nèi)容中可以插入可動態(tài)替換的資產(chǎn)的位置；在所述內(nèi)容中的一個或多個所識別出的位置處建立可動態(tài)替換的資產(chǎn)；確定每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)的位置信息；確定與每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)相關(guān)聯(lián)的視覺效果信息；以及產(chǎn)生參考文件，所述參考文件包括與每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)相關(guān)聯(lián)的所述位置和視覺效果信息。本發(fā)明的另一個實(shí)施例提供一種用于修改節(jié)目內(nèi)容的系統(tǒng)。所述系統(tǒng)包括用于識別出在所述內(nèi)容中可以插入可動態(tài)替換的資產(chǎn)的位置的裝置；用于在所述內(nèi)容中的一個或多個所識別出的位置處建立可動態(tài)替換的資產(chǎn)的裝置；用于確定每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)的位置信息的裝置；用于確定與每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)相關(guān)聯(lián)的視覺效果信息的裝置；以及用于產(chǎn)生參考文件的裝置，所述參考文件包括與每一項(xiàng)所建立的可動態(tài)替換的資產(chǎn)相關(guān)聯(lián)的所述位置和視覺效果信息。通過參考下面對本發(fā)明的詳細(xì)描述和附圖將獲得對本發(fā)明的特征和優(yōu)點(diǎn)的更好理解，所述附圖闡述了其中利用了本發(fā)明的原理的說明性實(shí)施例。附圖簡述
通過在下面結(jié)合附圖給出的對本發(fā)明的更加詳細(xì)的描述，本發(fā)明的上述和其他方面、特征和優(yōu)點(diǎn)將變得更加顯而易見


圖1A、1B、1C和ID是示出根據(jù)本發(fā)明的實(shí)施例的可動態(tài)替換的舞臺道具/資產(chǎn)的例子的不意 圖2A和2B是示出根據(jù)本發(fā)明的實(shí)施例的用于產(chǎn)生具有可動態(tài)替換的舞臺道具/資產(chǎn)的內(nèi)容的方法的流程 圖3A、3B、3C、3D、3E和3F是示出根據(jù)本發(fā)明的實(shí)施例的可動態(tài)替換的舞臺道具/資產(chǎn)的示例示意 圖4是示出根據(jù)本發(fā)明一個實(shí)施例的用于產(chǎn)生具有可動態(tài)替換的舞臺道具/資產(chǎn)的內(nèi)容的方法的流程 圖5是示出根據(jù)本發(fā)明一個實(shí)施例的用于重放具有可動態(tài)替換的舞臺道具/資產(chǎn)的內(nèi)容的一種方法的流程 圖6是示出根據(jù)本發(fā)明一個實(shí)施例的圖5中所示的方法的一部分的示例實(shí)施方式的系統(tǒng)圖；以及
圖7是示出根據(jù)本發(fā)明的實(shí)施例的可以被用來運(yùn)行、實(shí)施和/或執(zhí)行在此所示出及描述的方法的計(jì)算機(jī)系統(tǒng)的方框圖。在所述附圖的幾個視圖中，相應(yīng)的附圖標(biāo)記一直表示相應(yīng)的組件。詳細(xì)描述
當(dāng)觀眾如上面所描述的那樣避免傳統(tǒng)的電視商業(yè)廣告時(shí)，廣告商的消息不會被所述觀眾所接收到，這是不利的。由于這種缺點(diǎn)，所以本發(fā)明的實(shí)施例涉及在所述電視節(jié)目或其他內(nèi)容本身中使用廣告。 本發(fā)明的實(shí)施例涉及替換/替代所述內(nèi)容本身中的產(chǎn)品放置廣告。也就是說，所述內(nèi)容包括一項(xiàng)或多項(xiàng)資產(chǎn)，所述資產(chǎn)是可以在所述視頻中插入不同產(chǎn)品的圖像的位置。例如，可以用一個不同品牌的麥片盒來替換出現(xiàn)在特定電視節(jié)目的某一集中的麥片盒。通常來說，由于這是一種形式的廣告，因此銷售所插入的麥片的公司將為該資產(chǎn)付費(fèi)。這樣，每當(dāng)播出所述節(jié)目的該集時(shí)，就可以把所述資產(chǎn)賣給相同的或不同的廣告商。正如下面將要描述的，可以在早前節(jié)目中識別出所述資產(chǎn)。也就是說，許多較早的電視節(jié)目和電影包括可能過時(shí)的、不再存在的、由不再存在的公司等所提供的產(chǎn)品和其他舞臺道具。許多這種較早的節(jié)目通過一次又一次的重新放映而被重播。本發(fā)明的實(shí)施例提供用于識別出這些早前節(jié)目中的固定舞臺道具并且將其轉(zhuǎn)換成可動態(tài)替換的道具的方法，其中所述可動態(tài)替換的道具變?yōu)橛袃r(jià)值的資產(chǎn)。這樣，每當(dāng)重新放映所述節(jié)目時(shí)，就可以把當(dāng)前產(chǎn)品或服務(wù)的圖像插入到所述資產(chǎn)中，這可以被用來生成廣告收入。在本發(fā)明的其他實(shí)施例中，在開發(fā)新的節(jié)目內(nèi)容時(shí)從一開始就考慮到所述廣告資產(chǎn)。這樣允許在開發(fā)所述內(nèi)容時(shí)提供對所述資產(chǎn)的適當(dāng)?shù)牟呗孕远ㄎ缓投ǔ叽纭＠?，在電影制作期間，電影公司可以與廣告專家緊密合作以開發(fā)所述資產(chǎn)。在本發(fā)明的其他實(shí)施例中，在先前不存在固定道具的地方把新的數(shù)字道具/資產(chǎn)插入到所述早前節(jié)目中。也就是說添加新的道具，比如空白墻上的圖片，其中所述圖片包含某種類廣告、商標(biāo)等等。這種實(shí)施例有助于解決對于所述早前內(nèi)容進(jìn)行產(chǎn)品/舞臺道具替換的機(jī)會可能有限的問題。因此，例如在可以把一個麥片盒添加到所述場景中時(shí)，就沒有必要替換某一麥片盒。一旦把所述內(nèi)容修改或者開發(fā)成包括所述可動態(tài)替換的廣告資產(chǎn)，就可以通過網(wǎng)絡(luò)來改變各種不同的產(chǎn)品和服務(wù)的圖像。識別早前內(nèi)容中的資產(chǎn)
早前內(nèi)容包括在過去制作的內(nèi)容，可能是多年以前制作的內(nèi)容。對于早前內(nèi)容來說，所述過程的第一部分是遍歷所述內(nèi)容并且識別出可以被替換的資產(chǎn)。例如，這種資產(chǎn)可以包括但不限于麥片盒、汽水罐和汽水瓶、比薩餅盒、其他產(chǎn)品的盒子、箱子、容器、服務(wù)等等。所述資產(chǎn)可以包括其中可以把不同品牌的不同紋理、位像、視頻流、jpeg圖像覆蓋到現(xiàn)有對象上的任何事物。參考圖1A、1B、1C和1D，示出如何能夠在早前內(nèi)容中識別出固定舞臺道具并且然后用可動態(tài)替換的資產(chǎn)來替換所述固定舞臺道具的一個例子。具體來說，在圖1A中，某一早前節(jié)目中的場景100可以包括站立在桌子104旁邊的角色102。在所述桌子104上可以有固定的舞臺道具，比如特定品牌的麥片盒，所述特定品牌比如是所示出的“1960s BESTCereal” 106。由于所述“1960s BEST Cereal” 106可能已過時(shí)并且無法再獲得，因此期望用當(dāng)前可以獲得的產(chǎn)品來替換它。這樣做將增加該舞臺道具的廣告價(jià)值，從而使其成為有價(jià)值的資產(chǎn)。在圖1B中，在場景100中用一個可動態(tài)替換的舞臺道具/資產(chǎn)108替換了所述“1960s BEST Cereal ”106。所述可動態(tài)替換的舞臺道具/資產(chǎn)108包括被插入到所述節(jié)目內(nèi)容中的數(shù)據(jù)，其允許把不同產(chǎn)品或服務(wù)的不同圖像插入到所述場景中以便替換先前的舞臺道具。觀眾將看到所述不同產(chǎn)品或服務(wù)的新圖像。例如，在圖1C中把名為“NEW Century Cereal” 110的新的更為現(xiàn)代的麥片品牌插入到所述場景100中的所述資產(chǎn)108中，以便替換所述“1960s BEST Cereal ”106。所述節(jié)目可以被放映一段時(shí)間，同時(shí)“NEW Century Cereal”的供應(yīng)商為該廣告機(jī)會付費(fèi)。其后可能有不同的廣告商想要付費(fèi)以使其產(chǎn)品被顯示在所述資產(chǎn)108中。例如，在圖1D中把名 為“Crispy Good Crackers”112的一種完全不同的產(chǎn)品插入到所述場景100中的所述資產(chǎn)108中。“Crispy Good Crackers”的供應(yīng)商可以付費(fèi)以便在所述節(jié)目被重新放映的特定時(shí)間段內(nèi)顯示其產(chǎn)品，比如僅僅一集或者可能是一整季或更長時(shí)間。參考圖2A，示出根據(jù)本發(fā)明一個實(shí)施例的產(chǎn)生可動態(tài)替換的舞臺道具/資產(chǎn)的方法200。所述方法200開始于步驟202，在該步驟中，識別出所述內(nèi)容中的舞臺道具。所識別出的舞臺道具是那些可以(或者將有利于)用可動態(tài)替換的資產(chǎn)來替換的舞臺道具。具體來說，根據(jù)本發(fā)明的一些實(shí)施例，可以通過遍歷所述內(nèi)容(即在逐幀的基礎(chǔ)上)來人工執(zhí)行識別所述舞臺道具/資產(chǎn)的過程。對于所述資產(chǎn)的人工識別，按照逐幀或者類似的方式遍歷所述內(nèi)容并且識別出所述資產(chǎn)。所述內(nèi)容中的幾乎任何事物都可以被用作資產(chǎn)。例如，可以把出現(xiàn)在所述場景中的比薩餅盒或者其他產(chǎn)品的盒子或容器識別為舞臺道具。在步驟204中，隨著時(shí)間確定并且記錄所述內(nèi)容中的每一項(xiàng)舞臺道具/資產(chǎn)的參考坐標(biāo)或其他位置信息。也就是說，確定將被替換的每一項(xiàng)所識別出的舞臺道具的位置信息。例如，在識別出某一項(xiàng)資產(chǎn)之后，可以把所述內(nèi)容倒回到所述資產(chǎn)的第一實(shí)例。隨后放大所述資產(chǎn)并且人工識別出該資產(chǎn)的參考坐標(biāo)。例如，可以點(diǎn)擊所述資產(chǎn)(比如一個盒子)的其中一角?？梢渣c(diǎn)擊任何一角，比如左上角或右下角。隨后可以識別出一個覆蓋區(qū)域以供在該特定巾貞的遠(yuǎn)景(perspective)中進(jìn)行道具替換。由于攝影機(jī)通常是在不斷移動的，因此通常將需要人工遍歷每一幀并且插入定義所述盒子關(guān)于所述攝影機(jī)的位置的坐標(biāo)。不必在逐幀的基礎(chǔ)上人工識別所述舞臺道具/資產(chǎn)。也就是說，可以在每隔一幀、每幾幀、或者間隔任何數(shù)目的幀進(jìn)行所述人工識別。例如，可以在一幀中識別出所述盒子的各角，并且隨后可以跳過許多幀，一直到所述盒子的位置改變?yōu)橹??？梢蕴^所述幀是因?yàn)樗龊凶拥膮⒖甲鴺?biāo)與前一幀將相同。在人工識別過程之后可以應(yīng)用自動平滑功能，以便確保所述插入?yún)^(qū)域被適當(dāng)且一致地結(jié)合、沒有抖動并且具有適當(dāng)?shù)膶捀弑?。這種平滑功能可以確保本發(fā)明透明地操作，以便為終端用戶實(shí)現(xiàn)目標(biāo)心理視覺體驗(yàn)?？梢詰?yīng)用其他功能(包括那些導(dǎo)致抖動、選通、光暈等等的功能)以便為所述替換道具帶來對比度或注意。除了跟蹤對于在各幀上的每一項(xiàng)舞臺道具/資產(chǎn)所識別出的參考坐標(biāo)之外，還可以識別或標(biāo)記與每一項(xiàng)資產(chǎn)相關(guān)聯(lián)的想法、主題、概念等等。可以在基于時(shí)間的參考文件中記錄場景信息，比如光源、漫射體、反射器等及其類型、位置、顏色、強(qiáng)度等等。還可以識別或標(biāo)記每一項(xiàng)資產(chǎn)的其他特性。該數(shù)據(jù)與所述坐標(biāo)一起被保存。所有或一些所述數(shù)據(jù)可以被用來開發(fā)這樣一種功能，所述功能隨著所述內(nèi)容正在放映的時(shí)間提供所述資產(chǎn)在所述視頻中的位置的適當(dāng)參考坐標(biāo)，從而可以校準(zhǔn)所述替換圖像，以便平滑所述替換內(nèi)容到所述媒體中的插入。確定早前內(nèi)容中的后效果
在識別出所述舞臺道具/資產(chǎn)之后，然后確定所述資產(chǎn)的后效果。具體來說，在步驟206中，隨著時(shí)間確定并且記錄所述內(nèi)容中的每一項(xiàng)舞臺道具/資產(chǎn)的后效果或其他視覺效果信息。也就是說，確定與每一項(xiàng)所識別出的舞臺道具相關(guān)聯(lián)的視覺效果信息。這種后效果或視覺效果信息可以包括渲染函數(shù)、變量和設(shè)置。根據(jù)場景信息來應(yīng)用后效果，從而使得所述圖像按照規(guī)定的方式在心理視覺上與所述場景環(huán)境相符。也就是說，把所述原始資產(chǎn)的所述后效果確定成使得所述數(shù)據(jù)可以被用來在大多數(shù)情況下使得所述替換圖像與所述場景相配、調(diào)合并且看起來自然。所述后效果不僅可以包括著色、陰影化、聚焦、銳化、模糊示像等等，而且還可以包括被應(yīng)用于所述原始資產(chǎn)以便匹配光學(xué)質(zhì)量的任何其他或所有視覺質(zhì)量。這種視覺質(zhì)量例如可以包括發(fā)光、反射率和/或陰影化質(zhì)量。渲染設(shè)置通常被設(shè)置成實(shí)現(xiàn)反映真實(shí)的原始場景的環(huán)境的視覺質(zhì)量。重要的是應(yīng)當(dāng)理解，必須對圖像應(yīng)用所述后效果以便使其模糊或者使其與所替換的資產(chǎn)的原始質(zhì)量相配?？梢允褂靡粋€仿形步驟，其中例如觀看背景中的汽水瓶，以便確定所述模糊水平或模糊閾值的大小。可以使用一個后過濾器來嘗試匹配新的紋理，以便給出所述原始對象的光學(xué)質(zhì)量。所述光學(xué)質(zhì)量將常常在逐幀的基礎(chǔ)上改變。對此進(jìn)行檢查的一種方式是檢查第一幀中的所述資產(chǎn)的光學(xué)質(zhì)量，并且隨后檢查后面的某一幀中的所述資產(chǎn)的光學(xué)質(zhì)量，以便證實(shí)其具有相同的模糊水平或相同的光學(xué)過濾器水平?？梢詸z查不同的幀，直到所述資產(chǎn)不在所述攝影機(jī)的視野中為止。一個目標(biāo)是開發(fā)這樣一種功能，該功能隨著所述內(nèi)容正在放映的時(shí)間指示必須把哪些后效果或其他視覺效果信息應(yīng)用于被動態(tài)提供到所述內(nèi)容中的新紋理，以便在播放所述內(nèi)容時(shí)替換先前固定的舞臺道具?？梢噪S著所述內(nèi)容正在放映的時(shí)間確定這種后效果或其他視覺效果信息。自動識別早前內(nèi)容中的資產(chǎn)和后效果
根據(jù)本發(fā)明的其他實(shí)施例，可以使得識別早前內(nèi)容中的資產(chǎn)和/或資產(chǎn)的后效果的過程至少部分地自動化。例如，可以使用為這些任務(wù)所設(shè)計(jì)的軟件工具。也就是說，處理早前視頻、電視節(jié)目、電影或其他內(nèi)容的所述過程的一部分可以是一個工具階段，其中使用軟件工具來處理所述內(nèi)容。參考圖2B，示出根據(jù)本發(fā)明一個實(shí)施例的可以由所述工具執(zhí)行的方法220。在步驟222中，用戶點(diǎn)擊所述內(nèi)容中的舞臺道具。也就是說，這種工具允許用戶點(diǎn)擊所述早前內(nèi)容中的所述資產(chǎn)(比如麥片盒)。所述工具放大所述盒子并且識別出該盒子的參考坐標(biāo)或其他位置信息。在步驟224中，所述工具隨著所述節(jié)目內(nèi)容的播放而自動跟蹤并且保存所述舞臺道具的位置信息。所述工具還可以被配置成確定與所述盒子相關(guān)聯(lián)的視覺效果信息。在步驟226中，所述工具隨著所述舞臺道具在所述內(nèi)容的播放期間的移動而自動跟蹤并且保存與所述舞臺道具對應(yīng)的該信息。此外，在本發(fā)明的一些實(shí)施例中，所述軟件工具還對所述盒子進(jìn)行仿形。也就是說，在點(diǎn)擊了所述盒子之后，所述工具制作該盒子的外形，隨后用戶可以決定陰影化、模糊
坐坐寸寸ο
所述工具可以被配置成接受關(guān)于所述盒子的輸入信息以作為所述仿形過程的一部分。因此，在步驟228中，所述工具接受來自用戶的關(guān)于所述舞臺道具的輸入信息。也就是說，用戶可以為所述工具提供該用戶所具有的關(guān)于所述早前內(nèi)容中的所述盒子的所有信息。例如，用戶可以為所述工具提供所述盒子的類型，即被包裝在該盒子中的特定早前產(chǎn)品。所述工具將查找該特定盒子的圖像，并且將查看表示該影片環(huán)境中的陰影化的像素設(shè)置。所述工具隨后將能夠確定與其所知道的處于該位置和取向中的特定位像相關(guān)聯(lián)的一般照明原理。所述工具隨后將使用所有上述信息來自動分析所述舞臺道具圖像并且生成外形，正如步驟230所指示的那樣。所生成的外形可以基于所述盒子的攝影機(jī)視野而指示應(yīng)當(dāng)在何處對所渲染的資產(chǎn)進(jìn)行陰影化以及應(yīng)當(dāng)把所述光源放置在何處。所述外形還可以包括用于渲染所插入的對象的信息，或者可以在所述不斷改變的攝影機(jī)環(huán)境的過程中預(yù)測光源。所述外形還可以表明所述光的分級通常按照特定模式落在所述盒子上。用戶可以檢查所述外形中的所有信息并且做出調(diào)節(jié)。所生成的外形幫助用戶對于某一早前節(jié)目進(jìn)行校準(zhǔn)過程，以便幫助找到并且確定用于動態(tài)放置具有廣告內(nèi)容的早前資產(chǎn)的所有機(jī)會。識別新內(nèi)容中的資產(chǎn)
如上所述，在本發(fā)明的其他實(shí)施例中，在開發(fā)新的節(jié)目內(nèi)容時(shí)從一開始就考慮到所述可動態(tài)替換的電影舞臺道具和廣告資產(chǎn)。這樣允許在開發(fā)所述內(nèi)容時(shí)提供對所述資產(chǎn)的適當(dāng)?shù)牟呗孕远ㄎ缓投ǔ叽?。例如，在電影制作期間，電影公司可以與廣告專家緊密合作以開發(fā)所述資產(chǎn)。對于新的節(jié)目內(nèi)容，所述資產(chǎn)的舞臺道具的位置、場景信息以及諸如后效果之類的視覺效果信息將是已知的，或者可以在拍攝期間被捕獲。在影片制作期間，可以基于場景信息以及在所述場景中對所述道具的操縱來使用一組道具來使得對所述道具位置的跟蹤自動化并且定義所述資產(chǎn)的外形。在本發(fā)明中可以使用被動或主動道具或其組合。優(yōu)選地(但不是一定)利用某一形狀因數(shù)來確定道具的形狀，以便近似其所代表的道具類別(即麥片盒、汽水罐、餅干盒、瓶子、墻上的圖片等等)。被動道具可以將其自身與所述場景環(huán)境相區(qū)別，以便使得本發(fā)明能夠貫穿場景自動跟蹤所述道具，并且在進(jìn)行跟蹤時(shí)允許所述系統(tǒng)記錄在所述道具上所反映的場景信息。被動道具可以由綠屏材料、逆反射材料或其合適組合制成?？梢岳靡曈X標(biāo)記、索引視覺標(biāo)記或者類似標(biāo)記對道具進(jìn)行編碼，從而可以在所述場景中參考及跟蹤所述道具。例如，可以在利用本發(fā)明分析視頻幀的過程中按照自動化方式跟蹤每一項(xiàng)所述道具的中心的坐標(biāo)X、Y、Z或者所述道具的周界外形，并且將其與每一項(xiàng)所述道具的定義相匹配。進(jìn)一步的處理可以把所述道具跟蹤記錄與所述道具的外形相配，以便符合寬高比、平滑等等?？梢曰谒鲆阎膱鼍靶畔⒍x所述資產(chǎn)的視覺效果和后效果，其中包括基于時(shí)間的攝影機(jī)和道具定位信息。在給出了所述場景信息以及確定了任何時(shí)刻下的所述舞臺道具位置和所述攝影機(jī)、燈光等等的位置的情況下，本發(fā)明具有適當(dāng)?shù)妮斎胍杂?jì)算所插入的舞臺道具的適當(dāng)?shù)暮笮ЧO(shè)置。被動舞臺道具可以降低或消除對于逐幀遍歷所述影片以便識別出所述資產(chǎn)標(biāo)簽的位置的人工校準(zhǔn)過程的需求。例如，在所述場景中呈現(xiàn)出一個被動舞臺道具汽水瓶(即利用逆反射標(biāo)記制成)。隨著所述汽水瓶在某一角色的手附近移動，通過在本領(lǐng)域內(nèi)已知的機(jī)器視覺跟蹤方法自動確定該汽水瓶的基于時(shí)間的位置信息并且進(jìn)行記錄。所述位置信息可以包括取向、上下傾斜、左右偏斜以及滾轉(zhuǎn)量度或者合適的信息，以便產(chǎn)生對應(yīng)于所述汽水道具/資產(chǎn)的適當(dāng)?shù)奶鎿Q區(qū)域。稍后可以把新的道具和/或替換紋理渲染到其中存在所述 汽水瓶的幀中，從而有效地把所述汽水瓶從Coke 改變?yōu)镻epsi 或者改變?yōu)槟骋粋€在所述場景被制作出之后進(jìn)入市場的新品牌。除了被動道具之外，主動道具可以包含允許所述道具智能地感測其操作環(huán)境的電子電路和系統(tǒng)。這種傳感器可以實(shí)現(xiàn)全局或局部定位能力以及記錄所述道具在某一場景期間暴露于其中的環(huán)境的其他傳感器。這種傳感器可以包括但不限于(多個)光電檢測器、(多個)光電檢測器陣列、(多個)CCD傳感器、CCD傳感器陣列、加速度計(jì)等等。主動道具可以與場景信息一起記錄或傳送在所述場景中跟蹤所述道具的基于時(shí)間的遙測數(shù)據(jù)，針對所述道具的場景信息包括反射、陰影化、照明等等?？梢园凑斩喾N方式跟蹤主動道具，其中包括所述主動道具的位置、取向、上下傾斜、左右偏斜、滾轉(zhuǎn)等等。還可以針對形狀的變形來跟蹤道具?？梢愿櫟谰咭员憷斫馄淙绾伪徊倏v及變形，從而使得替換對象遵循相同的變形。例如，可以跟蹤麥片盒或牙膏道具以便確定其形狀如何在所述場景中被演員變形，該演員可以通過擠壓、打開、關(guān)閉、使用所述道具等方式來操縱該道具。主動道具可以記錄或傳送反射到所述道具上的各對象的基于時(shí)間的反射。反射數(shù)據(jù)和其他傳感器數(shù)據(jù)被用來在所述視頻幀的時(shí)間索引下配置所述道具的后效果設(shè)置。在混合所述道具上的新紋理時(shí)，利用所述后效果設(shè)置來渲染所述新紋理，從而使得所述新紋理可以出現(xiàn)在具有來自所述場景的實(shí)際反射的所述道具對象上。因此，對于新的節(jié)目內(nèi)容，可以與所述內(nèi)容一起開發(fā)所述廣告資產(chǎn)，并且可能不需要上面描述的人工過程。產(chǎn)生參考文件
在識別出所述資產(chǎn)并且確定了所述后效果之后產(chǎn)生圖像或參考文件。具體來說，在示例步驟208 (圖2A)中產(chǎn)生參考文件，所述參考文件包括所述原始節(jié)目內(nèi)容以及關(guān)于所識別出的可替換舞臺道具/資產(chǎn)的所述位置和后效果數(shù)據(jù)。所述參考文件優(yōu)選地是基于時(shí)間的，因此視頻幀可以參考根據(jù)該幀的舞臺道具位置和后效果設(shè)置。所述參考文件不需要捆綁所述原始節(jié)目內(nèi)容。終端用戶例如已經(jīng)可以在DVD、HD、存儲卡上獲得所述原始內(nèi)容。在這些情況下，用戶可以下載或流送包含所述基于時(shí)間的舞臺道具位置和后效果數(shù)據(jù)但是不包含原始內(nèi)容的參考文件。本發(fā)明還可以操作在這樣一種模式下其中提供所述用戶參考文件，該文件本身包含所述基于時(shí)間的舞臺道具位置和后效果數(shù)據(jù)以及所述替換廣告紋理，但是不包含原始內(nèi)容。本發(fā)明還可以操作在這樣一種模式下其中提供所述用戶參考文件，該文件本身包含所述基于時(shí)間的舞臺道具位置和后效果數(shù)據(jù)以及所述替換廣告紋理和所述原始內(nèi)容。如上所述，所述圖像或參考文件優(yōu)選地包括基于時(shí)間的信息，其允許播放器識別出在某一場景中何時(shí)存在替換舞臺道具、其外形、位置和渲染設(shè)置。對于每一項(xiàng)資產(chǎn)的印象進(jìn)行估價(jià)
根據(jù)本發(fā)明的另一個實(shí)施例，提供一種對于每一項(xiàng)廣告資產(chǎn)的印象進(jìn)行估價(jià)的方法。具體來說，在步驟210中，為所述內(nèi)容中的每一項(xiàng)可動態(tài)替換的舞臺道具/資產(chǎn)確定并指定一個價(jià)值。也就是說，為每一項(xiàng)資產(chǎn)(例如一個綠屏麥片盒)提供一種用于對所述印象的質(zhì) 量進(jìn)行資格認(rèn)證或估價(jià)以及用于跟蹤所述印象的質(zhì)量的機(jī)制。通過確定每一項(xiàng)資產(chǎn)的價(jià)值將幫助影響將由潛在的廣告商付出的價(jià)格。每一項(xiàng)資產(chǎn)的價(jià)值可以取決于許多不同的因素。這種因素可以包括但不限于相對于屏幕尺寸的道具尺寸、所述道具可見的時(shí)間量、被應(yīng)用于所述道具的清晰或模糊效果的
數(shù)量等等。關(guān)于被應(yīng)用于所述道具的清晰或模糊效果的數(shù)量，汽水瓶例如可能位于節(jié)目的后方，并且可能有些模糊。由于所述攝影機(jī)的焦距，所述汽水瓶可能沒有被聚焦，而所述節(jié)目的主要角色被聚焦。因此，在所述汽水瓶上的聚焦數(shù)量是一個因素。由于所述汽水瓶有些模糊，因此與所述汽水瓶恰好位于所述攝影機(jī)前方并且被聚焦的情況相比，其所給出的印象公式對該廣告資產(chǎn)的估價(jià)將略低。所述清晰或模糊效果的數(shù)量取決于是否需要在所述后效果后處理中調(diào)和或模糊所述圖像，以便將其與所述素材的剩余部分相調(diào)和。在上面描述的人工過程中標(biāo)識出了這一點(diǎn)。在所述自動化綠屏道具處理的情況下，可以基于所述攝影機(jī)的焦距、鏡頭類型、到所述道具的距離等等自動計(jì)算所述清晰或模糊效果的數(shù)量。能夠被用來對某一項(xiàng)資產(chǎn)進(jìn)行估價(jià)的另一個因素可以是主要角色是否接觸該資產(chǎn)或者是否以某種方式把注意力吸引到該資產(chǎn)上。所述資產(chǎn)的位置和取向也可以是一個因素。例如，汽水瓶可能被放置成一定角度，這樣可能會使得該資產(chǎn)貶值，這是因?yàn)樵撡Y產(chǎn)恰好由于藝術(shù)設(shè)計(jì)而不處在其適當(dāng)?shù)娜∠蛑小Ｔ诋a(chǎn)生所述內(nèi)容時(shí)的這種設(shè)計(jì)選擇可能對曝光并且從而對所述價(jià)值有影響。所述資產(chǎn)的價(jià)值是制作者的真實(shí)性和藝術(shù)自由與為所述道具增加價(jià)值并且進(jìn)行改變的能力的平衡?；谒兴霾煌囊蛩?，潛在的廣告商可以最終針對在所述資產(chǎn)上做廣告進(jìn)行競價(jià)，正如下面將討論的那樣。向早前內(nèi)容添加新的資產(chǎn)
根據(jù)本發(fā)明的其他實(shí)施例，在先前不存在固定道具的地方把新的數(shù)字道具/資產(chǎn)插入到早前節(jié)目中。也就是說，在視頻、web、節(jié)目內(nèi)容中的空白、開放或便利的位置處建立可動態(tài)替換的舞臺道具/資產(chǎn)。這些實(shí)施例幫助解決對早前內(nèi)容進(jìn)行產(chǎn)品/舞臺道具替換的機(jī)會可能有限的問題。
參考圖3A、3B、3C、3D、3E和3F，示出如何能夠根據(jù)本發(fā)明的所述實(shí)施例在節(jié)目內(nèi)容中建立可動態(tài)替換的道具/資產(chǎn)的例子。所述節(jié)目內(nèi)容可以包括早前節(jié)目。具體來說，在圖3A中示出某一節(jié)目中的場景300，其可以包括站立在桌子304旁邊的角色302。與上面描述的情況不同，其中在所述桌子304上沒有固定的舞臺道具。在圖3B中，可以把表示飲料罐的可動態(tài)替換的舞臺道具/資產(chǎn)306插入到所述場景300中并且將其定位成靜止在所述桌子304上。先前在所述桌子304上沒有顯示任何事物，因此通過插入所述資產(chǎn)306對該節(jié)目中的先前空白的空間做了有價(jià)值的利用。現(xiàn)在可以把所述可動態(tài)替換的舞臺道具/資產(chǎn)306賣給想要把其產(chǎn)品插入到所述節(jié)目中的廣告商。例如，在圖3C中，已經(jīng)把名為“RED Soda” 308的某種品牌的汽水插入到所述場景300中的所述資產(chǎn)306中?？梢栽谝欢螘r(shí)間內(nèi)放映所述節(jié)目，同時(shí)“RED Soda”的供應(yīng)商為該廣告機(jī)會付費(fèi)。其后一個不同的廣告商可能想要付費(fèi)以便在所述資產(chǎn)306中顯示其產(chǎn)品。例如，在圖3D中，已經(jīng)把名為“BLUE Pop” 310的一種不同的產(chǎn)品插入到了所述場景300中的所述資產(chǎn)306中?！癇LUE Pop”的供應(yīng)商可以付費(fèi)以便在重新放映所述節(jié)目的 特定時(shí)間段內(nèi)顯示其產(chǎn)品，比如僅僅一集或者可能一整季或者更長時(shí)間。圖3E示出已經(jīng)把表示圖片或海報(bào)的可動態(tài)替換的舞臺道具/資產(chǎn)314插入到所述場景300中并且將其放置在所述桌子304上。先前在墻上沒有示出任何事物，因此通過插入所述資產(chǎn)314對所述先前空白的空間做了有價(jià)值的利用。還可以把該可動態(tài)替換的舞臺道具/資產(chǎn)314賣給想要把其消息插入到所述節(jié)目中的廣告商。例如，在圖3F中，關(guān)于名為“Action Sports Apparel” 316的服飾品牌的消息已經(jīng)被插入到所述場景300中的所述資產(chǎn)314中。這樣可以添加新的道具/資產(chǎn)，比如空白墻上的圖片，其中所述圖片包含某種類廣告、商標(biāo)等等。因此，在本發(fā)明的上述實(shí)施例中，在開放或便利的位置處把新的可動態(tài)替換的舞臺道具/資產(chǎn)添加到所述節(jié)目中。例如，如果在所述早前節(jié)目中的原始場景中沒有麥片盒，則可以把一個麥片盒添加到所述場景中。參考圖4，示出根據(jù)本發(fā)明一個實(shí)施例的把新的可動態(tài)替換的舞臺道具/資產(chǎn)添加到節(jié)目內(nèi)容中的方法400。在步驟402中，在所述內(nèi)容中識別出可以或者期望在其中插入可動態(tài)替換的資產(chǎn)的開放、空白或便利的位置。在步驟404中，在一個或多個所識別出的位置處建立可動態(tài)替換的資產(chǎn)。在這里插入新資產(chǎn)的情況下也可以應(yīng)用保存所添加的資產(chǎn)的位置和視覺效果信息的上述步驟。因此，在步驟406中，對于每一個時(shí)刻確定并且記錄所述內(nèi)容中的每一項(xiàng)新資產(chǎn)的位置信息(比如參考坐標(biāo))。類似地，還可以使用所述記錄視覺效果信息以及調(diào)和后效果的過程。因此，在步驟408中，對于每一個時(shí)刻確定并且記錄所述內(nèi)容中的每一項(xiàng)資產(chǎn)的視覺效果信息。關(guān)于調(diào)和后效果和視覺效果信息，由于在所述節(jié)目中沒有原始固定道具，因此這種調(diào)和將是使得與所述場景的剩余部分看起來最相配。在步驟410中，與上面描述的類似，產(chǎn)生包括所述原始節(jié)目內(nèi)容以及可動態(tài)替換的舞臺道具/資產(chǎn)的參考文件。在步驟412中，為所述內(nèi)容中的每一項(xiàng)可動態(tài)替換的舞臺道具/資產(chǎn)確定并指定一個價(jià)值。替換圖像的重放、插入以及連網(wǎng)
參考圖5，示出根據(jù)本發(fā)明一個實(shí)施例的重放具有可動態(tài)替換的舞臺道具/資產(chǎn)的節(jié)目內(nèi)容的一種示例方法500。當(dāng)比如通過下載電視節(jié)目或者播放電影來最終重放所述參考文件時(shí)，必須決定將把哪些替換圖像插入到所述可動態(tài)替換的舞臺道具/資產(chǎn)中。許多方案把各廣告對象分配到所述各替換道具。廣告可以具有權(quán)重，系統(tǒng)可以把廣告分配到適當(dāng)?shù)娘L(fēng)格或特定的標(biāo)題以便容許由廣告商等等所尋求的所請求的數(shù)目的印象。基于所有所述不同的因素，潛在的廣告商可以最終針對在所述資產(chǎn)中做廣告進(jìn)行競價(jià)。因此，在所述方法500的步驟502中，廣告商針對所述資產(chǎn)出價(jià)。這種出價(jià)可以是基于所述資產(chǎn)的所確定的價(jià)值。有許多不同的方式可以進(jìn)行這種出價(jià)，比如通過拍賣等等，其中為所述出價(jià)方給出所述節(jié)目內(nèi)容和可用的資產(chǎn)類型。例如，如果其中一項(xiàng)所述資產(chǎn)是麥片盒，則想要做麥片廣告的公司就將針對該特定節(jié)目和資產(chǎn)出價(jià)。 一旦決定將把哪些替換圖像插入到所述可動態(tài)替換的舞臺道具/資產(chǎn)中，在該例中隨后就可以利用所述參考文件來廣播所述內(nèi)容，正如示例步驟504所示出的那樣。如上所述，在本例中，所述圖像或參考文件包括所述節(jié)目內(nèi)容以及這樣一種功能，該功能對于每一個時(shí)刻提供每一項(xiàng)可動態(tài)替換的舞臺道具/資產(chǎn)的所述位置和視覺效果信息。在播放所述節(jié)目時(shí)，所述參考文件提供每一項(xiàng)資產(chǎn)的位置的參考坐標(biāo)以及必須被應(yīng)用于新紋理的后效果，其中所述新紋理是利用本領(lǐng)域中已知的通信方法從存儲裝置動態(tài)檢索的。在所述示例方法的步驟506中，所述參考文件通過網(wǎng)絡(luò)獲得所述資產(chǎn)的替換圖像、對象或紋理。更具體來說，在重放所述媒體時(shí)，所述參考文件將與網(wǎng)絡(luò)服務(wù)器進(jìn)行通信，并且接受對應(yīng)于每一個ID的新圖像、對象或紋理。這種ID標(biāo)識所述可動態(tài)替換的舞臺道具/資產(chǎn)。在步驟508中，對于所述內(nèi)容中的每一項(xiàng)資產(chǎn)令所述替換紋理經(jīng)歷適當(dāng)?shù)暮笮Ч?。在令所述新紋理經(jīng)歷所述適當(dāng)?shù)暮笮Ч髮⑵浜喜⒌剿鰞?nèi)容中。這由步驟510示出，其中在國家、本地、分組或個體的基礎(chǔ)上把所述替換紋理數(shù)字地插入到所述內(nèi)容中的所述資產(chǎn)中。也就是說，通過下載所述替換道具的圖像并且把所述道具數(shù)字地插入到所述內(nèi)容中來產(chǎn)生完成的媒體。所述網(wǎng)絡(luò)服務(wù)器可以包括廣告服務(wù)器。從所述廣告服務(wù)器動態(tài)地提供所述替換道具的圖像?？梢猿鲇谠撃康亩薷谋挥糜谠趭蕵废到y(tǒng)中的視頻游戲中做廣告的現(xiàn)有廣告服務(wù)器。也就是說，這種現(xiàn)有的廣告服務(wù)器把廣告動態(tài)地提供到視頻游戲中的告示牌中。該基礎(chǔ)設(shè)施可以被配置成把所述替換道具動態(tài)地提供到在所述內(nèi)容中識別出的所述資產(chǎn)中。步驟510負(fù)責(zé)在國家、本地、分組或個體的基礎(chǔ)上把所述替換紋理數(shù)字地插入到所述內(nèi)容中。圖6示出可以如何根據(jù)本發(fā)明一個實(shí)施例做到這一點(diǎn)的一個例子。也就是說，網(wǎng)絡(luò)600把所述節(jié)目內(nèi)容提供給多個有線電視公司，比如有線電視公司602。所述替換道具插入可以由所述網(wǎng)絡(luò)600在國家或全球范圍內(nèi)反復(fù)地進(jìn)行，從而使得相同的或混合的捆綁替換道具出現(xiàn)在所有本地廣播中?？蛇x擇地，對于在國家或全球范圍內(nèi)被廣播的節(jié)目來說，可以在不同的本地區(qū)域內(nèi)把不同的替換道具和商業(yè)廣告紋理插入到所述內(nèi)容中。例如，可以由本地有線電視公司或者本地企業(yè)聯(lián)合組織來進(jìn)行所述替換道具插入。所述本地有線電視公司602可以插入在國家范圍內(nèi)被插入的相同道具，或者可以插入具有本地標(biāo)志的道具。
在另一個實(shí)施例中，可以根據(jù)觀眾類型或分組把不同的替換道具和商業(yè)廣告紋理插入到所述內(nèi)容中。例如，可以僅僅對于所述終端觀眾604插入一個或多個紋理。在其他實(shí)施例中，可以僅僅對于特定的單獨(dú)用戶把不同的替換道具和商業(yè)廣告紋理插入到所述內(nèi)容中。對于所述終端觀眾606示出這種情況的一個例子，其中所述廣告插入是由所述觀眾的有線電視盒、娛樂系統(tǒng)等等所執(zhí)行的?？梢园阉龉?jié)目內(nèi)容下載到所述觀眾的有線電視盒或娛樂系統(tǒng)中，隨后執(zhí)行所述廣告插入。對于其中替換道具取決于觀眾類型的情況可以使用仿形。這種仿形可以利用每一個觀眾的用戶簡檔。例如，對于是曲棍球迷的觀眾來說，他們可以在所述節(jié)目內(nèi)容中看到曲棍球道具。因此，所述道具以及所述道具的風(fēng)格取決于用戶的簡檔。因此，網(wǎng)絡(luò)可以按照許多不同方式把廣告流入媒體中?？梢栽谠S多不同類型的計(jì)算機(jī)、圖形工作站、視頻游戲系統(tǒng)、DVD播放器、DVR、媒體播放器、家庭服務(wù)器、視頻游戲控制臺、蜂窩電話、便攜式設(shè)備、無線設(shè)備等等上利用、實(shí)施 和/或運(yùn)行在此所描述的方法和技術(shù)。參考圖7，示出可以被用來實(shí)施和/或運(yùn)行在此所描述的方法和技術(shù)的這樣一種系統(tǒng)700。所述系統(tǒng)700包括中央處理單元(CPU) 702、圖形處理單元(GPU) 704、數(shù)字微分分析(DDA)硬件706、隨機(jī)存取存儲器(RAM) 708、比如盤驅(qū)動器之類的大容量存儲單元(710)、以及顯示監(jiān)視器712。所述CPU 702和/或GPU 704可以被用來執(zhí)行在此所描述的方法和技術(shù)的各步驟，并且可以在所述顯示監(jiān)視器712上渲染各種節(jié)目內(nèi)容和圖像?？蛇x地可以與所述大容量存儲單元710 —起使用可移動存儲介質(zhì)714，其可以被用于存儲實(shí)施在此所描述的方法和技術(shù)的代碼。然而，任何所述存儲設(shè)備(比如所述RAM 708或大容量存儲單元710)都可以被用于存儲這種代碼。所述系統(tǒng)700的全部或一部分可以被具體實(shí)現(xiàn)在設(shè)備716中，所述設(shè)備716比如是計(jì)算機(jī)或視頻游戲控制臺或系統(tǒng)?？梢耘c其他圖形任務(wù)一起同時(shí)地運(yùn)行仿真和/或處理。在多處理核心上，可以在單獨(dú)的處理器上執(zhí)行仿真。雖然借助于特定的實(shí)施例、實(shí)例及其應(yīng)用描述了在此所公開的本發(fā)明，但是在不偏離在權(quán)利要求書中所闡述的本發(fā)明的范圍的情況下可以由本領(lǐng)域技術(shù)人員對其做出許多修改和改變。例如，可以通過網(wǎng)絡(luò)或者通過某種其他裝置(其中包括DVD、存儲卡等等)接收所述替換圖像。廣告紋理和替換圖像可以包括模型、圖像或(多種)組合。節(jié)目內(nèi)容和參考文件可以被流送。所述原始節(jié)目內(nèi)容可以包括原始節(jié)目內(nèi)容和/或該原始節(jié)目內(nèi)容的經(jīng)過修改的已編碼版本。本發(fā)明還可以被用來在傳統(tǒng)的商業(yè)廣告本身中插入或替換舞臺道具。本發(fā)明可以被用于多種目的，其中包括新的沉浸式視頻游戲和娛樂模型、消息、控制、自動收報(bào)機(jī)、新聞、沉浸式地放置各幀并且對于基于時(shí)間的特定于場景的放置進(jìn)行優(yōu)化等等。本發(fā)明可以被用來在被置于傳統(tǒng)的分發(fā)渠道(其中包括廣播、web、網(wǎng)絡(luò)電視、游戲等等)中的商業(yè)橫幅廣告中插入或替換道具。應(yīng)當(dāng)很好地理解的是，“內(nèi)容”可以包括但不限于電視節(jié)目、節(jié)目、影片、電影、視頻、web站點(diǎn)、商業(yè)廣告、紀(jì)錄片、視頻游戲等等。本發(fā)明可以被配置成上傳反饋記錄，以便跟蹤媒體使用以及用戶受到所述廣告的影響。可以把廣告模型、紋理緩沖在具有間歇網(wǎng)絡(luò)接入的設(shè)備上的存儲裝置中。廣告可以被放置在輪轉(zhuǎn)時(shí)間表上。所述參考文件可以是一個或多個文件并且可以包含其他元素和對象，位置數(shù)據(jù)和后效果數(shù)據(jù)可以被分離到物理上不同的文件中，或者可以在不同的信道上通過網(wǎng)絡(luò)流送，但是其仍然被稱作“參考文件”。本發(fā)明可以被用在便攜式設(shè)備、蜂窩電話等
因此，在一些實(shí)施例中，利用可動態(tài)替換的資產(chǎn)來替換早前節(jié)目內(nèi)容中的舞臺道具(比如消費(fèi)品)。這種資產(chǎn)可以被用于廣告目的，因?yàn)榭梢园巡煌a(chǎn)品和服務(wù)的圖像插入其中并且可以通過網(wǎng)絡(luò)做出改變?？梢酝ㄟ^以下操作產(chǎn)生所述資產(chǎn)在所述內(nèi)容中識別出用于替換的道具；確定每一項(xiàng)所識別出的道具的位置和視覺效果信息；以及產(chǎn)生參考文件，所述參考文件包括所述內(nèi)容以及與每一項(xiàng)所識別出的道具相關(guān)聯(lián)的所述位置和視覺效果信息?？梢詾槊恳豁?xiàng)資產(chǎn)確定一個價(jià)值，或者廣告商可以對所述資產(chǎn)出價(jià)，以便對于所述內(nèi)容產(chǎn)生附加的廣告收入渠道?？梢酝ㄟ^廣播所述內(nèi)容以及表示用于把所述資產(chǎn)插入到所述內(nèi)容中的參數(shù)的參考信息來重放所述內(nèi)容?？梢酝ㄟ^網(wǎng)絡(luò)獲得諸如產(chǎn)品圖像之類的替換圖像。可以利用視覺效果信息修改每一幅替換圖像的視覺外觀，從而使得所插入的對象看起來自然，好像它們是原始場景的一部分。
在一些實(shí)施例中，可動態(tài)替換的資產(chǎn)被插入到節(jié)目內(nèi)容中，并且可以被用于在其中插入電影舞臺道具。這種資產(chǎn)可以被用于廣告目的，因?yàn)榭梢园巡煌a(chǎn)品和服務(wù)的圖像插入其中并且可以通過網(wǎng)絡(luò)做出改變?？梢酝ㄟ^以下操作產(chǎn)生所述資產(chǎn)在所述內(nèi)容中識別出可以插入所述資產(chǎn)的位置；在所識別出的位置處建立所述資產(chǎn)；確定每一項(xiàng)資產(chǎn)的位置和視覺效果信息；以及產(chǎn)生參考文件，所述參考文件包括與每一項(xiàng)資產(chǎn)相關(guān)聯(lián)的位置和視覺效果信息?？梢詾槊恳豁?xiàng)資產(chǎn)確定一個價(jià)值，或者廣告商可以對所述資產(chǎn)出價(jià)，以便對于所述內(nèi)容產(chǎn)生附加的廣告收入渠道?？梢酝ㄟ^廣播所述內(nèi)容以及表示用于把所述資產(chǎn)插入到所述內(nèi)容中的參數(shù)的參考信息來重放所述內(nèi)容。可以通過網(wǎng)絡(luò)獲得諸如產(chǎn)品圖像之類的替換圖像。可以利用視覺效果信息修改每一幅替換圖像的視覺外觀，從而使得所插入的對象看起來自然，好像它們是原始場景的一部分。
權(quán)利要求
1.一種方法，包括建立要拍攝的場景，以包括在內(nèi)容中；在舞臺道具中放置所述場景，其中所述舞臺道具包括至少一個電荷耦合器件傳感器 (CCD)；拍攝所述場景；和使用所述舞臺道具中的至少一個CCD，在拍攝所述場景期間從所述舞臺道具的遠(yuǎn)景捕獲場景信息；其中該場景信息包括與所述舞臺道具的照明、反射到所述舞臺道具上的該場景中的對象的反射、和所述舞臺道具的陰影化中的至少一個有關(guān)的信息。
2.根據(jù)權(quán)利要求1的方法，其中該場景信息包括與所述舞臺道具的照明、反射到所述舞臺道具上的該場景中的對象的反射、和所述舞臺道具的陰影化中的至少兩個有關(guān)的信肩、O
3.根據(jù)權(quán)利要求1的方法，其中該場景信息包括與所述舞臺道具的照明、反射到所述舞臺道具上的該場景中的對象的反射、和所述舞臺道具的陰影化中的全部三個有關(guān)的信肩、O
4.根據(jù)權(quán)利要求1-3中的任意一個的方法，其中與所述舞臺道具的照明有關(guān)的信息包括與光源的位置、光源的類型、光源的強(qiáng)度和光源的顏色中的至少一個有關(guān)的信息。
5.根據(jù)權(quán)利要求1-4中的任意一個的方法,其中所述捕獲場景信息包括捕獲基于時(shí)間的場景信息。
6.根據(jù)權(quán)利要求1-5中的任意一個的方法,進(jìn)一步包括所述舞臺道具發(fā)送所述場景信息。
7.根據(jù)權(quán)利要求1-6中的任意一個的方法,進(jìn)一步包括在拍攝所述場景期間跟蹤所述舞臺道具；和基于對所述舞臺道具的跟蹤來確定所述舞臺道具的位置信息。
8.根據(jù)權(quán)利要求1-6中的任意一個的方法，進(jìn)一步包括在拍攝所述場景期間跟蹤所述舞臺道具；和基于對所述舞臺道具的跟蹤來確定所述舞臺道具的定位信息。
9.根據(jù)權(quán)利要求8的方法，其中該定位信息包括取向、上下傾斜、左右偏斜以及滾轉(zhuǎn)量度中的至少一個。
10.根據(jù)權(quán)利要求7-8中的任意一個的方法，其中所述跟蹤包括機(jī)器視覺跟蹤。
11.根據(jù)權(quán)利要求ι- ο中的任意一個的方法，進(jìn)一步包括基于所捕獲的場景信息來確定與所述舞臺道具相關(guān)聯(lián)的視覺效果信息。
12.根據(jù)權(quán)利要求1-10中的任意一個的方法，進(jìn)一步包括基于所捕獲的場景信息來確定與所述舞臺道具相關(guān)聯(lián)的視覺效果信息；和在所述場景的拍攝完成之后，將替換圖像插入到所述舞臺道具的所拍攝的圖像上的內(nèi)容中，以改變所述舞臺道具的外觀。
13.根據(jù)權(quán)利要求12的方法，進(jìn)一步包括使用所述視覺效果信息來修改所述替換圖像的視覺外觀。
14.根據(jù)權(quán)利要求13的方法，其中使用所述視覺效果信息來修改所述替換圖像的視覺外觀包括用所述視覺效果信息來渲染所述替換圖像。
15.根據(jù)權(quán)利要求12-14中的任意一個的方法，其中所述視覺效果信息被配置為當(dāng)用所述視覺效果信息來渲染所述替換圖像時(shí)使所述替換圖像包括所捕獲的場景信息的表示。
16.一種方法，包括步驟在拍攝內(nèi)容期間跟蹤舞臺上的主動道具，該主動道具包括至少一個電荷耦合器件傳感器(CCD)，該至少一個電荷耦合器件傳感器(CCD)記錄來自所述主動道具的遠(yuǎn)景的場景信識別所述內(nèi)容中的位置，在該位置處能夠插入動態(tài)可替換資產(chǎn)；在所述內(nèi)容中的一個或多個所識別的位置中建立動態(tài)可替換資產(chǎn)；和基于在拍攝所述內(nèi)容期間對舞臺上的所述主動道具的跟蹤來確定至少一個動態(tài)可替換資產(chǎn)的位置信息；以及使用所述場景信息來配置視覺效果設(shè)置；其中所述場景信息包括與所述主動道具的照明、反射到所述主動道具上的場景中的對象的反射、和由其它對象透射在所述主動道具上的陰影中的至少一個有關(guān)的信息；以及其中所述視覺效果設(shè)置被配置為當(dāng)用所述視覺效果設(shè)置渲染至少一個動態(tài)可替換資產(chǎn)的新的紋理時(shí)，使該新的紋理包括投射到所述主動道具上的場景信息的表示。
17.根據(jù)權(quán)利要求16的方法，其中與所述主動道具的照明有關(guān)的信息包括與光源的位置、光源的類型、光源的強(qiáng)度和光源的顏色中的至少一個有關(guān)的信息。
18.根據(jù)權(quán)利要求16的方法，其中記錄所述場景信息包括記錄基于時(shí)間的場景信息。
19.根據(jù)權(quán)利要求16的方法，進(jìn)一步包括所述主動道具發(fā)射所述場景信息。
20.根據(jù)權(quán)利要求16的方法，進(jìn)一步包括將所述新的紋理插入到一個或多個動態(tài)可替換資產(chǎn)，以改變一個或多個動態(tài)可替換資產(chǎn)的外觀。
21.根據(jù)權(quán)利要求16的方法，進(jìn)一步包括通過用所述視覺效果設(shè)置渲染所述新的紋理來修改所述新的紋理的視覺外觀。
22.一種用于修改節(jié)目內(nèi)容的系統(tǒng)，包括用于識別內(nèi)容中的位置的裝置，在該位置處能夠插入動態(tài)可替換資產(chǎn)；用于在所述內(nèi)容中的一個或多個所識別的位置中建立動態(tài)可替換資產(chǎn)的裝置；和用于確定每個所建立的動態(tài)可替換資產(chǎn)的位置信息的裝置，其中在拍攝所述內(nèi)容期間通過跟蹤舞臺上的主動道具來捕獲所述位置信息，并且其中所述主動道具記錄反射數(shù)據(jù)， 該反射數(shù)據(jù)指明反射到所述道具上的對象的基于時(shí)間的反射；用于使用所述反射數(shù)據(jù)來配置與每個所建立的動態(tài)可替換資產(chǎn)相關(guān)聯(lián)的視覺效果信息的裝置；和用于創(chuàng)建參考文件的裝置，該參考文件包括與每個所建立的動態(tài)可替換資產(chǎn)相關(guān)聯(lián)的位置和視覺效果信息；其中所述視覺效果信息被配置為當(dāng)用所述視覺效果信息渲染相關(guān)聯(lián)的可替換資產(chǎn)的新的紋理時(shí)，使該新的紋理包括來自場景的實(shí)際反射的表示；其中該主動道具包括至少一個電荷耦合器件傳感器(CCD)，該至少一個電荷耦合器件傳感器(CCD)記錄所述反射數(shù)據(jù)，并且其中該主動道具被配置為連同其它基于時(shí)間的場景信息來發(fā)送反射數(shù)據(jù)，所述其它基于時(shí)間的場景信息包括與所述主動道具的照明和所述主動道具的陰影化有關(guān)的信息。
23.根據(jù)權(quán)利要求22的系統(tǒng)，其中與所述主動道具的照明的信息包括與光源的位置、 光源的類型、光源的強(qiáng)度和光源的顏色中的至少一個有關(guān)的信息。
24.根據(jù)權(quán)利要求22的系統(tǒng)，進(jìn)一步包括用于將所述新的紋理插入到相關(guān)聯(lián)的動態(tài)可替換資產(chǎn)中以改變相關(guān)聯(lián)的動態(tài)可替換資產(chǎn)的外觀的裝置。
25.根據(jù)權(quán)利要求22的系統(tǒng)，進(jìn)一步包括用于通過用所述視覺效果信息渲染所述新的紋理來修改所述新的紋理的視覺外觀的>j-U ρ α裝直。
全文摘要
一種方法，包括建立要拍攝的場景，以包括在內(nèi)容中；在舞臺道具中放置所述場景，其中所述舞臺道具包括至少一個電荷耦合器件傳感器(CCD)；拍攝所述場景；和使用所述舞臺道具中的至少一個CCD，在拍攝所述場景期間從所述舞臺道具的遠(yuǎn)景捕獲場景信息；其中該場景信息包括與所述舞臺道具的照明、反射到所述舞臺道具上的該場景中的對象的反射、和所述舞臺道具的陰影化中的至少一個有關(guān)的信息。
文檔編號H04N7/24GK103024293SQ20121055769
公開日2013年4月3日 申請日期2007年3月5日 優(yōu)先權(quán)日2006年3月7日
發(fā)明者G.扎列夫斯基, R.R.拉塞爾 申請人:美國索尼電腦娛樂公司