專利名稱：用于在網(wǎng)絡(luò)環(huán)境中提供三維成像的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及通信領(lǐng)域，并且更具體地，涉及在網(wǎng)絡(luò)環(huán)境中提供三維成像。
背景技術(shù)：
在當(dāng)今的社會(huì)中，視頻服務(wù)已變得越來(lái)越重要。在某些體系架構(gòu)中，服務(wù)提供商可尋求為他們的末端用戶提供復(fù)雜的視頻會(huì)議服務(wù)。視頻會(huì)議體系架構(gòu)可通過(guò)網(wǎng)絡(luò)提供“親身”的會(huì)議體驗(yàn)。視頻會(huì)議體系架構(gòu)可利用高級(jí)視覺(jué)的、音頻和協(xié)作技術(shù)來(lái)傳遞人們之間的實(shí)時(shí)的、面對(duì)面的交互。這些技術(shù)可發(fā)送與實(shí)物一般大小的、高分辨率圖像，以及空間離散的音頻。被特別設(shè)計(jì)的高分辨率相機(jī)可通過(guò)高級(jí)眼神交流(eye contact)來(lái)提供質(zhì)量好、 高分辨率的圖像。音頻輔助完整自然的轉(zhuǎn)換，而不會(huì)有可感知到的延遲。隨著系統(tǒng)已轉(zhuǎn)移到三維呈現(xiàn)，在視頻會(huì)議情景中出現(xiàn)了某些問(wèn)題。三維技術(shù)給開發(fā)人員和網(wǎng)絡(luò)運(yùn)營(yíng)商呈現(xiàn)了重大的挑戰(zhàn)，該開發(fā)人員和網(wǎng)絡(luò)運(yùn)營(yíng)商試圖提供真實(shí)的視頻會(huì)議解決方案，同時(shí)考慮帶寬參數(shù)。因此，在網(wǎng)絡(luò)中合適地管理三維視頻會(huì)議的能力向網(wǎng)絡(luò)設(shè)計(jì)人員、組件制造商、服務(wù)提供商和系統(tǒng)管理員等提供了重大的挑戰(zhàn)。


為了提供對(duì)示例實(shí)施例和其特征和優(yōu)點(diǎn)的更加完整的理解，結(jié)合附圖參考以下描述，在附圖中，相似的參考標(biāo)號(hào)代表相似的部分，其中圖1是根據(jù)一個(gè)實(shí)施例的用于在網(wǎng)絡(luò)環(huán)境中提供三維視頻操作的會(huì)議系統(tǒng)的簡(jiǎn)化示意圖；圖2是根據(jù)一個(gè)實(shí)施例的觀看者(viewer)從兩個(gè)不同投影儀所看到的圖像的簡(jiǎn)化示意圖；圖3是示出了根據(jù)一個(gè)實(shí)施例的視頻會(huì)議體系架構(gòu)的示例用戶的簡(jiǎn)化示意圖；圖4是根據(jù)一個(gè)實(shí)施例的對(duì)視頻會(huì)議體系架構(gòu)的示例實(shí)現(xiàn)的簡(jiǎn)化示意圖；圖5是根據(jù)一個(gè)實(shí)施例的對(duì)視頻會(huì)議體系架構(gòu)的另一示例實(shí)現(xiàn)的簡(jiǎn)化示意圖；圖6是根據(jù)一個(gè)實(shí)施例的對(duì)視頻會(huì)議體系架構(gòu)的又一示例實(shí)現(xiàn)的簡(jiǎn)化示意圖；以及圖7是能夠?qū)D像合成能力與之前的示例布置融合的系統(tǒng)的簡(jiǎn)化示意圖。
具體實(shí)施例方式概述在一個(gè)示例實(shí)施例中提供了一種方法，其包括接收指示末端用戶的個(gè)人位置的數(shù)據(jù)并接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)。圖像數(shù)據(jù)可由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲。該方法還包括基于指示末端用戶的個(gè)人位置的數(shù)據(jù)合成來(lái)自相機(jī)的圖像數(shù)據(jù)，以便傳遞在所選擇的角度處的對(duì)象的三維呈現(xiàn)。在更特定的實(shí)施例中，由被配置為與網(wǎng)絡(luò)相耦合的服務(wù)器來(lái)執(zhí)行合成。視頻分析可被用來(lái)確定末端用戶的個(gè)人位置。在其他實(shí)施例中，該方法包括確定用于合成圖像數(shù)據(jù)的大致時(shí)間間隔，然后基于時(shí)間間隔來(lái)延遲音頻數(shù)據(jù)。時(shí)間間隔可與多個(gè)像素相關(guān)聯(lián)，該多個(gè)像素與相機(jī)相關(guān)聯(lián)，或者該時(shí)間間隔可與被分配以合成圖像數(shù)據(jù)的任務(wù)的處理器的處理速度相關(guān)聯(lián)。對(duì)象可以是涉及末端用戶的視頻會(huì)議的對(duì)方。轉(zhuǎn)向圖1，圖1是根據(jù)一個(gè)示例實(shí)施例的會(huì)議系統(tǒng)10的簡(jiǎn)化示意圖。會(huì)議系統(tǒng)10 包括對(duì)象12、觀看者14以及被配置為與服務(wù)器組30相耦合的相機(jī)集20，該服務(wù)器組具有與網(wǎng)絡(luò)38的連接。網(wǎng)絡(luò)38被配置為與另一服務(wù)器組40相耦合，該另一服務(wù)器組可與投影儀組通信，以便在多視角屏幕50上呈現(xiàn)圖像。媒體流集可被(從相機(jī)20)發(fā)送到服務(wù)器30 以通過(guò)網(wǎng)絡(luò)38發(fā)送。類似地，媒體流集觀可被從服務(wù)器40發(fā)送到投影儀M以形成被觀看者14觀看的圖像。在一個(gè)示例中，屏幕50由特殊材料構(gòu)成，該特殊材料使得屏幕為“多視角”屏幕。 利用該特殊屏幕，觀看者14更好地觀看圖像，該圖像從正在其之后的投影儀被投影到屏幕上。在圖1中，只有被投影儀#8投影的圖像和觀看者14的頭部可以如下的方式排成一行 在相機(jī)和觀看者14之間的線通過(guò)觀看者頭部的中間。圖1中的每個(gè)元素可通過(guò)簡(jiǎn)單的接口或通過(guò)提供了用于通信的可行路徑的任意其他合適的連接(有線或無(wú)線)來(lái)彼此耦合。另外，基于特定的配置需要，可組合或從體系架構(gòu)中移除這些元素中的任意一個(gè)或多個(gè)。注意，取決于一個(gè)或多個(gè)服務(wù)器的特定計(jì)算功率、視頻相機(jī)的分辨率、來(lái)自相機(jī)的每秒的幀數(shù)以及其他與視頻相關(guān)的參數(shù)，服務(wù)器30和 40可以是服務(wù)器陣列或單個(gè)服務(wù)器。會(huì)議系統(tǒng)10可包括能夠用于在網(wǎng)絡(luò)中發(fā)送和接收分組的傳輸控制協(xié)議/因特網(wǎng)協(xié)議(TCP/IP)的配置。當(dāng)合適時(shí)或基于特定的需要，會(huì)議系統(tǒng)10還可與用戶數(shù)據(jù)報(bào)協(xié)議 /IP(UDP/IP)或任意其他合適的協(xié)議或隧道技術(shù)一起操作。為了提供真實(shí)的三維(3D)傳輸?shù)某尸F(xiàn)，系統(tǒng)應(yīng)當(dāng)能夠記錄并顯示3D圖像。針對(duì) 3D對(duì)象，由于觀看者將其頭部置于環(huán)繞所觀察的對(duì)象的不同位置處，很自然，觀看者將看到該對(duì)象的不同示圖。例如，假定觀看者看到另一人物的3D臉部。隨著觀看者移動(dòng)其位置 [相對(duì)于該人物]，他可從右側(cè)、直視[眼對(duì)眼]以及該人物的左側(cè)輪廓(profile)來(lái)看到該對(duì)方的輪廓。在利用個(gè)人計(jì)算機(jī)屏幕的視頻會(huì)議會(huì)話中，遠(yuǎn)程用戶的圖像呈現(xiàn)為二維QD)圖像。針對(duì)2D顯示器，圖像并不隨著觀看者移動(dòng)其相對(duì)于顯示器的位置而變化。例如，如果視頻會(huì)議屏幕呈現(xiàn)遠(yuǎn)程用戶的右側(cè)輪廓圖像，則隨著觀看者變化其相對(duì)于其個(gè)人計(jì)算機(jī)屏幕的位置，觀看者所看到的圖像(在其個(gè)人計(jì)算機(jī)上)并不改變。而是，觀看者僅看到遠(yuǎn)程用戶的右側(cè)輪廓。某些體系架構(gòu)可提供3D視頻會(huì)議體驗(yàn)，但是，這些體系架構(gòu)是昂貴的(例如，價(jià)格高的投影儀、相機(jī)、服務(wù)器等)，并且，會(huì)將相當(dāng)大的開銷引入到數(shù)據(jù)發(fā)送中。針對(duì)這種系統(tǒng)， 過(guò)度的帶寬消耗可帶來(lái)顯著的問(wèn)題。例如，圖1可利用多個(gè)視頻相機(jī)來(lái)捕獲對(duì)象12的不同示圖。然后，該視頻可被傳輸?shù)奖镜卣军c(diǎn)，在本地站點(diǎn)處其被饋送到位于相對(duì)于記錄原始視頻的相機(jī)20的位置處的不同位置的不同投影儀M。系統(tǒng)可利用能容納各種示圖的多視角屏幕。隨著觀看者移動(dòng)其相對(duì)于多視角屏幕的位置，他可比看到比其他圖像更好的所投影的圖像中的一個(gè)。例如，如果體系架構(gòu)包括十六個(gè)相機(jī)，則將使用十六個(gè)投影儀來(lái)投影圖像數(shù)據(jù)，使得觀看者可觀看一個(gè)圖像數(shù)據(jù)集，而非其他十五個(gè)圖像數(shù)據(jù)集。由于遺漏了除了與觀看角度相關(guān)聯(lián)的圖像之外的來(lái)自相機(jī)的所投影的圖像，這種系統(tǒng)的性能是相當(dāng)?shù)偷摹?另外，多視角屏幕僅提供有限數(shù)量的示圖，如此，當(dāng)觀看者變更其相對(duì)于屏幕的位置時(shí)，顯示出現(xiàn)抖動(dòng)。返回到圖1，出于說(shuō)明的目的，提供了示例會(huì)議情景。在該示例中，在視頻會(huì)議中存在兩個(gè)參與者。第一個(gè)參與者代表對(duì)象，而第二個(gè)參與者代表觀看者。在某些實(shí)例中，在設(shè)備中存在對(duì)稱，使得每個(gè)參與者完成作為對(duì)象和觀看者的兩種角色。但是，在該示例情景中，為了簡(jiǎn)化說(shuō)明，一個(gè)位置具有不同于遠(yuǎn)程位置的設(shè)備。暫時(shí)關(guān)注對(duì)象側(cè)，提供了多個(gè)相機(jī)20，使得從多個(gè)觀看角度來(lái)捕獲與對(duì)象12相關(guān)聯(lián)的圖像數(shù)據(jù)。這些相機(jī)可以以任意合適的形式安裝，諸如，以如圖1中所示的弧形配置。其他配置可以是任意的墻式安裝、或可將相機(jī)等距離地隔開的布置、或作為相機(jī)列而線性提供。本質(zhì)上，相機(jī)從在所有側(cè)上的對(duì)象捕獲圖像數(shù)據(jù)。在其他布置中，可將相機(jī)安裝到采用加州圣何塞(San Jose, CA)的思科系統(tǒng)公司(Cisco Systems)所制造的遠(yuǎn)程監(jiān)控 (TelePresence)技術(shù)的墻體或面板上。這些相機(jī)配置的目的是捕獲圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)發(fā)送到可在三維中觀看對(duì)象的觀看者位置處。系統(tǒng)利用在遠(yuǎn)程站點(diǎn)處的多個(gè)相機(jī)來(lái)從多個(gè)角度捕獲遠(yuǎn)程對(duì)象的示圖。在觀看者的位置處，投影儀M在多視角屏幕50上呈現(xiàn)圖像。在一個(gè)示例中，投影儀對(duì)的幾何結(jié)構(gòu)模仿相機(jī)20的幾何結(jié)構(gòu)，使得如果放射狀地布置相機(jī)20 (在弧形配置中)，則也可在相同的放射狀布置中配置投影儀對(duì)。通過(guò)類似的方式，相機(jī)#1可與投影儀#1接口 (或?qū)R)，相機(jī)#2可與投影儀#2接口(或?qū)R)，等等。注意，三維成像的一個(gè)方面包括觀看者意欲從一邊傾斜頭部到另一邊，以便收集處于視頻會(huì)議的另一端處的對(duì)象的某些維度方面。在這種實(shí)例中，如慣常所做的那樣(如果兩個(gè)人正進(jìn)行彼此面對(duì)面的實(shí)際對(duì)話[例如，在人行道上、在街角上，等等])，觀看者可僅通過(guò)將其頭部從一邊移動(dòng)到另一邊來(lái)看到對(duì)象的完整圖片。三維成像的第二方面是視差，其為沿著兩個(gè)不同的視線所觀看的對(duì)象的明顯布置或位置差異。其一般通過(guò)那兩線之間的傾角的角度或半角來(lái)測(cè)量。當(dāng)從不同的位置觀察時(shí)， 附近的對(duì)象比更遠(yuǎn)的對(duì)象具有更大的視差。人類感知包括重疊視場(chǎng)以利用視差來(lái)獲得深度感知，并且該處理被稱為立體觀測(cè)。返回到對(duì)圖1的說(shuō)明，如果觀看者14正從相機(jī)#1接收?qǐng)D像(例如)，他可能碰到一種情形，其中，對(duì)象12的部分從其特定優(yōu)勢(shì)位置(vantage)被模糊。出于說(shuō)明該概念的目的，在圖1中描繪了模糊對(duì)象13，并且，其位于相機(jī)#1和對(duì)象12之間。但是，在相機(jī)#12 處并未出現(xiàn)該模糊，并且，模糊對(duì)象13并未阻擋在相機(jī)#12和對(duì)象12之間的視場(chǎng)。媒體流 26可捕獲多個(gè)相機(jī)視點(diǎn)，使得隨著觀看者14從一邊移動(dòng)到另一邊或變更其方向，他從與特定相機(jī)相關(guān)聯(lián)的特定投影儀看到圖像，該特定相機(jī)從與觀看者相對(duì)于多視角屏幕的位置相關(guān)聯(lián)的角度捕獲對(duì)象的圖像。多視角屏幕的屬性即是允許觀察者看到從位于用戶后方的特定投影儀[在特定投影儀和多視角屏幕50之間的線中]所投影的圖像，因此克服了該模糊或僅看到未被遮住的對(duì)象12。在圖1的示例中，該體系架構(gòu)十分廣泛，因?yàn)槠浒ㄓ糜诔尸F(xiàn)三維圖像的多個(gè)投影儀和多個(gè)相機(jī)。投影儀可集中地在多視角屏幕上呈現(xiàn)用于觀看者14觀看的圖像。圖2是圖像52的簡(jiǎn)化示意圖，其中，觀看者#1和觀看者#2利用兩個(gè)不同的投影儀(即，分別為投影儀#1和投影儀#2)來(lái)觀看圖像52。在該示例中，圖像是戴有鴨舌帽的女孩，第一觀看者看到她圖像的一邊，而第二觀看者看到該圖像的不同視點(diǎn)。這是因?yàn)榈谝挥^看者與投影儀#1相關(guān)聯(lián)，而第二觀看者與投影儀#2相關(guān)聯(lián)。隨著觀看者變更其當(dāng)前的位置，他可看到與該特定圖像相關(guān)聯(lián)的不同細(xì)節(jié)。例如，隨著觀看者從一個(gè)位置/優(yōu)勢(shì)位置移動(dòng)到另一個(gè)，他可看到該女孩有馬尾辮。如果該情景涉及在兩個(gè)參與者之間的視頻會(huì)議， 則隨著觀看者移動(dòng)其自身的位置，他可在視頻會(huì)議中看到對(duì)方的不同側(cè)(或角度)。實(shí)際上，觀看者正利用不同的投影儀和不同的相機(jī)角度，以便看到額外的細(xì)節(jié)，該額外的細(xì)節(jié)在簡(jiǎn)單的面對(duì)面對(duì)話情景中將不會(huì)示出。注意，雖然圖2示出了女孩的兩個(gè)圖像，但是，這僅是出于說(shuō)明目的而給出的。真實(shí)的圖像僅以關(guān)于給定屏幕的與觀看者的位置相關(guān)的方向上示出女孩的單個(gè)圖像。圖3是對(duì)正用個(gè)人計(jì)算機(jī)(PC) 60工作的觀看者64的簡(jiǎn)化示意圖。個(gè)人計(jì)算機(jī)60 包括嵌入式相機(jī)62，該嵌入式相機(jī)用于捕獲觀看者64的圖像并將其發(fā)送給遠(yuǎn)程視頻會(huì)議伙伴(未示出)。個(gè)人計(jì)算機(jī)60可被配置為通過(guò)各種潛在布置來(lái)與網(wǎng)絡(luò)68相耦合，使得圖像數(shù)據(jù)可容易地被在網(wǎng)絡(luò)68上發(fā)送。圖4是與視頻會(huì)議情景相關(guān)聯(lián)的示例布置的簡(jiǎn)化示意圖。在該示例中，描繪了相同的觀看者64，網(wǎng)絡(luò)68被配置為與服務(wù)器72相耦合。如在該實(shí)施例中所示的，觀看者64 可向左和向右、以及向前和向后移動(dòng)其頭部，并且，依舊保持在相機(jī)的視場(chǎng)(一般在箭頭70 所示處)中。所有該頭部定位都可被服務(wù)器72捕獲，該服務(wù)器可存儲(chǔ)并處理觀看者64在相機(jī)62的視場(chǎng)70內(nèi)的虛擬圖像74。虛擬圖像74可在網(wǎng)絡(luò)68上被從PC 60發(fā)送到服務(wù)器 72，該服務(wù)器與網(wǎng)絡(luò)68附接，并且，隨著用戶向左和向右(相對(duì)于PC 60)移動(dòng)，其可捕獲在虛擬圖像幀74中的觀看者64頭部的位置。該運(yùn)動(dòng)通過(guò)虛擬圖像集76、78和80示出，其示出觀看者64在圖像的中間、右側(cè)和左側(cè)的情形。另外，觀看者64可使其位置被追蹤(例如，經(jīng)由服務(wù)器72、經(jīng)由在網(wǎng)絡(luò)中所供應(yīng)的某些軟件、或駐留在PC 60上的軟件[或從外部提供給PC 60的軟件]，等等)，使得當(dāng)他從一邊傾斜其頭部到另一邊時(shí)，他可看到在其個(gè)人顯示器上所示出的遠(yuǎn)程對(duì)象的不同角度。 例如，當(dāng)觀看者64已轉(zhuǎn)移了其視線時(shí)，軟件可利用臉部和眼睛識(shí)別算法來(lái)識(shí)別，然后，通過(guò)變更正呈現(xiàn)給PC的感知角度來(lái)響應(yīng)?？紤]某人已開始吃蘋果并吃掉了該對(duì)象的一部分的情形。如果蘋果被置于桌上， 則觀看者的視角可決定他是否看到了缺失的一口。在簡(jiǎn)單的線性視頻會(huì)議布置中，觀看者 64可能僅看到蘋果的前方而非其他。相反地，圖3的布置允許觀看者64向左和向右移動(dòng)， 并實(shí)際上看到存在蘋果的缺失的一口。在各種位置處(如之前所描述的)所提供的軟件可識(shí)別觀看者何時(shí)已轉(zhuǎn)移頭部以試圖看到所觀看的對(duì)象的不同角度。在具體的實(shí)施例中，如在虛擬圖像76、78和80中所示的，服務(wù)器72具有能夠識(shí)別觀看者64何時(shí)已轉(zhuǎn)移其頭部的視頻分析軟件。因此，當(dāng)觀看者64向右移動(dòng)時(shí)，他間接地或無(wú)心地告知系統(tǒng)他希望看到與出現(xiàn)在其計(jì)算機(jī)的屏幕上的對(duì)象相關(guān)聯(lián)的不同視點(diǎn)(視角)。實(shí)質(zhì)上，觀看者64正請(qǐng)求來(lái)自不同視角的示圖，由此，請(qǐng)求來(lái)自在遠(yuǎn)程位置處的不同相機(jī)的示圖。該討論自身還涉及圖2以及給定觀看者可變更其視角并將其自身與不同的相機(jī)和不同的投影儀重新關(guān)聯(lián)的方式。隨著觀看者64向右移動(dòng)，他移動(dòng)到與投影儀#2對(duì)齊。通過(guò)類似的方式，隨著觀看者64向左移動(dòng)，他將其自身與投影儀#1對(duì)齊。在圖4的體系架構(gòu)的上下文中，隨著觀看者64向左移動(dòng)并從投影儀#1接收信息，服務(wù)器72具有指示投影儀 #2停止投影圖像數(shù)據(jù)的智能。另外，在一個(gè)示例實(shí)施例中，隨著投影儀#2被指示停止投影圖像數(shù)據(jù)，相機(jī)#2也應(yīng)當(dāng)停止捕獲和/或在網(wǎng)絡(luò)上發(fā)送圖像數(shù)據(jù)。這可提供相當(dāng)高的效率并節(jié)約帶寬，因?yàn)椴辉僭诰W(wǎng)絡(luò)上發(fā)送該不必要的信息。圖5是示出了系統(tǒng)M的簡(jiǎn)化示意圖，該系統(tǒng)可允許給定觀看者在單個(gè)視頻流被選擇的單個(gè)點(diǎn)80處控制各種視頻流。描繪了多個(gè)相機(jī)，以便捕獲與對(duì)象88相關(guān)聯(lián)的圖像數(shù)據(jù)。服務(wù)器84被配置為與網(wǎng)絡(luò)90相耦合，并且，服務(wù)器可在服務(wù)器84的對(duì)應(yīng)存儲(chǔ)器中接收并分析觀看者64的虛擬圖像82。在虛擬圖像82之下是針對(duì)該特定用戶的虛擬圖像集92 的頭部定位變化的說(shuō)明。注意，虛擬圖像82和虛擬圖像92是相同的虛擬圖像，虛擬圖像92 示出觀看者64的頭部運(yùn)動(dòng)。示出了帶有箭頭的線[左和右]以示出在虛擬圖像82中相對(duì)于圖像的中心的頭部的位置(左/右)。觀看者位置可選擇將要發(fā)送的特定媒體流。該觀看者位置可相對(duì)于觀看者的PC 60的特定屏幕而被導(dǎo)出。在某種意義上，通過(guò)面部指示，或通過(guò)頭部運(yùn)動(dòng)，觀看者正控制從相機(jī)陣列20向其呈現(xiàn)的視頻流。注意，為了輔助來(lái)自多個(gè)相機(jī)的視頻中的轉(zhuǎn)換，對(duì)來(lái)自多個(gè)相機(jī)的個(gè)子視頻幀的媒體捕獲可被同步。還要注意，選擇處理可通過(guò)觀看者的個(gè)人計(jì)算機(jī)來(lái)執(zhí)行，或者，存在用于通過(guò)附接到網(wǎng)絡(luò)的服務(wù)器[例如， 圖5的服務(wù)器84]執(zhí)行視頻分析(或視頻流選擇)的選項(xiàng)。在圖5中所描繪的虛線用作對(duì)正向觀看者示出的視頻流的控制。因此，該虛擬開關(guān)正選擇哪個(gè)相機(jī)正將其圖像在網(wǎng)絡(luò)90上發(fā)送并發(fā)送給觀看者。因此，與使相機(jī)的完整陣列連續(xù)地在網(wǎng)絡(luò)上發(fā)送圖像數(shù)據(jù)相反，來(lái)自單個(gè)相機(jī)的圖像數(shù)據(jù)可被選擇并在網(wǎng)絡(luò)上傳播。前者的這種發(fā)送不僅浪費(fèi)，而且在處理方面還很笨拙，另外，很可能給網(wǎng)絡(luò)鏈接和終端帶來(lái)無(wú)法處理這么大量的數(shù)據(jù)的不可能的帶寬情景。在該情景中，接收側(cè)僅接收與單個(gè)相機(jī)相關(guān)聯(lián)的圖像數(shù)據(jù)，因此，其僅接收單個(gè)媒體流。相反地，發(fā)送側(cè)僅發(fā)送來(lái)自單個(gè)相機(jī)的圖像數(shù)據(jù)，并且，該活動(dòng)通過(guò)觀看者在其計(jì)算機(jī)前方向左和向右移動(dòng)而被指示。重要的是，觀看者能夠從不同側(cè)看到對(duì)象88，其增強(qiáng)了其對(duì)對(duì)象88的感知或形象化。系統(tǒng)可利用商用現(xiàn)成的(off-the-shelf) (COTS) PC和2D顯示器來(lái)向用戶提供從多個(gè)示圖(其作為頭部位置的函數(shù))觀看圖像的能力。這可利用2D顯示器給觀看者提供3D觀看能力。在另一示例操作流中，系統(tǒng)可利用臉部檢測(cè)算法來(lái)檢測(cè)本地參與者相對(duì)于其個(gè)人計(jì)算機(jī)的位置。在該示例中，視頻相機(jī)與個(gè)人計(jì)算機(jī)集成，這還是許多個(gè)人計(jì)算機(jī)(例如， 蘋果計(jì)算機(jī))的當(dāng)前特征。該特定用戶(具有視頻能力的個(gè)人計(jì)算機(jī))正參與到與遠(yuǎn)程的遠(yuǎn)程監(jiān)控用戶的視頻會(huì)議中。個(gè)人計(jì)算機(jī)視頻相機(jī)捕獲本地參與者的圖像，并且將其發(fā)送到處理平臺(tái)或與網(wǎng)絡(luò)附接的服務(wù)器，以用于處理和后續(xù)向遠(yuǎn)程站點(diǎn)的分布。服務(wù)器可包括諸如思科的媒體體驗(yàn)引擎(MXE)(其為可附接到網(wǎng)絡(luò)的處理元件)的圖像處理平臺(tái)。MXE通過(guò)最優(yōu)化以任意格式向任意設(shè)備的傳遞來(lái)簡(jiǎn)化網(wǎng)絡(luò)上的媒體共享。其還可提供媒體轉(zhuǎn)換、實(shí)時(shí)后期生產(chǎn)、編輯、 格式化和用于視覺(jué)通信的網(wǎng)絡(luò)分布。系統(tǒng)可利用實(shí)時(shí)的臉部和眼睛識(shí)別算法來(lái)檢測(cè)參與者的眼睛在視頻幀中的位置。在該示例中，系統(tǒng)分析本地用戶的眼睛在視頻幀中的位置。然后，系統(tǒng)向本地用戶呈現(xiàn)相對(duì)其在視頻幀中的位置的媒體流。在該示例實(shí)施例中，可在終端個(gè)人計(jì)算機(jī)或在數(shù)字信號(hào)處理(DSP)級(jí)別來(lái)完成對(duì)在視場(chǎng)70中(或虛擬圖像82的對(duì)應(yīng)幀)的觀看者頭部的具體位置的分析。隨著系統(tǒng)檢測(cè)本地會(huì)議參與者[例如，觀看者64]相對(duì)于其個(gè)人計(jì)算機(jī)的位置，系統(tǒng)從多個(gè)遠(yuǎn)程站點(diǎn)相機(jī) 20所捕獲的媒體流中選擇合適的媒體流，并且，將其呈現(xiàn)給本地參與者/觀看者。根據(jù)一個(gè)實(shí)施例，對(duì)將要呈現(xiàn)給個(gè)人計(jì)算機(jī)的視頻流的選擇在源處被完成。如此， 遠(yuǎn)程站點(diǎn)無(wú)需發(fā)送來(lái)自所有相機(jī)的視頻。相反，遠(yuǎn)程站點(diǎn)僅發(fā)送來(lái)自代表本地參與者相對(duì)于其個(gè)人計(jì)算機(jī)的視角的相機(jī)的視頻。根據(jù)另一實(shí)施例，遠(yuǎn)程站點(diǎn)將所有視頻流發(fā)送到可附接到網(wǎng)絡(luò)的處理服務(wù)器。在處理服務(wù)器處作出應(yīng)當(dāng)選擇哪個(gè)視頻流并將其發(fā)送到本地個(gè)人計(jì)算機(jī)的決定。在任意情形中，本地參與者相對(duì)于其個(gè)人計(jì)算機(jī)的位置可支配媒體選擇處理。在當(dāng)系統(tǒng)檢測(cè)到多個(gè)人正注視相同的個(gè)人計(jì)算機(jī)屏幕時(shí)的情形中，系統(tǒng)具有多種其可執(zhí)行的政策。例如，系統(tǒng)可被默認(rèn)配置為單個(gè)示圖并呈現(xiàn)來(lái)自遠(yuǎn)程房間的中間的示圖。 第二選項(xiàng)可涉及系統(tǒng)檢測(cè)(來(lái)自本地參與組中的)哪個(gè)參與者是發(fā)言人，然后，呈現(xiàn)與在房間中的最近發(fā)言人的位置相關(guān)聯(lián)的媒體流。在第三選項(xiàng)中，系統(tǒng)可檢測(cè)在個(gè)人計(jì)算機(jī)觀看者中排名最高的人(例如，利用公司目錄)，并且呈現(xiàn)來(lái)自其視點(diǎn)的會(huì)議。在其他情形中，可將等級(jí)預(yù)編程到系統(tǒng)中，或者，在視頻會(huì)議的開始/建立處將等級(jí)預(yù)編碼到系統(tǒng)中。存在許多這種系統(tǒng)可提供的重要優(yōu)點(diǎn)。例如，與昂貴的多視角顯示器(諸如，在圖 1中所描述的多視角顯示器)相比，系統(tǒng)可利用現(xiàn)成的個(gè)人計(jì)算機(jī)以獲得所意欲的功能。該體系架構(gòu)將對(duì)3D功能的訪問(wèn)授予利用簡(jiǎn)單個(gè)人計(jì)算機(jī)的任意用戶。另外，在該說(shuō)明書中此處所概述的示例可僅將單個(gè)視頻流發(fā)送到個(gè)人計(jì)算機(jī)用戶。因此，具有有限帶寬(例如，數(shù)字用戶線(DSL)連接)的在家中的用戶可使用該系統(tǒng)。另外，這種系統(tǒng)可很好地?cái)U(kuò)展，因?yàn)獒槍?duì)多個(gè)昂貴的投影儀和多視角屏幕的需求被消除了。所提供的體系架構(gòu)還可與多個(gè)觀看者操作。某些示例配置包括當(dāng)檢測(cè)到多于一個(gè)觀看者時(shí)默認(rèn)設(shè)置為2D系統(tǒng)的能力。另外， 系統(tǒng)可利用處理服務(wù)器(例如，MXE)，該處理服務(wù)器將對(duì)相對(duì)于觀看者的位置的合適媒體流的3D功能選擇移動(dòng)到網(wǎng)絡(luò)中。圖6是用于實(shí)施3-D視頻會(huì)議的系統(tǒng)110的簡(jiǎn)化示意圖。隨著討論進(jìn)行到圖6，一個(gè)重要的主題出現(xiàn)了，并且，其與提供以上所概述的3-D功能相關(guān)，但是具有更少的裝置， 因此具有更少的花銷。圖6包括相機(jī)#1(116)和相機(jī)#2(114)，其被設(shè)置在所希望的角度處以捕獲與對(duì)象12相關(guān)聯(lián)的圖像數(shù)據(jù)。這些相機(jī)可將視頻流(如在圖6中Vl和V2所描繪的)饋送到可包括圖像合成器120的服務(wù)器115中。這兩個(gè)元件可位于相同的位置，或可替換地，被設(shè)置為分離的組件。圖像合成器120可處理相機(jī)所捕獲的視頻流，以便產(chǎn)生來(lái)自所希望角度的已合成視頻(這一般通過(guò)130來(lái)表示)。圖像合成器120可容易地處理相機(jī)(從兩個(gè)不同相機(jī)位置/安裝點(diǎn))所捕獲的圖像數(shù)據(jù)，以便合成從相機(jī)Cl和C2之間的任意視角所感知的對(duì)象 12的圖像。所希望的視角是可變的，并且，圖像合成器120將繼續(xù)合成這兩個(gè)相機(jī)角度之間的對(duì)象12的示圖以創(chuàng)建虛擬示圖。由于已合成的圖像可被數(shù)學(xué)地創(chuàng)建，因此，針對(duì)每一度 (或所希望的角度)來(lái)創(chuàng)建新的圖像。這改善了涉及對(duì)象12的轉(zhuǎn)換的平滑性。注意，該結(jié)果可在帶寬減少的同時(shí)被獲得，并且處理被潛在地移動(dòng)到網(wǎng)絡(luò)。
圖7是系統(tǒng)150的簡(jiǎn)化的示意圖，該系統(tǒng)將圖像合成能力合并到圖4的之前的示例布置中。如之前所說(shuō)明的，可利用視頻分析法來(lái)檢測(cè)觀看者64的末端用戶位置。基于所檢測(cè)的觀看者位置，系統(tǒng)合成來(lái)自正確的方向的視頻。因此，視頻流被合成以向觀看者64 呈現(xiàn)三維圖像，其中僅單個(gè)視頻流在網(wǎng)絡(luò)上傳播并傳播到觀看者64。根據(jù)一個(gè)實(shí)施例，當(dāng)檢測(cè)到多于一個(gè)觀看者時(shí)，系統(tǒng)150可默認(rèn)設(shè)置為特定的方向(例如，來(lái)自兩個(gè)相機(jī)中的一個(gè))，或設(shè)置為任意所希望的單個(gè)示圖[例如，對(duì)象88的前示圖]。在一個(gè)示例實(shí)現(xiàn)中，圖像合成器120可以是附接到網(wǎng)絡(luò)的DSP服務(wù)器(或如以上所標(biāo)識(shí)的MXE元件)。根據(jù)一個(gè)特定的拓?fù)洌瑘D像合成器120可與在遠(yuǎn)程站點(diǎn)的視頻相機(jī) (例如，兩個(gè)相機(jī)、三個(gè)相機(jī)，等等)處于相同的位置。圖像合成器120可從遠(yuǎn)程對(duì)象的慣常方向(例如，來(lái)自左偏60度、來(lái)自前方、以及來(lái)自右偏60度)接收有限數(shù)量的媒體流。圖像合成器120還接收所希望的方向，從該方向上合成虛擬示圖。系統(tǒng)150利用本地會(huì)議參與者相對(duì)于其PC的位置作為圖像合成器120應(yīng)當(dāng)從該方向合成虛擬示圖的方向。關(guān)于口型同步(lip synchronization)，注意，對(duì)來(lái)自遠(yuǎn)程相機(jī)的視頻流的處理和通過(guò)圖像合成器120的虛擬示圖的生成需要時(shí)間。這可導(dǎo)致在來(lái)自遠(yuǎn)程站點(diǎn)的音頻和來(lái)自圖像合成器120的對(duì)應(yīng)已合成視頻的可用性之間的延遲。例如，算法的延遲時(shí)間取決于在相機(jī)中的像素?cái)?shù)量、圖像合成器120的處理速度，以及用于計(jì)算的可用存儲(chǔ)器量。為了消除 (或最小化)口型同步問(wèn)題，系統(tǒng)150計(jì)算合成所希望的虛擬示圖所用的時(shí)間，并且相應(yīng)地延遲來(lái)自遠(yuǎn)程觀看者的音頻。不同于從十六個(gè)(或更多)方向捕獲遠(yuǎn)程參與者的圖像的其他系統(tǒng)，系統(tǒng)150可在遠(yuǎn)程站點(diǎn)處利用有限數(shù)量的視頻相機(jī)(例如，兩個(gè)、三個(gè)，等等)。例如，遠(yuǎn)程站點(diǎn)可具有三個(gè)視頻相機(jī)，該視頻相機(jī)從三個(gè)不同的方向捕獲遠(yuǎn)程參與者的圖像。出于很多原因，這種體系架構(gòu)是有優(yōu)勢(shì)的。例如，系統(tǒng)可提供遠(yuǎn)程對(duì)象的方向示圖的精細(xì)粒度，而無(wú)需多個(gè)遠(yuǎn)程相機(jī)(其可能很昂貴)。另外，隨著本地用戶變更其相對(duì)于其 PC的屏幕的位置，他可從不同的方向看到遠(yuǎn)程對(duì)象。即便是觀看者的輕微頭部運(yùn)動(dòng)(其可導(dǎo)致在視頻幀中的一個(gè)像素的移動(dòng))也可導(dǎo)致來(lái)來(lái)自不同示圖的圖像。例如，通過(guò)高分辨率本地相機(jī)，系統(tǒng)可提供上百個(gè)遠(yuǎn)程對(duì)象的不同方向的示圖，而僅利用很少數(shù)量的遠(yuǎn)程相機(jī)(例如，兩個(gè)、三個(gè)，等等)。另外，雖然其他系統(tǒng)在網(wǎng)絡(luò)上將多個(gè)連續(xù)視頻流發(fā)送到遠(yuǎn)程站點(diǎn)，但是，系統(tǒng)150 可適應(yīng)僅存在有限的可用帶寬的情景。當(dāng)圖像合成器120與遠(yuǎn)程相機(jī)處于相同的位置時(shí)， 系統(tǒng)150僅將單個(gè)視頻流發(fā)送到網(wǎng)絡(luò)中。當(dāng)圖像合成器120附接到網(wǎng)絡(luò)時(shí)，遠(yuǎn)程站帶你可將有限數(shù)量的視頻流(例如，兩個(gè)或三個(gè))發(fā)送到網(wǎng)絡(luò)。因此，系統(tǒng)150可僅利用兩個(gè)相機(jī)， 另外，可被在家中的遠(yuǎn)程用戶(其可具有通過(guò)DSL連接的有限的帶寬)使用。還注意，不同于其他隨著本地用戶將其頭部從做左邊移動(dòng)到右邊而提供抖動(dòng)圖像的系統(tǒng)，由于系統(tǒng)150可計(jì)算大量的虛擬示圖，因此系統(tǒng)150提供了具有在虛擬示圖之間的平滑轉(zhuǎn)換的優(yōu)點(diǎn)。系統(tǒng)150還可確保虛擬視頻流可實(shí)現(xiàn)口型同步。另外，另一可能的優(yōu)點(diǎn)在于對(duì)在網(wǎng)絡(luò)中合成虛擬示圖的選項(xiàng)，如此，系統(tǒng)可將大多數(shù)處理移動(dòng)到網(wǎng)絡(luò)云中?？稍诟鞣N位置處提供用于檢查觀看者的位置(例如，相對(duì)于其屏幕)的軟件。在一個(gè)示例實(shí)現(xiàn)中，該軟件被設(shè)置在此處所描述的各種服務(wù)器中。這可涉及服務(wù)器115、84、72、 40和/或30 (單獨(dú)地，或以任意合適的組合)。在其他示例中，這可涉及專用(proprietary)元件，其可設(shè)置在(或靠近)PC 60(或任意其他被在視頻會(huì)議情景中的給定末端用戶所使用的設(shè)備)處、或可被在網(wǎng)絡(luò)中的某處供應(yīng)。圖像識(shí)別和/或臉部識(shí)別軟件可識(shí)別在任意給定時(shí)刻觀看者在哪里，或基于來(lái)自之前幀的數(shù)據(jù)來(lái)識(shí)別觀看者在哪里。基于該信息，命令可被發(fā)送到遠(yuǎn)程位置，以呈現(xiàn)來(lái)自特定虛擬相機(jī)的圖像數(shù)據(jù)。來(lái)自虛擬相機(jī)的已合成視頻可位于相對(duì)于對(duì)象88的虛擬位置中。虛擬相機(jī)的方向可通過(guò)觀看者64的左/右位移而被管理。如此處在該說(shuō)明書中所使用的，術(shù)語(yǔ)“服務(wù)器”意味著包括路由器、交換機(jī)、網(wǎng)橋、 網(wǎng)關(guān)、處理器、負(fù)載均衡器、防火墻、或任意其他合適的設(shè)備、組件、元件、或操作為在網(wǎng)絡(luò)環(huán)境中交換或處理信息的對(duì)象。另外，這些服務(wù)器可包括任意合適的硬件、軟件、組件、模塊、 接口、或輔助其操作的對(duì)象。這可包括允許對(duì)數(shù)據(jù)或信息的高效交換的合適的算法和通信協(xié)議。如此處所使用的，術(shù)語(yǔ)“個(gè)人位置”[關(guān)于捕獲在計(jì)算機(jī)前方的末端用戶的位置]還包括末端用戶的頭部(和相關(guān)聯(lián)的身體)的垂直位置或水平位置(或運(yùn)動(dòng))等，并且，還包括可被系統(tǒng)檢測(cè)或識(shí)別的任意臉部或眼睛的位置。這可包括關(guān)于會(huì)議點(diǎn)(例如，計(jì)算機(jī)的屏幕)的位置(或運(yùn)動(dòng))，或任意其他類型的頭部位置，其為任意的或可通過(guò)位置檢測(cè)技術(shù)所識(shí)別，或通過(guò)存在或不存在會(huì)議點(diǎn)的其他協(xié)議來(lái)識(shí)別。任意這種方法被包括在術(shù)語(yǔ)“個(gè)人位置”中，因此，應(yīng)當(dāng)被如此地理解。在這種情景中的術(shù)語(yǔ)“計(jì)算機(jī)”包括任意類型的個(gè)人數(shù)字助理(PDA)、個(gè)人計(jì)算機(jī)(PC)、膝上型筆記本或電子筆記本、蜂窩電話、帶有視頻能力的 IP電話、I-Phone、或任意其他設(shè)備、組件、元件、或能夠在系統(tǒng)中啟動(dòng)視頻數(shù)據(jù)交換的對(duì)象。 這包括所附的面板和屏幕，其中，這種計(jì)算機(jī)可代理視頻數(shù)據(jù)，然后幫助將圖像呈現(xiàn)至后續(xù)平面。在一個(gè)示例實(shí)現(xiàn)中，處理服務(wù)器包括用于獲得此處所概述的某些或全部功能[例如，確定捕獲、發(fā)送、合成和/或接收哪個(gè)視頻流]的軟件。在其他的實(shí)施例中，該特征可設(shè)置在服務(wù)器外部或包括在某些其他網(wǎng)絡(luò)設(shè)備中，或包括在計(jì)算機(jī)(例如，個(gè)人計(jì)算機(jī))中， 以獲得這些所意欲的功能。可替換地，這些元件的二者(個(gè)人計(jì)算機(jī)和服務(wù)器)可包括可協(xié)作的該軟件(或交互軟件)，以便獲得此處所概述的媒體流選擇或合成操作。在其他實(shí)施例中，這些設(shè)備中的一個(gè)、兩個(gè)或全部可包括任意合適的算法、硬件、軟件、組件、模塊、接口或輔助其操作的對(duì)象。這些元件(服務(wù)器和個(gè)人計(jì)算機(jī))中的每一個(gè)還可包括用于存儲(chǔ)在此處所概述的控制和一般處理機(jī)制中所使用的信息的存儲(chǔ)元件。另外，這些設(shè)備中的每一個(gè)可包括可執(zhí)行軟件(例如，邏輯)或算法以執(zhí)行在此說(shuō)明書中所討論的活動(dòng)的處理器。這些組件還可將信息保存在任意合適的存儲(chǔ)元件中，諸如，隨機(jī)訪問(wèn)存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、可擦寫可編程ROM(EPROM)、電子可擦寫PROM(EEPROM)、專用集成電路(ASIC)、軟件、硬件、或任意其他合適的組件、設(shè)備、元件、或基于特定需求且合適的對(duì)象。注意，通過(guò)此處所提供的示例，可按照兩個(gè)、三個(gè)、四個(gè)或更多個(gè)網(wǎng)絡(luò)元件而描述交互。但是，這樣做僅是出于清楚和示例的目的。在某些情形中，僅通過(guò)參照有限數(shù)量的組件或網(wǎng)絡(luò)元件來(lái)描述給定流程集的功能中的一個(gè)或多個(gè)可能更容易。應(yīng)當(dāng)理解，圖7(和其教導(dǎo))的系統(tǒng)150可被很容易地?cái)U(kuò)展。圖7的體系架構(gòu)通過(guò)最小化所需帶寬和通過(guò)利用便宜的現(xiàn)成PC而代表可擴(kuò)展的體系架構(gòu)。系統(tǒng)150可容納大量組件，以及更加復(fù)雜或精致的布置和配置。因此，所提供的示例不應(yīng)當(dāng)限制范圍或阻礙系統(tǒng)150的廣泛教導(dǎo)，因?yàn)槠淇蓾撛诘貞?yīng)用到大量的其他體系架構(gòu)中。注意到參照之前的圖所描述的步驟僅示出了某些可能的情景也是很重要的，這些可能情景可通過(guò)會(huì)議系統(tǒng)10、系統(tǒng)110、系統(tǒng)150和系統(tǒng)M執(zhí)行或在其中被執(zhí)行。當(dāng)合適時(shí)，可刪除或移除某些這些步驟，或者，可相當(dāng)大地修改或變更這些步驟，只要不偏離所討論的概念的范圍即可。另外，已描述了多個(gè)這些操作被與一個(gè)或多個(gè)額外操作同時(shí)執(zhí)行或并行執(zhí)行。但是，可相當(dāng)大地改變這些操作的定時(shí)。出于示例和討論的目的，已提供了之前的操作流程。會(huì)議系統(tǒng)10、系統(tǒng)110、系統(tǒng)150和系統(tǒng)M提供了相當(dāng)大的靈活性，因?yàn)槿我夂线m的布置、次序排列、配置和定時(shí)機(jī)制可被提供，而不偏離所討論的概念的教導(dǎo)。此處所呈現(xiàn)的概念還可容易地應(yīng)用于視頻游戲應(yīng)用和相關(guān)的屏幕、裝置和/或控制臺(tái)。另外，這些所概述的概念可利用可(以某種方式)捕獲多個(gè)視角的單個(gè)相機(jī)。這可涉及某種掃描操作、或在單個(gè)相機(jī)的部分上的實(shí)際物理運(yùn)動(dòng)、或涉及其內(nèi)部組件的運(yùn)動(dòng)。任何這種單個(gè)相機(jī)配置(和任意其置換)明顯在所呈現(xiàn)的素材的范圍內(nèi)。本領(lǐng)域技術(shù)人員可確認(rèn)多個(gè)其他變更、替換、變化和修改，并且，其意欲所討論的概念包括所有這種落入所附權(quán)利要求的范圍內(nèi)的變更、替換、變化和修改。為了幫助美國(guó)專利和商標(biāo)局(USPTO)和在該申請(qǐng)上所發(fā)布的任意專利的在解釋所附權(quán)利要求的任意讀者， 申請(qǐng)人:希望可注意，申請(qǐng)人(a)并不意欲存在于存檔日期的任意所附權(quán)利要求援引35U. S. C.部分112的第六(6)段的內(nèi)容，除非文字“用于的裝置”或“用于的步驟”被特定用于特定的權(quán)利要求中；以及(b)在說(shuō)明書中的任意聲明并不意欲以任意未反映在所附權(quán)利要求中的方式限制本發(fā)明。
權(quán)利要求
1.一種方法，包括接收指示末端用戶的個(gè)人位置的數(shù)據(jù)；接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲；以及合成所述圖像數(shù)據(jù)以便傳遞在所選擇的角度處的所述對(duì)象的三維呈現(xiàn)，所述所選擇的角度基于指示所述末端用戶的個(gè)人位置的數(shù)據(jù)。
2.如權(quán)利要求1所述的方法，其中，所述合成是由被配置為與網(wǎng)絡(luò)相耦合的服務(wù)器所執(zhí)行的。
3.如權(quán)利要求1所述的方法，其中，所述合成涉及執(zhí)行數(shù)學(xué)計(jì)算的算法，使得針對(duì)所述末端用戶移動(dòng)的每一度創(chuàng)建三維呈現(xiàn)。
4.如權(quán)利要求1所述的方法，其中，視頻分析方法被用于確定所述末端用戶的個(gè)人位置。
5.如權(quán)利要求1所述的方法，其中，對(duì)所述末端用戶的個(gè)人位置的檢測(cè)由包括嵌入式相機(jī)的計(jì)算機(jī)所執(zhí)行。
6.如權(quán)利要求1所述的方法，其中，所述個(gè)人位置通過(guò)檢測(cè)臉部位置或眼睛位置的一個(gè)或多個(gè)算法來(lái)識(shí)別。
7.如權(quán)利要求1所述的方法，其中，所述合成由作為服務(wù)器的一部分的圖像合成器所執(zhí)行，所述服務(wù)器被配置為與網(wǎng)絡(luò)相耦合。
8.如權(quán)利要求1所述的方法，其中，如果在計(jì)算機(jī)屏幕處檢測(cè)到多個(gè)末端用戶，則觸發(fā)默認(rèn)機(jī)制，以提供來(lái)自多個(gè)相機(jī)中的一個(gè)的單個(gè)示圖。
9.如權(quán)利要求1所述的方法，還包括確定用于合成所述圖像數(shù)據(jù)的大致時(shí)間間隔；以及基于所述時(shí)間間隔延遲音頻數(shù)據(jù)，所述音頻數(shù)據(jù)與涉及與所述末端用戶的視頻會(huì)議中的一個(gè)或多個(gè)參與者相關(guān)聯(lián)。
10.如權(quán)利要求1所述的方法，其中，從與所述用戶的個(gè)人位置鄰近的多個(gè)方向同時(shí)計(jì)算多個(gè)合成圖像。
11.一種編碼在一個(gè)或多個(gè)有形介質(zhì)中以供執(zhí)行的邏輯，該邏輯在被處理器執(zhí)行時(shí)可操作用來(lái)接收指示末端用戶的個(gè)人位置的數(shù)據(jù)；接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲；以及合成所述圖像數(shù)據(jù)以便傳遞在所選擇的角度處的所述對(duì)象的三維呈現(xiàn)，所述所選擇的角度基于指示所述末端用戶的個(gè)人位置的數(shù)據(jù)。
12.如權(quán)利要求11所述的邏輯，其中，所述合成涉及執(zhí)行數(shù)學(xué)計(jì)算的算法，使得針對(duì)所述末端用戶移動(dòng)的每一度創(chuàng)建三維呈現(xiàn)。
13.如權(quán)利要求11所述的邏輯，其中，視頻分析方法被用于確定所述末端用戶的個(gè)人位置，并且所述視頻分析方法檢測(cè)所述末端用戶的臉部位置或眼睛位置。
14.如權(quán)利要求11所述的邏輯，其中，所述合成由作為服務(wù)器的一部分的圖像合成器元件所執(zhí)行，所述服務(wù)器被配置為與網(wǎng)絡(luò)相耦合。
15.如權(quán)利要求11所述的邏輯，其中，所述邏輯還可操作用來(lái)確定用于合成所述圖像數(shù)據(jù)的大致時(shí)間間隔；以及基于所述時(shí)間間隔延遲音頻數(shù)據(jù)，所述音頻數(shù)據(jù)與涉及與所述末端用戶的視頻會(huì)議中的一個(gè)或多個(gè)參與者相關(guān)聯(lián)。
16.一種裝置，包括圖像合成器，該圖像合成器被配置為接收指示末端用戶的個(gè)人位置的數(shù)據(jù)，其中，接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)，所述圖像數(shù)據(jù)由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲，其中，所述圖像數(shù)據(jù)被合成以便傳遞在所選擇的角度處的所述對(duì)象的三維呈現(xiàn)，所述所選擇的角度基于指示所述末端用戶的個(gè)人位置的數(shù)據(jù)。
17.如權(quán)利要求16所述的裝置，其中，所述圖像合成器是被配置為與網(wǎng)絡(luò)相耦合的服務(wù)器的一部分。
18.如權(quán)利要求16所述的裝置，其中，所述合成涉及執(zhí)行數(shù)學(xué)計(jì)算的算法，使得針對(duì)所述末端用戶移動(dòng)的每一度創(chuàng)建三維呈現(xiàn)。
19.如權(quán)利要求16所述的裝置，其中，視頻分析方法被用于確定所述末端用戶的個(gè)人位置。
20.如權(quán)利要求16所述的裝置，其中，如果在計(jì)算機(jī)屏幕處檢測(cè)到多個(gè)末端用戶，則觸發(fā)默認(rèn)機(jī)制，以提供來(lái)自多個(gè)相機(jī)中的一個(gè)的單個(gè)示圖。
21.—種系統(tǒng)，包括用于接收指示末端用戶的個(gè)人位置的數(shù)據(jù)的裝置；用于接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)的裝置，所述圖像數(shù)據(jù)由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲；以及用于合成所述圖像數(shù)據(jù)以便傳遞在所選擇的角度處的所述對(duì)象的三維呈現(xiàn)，所述所選擇的角度基于指示所述末端用戶的個(gè)人位置的數(shù)據(jù)。
22.如權(quán)利要求21所述的系統(tǒng)，其中，所述合成涉及執(zhí)行數(shù)學(xué)計(jì)算的算法，使得針對(duì)所述末端用戶移動(dòng)的每一度創(chuàng)建三維呈現(xiàn)。
23.如權(quán)利要求21所述的系統(tǒng)，其中，視頻分析方法被用于確定所述末端用戶的個(gè)人位置。
24.如權(quán)利要求21所述的系統(tǒng)，其中，如果在計(jì)算機(jī)屏幕處檢測(cè)到多個(gè)末端用戶，則觸發(fā)默認(rèn)機(jī)制，以提供來(lái)自多個(gè)相機(jī)中的一個(gè)的單個(gè)示圖。
25.如權(quán)利要求21所述的系統(tǒng)，還包括用于確定用于合成所述圖像數(shù)據(jù)的大致時(shí)間間隔的裝置；以及用于基于所述時(shí)間間隔延遲音頻數(shù)據(jù)的裝置，所述音頻數(shù)據(jù)與涉及與所述末端用戶的視頻會(huì)議中的一個(gè)或多個(gè)參與者相關(guān)聯(lián)。
全文摘要
在一個(gè)示例實(shí)施例中提供了一種方法，包括接收指示末端用戶的個(gè)人位置的數(shù)據(jù)，并且接收與對(duì)象相關(guān)聯(lián)的圖像數(shù)據(jù)。該圖像數(shù)據(jù)可由在第一角度處的第一相機(jī)和在第二角度處的第二相機(jī)所捕獲。該方法還包括合成所述圖像數(shù)據(jù)以便傳遞在所選擇的角度處的對(duì)象的三維呈現(xiàn)，所選擇的角度基于指示末端用戶的個(gè)人位置的數(shù)據(jù)。在更具體的實(shí)施例中，合成是由被配置為與網(wǎng)絡(luò)相耦合的服務(wù)器所執(zhí)行的。視頻分析方法可被用于確定末端用戶的個(gè)人位置。在其他實(shí)施例中，該方法包括確定用于合成圖像數(shù)據(jù)的大致時(shí)間間隔，然后基于該時(shí)間間隔延遲音頻數(shù)據(jù)。
文檔編號(hào)H04N7/18GK102342100SQ201080010988
公開日2012年2月1日 申請(qǐng)日期2010年3月7日 優(yōu)先權(quán)日2009年3月9日
發(fā)明者什穆埃爾·謝弗, 蓋德·喬爾特 申請(qǐng)人:思科技術(shù)公司