專利名稱：用于遠程臨場通信的方法、系統(tǒng)和裝置的制作方法
技術領域：
本發(fā)明涉及使用聲像技術的人際通信，特別涉及用于聲像信息傳送與接收的方法和系統(tǒng)。
背景技術：
有許多這樣的情況，一個或多個作為個體的人要觀察各種對象或其他的個人，并可能與之交流。當兩個或者多個個體需要聚會并討論共同感興趣的問題，一種通常的辦法就是實際的(面對面)會議。這種形式的會議具有其優(yōu)點，如直接的個人接觸，并可給予各個個體最有效交流的能力，因可以保持眼神交流，并且可以很容易明白身體的姿態(tài)，如面部表情、手勢和身體姿勢。對許多聚會，這是一種優(yōu)選的交換媒介，如果信息就在會議現(xiàn)場，則可以透明地交換大量信息。
在某些特定情形中，例如長距離通信，安排這樣的面對面會議可能是耗時的或代價非常昂貴的。在這些情形中，最常用的辦法是通過電話、經由電子郵件或電話會議來交換信息。這些辦法中的每個都有嚴重的缺陷。電話交談不能提供視覺暗示，而這可能對商業(yè)決策是很重要的。而且當聚會涉及兩個以上的人的時候，電話交談很難應付這種情況。電子郵件和普通郵政服務比起面對面的聚會要慢許多，而且不能提供面對面聚會中所具有的視覺或聲音暗示。視頻電話會議裝備的使用使得身在遙遠地點的各個人可以通過聲/像通信來聚會和交換信息。
但是，兩個或多個人之間的面對面聚會與使用視頻電話會議的聚會之間存在重要的差異。后者不能提供與前者同樣的體驗。在面對面的聚會中，我們可以通過三維立體方式、通過顏色并以合適的尺寸來觀察其他的人。更重要的是，我們具有進行眼神交流并維持眼神交流的能力。視覺信息有助于產生個人的臨場感(sense of presence)。視頻電話會議當前的技術狀況不能提供這種效果。視頻電話會議也不能提供在親臨聚會時可以體會的表情和身體動作的細微差別，因整個圖像都是以相同的比例來傳輸?shù)?。這樣，皺眉或微笑在面對面情形中的影響要大于在使用視頻電話會議情形中的影響，因視頻電話會議并不傳輸嘴周圍的確切神態(tài)和細節(jié)。另外，將存留在特定地點的非面對面信息，如報告、文件等，同參與視頻電話會議的其他人交換也受到限制。因此，利用現(xiàn)有的電話會議技術很難傳輸所期望的質量和數(shù)量的面對面信息和非面對面信息。


本發(fā)明新穎的技術特征在權利要求書中特別說明。通過參考下面的結合附圖的本發(fā)明詳細說明，可以很好地理解本發(fā)明的組織結構和操作方法，連同其目的和優(yōu)點。附圖包括圖1是根據本發(fā)明特定實施例的支持虛擬電話會議的系統(tǒng)的框圖。
圖2是根據本發(fā)明特定實施例的描述虛擬電話會議的流程圖。
圖3是根據本發(fā)明特定實施例的虛擬對話會議的框圖。
圖4是根據本發(fā)明特定實施例的示例性的支持虛擬電話會議的系統(tǒng)的更詳細框圖。
圖5示出了根據本發(fā)明特定實施例的各種類型的獲取元件。
圖6示出了根據本發(fā)明特定實施例的示例性的數(shù)據獲取系統(tǒng)。
圖7示出了根據本發(fā)明特定實施例的圖像獲取流程。
圖8示出了根據本發(fā)明特定實施例的圖像生成和顯示流程。
圖9示出了根據本發(fā)明特定實施例的示例性三維模型。
圖10示出了根據本發(fā)明特定實施例的簡化的在虛擬地點的第一和第二參會者之間的電話會議。
圖11示出了根據本發(fā)明特定實施例的具有在虛擬地點的多個參會者的電話會議。
圖12示出了根據本發(fā)明特定實施例的具有共享目標和多個參會者的電話會議。
具體實施例方式
本發(fā)明可以有許多不同形式的實施例，在附圖中示出了特定的實施例并將在此詳細說明，應該理解這里公開的內容應看作是本發(fā)明原理的一個例子，而不是要把本發(fā)明限制在所示出和說明的特定實施例。在下面的說明中，在附圖的幾個圖中，相同的參考標號用于描述相同、相近或相對應的部件。
參見圖1，示出了支持在第一地點100的第一參會者和在第二地點200的第二參會者之間虛擬地點的虛擬電話會議的系統(tǒng)的框圖。該系統(tǒng)按照遠程臨場(telepresence)的方式對本地參會者提供有關一個或多個遠程參會者的聲像信息的收集、處理和顯示，對此將說明。利用來自遠程參會者和本地參會者的聲像信息的收集和處理，以及遠程和本地參會者之間的交互，以及虛擬地點的環(huán)境數(shù)據，可以在為本地參會者做成的電話會議虛擬地點的環(huán)境中，以本地參會者的視角生成、更新和顯示一個或多個遠程參會者的虛擬表示或化身。本發(fā)明的遠程臨場電話會議可以擴展規(guī)模，以適應任何數(shù)量的參會者。除參會者1和參會者2之外，增加到虛擬電話會議的每一個參會者可以使用圖1中所示出的功能，根據可用的內存和潛在的要求，使所存儲的有關增加的參會者的模型信息可被電話會議中其他的每個參會者使用，以便為給定的本地參會者生成電話會議中所有遠程參會者的虛擬表示或化身。
分別有獲取/跟蹤元件104、204來獲取由參會者1、2的特征產生的暗示數(shù)據。這里所說的暗示數(shù)據是指由參會者的特定被監(jiān)視特征所產生的數(shù)據，例如嘴、眼和臉等。所述暗示數(shù)據用于提供信息，來增強電話會議虛擬地點的參會者所體驗的、稱作遠程臨場的實際臨場感。暗示數(shù)據可以是圖像和/或聲音?？梢暟凳緮?shù)據是指可由特征的運動來暗示的這類特征的運動的獲取數(shù)據，例如眉毛和嘴的動作、眨眼動作等，或者可以暗示進行階段性自動更新。暗示數(shù)據還可以有聲音部分，并且聲音暗示數(shù)據的獲取可由參會者的嘴所產生的聲音或嘴本身的運動來觸發(fā)。另外要收集的圖像暗示數(shù)據可以是參會者的手、頭、軀干、腿等的運動。如點頭、揮手和面部表情等姿態(tài)，這對澄清和強化意思很重要，通常會加強交流的體驗，因此對增強本發(fā)明的遠程臨場很重要。另外，獲取元件104、204可以具有跟蹤其所監(jiān)視的特定特征的運動的能力，后面將做解釋。適當?shù)墨@取元件可以包括攝像機、麥克風和頭戴式跟蹤設備。可以使用任何數(shù)量的獲取元件。例如，可以有一個攝像機用來獲取和跟蹤參會者每個眼睛的運動，另一個攝像機用來獲取如嘴運動的面部運動，以及麥克風用來獲取參會者發(fā)出的任何聲音。另外，數(shù)據獲取裝置距離要獲取其運動和聲音的參會者的遠近可以不同。在安裝在頭上的顯示器中，眼、臉、嘴、頭的跟蹤等獲取元件可以安置在該頭戴式顯示器的眼鏡里?；蛘撸@取元件可以是位于桌子、幾案或其他靠近參會者的區(qū)域上的一系列攝像機。
把數(shù)據獲取部分結合到單一集成系統(tǒng)中的一個機構是特殊設計的一副眼鏡。該眼鏡可以收集眼睛和面部跟蹤信息，以及通過長桿話筒(boom)收集的聲音信息，該話筒是收集裝置，可具有到頭戴式獲取元件的單一連接點。
從參會者收集的暗示數(shù)據由處理元件102、104來處理，從由獲取元件104、204所獲取的原始暗示數(shù)據中提取經識別和篩選的特征數(shù)據，例如瞳孔運動、眉毛運動、嘴運動等。本地參會者的該提取數(shù)據然后可以通過傳輸元件112、162傳送，由同遠程參會者相關聯(lián)的處理器來接收，在那里，使用該經提取的數(shù)據連同其他的如環(huán)境數(shù)據和視角數(shù)據，產生本地參會者在虛擬環(huán)境中的虛擬表示，用來給一個或多個遠程參會者從該遠程參會者的視角來觀看。
除了從參會者獲取圖像暗示數(shù)據之外，獲取元件104、204還用于分別從參會者1、2獲取視角數(shù)據。應該注意視角數(shù)據可以由不同于獲取元件102、204的獲取元件或與獲取元件102、204相分離的獲取元件來獲取。視角數(shù)據是指被監(jiān)視的參會者的任何朝向或運動，所述朝向或運動可能影響該參會者在電話會議的虛擬環(huán)境中的感受。因此，視角數(shù)據可以包括參會者的頭部運動或朝向改變，如轉身。例如，如果電話會議的虛擬環(huán)境要提供這樣的感覺，參會者1或2相互對面坐在虛擬會議桌的兩邊，然后，參會者1轉頭、站起、朝向參會者2俯身等動作可能都會改變虛擬環(huán)境中參會者1所看到和所聽到的內容，這樣，就稱參會者1所感受的虛擬地點的環(huán)境的視角改變了。獲取和跟蹤參會者的運動、朝向改變或其他視角數(shù)據，提供了一種類型的數(shù)據，用于處理和為參會者產生在虛擬地點的可信電話會議。用于獲取視角數(shù)據的適當獲取/跟蹤元件包括攝像機或其他的運動跟蹤元件，諸如使用地球磁場的地磁儀和測量加速度的加速度表，或者其他用于確定頭部或身體其他部位的運動朝向的方向的裝置，所述方向可能影響參會者所感受的虛擬環(huán)境的視角。
還需要有關一個或多個遠程地點上的參會者的數(shù)據，以產生遠程參會者從本地參會者的視角來看在虛擬環(huán)境中的虛擬表示。接收元件106、206與參會者1和2分別實際關聯(lián)，接收從一個或多個遠程參會者獲取的圖像暗示數(shù)據，并通過上述的遠程傳輸元件112、162在系統(tǒng)上傳輸。這樣，對于圖1中簡化的系統(tǒng)，接收元件106要從傳輸元件162接收由處理元件2152提取和處理的特征數(shù)據，該特征數(shù)據是從獲取/跟蹤元件2154由參會者2獲取的圖像暗示數(shù)據中提取的，并且通過傳輸元件2156傳輸。類似地，接收元件2156要從傳輸元件1112接收由處理元件1102提取和處理的特征數(shù)據，該特征數(shù)據是從獲取/跟蹤元件1104由參會者1獲取的圖像暗示數(shù)據中提取的，并且通過傳輸元件1112傳輸。圖1的系統(tǒng)是規(guī)?？煽s放的，意思是可以有多于兩個的參會者，在這種情況下，由接收元件106、156接收的經提取的特征數(shù)據將來自兩個和多個遠程參會者。
利用與參會者相關聯(lián)的接收元件來接收經提取的遠程特征數(shù)據，本地處理元件現(xiàn)在具有足夠的信息來產生從本地參會者的視角觀看的一個或多個遠程參會者在虛擬環(huán)境中的一個或多個虛擬表示。除了有本地接收元件接收的經提取的遠程參會者的特征數(shù)據，與本地參會者相關聯(lián)的處理元件還具有從本地參會者獲取的視角數(shù)據、遠程參會者的模型和定義虛擬電話會議所發(fā)生的虛擬地點環(huán)境的圖像聲音配置的信息。處理元件因此處理該信息，以便從本地參會者的視角產生遠程參會者在虛擬環(huán)境中的虛擬表示。該處理可以由處理元件執(zhí)行，對每個將其圖像和/或聲音信息傳送到本地接收元件的遠程參會者，處理元件從本地參會者的視角產生其在虛擬環(huán)境中的虛擬表示。
遠程參會者的經提取的圖像特征數(shù)據可以同該遠程參會者的模型(108、158)放在一起，所述模型存儲在與本地參會者相關聯(lián)的處理元件中，并可由其存取。所存儲的模型可以是二維或三維(3D)計算機模型，可以使用所接收的經提取的特征數(shù)據來更新所述模型。所述模型還可以只是遠程參會者的頭部、上半身或某種較大模型。還可以只是對不同的遠程參會者使用不同的頭部或臉部模型，而讓遠程參會者虛擬表示的其余部分采用固定的化身。通過使用特定參會者的模型108、158來區(qū)別遠程參會者虛擬表示的所述部分，這可能要受到這樣一些因素的影響，如所收集的暗示數(shù)據的數(shù)量和質量、處理能力的大小和對該任務花費的時間等。如果只從遠程參會者獲取眼睛、嘴和面部數(shù)據，則只要存儲遠程參會者頭部的針對特定參會者的模型就足夠了，例如，可以對其添加所收集和提取的特征數(shù)據。結合圖9說明3D模型的例子。
當生成遠程參會者虛擬表示的時候，有關發(fā)生電話會議的虛擬地點的環(huán)境110、160的信息也由本地處理元件來處理。環(huán)境數(shù)據利用每個參會者在其中的相對地點以及圖畫背景，如各參會者要感受的會議桌、窗戶和家具等的地點，來表示虛擬會議的安排。當產生將要顯示給本地參會者的遠程參會者虛擬表示的時候，一個或多個電話會議參會者的頭部或身體的運動可能改變該參會者觀看該環(huán)境的視角，因此必須進行跟蹤和解釋。另外，對本地參會者產生虛擬表示的處理元件還能夠按這種方式對虛擬電話會議中的每個接收了暗示數(shù)據的參會者產生虛擬表示。
分別如同所示出的元件102和152的處理元件1和2不必位于該參會者的地點。另外，它們也不必是一個分開的處理器，而可以是包含許多處理元件來執(zhí)行各種處理功能，下面將對此說明。還可以設想有中央處理元件，它包含處理元件1 102和處理元件2 152并且它可以實際位于不同于地點100和200的地點。這在圖3的框圖300中說明，其中所獲取的本地特征和視角數(shù)據以及遠程數(shù)據的處理不需要在本地執(zhí)行，例如地點1和地點2，并且可以實際由通信網絡390的處理能力來執(zhí)行該處理。利用通信網絡390來遠程傳送所獲取的參會者1和2的數(shù)據。在本發(fā)明的特定實施例中，通信網絡390是高速寬帶、低等待通信網。例如，可以在標準因特網IP鏈路上以150ms的等待時間按20fps傳送數(shù)據。
在本地地點示出遠程參會者340、380的模型，但這并不是必須的，特別當處理元件或各處理元件位于網絡中的時候；所存儲的模型可以是如示出的3D計算機模型。3D模型適合于存儲非快速變化的圖像信息，因此可使在通信網絡上必須傳送的數(shù)據量降低。在接收了遠程圖像數(shù)據之后，數(shù)據顯示部分330和360能夠更新用于建立虛擬表示的三維模型340和380。
由處理元件在虛擬環(huán)境中產生的一個或多個虛擬表示提供給再現(xiàn)元件114、164，再現(xiàn)元件114、164再現(xiàn)一個或多個虛擬表示的計算機生成數(shù)據，由顯示元件116、166顯示給本地參會者。所述顯示元件可以是本地參會者所戴的頭戴式顯示器的一部分，或者可以是任何其他合適的向參會者顯示虛擬地點環(huán)境的機構。
對于維持電話會議中兩個或多個參會者之間的真實臨場感或遠程臨場，重要的是，系統(tǒng)具有監(jiān)視和跟蹤遠程參會者或本地參會者所發(fā)生的任何變化的能力。任何這樣的改變要求虛擬環(huán)境以及其中的其他參會者的虛擬表示相應地改變。這樣，當本地接收元件接收的遠程暗示數(shù)據中發(fā)生改變，從本地參會者收集的視角數(shù)據或者虛擬地點本身環(huán)境的改變，將引起所產生的一個或多個遠程參會者虛擬表示的更新，并且更新的表示要再現(xiàn)出來，并顯示給本地參會者。
參見圖2，其中示出了描述根據本發(fā)明特定實施例的在至少兩個在虛擬地點的參會者之間電話會議的方法的流程圖。在方框210，獲取由第一參會者100的特征產生的數(shù)據和第一參會者100的視角數(shù)據。在方框220，提取所獲取的第一參會者100的特征數(shù)據中識別的模式。在方框240，執(zhí)行第二參會者200的視角數(shù)據和暗示數(shù)據的獲取以及識別數(shù)據的提取。在方框250，處理所提取的第二參會者的特征數(shù)據、第一參會者的視角數(shù)據和虛擬地點的環(huán)境數(shù)據，以產生從第一參會者的視角觀察的第二參會者的虛擬表示。在方框260，進行類似的處理，以產生從第二參會者視角觀察的第一參會者的虛擬表示。在方框270和280，這些虛擬表示可以顯示給適當?shù)膮?。如上所述，虛擬表示首先由再現(xiàn)元件再現(xiàn)，然后在諸如頭戴式顯示器的適當顯示裝置上將再現(xiàn)的虛擬表示顯示給參會者。最后，在方框290和295，根據用來產生虛擬表示的任何數(shù)據中的變化來更新所產生的虛擬表示。這樣，本地參會者的視角數(shù)據的變化，從遠程參會者獲取的暗示數(shù)據的變化或者環(huán)境數(shù)據的變化，將確保虛擬表示相應地更新。必須注意，由于連續(xù)監(jiān)視和跟蹤遠程暗示數(shù)據和本地視角數(shù)據，因此虛擬表示被階段性更新，例如每秒15次或更多。在可能以其他方式發(fā)生更新處理之前，數(shù)據的改變可以使更新處理強制發(fā)生，可以使虛擬電話會議的參會者感受“實時”面對面遠程臨場環(huán)境的感覺。
這里要注意，為建立顯示給第一參會者的第二參會者的虛擬表示，所需要的提取和處理過程要先于為建立顯示給第二參會者的第一參會者的虛擬表示的類似處理過程，如果需要，該次序可以改變，這也不脫離本發(fā)明的精神和范圍。
參見圖4，其中示出了根據本發(fā)明特定實施例的遠程臨場通信體系結構400各元件的更詳細框圖400。如圖中虛線所指示的，圖中示出的功能涉及第一和第二地點之間的數(shù)據收集。通過下面的說明可以明白，所述功能涉及通過地點1的發(fā)送框410收集、處理和傳輸?shù)臄?shù)據，以及通過地點2的接收框455接收、處理和顯示的數(shù)據。但應該理解，為實現(xiàn)完全集成的系統(tǒng)，需要有接收框和發(fā)送框來支持地點1的參會者和地點2的參會者。圖4的單向框圖將簡化下面的說明，本領域的普通技術人員可以理解完全雙向和多向的擴展。本領域的技術人員應該理解，遠程臨場通信系統(tǒng)能夠使用一個或多個寬帶鏈路以全雙工方式傳送兩個圖像。這樣，遠程地點可以包括發(fā)送組件410以及接收組件455。而且，本地地點可以包括發(fā)送組件410和接收組件455。這種配置將使得可以跟蹤、傳送、接收和顯示兩個圖像。當然，在可用處理能力、存儲區(qū)大小和等待時間的條件允許的范圍內，這也可以擴展到任意數(shù)量的地點和參會者。
由圖中的虛線可以看出，用于地點1參會者的發(fā)送框410執(zhí)行三個主要功能獲取/跟蹤、處理、和同步/傳輸。發(fā)送框410主要涉及在415、420、425各框的獲取/跟蹤，在框430和437的處理，以及在框445、450的本地獲取的參會者信息的傳輸。在框415，獲取本地音頻數(shù)據，例如地點1參會者所說的話。頭部跟蹤框420跟蹤地點1參會者的運動和朝向，并因此提供參會者1的視角數(shù)據。圖像獲取框425獲取地點1參會者的特征數(shù)據，例如參會者1的嘴、眼睛、臉等的運動。在更精準的獲取方式中，還可以獲取其他的參會者特征，例如手、臂和腿的運動?？?15、520和425都是獲取元件104、154的例子。在本發(fā)明的特定實施例中，音頻元件415是麥克風或長桿麥克風(boommicrophone)，頭跟蹤元件420是頭部跟蹤器(head tracker)、加速度表或某種組合。如果需要，可以使用帶有本地頭部跟蹤的用于空間穩(wěn)定視圖的MPEG-4樣式的面部動感播放器。圖像獲取元件425可以是若干攝像機。
圖5示出了適于獲取和跟蹤參會者的暗示特征數(shù)據和視角數(shù)據的不同類型的獲取裝置。在該圖中，參會者510的特征，例如眼睛、嘴、臉、手、頭部等，通過特征攝像機520、550和550來獲取，而跟蹤設備530能夠跟蹤這些特征的運動。聲音傳感器560獲取參會者510產生的聲音。另外，如果需要，可以通過音頻分析和在長桿麥克風中嵌入的攝像機或多個攝像機來跟蹤嘴的運動。根據本發(fā)明的實施例，一個或多個特征攝像機520、540、550，跟蹤設備530和聲音傳感器560可以安置在頭戴式顯示器中，例如眼鏡顯示器。而且根據本發(fā)明的實施例，具有一個或多個長桿攝像機(boom camera)以及聲音傳感器560的長桿話筒可以連接到一副眼鏡上。所述一個或多個遠程攝像機能夠提供嘴及其周圍的更詳細的分辨率。在本發(fā)明的特定實施例中，可以通過眼睛攝像機使用紅外光照明來補償可見光的不足。
對通過頭部跟蹤以及420獲取的聲音信息和視角數(shù)據進行處理，以產生可以傳送的有關地點1參會者的聲音信息。聲音處理框430可以隨著參會者頭部的運動修正參會者1產生的原始聲音415?？商鎿Q地，如果不需要或不要求進行本地化處理，可以直接發(fā)送在415獲取的原始聲音。計算機視覺識別元件具有特征提取435和特征跟蹤440，用于對元件420和425提供的頭部跟蹤和暗示特征數(shù)據進行處理。提取所獲取數(shù)據中所包含的最重要的特征數(shù)據并傳送，由在遠程地點2的接收器455來處理。例如，計算機視覺識別子系統(tǒng)437可以提取和跟蹤頭部、嘴、瞳孔、眼瞼、眉毛、前額等的運動或其他所感興趣的特征。在某些情況下，計算機視覺識別元件437可使用參會者本身的本地三維模型來做特征跟蹤。
根據本發(fā)明的特定實施例，在傳輸建立階段，通過在顯示給第一用戶的圖像上提供第一固定點或多個第一固定點，以及在顯示給第二用戶的圖像上提供第二固定點或多個第二固定點，來得到眼神交流的感覺。在傳輸建立階段，顯示給第一參會者的圖像中各眼睛的地點同第一固定點或多個第一固定點搭配。而且在傳輸建立階段，顯示給第二參會者的圖像中各眼睛的地點同第二固定點或多個第二固定點搭配。這種方法使得各參會者具有眼神交流的感覺，因第一固定點或多個第一固定點以及第二固定點或多個第二固定點分別提供顯示給第一參會者和第二參會者的眼睛的期望地點。通過使各參會者對應到提供給他們的可視暗示，維持眼神交流，如同現(xiàn)實中面對面的交談。
從框437提取的特征數(shù)據以及從框430處理的聲音在框445中編碼并同步。其在調制器450中經調制并傳送，由與地點2關聯(lián)的接收框455的解調器463接收。在本發(fā)明的特定實施例中，該數(shù)據使用寬帶鏈接460來傳送。
通過解調器463從地點1接收的數(shù)據，經過解調并傳遞給解碼器465。解碼器465將地點1的參會者的經解碼的音頻和提取的特征數(shù)據傳遞給聲音元件473、視圖產生框475和模型更新框480。來自頭部跟蹤元件470的參會者2的運動和朝向，稱作參會者2的視角數(shù)據，連同從參會者1接收的音頻數(shù)據，由聲音框473來處理，以便從參會者2的視角產生參會者1的虛擬表示的音頻部分，其可由音頻以及493提供。例如，考慮下面所述內容。參會者2可用的虛擬表示的音頻部分不僅受參會者說話的影響，而且還受關于虛擬環(huán)境中參會者2的軀體和頭部的朝向的影響。
在本發(fā)明的特定實施例中，編碼器445編碼空間坐標信息，以使頭部跟蹤部分470建立空間穩(wěn)定的遠程圖像的一個畫面(aspect)。注意，當通過頭部跟蹤設備420和圖像獲取設備425獲取的一個或多個畫面連接到一副眼鏡，能夠發(fā)生這種空間穩(wěn)定。在這種情況下，使用頭部跟蹤420和特征跟蹤440使得所產生的3D圖像相對頭部的運動保持穩(wěn)定。
另外，通過解碼器465，視圖產生框475和模型更新框480可使用所提取的特征數(shù)據。模型更新480使用該數(shù)據來更新存儲在框483中的地點1的參會者的模型。在特定實施例中，模型更新框480使用存儲在3D模型483中的面部數(shù)據執(zhí)行面部模型更新，以構造參會者1的虛擬表示。視圖產生框475產生從參會者2的視角觀察的參會者1的虛擬表示的視圖或多個視圖，由再現(xiàn)元件485再現(xiàn)，并通過顯示器490顯示給地點2的參會者。在本發(fā)明的特定實施例中，通過視圖產生元件475產生虛擬環(huán)境中參會者1的虛擬表示的兩個略有差異的視圖。當再現(xiàn)這兩個略有差異的視圖，并在485和490的每個顯示框中分別顯示，這將使參會者2感受參會者1的立體視圖。
參見圖6，其中示出了數(shù)據獲取系統(tǒng)600的例子。在圖中示出的獲取和跟蹤元件包括第一和第二眼睛攝像機610、620，面部攝像機630，用于獲取參會者聲音的麥克風，以及跟蹤設備650。眼睛攝像機610和620獲取各種眼睛特征的運動，包括瞳孔運動、眨眼和眉毛運動。面部攝像機630可以獲取嘴、頜、鼻和頭朝向的運動。麥克風640還可以是帶有對著參會者嘴巴的攝像頭的長桿麥克風。跟蹤設備650一直跟蹤這些特征。在圖7中，圖像獲取流700示出了由圖像獲取框710的獲取元件610、620、630、650獲取的數(shù)據隨后由框720中的視覺識別和特征提取處理來處理，以提取特定的有價值特征暗示數(shù)據。在框730中，在數(shù)據傳送之前，執(zhí)行該帶有時間和日期戳的經提取的特征數(shù)據的同步。傳送的數(shù)據由與遠程地點關聯(lián)的接收框455來接收。圖8示出了圖像產生和顯示流800，其中示出了可以在框840中產生的在遠程地點的參會者的虛擬表示的視圖，由這里可稱作視角數(shù)據的本地跟蹤數(shù)據820來產生，如果需要可對每個眼睛的3D產生立體視圖。在框850中，從遠程地點810提取的特征數(shù)據用來使存儲的遠程參會者的模型有動感。該信息又傳遞到再現(xiàn)引擎以再現(xiàn)計算機圖像，該圖像可以在框860立體化；所述再現(xiàn)的圖像可以包括前面所述的音頻信息。最后，在框870，諸如顯示屏或頭戴式顯示器的顯示元件向本地參會者顯示再現(xiàn)的圖像。
參見圖9，示出了3D模型的一個例子，可以存儲在本地，用于輔助產生遠程參會者的化身表示。在該模型的左邊是網格(wireframe)，其各頂點(vertex)存儲在內存中并定義遠程參會者的面部的幾何結構。在其右邊，展示諸如皮膚紋理、眼睛顏色的面部的紋理映射(texture map)覆蓋如示出的該網格的基本幾何結構，以提供更真實生動的遠程參會者的圖畫。反映在獲取特征數(shù)據中的更新運動表現(xiàn)為相應的網格變化。
在圖10中，示出了地點100的第一參會者、地點200的第二參的圖示以及虛擬地點1000。在圖中可以看到，在該例子中，分別在地點100和200的參會者1和2都戴著頭戴式顯示器，由此他們可以體驗虛擬遠程臨場1000。在該虛擬遠程臨場1000中，參會者11010和參會者21020都體驗著共同環(huán)境1030，雖然它不是真實的，但它利用眼神交流和其他遠程臨場特征可極大地促進虛擬聚會。在這個例子中，環(huán)境1030是流線型的，具有會議桌、每個參會者的座椅以及參會者本身。還可以設想，該虛擬環(huán)境可以包括參會者所在地點(如地點1、地點2等)的真實背景下參會者的虛擬表示，例如在圖書室或會議室的中間，其中所看到的參會者實際位于那里。如所討論的，根據本發(fā)明的電話會議可以擴展到若干各參會者。如圖11所示的虛擬電話會議1100，該電話會議至少有四個參會者1110、1120、1130和1140出席。電話會議所發(fā)生的虛擬環(huán)境1150更加復雜。而且，如該例子以及圖12中的例子所示出的，它可以比面對面的傳統(tǒng)會議更優(yōu)越，因在電話會議期間可以提供不同實際地點的各參會者之間的數(shù)據共享。在圖12中，參會者1210、1220和1230共享環(huán)境1250，其中，在虛擬電話會議期間，數(shù)據或其他所提供的對象，如視圖1260，可由某個參會者提供給其他的一個或多個電話會議參會者觀看。通過虛擬電話會議，使駐留在遠程地點的數(shù)據或其他對象信息可由不在該地點的其他人共享，這可以提供在傳統(tǒng)會議中所不能提供的大量的高質量數(shù)據共享。當電話會議中有多于兩個的人，遠程臨場可以促進多個參會者之間的人際交流的相互傳達和觀察，例如聳肩、眼色等，這通常是會談中重要的非語言信息。如果有共享的對象，例如，某個參會者可看到電話會議的其他參會者把目光投向該共享對象，或者某個參會者不再觀看該對象，等等，可以反映在實際會議中可能發(fā)生的全景式交流。
遠程臨場通信是一種新穎的方法，用來提供要與之交流的某個人或多個人的臨場感。這是傳統(tǒng)的視頻會議的替代物，可以使用三維圖像化身和增強的動畫來傳遞面對面交談的體驗。其他的方法，如寫信、打電話、發(fā)電子郵件或視頻電話會議都不能提供同面對面會議相同的體驗，簡言之，都缺乏臨場感。遠程臨場電話會議試圖要提供那種與其他的要與之發(fā)生通信的人或多人或對象實際鄰近的感覺。
遠程臨場體系結構使用一種聲像通信系統(tǒng)，能夠以三維方式向一個或多個遠程用戶傳遞本地畫面的照片，可能按真實的尺寸和真實的顏色。遠程臨場通信還能夠進行和維持遠程的眼神交流。支持遠程個人臨場感的機構提供對圖像的一個或多個特定區(qū)域的高分辨率顯示，以及以接近實時的方式更新本地和/或遠程參會者的變化。這種遠程臨場體系結構使得一個或多個參會者可接收照片信息，并從本地參會者的視角將該信息以三維圖像再現(xiàn)到顯示單元，提供適當?shù)母櫤退⑿侣省?br> 盡管結合特定的實施例說明了本發(fā)明，很顯然，通過上述的說明，本領域的普通技術人員會明白有許多替換、修改、排列和變化。因此，本發(fā)明要包含所有這些落入權利要求書范圍的替換、修改和變化。
權利要求
1.一種在虛擬地點的電話會議的方法，該電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述方法包括處理所述第一參會者所體驗的所述虛擬地點的環(huán)境的第一視角的第一多個視角數(shù)據，和從所述第二參會者獲取的第一多個暗示數(shù)據中提取的第一提取特征數(shù)據，以便從所述第一參會者的視角產生所述第二參會者在所述虛擬地點的所述環(huán)境中的第一虛擬表示；處理所述第二參會者所體驗的所述虛擬地點的環(huán)境的第二視角的第二多個視角數(shù)據，和從所述第一參會者獲取的第二多個暗示數(shù)據中提取的第二提取特征數(shù)據，以便從所述第二參會者的視角產生所述第一參會者在所述虛擬地點的所述環(huán)境中的第二虛擬表示；將所述電話會議的所述虛擬地點中的所述第二參會者的所述第一虛擬表示顯示給所述第一地點的所述第一參會者；以及將所述電話會議的所述虛擬地點中的所述第一參會者的所述第二虛擬表示顯示給所述第二地點的所述第二參會者。
2.如權利要求1所述的方法，其中顯示所述第一和第二虛擬表示還包括在由所述第一參會者所戴的第一頭戴式顯示器上，把所述第二參會者的所述第一虛擬表示顯示給所述第一參會者；以及在由所述第二參會者所戴的第二頭戴式顯示器上，把所述第一參會者的所述第二虛擬表示顯示給所述第二參會者。
3.如權利要求1所述的方法，還包括根據在所述第一多個視角數(shù)據和所述第一提取特征數(shù)據中的一個或多個的變化，更新所述第二參會者的所述第一虛擬表示，以產生更新的第一虛擬表示；把所述電話會議的所述虛擬地點中所述第二參會者的所述更新的第一虛擬表示顯示給所述第一地點的所述第一參會者；根據在所述第二多個視角數(shù)據和所述第二提取特征數(shù)據中的一個或多個的變化，更新所述第一參會者的所述第二虛擬表示，以產生更新的第二虛擬表示；把所述電話會議的所述虛擬地點中所述第一參會者的所述更新的第二虛擬表示顯示給所述第二地點的所述第二參會者。
4.一種在虛擬地點的電話會議的方法，所述電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述方法包括獲取由所述第一參會者的多個特征產生的第一多個暗示數(shù)據以及所述第一參會者所體驗的所述虛擬地點的環(huán)境的第一視角的第一多個視角數(shù)據；獲取由所述第二參會者的多個特征產生的第二多個暗示數(shù)據以及所述第二參會者所體驗的所述虛擬地點的環(huán)境的第二視角的第二多個視角數(shù)據；從所述第一多個暗示數(shù)據提取第一參會者的第一提取特征數(shù)據；從所述第二多個暗示數(shù)據提取第二參會者的第二提取特征數(shù)據；處理所述第一多個視角數(shù)據、所述第二提取特征數(shù)據以及所述虛擬地點的環(huán)境的第一環(huán)境數(shù)據，以便從所述第一參會者的視角產生所述第二參會者在所述虛擬地點的環(huán)境中的第一虛擬表示；處理所述第二多個視角數(shù)據、所述第一提取特征數(shù)據以及所述虛擬地點的環(huán)境的第二環(huán)境數(shù)據，以便從所述第二參會者的視角產生所述第一參會者在所述虛擬地點的環(huán)境中的第二虛擬表示；把所述電話會議的所述虛擬地點中的所述第二參會者的所述第一虛擬表示顯示給所述第一地點的所述第一參會者；以及把所述電話會議的所述虛擬地點中的所述第一參會者的所述第二虛擬表示顯示給所述第二地點的所述第二參會者。
5.如權利要求4所述的方法，其中顯示所述第一和第二虛擬表示還包括在由所述第一參會者所戴的第一頭戴式顯示器上，把所述第二參會者的所述第一虛擬表示顯示給所述第一參會者；以及在由所述第二參會者所戴的第二頭戴式顯示器上，把所述第一參會者的所述第二虛擬表示顯示給所述第二參會者。
6.如權利要求5所述的方法，其中，通過所述第一頭戴式顯示器的第一多個獲取元件來執(zhí)行所述第一多個暗示數(shù)據和所述第一多個視角數(shù)據的獲取，以及通過所述第二頭戴式顯示器的第二多個獲取元件來執(zhí)行所述第二多個暗示數(shù)據和所述第二多個視角數(shù)據的獲取。
7.如權利要求4所述的方法，還包括根據在所述第一多個視角數(shù)據、所述第二提取特征數(shù)據以及所述第一環(huán)境數(shù)據中的一個或多個的變化，更新所述第二參會者的所述第一虛擬表示，以產生更新的第一虛擬表示；把所述電話會議的所述虛擬地點中所述第二參會者的所述更新的第一虛擬表示顯示給所述第一地點的所述第一參會者；根據在所述第二多個視角數(shù)據、所述第一提取特征數(shù)據以及所述第二環(huán)境數(shù)據中的一個或多個的變化，更新所述第一參會者的所述第二虛擬表示，以產生更新的第二虛擬表示；把所述電話會議的所述虛擬地點中所述第一參會者的所述更新的第二虛擬表示顯示給所述第二地點的所述第二參會者。
8.如權利要求7所述的方法，還包括在由所述第一參會者所戴的第一頭戴式顯示器上，把所述更新的所述第二參會者的所述第一虛擬表示顯示給所述第一參會者；以及在由所述第二參會者所戴的第二頭戴式顯示器上，把所述更新的所述第一參會者的所述第二虛擬表示顯示給所述第二參會者。
9.如權利要求8所述的方法，其中，通過所述第一頭戴式顯示器的第一多個獲取元件來執(zhí)行所述第一多個暗示數(shù)據和所述第一多個視角數(shù)據的獲取，以及通過所述第二頭戴式顯示器的第二多個獲取元件來執(zhí)行所述第二多個暗示數(shù)據和所述第二多個視角數(shù)據的獲取。
10.如權利要求4所述的方法，其中，所述第一和第二多個暗示數(shù)據以及所述第一和第二多個視角數(shù)據的獲取分別實時地發(fā)生。
11.一種支持虛擬地點的電話會議的系統(tǒng)，所述電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述系統(tǒng)包括第一數(shù)據處理元件，處理從所述第一參會者的多個特征獲取的第一多個暗示數(shù)據，并提取經選擇的從所述第一多個暗示數(shù)據識別的特征數(shù)據，以產生所述第一參會者的第一提取特征數(shù)據；第一傳輸元件，傳輸所述第一參會者的所述第一提取特征數(shù)據；第二數(shù)據處理元件，處理從所述第二參會者的多個特征獲取的第二多個暗示數(shù)據，并提取經選擇的從所述第二多個暗示數(shù)據識別的特征數(shù)據，以產生所述第二參會者的第二提取特征數(shù)據；第二傳輸元件，傳輸所述第二參會者的所述第二提取特征數(shù)據；其中，所述第一處理元件處理與所述第一參會者所體驗的所述虛擬地點的環(huán)境的第一視角有關的第一多個視角數(shù)據、所述第二提取特征數(shù)據以及所述虛擬地點的環(huán)境的第一環(huán)境數(shù)據，以從所述第一參會者的視角產生所述第二參會者在所述虛擬地點的環(huán)境中的第一虛擬表示；其中，所述第二處理元件處理與所述第二參會者所體驗的所述虛擬地點的環(huán)境的第二視角有關的第二多個視角數(shù)據、所述第一提取特征數(shù)據以及所述虛擬地點的環(huán)境的第二環(huán)境數(shù)據，以便從所述第二參會者的視角產生所述第一參會者在所述虛擬地點的環(huán)境中的第二虛擬表示；第一顯示元件，把所述第一虛擬表示顯示給所述第一地點的所述第一參會者；第二顯示元件，把所述第二虛擬表示顯示給所述第二地點的所述第二參會者，其中，所述第一處理元件根據所述第一多個視角數(shù)據中、所述第二提取特征數(shù)據以及所述第一環(huán)境數(shù)據中一個或多個的變化，更新所述第二參會者的所述第一虛擬表示，以及其中，所述第二處理元件根據所述第二多個視角數(shù)據中、所述第一提取特征數(shù)據以及所述第二環(huán)境數(shù)據中一個或多個的變化，更新所述第一參會者的所述第二虛擬表示。
12.如權利要求11的系統(tǒng)，其中，所述第一數(shù)據處理元件、所述第一傳輸元件以及所述第一顯示元件位于所述第一地點，并且所述第二數(shù)據處理元件、所示第二傳輸元件以及所述第二顯示元件位于所述第二地點。
13.如權利要求11的系統(tǒng)，其中，所述第一和第二顯示元件是分別由第一和第二參會者所戴的第一和第二頭戴式顯示器。
14.如權利要求13所述的系統(tǒng)，還包括所述第一頭戴式顯示器的第一多個獲取元件，用于獲取所述第一多個暗示數(shù)據；以及所述第二頭戴式顯示器的第二多個獲取元件，用于獲取所述第二多個暗示數(shù)據。
15.如權利要求14所述的系統(tǒng)，其中，所述第一多個獲取元件還獲取所述第一多個視角數(shù)據，以及所述第二多個獲取元件還獲取所述第二多個視角數(shù)據。
16.如權利要求14所述的系統(tǒng)，其中，所述第一數(shù)據處理元件還包括第一視圖生成元件，其生成所述第二參會者的所述第一虛擬表示的第一和第二視圖，所述視圖由所述第一顯示元件顯示給所述第一參會者的第一和第二眼睛；以及其中，所述第二數(shù)據處理元件還包括第二視圖生成元件，其生成所述第一參會者的所述第二虛擬表示的第一和第二視圖，所述視圖由所述第二顯示元件顯示給所述第二參會者的第一和第二眼睛。
17.一種支持虛擬地點的電話會議的系統(tǒng)，所述電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述系統(tǒng)包括第一獲取元件，其從所述第一參會者獲取由所述第一參會者的多個特征產生的第一多個暗示數(shù)據，并從所述第一參會者獲取與所述第一參會者所體驗的虛擬地點的環(huán)境的第一視角有關的第一多個視角數(shù)據；第二獲取元件，其從所述第二參會者獲取由所述第二參會者的多個特征產生的第二多個暗示數(shù)據，并從所述第二參會者獲取與所述第二參會者所體驗的虛擬地點的環(huán)境的第二視角有關的第二多個視角數(shù)據；第一處理元件，其處理所述第一多個暗示數(shù)據，并提取經選擇的從所述第一多個暗示數(shù)據識別的特征數(shù)據，以產生所述第一參會者的第一提取特征數(shù)據；第二處理元件，其處理所述第二多個暗示數(shù)據，并提取經選擇的從所述第二多個暗示數(shù)據識別的特征數(shù)據，以產生所述第二參會者的第二提取特征數(shù)據；第一傳輸元件，傳輸所述第一參會者的所述第一提取特征數(shù)據；第二傳輸元件，傳輸所述第二參會者的所述第二提取特征數(shù)據；第一接收元件，其接收所述第一多個視角數(shù)據和由所述第二傳輸元件傳輸?shù)乃龅诙叩乃龅诙崛√卣鲾?shù)據；第二接收元件，其接收所述第二多個視角數(shù)據和由所述第一傳輸元件傳輸?shù)乃龅谝粎叩乃龅谝惶崛√卣鲾?shù)據其中，所述第一處理元件處理所述第一多個視角數(shù)據、所述第二提取特征數(shù)據以及所述虛擬地點的環(huán)境的第一環(huán)境數(shù)據，以從所述第一參會者的視角產生所述第二參會者在所述虛擬地點的環(huán)境中的第一虛擬表示；其中，所述第二處理元件處理所述第二多個視角數(shù)據、所述第一提取特征數(shù)據以及所述虛擬地點的環(huán)境的第二環(huán)境數(shù)據，以便從所述第二參會者的視角產生所述第一參會者在所述虛擬地點的環(huán)境中的第二虛擬表示；第一再現(xiàn)元件，耦合到所述第一處理元件以及第一顯示元件，其再現(xiàn)由所述第一顯示元件顯示的所述第二參會者的所述第一虛擬表示；第一顯示元件，從所述第一參會者的視角把所述虛擬地點的環(huán)境中的所述第二參會者的所述第一虛擬表示顯示給所述第一參會者；第二再現(xiàn)元件，耦合到所述第二處理元件以及第二顯示元件，其再現(xiàn)由所述第二顯示元件顯示的所述第一參會者的所述第二虛擬表示；第二顯示元件，從所述第二參會者的視角把所述虛擬地點的環(huán)境中的所述第一參會者的所述第二虛擬表示顯示給所述第二參會者；其中，所述第一處理元件根據所述第一多個視角數(shù)據、所述第二提取特征數(shù)據以及所述第一環(huán)境數(shù)據中一個或多個的變化，更新所述第二參會者的所述第一虛擬表示，以及其中，所述第二處理元件根據所述第二多個視角數(shù)據中、所述第一提取特征數(shù)據以及所述第二環(huán)境數(shù)據中一個或多個的變化，更新所述第一參會者的所述第二虛擬表示。
18.如權利要求17所述的系統(tǒng)，其中，所述第一和第二獲取元件分別實時地獲取所述第一和第二多個暗示數(shù)據以及所述第一和第二多個視角數(shù)據。
19.如權利要求17所述的系統(tǒng)，其中，所述第一獲取元件、第一處理元件、第一傳輸元件以及第一接收元件位于所述第一地點，并且所述第二獲取元件、第二處理元件、第二傳輸元件以及第二接收元件位于所述第二地點。
20.如權利要求17所述的系統(tǒng)，其中，所述第一和第二顯示元件分別是由所述第一和第二參會者所戴的第一和第二頭戴式顯示器。
21.如權利要求20所述的系統(tǒng)，還包括所述第一頭戴式顯示器的第一多個獲取元件，用于獲取所述第一多個暗示數(shù)據；以及所述第二頭戴式顯示器的第二多個獲取元件，用于獲取所述第二多個暗示數(shù)據。
22.如權利要求21所述的系統(tǒng)，其中，所述第一多個獲取元件還獲取所述第一多個視角數(shù)據，并且所述第二多個獲取元件還所述第二多個視角數(shù)據。
23.如權利要求17所述的系統(tǒng)，其中，所述第一數(shù)據處理元件還包括第一視圖生成元件，其生成所述第二參會者的所述第一虛擬表示的第一和第二視圖，所述視圖由所述第一再現(xiàn)元件再現(xiàn)并由所述第一顯示元件顯示給所述第一參會者的第一和第二眼睛；以及其中，所述第二數(shù)據處理元件還包括第二視圖生成元件，其生成所述第一參會者的所述第二虛擬表示的第一和第二視圖，所述視圖由所述第二再現(xiàn)元件再現(xiàn)并由所述第二顯示元件顯示給所述第二參會者的第一和第二眼睛。
24.一種支持虛擬地點的電話會議的裝置，所述電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述裝置包括接收元件，其接收從所述第一參會者獲取的并與所述第一參會者所體驗的所述虛擬地點的環(huán)境的第一視角相關的第一多個視角數(shù)據，以及從所述第二參會者獲取的第一多個暗示數(shù)據，其中所述第一多個暗示數(shù)據由所述第二參會者的多個特征產生；處理元件，耦合到所述接收元件，其處理所述第一多個視角數(shù)據、所述第一多個暗示數(shù)據以及有關所述虛擬地點環(huán)境的環(huán)境數(shù)據，以便從所述第一參會者的視角生成所述虛擬地點的環(huán)境中的所述第二參會者的虛擬表示；再現(xiàn)元件，耦合到所述處理元件，其再現(xiàn)用于顯示的所述第二參會者的所述虛擬表示；以及顯示元件，其顯示所再現(xiàn)的虛擬表示，其中，所述處理元件根據所述第一多個視角數(shù)據中、所述第一多個暗示數(shù)據以及所述環(huán)境數(shù)據中一個或多個的變化，更新所述第二參會者的所述虛擬表示。
25.如權利要求24所述的裝置，其中所述第二參會者的所述第一多個暗示數(shù)據包括由所述第二參會者面部產生的面部運動、由其頭部產生的頭部運動以及由其身體產生的身體運動中的一個或多個所暗示的數(shù)據。
26.如權利要求25所述的裝置，其中所述第二參會者的面部運動包括所述第二參會者的眼睛運動、頭運動和嘴運動中的一個或多個，并改變所再現(xiàn)和顯示給所述第一參會者的所述第二參會者的表示圖像。
27.如權利要求24所述的裝置，其中，所述處理元件根據所述第一多個視角數(shù)據和所述環(huán)境數(shù)據把所述第一多個暗示數(shù)據映射到第二參會者的三維模型，以生成所述第二參會者的所述虛擬表示。
28.如權利要求24所述的裝置，其中，所述顯示元件是頭戴式顯示器，其將所述第二參會者的所述表示顯示給所述第一參會者。
29.如權利要求24所述的裝置，其中，所述第二參會者的所述虛擬表示包括由所述處理元件從所述第二參會者的所述第一多個暗示數(shù)據產生的虛擬圖像部分。
30.如權利要求29所述的裝置，其中，所述虛擬表示還包括由所述處理元件從所述第一參會者的所述第一多個視角數(shù)據以及所述虛擬地點的環(huán)境的聲音表示中一個或多個所產生的虛擬聲音部分。
31.如權利要求30所述的裝置，其中，來自所述第一參會者的所述第一多個視角數(shù)據包括所述第一參會者的頭部運動以及在所述虛擬地點的環(huán)境中所述第一參會者的相對位置中的一個或多個，并且其中所述虛擬聲音部分隨著所述第一參會者頭部運動以及所述第一參會者在所述環(huán)境中的相對位置中一個或多個的改變而改變。
32.如權利要求30所述的裝置，其中，所述聲音表示包括所述第一參會者在所述環(huán)境中體驗的第一聲音部分、所述第二參會者在所述環(huán)境中體驗的第二聲音部分以及在所述虛擬地點中所述環(huán)境的背景音部分中的一個或多個。
33.如權利要求32所述的裝置，其中，所述虛擬聲音部分隨著所述第一參會者在所述環(huán)境中體驗的所述第一聲音部分、所述第二參會者在所述環(huán)境中體驗的所述第二聲音部分以及所述虛擬地點的所述環(huán)境的所述背景音部分中的一個或多個的改變而改變。
34.如權利要求24所述的裝置，其中，來自所述第一參會者的所述第一多個視角數(shù)據包括所述第一參會者的頭部運動和所述第一參會者在所述虛擬地點的所述環(huán)境中的相對位置中的一個或多個。
35.如權利要求24所述的裝置，其中所述處理元件還包括視圖生成元件，其生成所述第二參會者的所述虛擬表示的第一和第二視圖，由所述再現(xiàn)元件再現(xiàn)給所述第一參會者的第一和第二眼睛。
36.如權利要求24所述的裝置，還包括傳輸元件，耦合到所述處理元件，其傳輸從所述第一參會者獲取的第二多個可視暗示數(shù)據，其中所述第二多個可視暗示數(shù)據由所述第一參會者的多個特征產生。
37.如權利要求36所述的裝置，其中所述第一參會者的所述第二多個暗示數(shù)據包括通過所述第一參會者的面部運動、頭部運動和身體運動中的一個或多個所暗示的數(shù)據。
38.如權利要求37所述的裝置，其中所述第一參會者的面部運動包括所述第一參會者的眼睛運動、頭運動和嘴運動中的一個或多個。
39.如權利要求36所述的裝置，其中所述處理元件還包括視覺識別元件，其用于識別和提取由所述第一參會者的所述多個特征產生的所述多個可視暗示。
40.如權利要求39所述的裝置，其中所述視覺識別元件還用于跟蹤由所述第一參會者的所述多個特征產生的所述多個可視暗示。
41.如權利要求36所述的裝置，還包括獲取元件，其用于獲取由所述第一參會者的所述多個特征產生的所述第二多個可視暗示數(shù)據。
42.如權利要求41所述的裝置，其中所述獲取元件還包括第一獲取子元件，其獲取所述第一參會者的第一眼睛區(qū)域的運動；第二獲取子元件，其獲取所述第一參會者的第二眼睛區(qū)域的運動；以及第三獲取子元件，其獲取所述第一參會者嘴部區(qū)域的運動。
43.如權利要求42所述的裝置，其中所述獲取元件還包括第四獲取子元件，其獲取所述第一參會者的頭部的運動。
44.如權利要求24所述的裝置，其中所述第一地點是本地地點，并且所述第二地點是遠程地點。
45.如權利要求24所述的裝置，其中所述處理元件根據所述第一多個視角數(shù)據、所述第一多個暗示數(shù)據和所述環(huán)境數(shù)據中的一個或多個，更新所述第二參會者的所述虛擬表示。
46.一種虛擬地點的電話會議的方法，所述電話會議發(fā)生在第一地點的第一參會者和第二地點的第二參會者之間，所述方法包括接收從所述第一參會者獲取的并與所述第一參會者所體驗的虛擬地點的環(huán)境的第一視角相關的第一多個視角數(shù)據，以及從所述第二參會者獲取的第一多個暗示數(shù)據，并且獲取由所述第二參會者的多個特征產生的第二多個可視暗示數(shù)據；識別并提取由所述第一參會者的所述多個特征產生的所述多個可視暗示數(shù)據；處理所述第一多個視角數(shù)據、所述第一多個暗示數(shù)據以及有關所述虛擬地點的環(huán)境的環(huán)境數(shù)據，以便從所述第一參會者的視角產生所述第二參會者在所述虛擬地點的環(huán)境中的虛擬表示；再現(xiàn)所述第二參會者的所述虛擬表示，用于顯示在顯示元件上；把所再現(xiàn)的虛擬表示顯示在顯示元件上；以及根據所述第一多個視角數(shù)據、所述第一多個暗示數(shù)據和所述環(huán)境數(shù)據中一個或多個的改變，更新所述虛擬表示。
47.如權利要求46所述的方法，其中產生所述第二參會者在所述虛擬地點的所述環(huán)境中的虛擬表示的處理還包括由所述第二參會者的所述第一多個暗示數(shù)據產生虛擬表示的虛擬圖像部分。
48.如權利要求47所述的方法，還包括從所述第一參會者的所述第一多個視角數(shù)據和所述虛擬地點的環(huán)境的聲音表示中的一個或多個產生虛擬聲音部分。
49.如權利要求48所述的方法，其中來自所述第一參會者的所述第一多個視角數(shù)據包括所述第一參會者的頭部運動和所述虛擬地點的環(huán)境中所述第一參會者的相對位置中的一個或多個，并且其中所述虛擬聲音部分隨著所述第一參會者的所述頭部運動和所述環(huán)境中所述第一參會者的所述相對位置中的一個或多個的改變而改變。
50.如權利要求48所述的方法，其中所述聲音表示包括所述環(huán)境中所述第一參會者所體驗的第一聲音部分、所述環(huán)境中所述第二參會者所體驗第二聲音部分和所述虛擬地點的所述環(huán)境的背景音部分中的一個或多個。
51.如權利要求50所述的方法，還包括通過改變所述環(huán)境中所述第一參會者所體驗的第一聲音部分、所述環(huán)境中所述第二參會者所體驗第二聲音部分和所述虛擬地點的所述環(huán)境的背景音部分中的一個或多個來更新所述虛擬聲音部分。
52.如權利要求46所述的方法，還包括利用由所述第二參會者的所述多個特征產生的所述第二多個可視暗示數(shù)據來更新所述第二參會者的模型。
53.如權利要求46所述的方法，其中來自所述第一參會者的所述第一多個視角數(shù)據包括所述第一參會者的頭部運動和所述虛擬地點的環(huán)境中所述第一參會者的相對位置中的一個或多個。
54.如權利要求46所述的方法，其中產生虛擬表示的處理還包括產生所述第二參會者的所述虛擬表示的第一和第二視圖；并且其中再現(xiàn)所述虛擬表示還包括再現(xiàn)所述第二參會者的所述虛擬表示的所述第一和第二視圖，用于顯示給所述第一參會者的第一和第二眼睛。
55.如權利要求46所述的方法，還包括從所述第一參會者的多個特征產生第二多個可視暗示數(shù)據；以及傳輸從所述第一參會者獲取的第二多個可視暗示數(shù)據，其中所述第二多個可視暗示數(shù)據由所述第一參會者的多個特征產生。
56.如權利要求55所述的方法，其中所述第一參會者的所述第二多個暗示數(shù)據包括通過所述第一參會者的面部運動、頭部運動和身體運動中的一個或多個所暗示的數(shù)據。
57.如權利要求56所述的方法，其中所述第一參會者的面部運動包括所述第一參會者的眼睛運動、頭運動和嘴運動中的一個或多個。
58.如權利要求55所述的方法，還包括在產生所述第二多個可視暗示數(shù)據之后獲取所述第二多個可視暗示數(shù)據；以及從所獲取的第二多個可視暗示數(shù)據中識別和提取由所述第一參會者的所述多個特征產生的所述多個可視暗示。
59.如權利要求55所述的方法，還包括跟蹤由所述第一參會者的所述多個特征產生的所述多個可視暗示。
60.如權利要求46所述的方法，其中所述第一多個暗示數(shù)據是由所述第二參會者的多個特征產生的。
61.如權利要求60所述的方法，其中所述第二參會者的所述第一多個暗示數(shù)據包括通過由所述第二參會者面部產生的面部運動、頭部產生的頭部運動和身體產生的身體運動中的一個或多個所暗示的數(shù)據。
62.如權利要求61所述的方法，其中所述第二參會者的面部運動包括所述第二參會者的眼睛運動、頭運動和嘴運動中的一個或多個，并改變所再現(xiàn)并顯示給所述第一參會者的所述第二參會者的表示圖像。
63.如權利要求46所述的方法，其中所述第一參會者的所述第二多個暗示數(shù)據包括通過所述第一參會者的面部運動、頭部運動和身體運動中的一個或多個所暗示的數(shù)據。
64.如權利要求63所述的方法，其中所述第一參會者的面部運動包括所述第一參會者的眼睛運動、頭運動和嘴運動中的一個或多個。
65.如權利要求46所述的方法，其中獲取所述第二多個可視暗示數(shù)據還包括第一獲取子元件獲取所述第一參會者的第一眼睛區(qū)域的運動；第二獲取子元件獲取所述第一參會者的第二眼睛區(qū)域的運動；以及第三獲取子元件獲取所述第一參會者的嘴區(qū)域的運動。
66.如權利要求65所述的方法，還包括第四獲取子元件獲取所述第一參會者的頭部運動。
67.如權利要求46所述的方法，還包括跟蹤由所述第一參會者的所述多個特征所產生的所述多個可視暗示。
68.如權利要求46所述的方法，還包括處理所述第二參會者的三維模型，并把所述第二參會者的所述虛擬表示映射到所述第二參會者的所述三維模型上。
69.如權利要求46所述的方法，其中所述第一地點是本地地點，并且所述第二地點是遠程地點。
全文摘要
提供一種在多個地點(100、200)的兩個或多個參會者之間的虛擬地點的遠程臨場通信。對用來描述第一地點的第一參會者所體驗的虛擬地點環(huán)境的視角的第一視角數(shù)據以及從第二地點(210、220)的第二參會者的特征中提取的特征數(shù)據進行處理，以便從所述第一參會者(250)的視角產生該虛擬環(huán)境中所述第二參會者的第一虛擬表示。同樣，對用于說明所述第二參會者所體驗的虛擬地點環(huán)境的視角的第二視角數(shù)據進行處理，以便從所述第二參會者(260)的視角產生該虛擬環(huán)境中所述第一參會者的第二虛擬表示。把所述第一和第二虛擬表示再現(xiàn)并顯示給各參會者(260、270)。
文檔編號H04N7/14GK1732687SQ200380107819
公開日2006年2月8日 申請日期2003年12月18日 優(yōu)先權日2002年12月30日
發(fā)明者喬治·T·瓦利亞斯, 凱文·W·杰利 申請人:摩托羅拉公司