用于控制會議的方法、軟件產(chǎn)品和設(shè)備的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及一種用于控制會議、特別是虛擬會議的方法、軟件產(chǎn)品和設(shè)備。
【背景技術(shù)】
[0002] 時常地，會議作為視頻會議舉行。會議參與者可以從世界的任何地方參與會議。作 為示例，對話伙伴中的一些在房間里坐在一起，并且其他人單獨(dú)地坐著工作或在他們的家 庭辦公室里。在其中所有參與者在房間里坐在一起的真實(shí)會議中，每個參與者能夠個別地 轉(zhuǎn)向個體參與者并例如從他們的面部表情和反應(yīng)、行為和情緒來得出更精確的結(jié)論，以及 相應(yīng)地調(diào)整他們自己的行為。在視頻會議中，全部的參與者擁有同一視圖，該視圖是全部參 與者的聚合（aggregate)視圖并是由會議服務(wù)器創(chuàng)建的。個體參與者的設(shè)置(例如相機(jī)取 向、縮放）影響對全部參與者的表現(xiàn)（representation)。個別地觀察個體參與者是不可能 的。
[0003] 已知視頻會議的表現(xiàn)可以被操縱，使得可以基于逐個情況地控制來自會議遠(yuǎn)側(cè)的 相機(jī)。然而，這具有對于全部會議參與者的暗示，并也不創(chuàng)建個體視圖，而僅僅影響聚合視 圖。另外，經(jīng)常地重新調(diào)整(多個）相機(jī)可能在會議期間產(chǎn)生某些焦慮，這是不合期望的。

【發(fā)明內(nèi)容】

[0004] 本發(fā)明解決的一個問題是提供用于控制會議期間的通信的一種方法和設(shè)備，其中 所述方法和設(shè)備能夠至少部分地克服前面提到的現(xiàn)有技術(shù)的缺陷。特別地，本發(fā)明解決的 一個問題是提供用于控制會議期間的通信的一種方法和設(shè)備，其中所述方法和設(shè)備能夠改 進(jìn)會議參與者的個體觀察可能性以及優(yōu)選地向他提供個體或所選參與者的專有（private) 視圖。
[0005] 根據(jù)本發(fā)明，通過獨(dú)立權(quán)利要求的特征至少在部分方面解決了所述問題。本發(fā)明 的有利實(shí)施例和發(fā)展被提供在從屬權(quán)利要求中。
[0006] 根據(jù)本發(fā)明的一個方面，提出了一種用于控制虛擬會議的方法，并且該方法包括 以下步驟： a) 計(jì)算多個會議環(huán)境的相應(yīng)虛擬圖像，所述多個會議環(huán)境包括一個或若干個參與者， 并借助于通信技術(shù)連接； b) 借助于全部會議環(huán)境的虛擬圖像，計(jì)算聚合表現(xiàn)（aggregaterepresentation),其 針對相應(yīng)會議環(huán)境之一而調(diào)整； c) 向相應(yīng)會議環(huán)境的全部參與者提供所述聚合表現(xiàn)； d) 借助于相應(yīng)會議環(huán)境的聚合表現(xiàn)，計(jì)算針對個體參與者而調(diào)整的個體表現(xiàn) (individualrepresentation)，所述個體參與者是所述會議環(huán)境的部分，以及 e) 向個體參與者提供所述個體表現(xiàn)，而同時提供根據(jù)步驟c)的聚合表現(xiàn)； 就本發(fā)明而言，虛擬會議是若干個、優(yōu)選地多于兩個參與者之間借助于交換音頻和視 頻數(shù)據(jù)的通信事件，其中數(shù)據(jù)的交換通過電子通信手段而發(fā)生，優(yōu)選地經(jīng)由基于分組的協(xié) 議，諸如TCP/IP或類似物。這樣做時，每個會議環(huán)境的視頻信息通常經(jīng)由一個或若干相機(jī) 來記錄，并且每個會議環(huán)境的音頻信息通常經(jīng)由一個或若干麥克風(fēng)來記錄。在例如因?yàn)橄?應(yīng)會議環(huán)境是移動電話或類似設(shè)備或者因?yàn)橛捎谄渌驔]有相機(jī)可用而不能提供視頻 信息的情況下，相應(yīng)參與者可以在聚合表現(xiàn)中呈遞（render)為人形、替代圖像、靜止圖像或 符號。就本發(fā)明而言，虛擬圖像是指來自相應(yīng)視頻和/或音頻信息的會議環(huán)境的視覺和/ 或聽覺、優(yōu)選地視聽、特別是空間的表現(xiàn)。理想地，但不是必要的，為會議環(huán)境內(nèi)的每個參 與者指派至少一個相機(jī)和一個麥克風(fēng)；結(jié)果，對于每個參與者，當(dāng)創(chuàng)建虛擬圖像時，存在允 許分離參與者的個體視頻和音頻信息。可替換地，可以例如借助于在固定位置處安裝的相 機(jī)和/或麥克風(fēng)裝置（arrangement)以及合適的圖像識別手段而創(chuàng)建具有參與者的現(xiàn)實(shí) 空間映射的虛擬圖像。就本發(fā)明而言，聚合表現(xiàn)是全部會議環(huán)境的全部(識別的）參與者在 虛擬會議室中的虛擬布置。針對相應(yīng)會議環(huán)境而調(diào)整所述聚合表現(xiàn)，即，針對實(shí)際會議環(huán) 境的條件而調(diào)整相應(yīng)虛擬會議室中會議參與者的布置。例如，相應(yīng)會議環(huán)境的（多個）參與 者可以根據(jù)他們的實(shí)際分布而定位于虛擬會議室(聚合表現(xiàn)）的中央，而其它會議環(huán)境的參 與者定位成環(huán)繞著他們。取決于相應(yīng)會議環(huán)境的再現(xiàn)（r印roduction)可能性，參與者在 相應(yīng)虛擬會議室中的布置關(guān)于視覺以及聽覺或聲學(xué)空間，以使得可以再次取決于相應(yīng)會議 環(huán)境的再現(xiàn)可能性為參與者創(chuàng)建相對于視覺和聽覺感覺沒有矛盾的虛擬現(xiàn)實(shí)。就本發(fā)明 而言，聚合表現(xiàn)的供應(yīng)包括將對應(yīng)于聚合表現(xiàn)的視聽數(shù)據(jù)傳遞至相應(yīng)會議環(huán)境的本地開會 (conferencing)單元。例如，聚合表現(xiàn)可以在每個參與者的個體終端設(shè)備上的適當(dāng)表面上 再現(xiàn)，或者它可以在對在場所有參與者可見的相應(yīng)會議環(huán)境的固定安裝的屏幕或投影系統(tǒng) 上呈遞。個體表現(xiàn)也可以是聚合表現(xiàn)；然而它根據(jù)發(fā)明方法的步驟d)針對個體參與者而調(diào) 整。換句話說，個體表現(xiàn)通常不同于聚合表現(xiàn)。可以應(yīng)個體參與者的請求或歸因于個體參 與者之前已知的偏好來計(jì)算個體表現(xiàn)。
[0007] 換句話說，本發(fā)明方法在三個層次上創(chuàng)建虛擬空間：第一層次包括每個會議環(huán)境 的虛擬圖像，作為實(shí)際狀況到計(jì)算空間的轉(zhuǎn)化(盡可能地真實(shí)）；第二層次組合全部連接的 會議環(huán)境并為每個會議環(huán)境創(chuàng)建全部會議環(huán)境的全部參與者的虛擬空間，其中虛擬室對于 相應(yīng)會議環(huán)境的全部參與者是公共的（如果可適用的話，為其創(chuàng)建了聚合表現(xiàn)的相應(yīng)會議 環(huán)境的參與者較少）；以及第三層次使得能夠?yàn)槊總€參與者創(chuàng)建個體虛擬空間，其中第二 和第三層次的表現(xiàn)同時提供至參與者(第三層次僅提供至為其創(chuàng)建了第三層次的個體參與 者)。虛擬圖像、聚合表現(xiàn)和個體表現(xiàn)，換句話說，虛擬空間，應(yīng)首先被理解為數(shù)據(jù)結(jié)構(gòu)，所 述數(shù)據(jù)結(jié)構(gòu)在適當(dāng)設(shè)備的幫助下借助于再現(xiàn)變得可感知，但存在于數(shù)據(jù)空間內(nèi)，即使沒有 再現(xiàn)設(shè)備。使用關(guān)于相應(yīng)會議環(huán)境的單數(shù)，聚合表現(xiàn)、個體參與者、和個體表現(xiàn)也總是包括 應(yīng)用于若干相應(yīng)會議環(huán)境，和創(chuàng)建若干對應(yīng)的聚合表現(xiàn)以及對于會議環(huán)境的若干個體參與 者，和創(chuàng)建若干對應(yīng)的個體表現(xiàn)。本發(fā)明方法創(chuàng)建會議的新的虛擬整體視圖，其構(gòu)建于其中 全部參與者坐在同一房間中的真實(shí)會議的可能性之上。會議參與者的個體觀察可能性得以 改進(jìn)，并且參與者接收個體或選擇的參與者的專有視圖。因此，開會單元或會議服務(wù)器不僅 控制有關(guān)視頻和/或音頻的會議的共同視圖，而且還提供用于每個參與者/會議室的唯一 邏輯單元。這個個體邏輯單元可以被個別地控制：縮放、選人等。每個會議參與者接收虛擬 會議室的專有視圖。
[0008] 本發(fā)明方法的步驟a)到e)可以由中央開會單元、特別是會議服務(wù)器來執(zhí)行。中 央開會單元還可以通過會議環(huán)境之一的本地開會單元來實(shí)現(xiàn)，所述本地開會單元還將承擔(dān) 對其它會議環(huán)境的控制任務(wù)。
[0009] 可替換地，步驟b)到e)可以由本地開會單元來執(zhí)行，所述本地開會單元被指派給 相應(yīng)會議環(huán)境，其中步驟b)的前面可以有接收全部其它會議環(huán)境的虛擬圖像的步驟。例如， 虛擬圖像可以由中央會議服務(wù)器提供，或者它們可以直接地接收自個體(其它）本地開會單 JLi〇
[0010] 另一個替換方案是，讓步驟d)和e)由被指派給相應(yīng)會議環(huán)境的本地開會單元來 執(zhí)行，其中步驟d)的前面可以有接收對于相應(yīng)開會單元的聚合表現(xiàn)的步驟。例如，聚合表 現(xiàn)可以從而由中央會議服務(wù)器來提供。
[0011] 步驟d)的前面可以有接收和/或處理相應(yīng)參與者的個體需求的步驟。例如，個體 需求可以包括相應(yīng)參與者的預(yù)先設(shè)置或?qū)崟r選擇，而在計(jì)算個體表現(xiàn)的步驟d)中，應(yīng)用相 應(yīng)參與者的個體需求。特別地，所述需求可以包括來自具有以下各項(xiàng)的組中的至少一個： ?參與者的空間布置； ?對一個或多個參與者和/或?qū)ο筮M(jìn)行移除、添加、調(diào)整大?。??將一個或多個參與者置于分離的表現(xiàn)(例如窗口）中； ?諸如一個或多個參與者的上下文數(shù)據(jù)、心情、個人和/或職業(yè)關(guān)系數(shù)據(jù)、私人聯(lián)系細(xì) 節(jié)之類的元數(shù)據(jù)或附加信息的表現(xiàn)； ?為個體源、例如參與者，加強(qiáng)或減弱收聽水平。
[0012] 關(guān)于示出的參與者的元數(shù)據(jù)和上下文數(shù)據(jù)可以由服務(wù)自動地確定。
[0013] 在本發(fā)明的一個實(shí)施例中，個體參與者的需求可以經(jīng)由語音輸入來傳送。這個實(shí) 施例為移動參與者提供了操縱優(yōu)勢。在移動終端設(shè)備上提供個體表現(xiàn)也是可能的。
[0014] 在一個優(yōu)選實(shí)施例中，聚合表現(xiàn)提供了虛擬空間中參與者的均勻的視覺和/或聲 學(xué)分布。這提供了參與者的最優(yōu)映射和定位，同時保存了資源。自然地，均勻分布受關(guān)于每 個會議環(huán)境的再現(xiàn)可能性限制。因此，視覺表現(xiàn)不能通過簡單的移動電話再現(xiàn)，并且經(jīng)由 簡單揚(yáng)聲器的聲學(xué)表現(xiàn)受限于信號總和。然而，例如，應(yīng)移動電話用戶的請求，個體參與者 的音頻信號可以被加強(qiáng)或減弱，并且恰當(dāng)?shù)臑V波手段可以增加聚合表現(xiàn)中的清晰度和