專利名稱：全向攝像機(jī)與話筒陣列的集成設(shè)計的制作方法
技術(shù)領(lǐng)域：
本發(fā)明針對一種集成式全向攝像機(jī)與話筒陣列，尤其針對能用于電話會議與會議記錄的集成式全向攝像機(jī)與話筒陣列。
背景技術(shù)：
電視會議系統(tǒng)的商業(yè)成功為數(shù)不多，這有多種原因，尤其是這些系統(tǒng)通常有多種技術(shù)上的缺陷。攝像機(jī)視點不佳和圖像分辨度不足，使與會者難以看清發(fā)言者。這樣再加上不準(zhǔn)確的發(fā)言者探測(對配備全景一傾斜一變焦攝像機(jī)的系統(tǒng)尤其如此)，使攝像機(jī)對不準(zhǔn)發(fā)言者。另外，低劣的視頻壓縮技術(shù)常常導(dǎo)致電視像質(zhì)差和圖像顯示“不連貫”。
用于電話會議的系統(tǒng)的拍攝裝置，傾向于關(guān)注少數(shù)幾個對電視會議和會議觀點有價值的數(shù)據(jù)源，包括視頻數(shù)據(jù)、音頻數(shù)據(jù)和計算機(jī)監(jiān)視器上示出的電子文件或說明。假定有共享文件與說明的各種軟件方法，則以改進(jìn)的方法捕獲音視頻數(shù)據(jù)尤受關(guān)注。
捕獲視頻數(shù)據(jù)有三種不同方法全景/傾斜/變焦(PTZ)攝像機(jī)?；诜垂忡R的全向攝像機(jī)和攝像機(jī)陣列。盡管目前大多選用PTZ攝像機(jī)，但是有兩大限制。首先，它們只能拍攝有限的視場，若它們變焦得太近，會丟失會議室場景；若變焦得過遠(yuǎn)，就看不出人的表情。其次，因控制電機(jī)要花移動攝像機(jī)的時間，故攝像機(jī)對會議的反應(yīng)(如發(fā)言者切換)很慢。實際上PTZ攝像機(jī)不能移動過多過快，否則會分散人們收看會議的注意力。
假定這些缺點和當(dāng)前的技術(shù)在基于反光鏡/棱鏡的全向視覺傳感器中有了改進(jìn)，研究人員已開始重新考慮捕獲與分析視頻的方法，如在娛樂、新聞與體育網(wǎng)上廣播中，BeHere公司提供了360°因特網(wǎng)視頻技術(shù)。運(yùn)用它的接口，遠(yuǎn)程用戶可以控制個人化的360°攝像機(jī)角度而得到“身臨其景”的體驗，與其它觀眾無關(guān)。雖然該法克服了PTZ攝像機(jī)面臨的視場有限和攝像機(jī)反應(yīng)慢這兩大難題，但是按當(dāng)今的技術(shù)和市場需求來衡量，制作這類裝置太昂貴了。此外，這些基于反光鏡/棱鏡的全向攝像機(jī)還存在分辨度低(即使有1MP個傳感器)與散焦的問題，導(dǎo)致視頻質(zhì)量低下。
在另一方法中，把多個廉價的攝像機(jī)或視頻傳感器組裝成全向攝像機(jī)陣列，如一種已知系統(tǒng)用4臺美國國家電視系統(tǒng)委員會(NTSC)攝像機(jī)構(gòu)建會議室全景。但這種設(shè)計存在若干缺點。首先，NTSC攝像機(jī)提供質(zhì)量相對低的視頻信號。另外，在能對信號分析、發(fā)射或記錄之前，4臺攝像機(jī)要用4塊視頻拍攝板對信號數(shù)字化。要用4塊視頻拍攝板增大了這類系統(tǒng)的成本和復(fù)雜性，更難制造和保養(yǎng)。
除了視頻拍攝的問題外，在會議室中捕獲高質(zhì)量音頻也提出了挑戰(zhàn)。音頻捕獲系統(tǒng)要求除去各種噪聲與混響，還須調(diào)整不同輸入信號電平的增益。一般有三種方法可滿足這些要求。最簡方法是使用緊貼話筒(如通過頭戴式話筒)，但對用戶/發(fā)言者有點不便。第二種方法是在會議桌上放一話筒，這樣避免了多條聲路，是目前最常用的會議音頻錄制法。這些系統(tǒng)用若干(一般3只)超心形話筒提供全向特性。第三種方法設(shè)置于桌上電話會議系統(tǒng)，該法在指向發(fā)言者的PTZ攝像機(jī)頂部裝一單向話筒，攝像機(jī)/話筒組由計算機(jī)控制，計算機(jī)用一組獨立的話筒作聲源定位。但該法要用兩組獨立的話筒。

發(fā)明內(nèi)容
本發(fā)明針對一種可克服電視會議與會議記錄系統(tǒng)中上述諸局限性的系統(tǒng)與處理，尤其是本系統(tǒng)與方法用集成式全向攝像機(jī)與話筒陣列完成這一任務(wù)。
在最一般的意義上，本發(fā)明包括一柱形棒，它們細(xì)得足以在聲學(xué)上不被人講話頻率范圍(50～4000Hz)看見，并將攝像機(jī)陣列接至話筒陣列，因而消除了聲音繞射與聲影。
該集成式攝像機(jī)與話筒陣列應(yīng)用的360°攝像機(jī)，設(shè)計成可克服上述各電視會議問題。360°攝像機(jī)位于會議桌中央，與典型的電視會議系統(tǒng)(攝像機(jī)在會議室一端)相比，與會者的攝像機(jī)視點甚佳。攝像機(jī)從桌面升高，可提供與會者接近的正面視點。另外，集成式攝像機(jī)與話筒陣列提供足夠的分辨度，讓遠(yuǎn)程觀眾看清與會者的面部表情(如在一工作實施例中，分辨度為300×480)。攝像機(jī)可任一全向型，或應(yīng)用攝像機(jī)陣列，或應(yīng)用帶雙曲反光鏡的單一視頻傳感器。
話筒陣列是一種平面結(jié)構(gòu)，話筒較佳地裝在話筒陣列基座里，盡量靠近桌面以消除會議桌聲反射。如前所述，攝像機(jī)用細(xì)柱棒接至話筒陣列基座，對人話音頻率范圍(即約50～4000Hz)而言，細(xì)柱棒對話筒陣列在聲學(xué)上不可見。這樣從發(fā)言者到陣列里的所有話筒形成一直達(dá)通路，可更好地實現(xiàn)聲源定位(測定發(fā)言者位置)和束形成(通過濾除非來自發(fā)言者方向的聲音而提高發(fā)言者聲音品質(zhì))。集成話筒陣列用于實行實時聲源定位，而攝像機(jī)陣列與基于計算機(jī)視覺的人檢測與跟蹤一起用來準(zhǔn)確地探測發(fā)言者處于圖像中的位置?；谝粢曨l的發(fā)言者探測可用于自動攝像機(jī)管理，大大提高了視頻壓縮(如對面部區(qū)域比背景應(yīng)用更多的位)。
集成式攝像與話筒陣列的輸出較佳地接到PC，此類應(yīng)用像圖像縫合與壓縮一樣，可實行聲源定位、束形成和攝像機(jī)管理。
集成式攝像機(jī)與話筒陣列的一工作實施例，利用1394總線將視頻傳給PC，并用模擬電纜把音頻傳給個人計算機(jī)(PC)。本例應(yīng)用了5臺提供優(yōu)質(zhì)視頻的IEEE1394攝像機(jī)，只需單個1394卡。另一實施例對所有攝像機(jī)與話筒應(yīng)用單塊印刷電路板(PCB)，使所有音視頻都通過單根1394電纜發(fā)射。該1394電纜還供電力，故攝像機(jī)與PC間僅需單根電纜。
應(yīng)用的話筒可以是全向或單向型，但全向型為優(yōu)選，因其能對所有感興趣的聲角提供均一響應(yīng)。話筒最小需求數(shù)為3個，盡管本發(fā)明一較佳實施例用了8只，以提高聲源定位精度，整個音頻系統(tǒng)的束形成與耐用性更佳。話筒較佳地在圍繞圓形平面話筒基座四周的圓圈內(nèi)等邊的安置，雖然其它配置也行。使用的話筒越多，全向音頻覆蓋和信噪比越佳。然而，要考慮到成本與大量話筒的復(fù)雜性。再者，話筒多了。音頻信號處理就更復(fù)雜。為減少桌面噪聲，可將話筒裝在橡膠箱里，話筒下面安置隔聲體。
攝像機(jī)可應(yīng)用一塊鏡頭屏，正常操作模式時朝上，保密模式時朝下?；蛘咴诒Ｃ苣Ｊ綍r，可以關(guān)閉攝像機(jī)傳感器的快門，或以電子技術(shù)隔離攝像機(jī)將其切斷。在喚醒保密模式時，最好也關(guān)閉話筒。錄制期間，攝像機(jī)上的燈光發(fā)亮，讓用戶知道攝像機(jī)在工作。當(dāng)攝像機(jī)處于保密模式時，關(guān)閉燈光。
該集成式全向攝像機(jī)與話筒設(shè)計可以有各種其它實施例，其部分原因在于系統(tǒng)的模塊化特征。如在一實施例中，所用的全向攝像機(jī)用多個視頻傳感器實現(xiàn)360°攝像機(jī)覆蓋。而在本發(fā)明另一實施例中，應(yīng)用的一臺全向攝像機(jī)，利用一個視頻傳感器和一塊捕獲360°光的雙曲面鏡頭實現(xiàn)全景覆蓋。再者，它們自己已可以應(yīng)用在聲學(xué)透明的柱棒上升高的任一種此類攝像機(jī)裝置，以提供與會者的正視圖?；蛘咚鼈兡芘c上述的話筒陣列集成在一起。或者，其它攝像機(jī)設(shè)計也可與柱棒結(jié)合使用。連接攝像機(jī)與話筒陣列的棒不一定為柱形，只要細(xì)得在50～4000Hz范圍內(nèi)不繞射聲音就行。
同樣地，如前所述，在一實施例中，為對室內(nèi)任一發(fā)言者實現(xiàn)通暢的通路且聲音離桌面最小的反射，話筒陣列包含的話筒圍繞圓周以等邊距離設(shè)置得盡量靠近桌面。然而，利用聲學(xué)透明棒能與全向攝像機(jī)裝置集成的其它話筒配置也可行。另外，可以使用剛才討論的全向話筒陣列而不用任何攝像機(jī)實現(xiàn)360°聲覆蓋。這種覆蓋因減小或消除了多徑問題，故尤其適用于聲源定位與束成形。
應(yīng)用本發(fā)明的攝像機(jī)與話筒陣列的一實施例，用計算機(jī)優(yōu)化圖像數(shù)據(jù)和音頻信號。攝像機(jī)的數(shù)字圖像輸出和話筒陣列的音頻輸出(經(jīng)模/數(shù)轉(zhuǎn)換器)傳入計算機(jī)，后者以各種功能增強(qiáng)并運(yùn)用圖像與音頻輸入，如全景圖像濾波器把全向攝像機(jī)中各傳感器拾取的圖像縫合在一起。另外，圖像數(shù)據(jù)經(jīng)壓縮，使它更適合在網(wǎng)上廣播(如因特網(wǎng))，或較佳地通過將準(zhǔn)備發(fā)送和/或錄制的音視頻輸出分離的分離器，保存到計算機(jī)可讀媒體?；蛘?，還可把圖像數(shù)據(jù)輸入個人檢測器/跟蹤器以改進(jìn)攝像機(jī)管理，如圖像/視頻包含該發(fā)言者的部分經(jīng)識別，與音頻信號相關(guān)聯(lián)，從而在他們說話時把電視會議顯示的攝像機(jī)視圖對準(zhǔn)該發(fā)言者。另外，使面部區(qū)域比背景具有更大的分辨度，可用發(fā)言者位置改進(jìn)視頻壓縮。
音頻輸入還可用于各種用的，如將音頻用于聲源定位，從而在任何指定時刻對發(fā)言者方向優(yōu)化音頻。另外，可在計算機(jī)中用束形成模塊改善音頻的束形狀，從而改善對指定方向音頻的濾波。還可用減噪與自動增益控制模塊改善信噪比，其方法是相對室內(nèi)背景噪聲，減少噪聲并調(diào)節(jié)增益，以更好地捕獲來自發(fā)言者的音頻信號。這些圖像和音頻處理模塊可以單獨或組合使用，或根本不用。
音視頻信號無論增強(qiáng)與否，都到播送到另一電視會議地點或因特網(wǎng)，也可保存到計算機(jī)可讀媒體供以后觀看。
上述集成式攝像機(jī)與話筒陣列主要用于電視會議和會議錄制。把話筒陣列與全向攝像機(jī)集成起來，明顯簡化了音視頻之間必要的校正(精密制造的攝像機(jī)和話筒陣列無須校正)，可用單個裝置獲取會議室的音視頻信息。
附圖簡介通過下面的描述、所附如權(quán)利要求和附圖，能更好地理解本發(fā)明的專用特征、方面和優(yōu)點，其中

圖1示出構(gòu)成實施本發(fā)明一示例系統(tǒng)的通用計算裝置。
圖2示出集成式攝像機(jī)與話筒陣列在會議桌上較佳的定位。
圖3A是集成式攝像機(jī)與話筒陣列一實施例的側(cè)視圖。
圖3B是圖3A所示集成攝像機(jī)與話筒陣列實施例的俯視圖。
圖4是集成式攝像機(jī)與話筒陣列另一實施例的透視圖。
圖5是本發(fā)明用計算機(jī)增強(qiáng)捕獲的音視頻數(shù)據(jù)的一工作實施例。
較佳實施例的詳細(xì)描述1.0示例的工作環(huán)境在下述本發(fā)明諸較佳實施例中，要參照構(gòu)成本發(fā)明一部分的諸附圖，圖中以示例方式示出可實施本發(fā)明的特定實施例。應(yīng)理解，也可應(yīng)用其它實施例并作出結(jié)構(gòu)上的變化而不違背本發(fā)明的范圍。
圖1示出一例可對其實施本發(fā)明的合適的計算系統(tǒng)環(huán)境100，該環(huán)境100僅是一例合適的計算環(huán)境，并不對發(fā)明的應(yīng)用范圍或功能提出任何限制。計算環(huán)境100既不解釋為具有任何相依性，也不解釋為相對示例工作環(huán)境100所示任一元件或元件組合有任何要求。
本發(fā)明與各種其它通用或?qū)Ｓ糜嬎阆到y(tǒng)環(huán)境或配置工作。適用本發(fā)明的已知計算系統(tǒng)、環(huán)境和/或配置的實例，包括但不限于個人計算機(jī)、伺服計算機(jī)、手持或膝上裝置、多處理器系統(tǒng)、基于微處理器的系統(tǒng)、機(jī)頂盒、可編程消費類電子產(chǎn)品、網(wǎng)絡(luò)PC、小型計算機(jī)、主機(jī)架計算機(jī)、包括以上任一系統(tǒng)或裝置的分布計算環(huán)境等。
本發(fā)明以計算機(jī)可執(zhí)行指令的一般范圍來描述，如計算機(jī)執(zhí)行的程序模塊。程序模塊通常包括執(zhí)行特定任務(wù)或?qū)嵤┨囟ǔ橄髷?shù)據(jù)類型的子程序、程序、目標(biāo)、元件、數(shù)據(jù)結(jié)構(gòu)等。本發(fā)明還可在分布計算環(huán)境中實施，其中由通過通信網(wǎng)連接的遠(yuǎn)程處理裝置執(zhí)行諸任務(wù)。在分布計算環(huán)境中，程序模塊可設(shè)置在本地和遠(yuǎn)程計算機(jī)存貯媒體里，包括存儲器存貯裝置。
參照圖1，實施本發(fā)明的示例系統(tǒng)包括計算機(jī)110形式的通用計算裝置。計算機(jī)110的部件包括但不限于處理單元120、系統(tǒng)存儲器130和系統(tǒng)總線121，總線121把包括系統(tǒng)存儲器的各種系統(tǒng)部件耦至處理單元120。系統(tǒng)總線121可以是若干類總線結(jié)構(gòu)的任一種，包括存儲器總線或存儲器控制器、外設(shè)總線和使用任一種總線結(jié)構(gòu)的本地總線。舉例來說，但不作限制，這類結(jié)構(gòu)包括工業(yè)標(biāo)準(zhǔn)結(jié)構(gòu)(ISA)總線、精微通道結(jié)構(gòu)(MCA)總線、增強(qiáng)型ISA(EISA)總線、視頻電子學(xué)標(biāo)準(zhǔn)協(xié)會(VESA)本地總線以及同時稱為Mezzanine總線的外設(shè)部件互連(PCI)總線。
計算機(jī)110一般包括各種計算機(jī)可讀媒體，可以是任一種計算機(jī)110能存取的現(xiàn)有媒體，包括易失與非易失媒體、可卸與不可卸媒體。舉個例但不作限制，計算機(jī)可讀媒體包括計算機(jī)存貯媒體和通信媒體。計算機(jī)存貯媒體包括以任一方法與技術(shù)構(gòu)制實現(xiàn)的易失與非易失、可卸與不可卸媒體，用于存貯計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其它數(shù)據(jù)等信息。計算機(jī)存貯媒體包括但不限于RAM、ROM、EEPROM、閃速存儲器或其它存貯器技術(shù)、CD-ROM、數(shù)字通用盤(DVD)或其它光盤存儲器、盒式磁帶、磁帶、磁盤存儲器或其它磁存貯裝置，或者任何其它可用于存貯所需信息并為計算機(jī)110存取的媒體。通信媒體一般實施計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或載波等調(diào)制的數(shù)據(jù)信號或其它傳輸機(jī)構(gòu)中的其它數(shù)據(jù)，包括任何信息提供媒體。“調(diào)制的數(shù)據(jù)信號”表示一種具有其一組或多組特性或以編碼信號中信息的方式變化的信號。舉個例但不作限制，通信媒體包括有線網(wǎng)或直接導(dǎo)線連接等有線媒體和聲學(xué)、射頻、紅外等無線媒體與其它無線媒體。以上的任一種組合也包括在計算機(jī)可讀媒體范圍內(nèi)。
系統(tǒng)存儲器130包括易失和/或非易失存儲器形式的計算機(jī)存貯媒體，如只讀存儲器(ROM)131與隨機(jī)存取存儲器(RAM)132?；据斎?輸出系統(tǒng)133(BIOS)一般貯存在ROM131里，它包含的基本子程序幫助在計算機(jī)110內(nèi)諸單元之間傳遞信息，如在啟動期間。RAM132通常包含的數(shù)據(jù)和/或程序模塊，可直接存取和/或現(xiàn)在由處理單元120對其起作用。舉個例但不作限制，圖1示出了操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136和程序數(shù)據(jù)137。
計算機(jī)110還可包括其它可卸/不可卸、易失/非易失計算機(jī)存貯媒體。僅舉個例，圖1示出3對不可卸非易失磁性媒體讀或?qū)懙挠脖P驅(qū)動器141、對可卸非易失磁盤152讀或?qū)懙拇疟P驅(qū)動器151，以及對CD-ROM等可卸非易失光盤156或其它光媒體讀或?qū)懙墓獗P驅(qū)動器155。能用于示例工作環(huán)境的其它可卸/不可卸、易失/非易失計算機(jī)存貯媒體，包括但不限于盒式磁帶、閃速存儲器卡、數(shù)字通用盤、數(shù)字像帶、固態(tài)RAM、固態(tài)ROM等。硬盤驅(qū)動器141一般通過接口140等不可卸存儲器接口接至系統(tǒng)總線121，而磁盤驅(qū)動器151和光盤驅(qū)動器155通?？拷涌?50等可卸存儲器接口接至系統(tǒng)總線121。
上述圖1所示的驅(qū)動器及其有關(guān)的計算機(jī)存貯媒體，為計算機(jī)110存貯了計算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊和其它數(shù)據(jù)。如在圖1中，硬盤驅(qū)動器141被示為存貯操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146和程序數(shù)據(jù)147。注意，這些部件可與操作系統(tǒng)134、應(yīng)用程序135、其它程序模塊136和程序數(shù)據(jù)137相同或不同。這里對操作系統(tǒng)144、應(yīng)用程序145、其它程序模塊146和程序數(shù)據(jù)147給出不同的標(biāo)號，至少示明它們是不同的復(fù)制品。用戶通過輸入裝置把指令和信息送入計算機(jī)110，如鍵盤162和常稱為鼠標(biāo)、轉(zhuǎn)球或觸板的定向裝置161。其它輸入裝置(未示出)包括話筒、搖桿、游戲板、衛(wèi)星盤、掃描器等。各種輸入裝置往往通過耦接系統(tǒng)總線121的用戶輸入接口160接至處理單元120，也可用其它接口和總線結(jié)構(gòu)如平行口、游戲口或通用串行總線(USB)等連接。通過視頻接口190等接口，也將監(jiān)視器191或其它類顯示裝置接至系統(tǒng)總線121。除了監(jiān)視器，計算機(jī)還包括揚(yáng)聲器197與打印機(jī)196等其它外圍輸出裝置，可通過輸出外圍接口195連接。對本發(fā)明尤為重要的是，還將能拍攝一系列圖像164的攝像機(jī)163(如數(shù)字/電子靜像或視頻攝像機(jī)或膠卷/照相掃描器)包括為個人計算機(jī)110的輸入裝置。再者，雖然只示出一臺攝像機(jī)，但是可包括多臺作為個人計算機(jī)110的輸入裝置的攝像機(jī)。來自一臺或多臺攝像機(jī)的圖像164經(jīng)有關(guān)攝像機(jī)接口165輸入計算機(jī)110，接口165接系統(tǒng)總線121，由此讓圖像傳到并貯存于RAM132或一個與計算機(jī)110關(guān)聯(lián)的其它數(shù)據(jù)存貯裝置。但要指出，圖像數(shù)據(jù)也可從上述任一計算機(jī)可讀媒體輸入計算機(jī)110，不要求使用攝像機(jī)163。
利用對一臺或多臺遠(yuǎn)程計算機(jī)如遠(yuǎn)程計算機(jī)180的邏輯連接，計算機(jī)110可工作于網(wǎng)絡(luò)環(huán)境。遠(yuǎn)程計算機(jī)180可以是個人機(jī)、服務(wù)器、路由器、網(wǎng)絡(luò)PC、同等裝置或其它公共網(wǎng)節(jié)點，一般包括許多或全部以上對計算機(jī)110描述的單元，盡管圖1只示出存儲器存貯裝置181。圖1中的邏輯連接包括局域網(wǎng)(LAN)171和廣域網(wǎng)(WAN)173，但還可包括其它網(wǎng)。這類網(wǎng)絡(luò)環(huán)境在辦公室、企事業(yè)計算機(jī)網(wǎng)、內(nèi)聯(lián)網(wǎng)和因特網(wǎng)中很常見。
在LAN網(wǎng)環(huán)境中使用時，計算機(jī)110經(jīng)網(wǎng)接口或適配器170接LAN171。在WAN網(wǎng)環(huán)境里使用時，計算機(jī)110一般包括在WAN173如因特網(wǎng)內(nèi)建立通信的調(diào)制解調(diào)器172或其它裝置，而調(diào)制解調(diào)器172可以是內(nèi)部或外接，可通過用戶輸入接口160或其它有關(guān)機(jī)構(gòu)接系統(tǒng)總線121。在網(wǎng)環(huán)境中，對計算機(jī)110或其部分示出的程序模塊，可貯存在遠(yuǎn)程存儲器存貯裝置里。舉個例但不作限制，圖1示出的遠(yuǎn)程應(yīng)用程序邏輯85駐留于存儲器裝置181。圖示的網(wǎng)連接顯然是示例性的，可以使用在計算機(jī)之間建立通信鏈路的其它裝置。
現(xiàn)已討論了示例的工作環(huán)境，描述的其余部分將著重描繪實施本發(fā)明的程序模塊。
3.0集成式全向攝像機(jī)與話筒陣列本節(jié)討論經(jīng)聲學(xué)透明棒連接的集成式全向攝像機(jī)與話筒陣列。
3.1概述本發(fā)明解決了全向攝像機(jī)與話筒陣列的優(yōu)化集成問題。設(shè)計目標(biāo)是1.話筒陣列設(shè)計應(yīng)提供一條從發(fā)言者到陣列中所有話筒的通暢的通路，若做不到，則使用的任何聲源定位和束形成算法就變得極其困難，結(jié)果劣化。
2.話筒陣列設(shè)計應(yīng)將話筒盡量置于靠近桌面或其它表面，以防聲音從表面反射，否則會劣化任何聲源定位和束形成結(jié)果。
3.應(yīng)升高攝像機(jī)陣列以提供與會者的正面近像。攝像機(jī)陣列應(yīng)小得不令人注目。
4.話筒陣列幾何尺寸(話筒之間的位置和距離)應(yīng)讓音頻處理算法實現(xiàn)良好的束形狀，在工作頻段內(nèi)指向發(fā)言者，提供優(yōu)質(zhì)聲音。
3.2集成設(shè)計集成式攝像機(jī)與話筒陣列應(yīng)用了把話筒基座接至攝像機(jī)陣列的柱桿。在人話音頻率范圍內(nèi)(50～400Hz)，該柱桿在聲學(xué)上不可見。
如圖2所示，集成式攝像機(jī)與話筒陣列202預(yù)定置于會議桌204的中央。
該設(shè)計提供一條從任一指定發(fā)言者或聲源到所有話筒的通暢的通路，而話筒陣列靠近桌面以防聲音從桌子反射而造成多徑問題。另外，該設(shè)計將攝像機(jī)從桌面升高，對所有與會者都提供正面視像或近像。
集成式攝像機(jī)與話筒陣列保證了良好的束形狀，通過濾波只來自一個方向的聲音，可提高發(fā)言者的音質(zhì)。再者，攝像機(jī)與話筒的集成特征不需要重復(fù)校正，因而是有利的。由于攝像機(jī)與話筒集成可單一裝置，故只需一次初始校正。而且由于集成式攝像機(jī)與話筒是一種小型的固定式設(shè)計，所以與要求獨立的電纜和會議桌上額外空間的兩種分離的攝像機(jī)與話筒部件相比，更顯得無障礙。
3.3系統(tǒng)部件集成式全向攝像機(jī)與話筒陣列的一實施例示于圖3A與3B，該設(shè)計的諸部件包括全向攝像機(jī)302、柱體304、話筒基座306、話筒308、話筒前置放大器310和模/數(shù)(A/D)轉(zhuǎn)換器(未示出)。
3.3.1全向攝像機(jī)全向攝像機(jī)技術(shù)有多種，其中一種攝像機(jī)類型里的多個視頻傳感器以背對背方式緊密組裝在一起。另一全向攝像機(jī)類型應(yīng)用單個視頻傳感器，配用的雙曲面鏡頭捕獲360°的光線。本發(fā)明的集成式攝像機(jī)與話筒陣列設(shè)計可應(yīng)用任一此類全向攝像機(jī)。較佳地，攝像機(jī)頭302應(yīng)小得在置于會議桌或其它表面上時無妨礙。
若采用多傳感器攝像機(jī)配置，可應(yīng)用多個攝像機(jī)或視頻傳感，最好為8個。這些傳感器較佳地背對背安置，使各傳感器的投射中心等角距分開。例如，若使用8只傳感器，則各傳感器與其鄰近的傳感器分開45°。但若需拍攝不同距離的圖像，可應(yīng)用不同的鏡頭和不同的攝像機(jī)安置，如會議桌為矩形或橢圓形就是如此。距離較長，可以用視場窄長的鏡頭，距離較短，可用視場寬短的鏡頭拍攝圖像，此時，攝像機(jī)傳感器可以不圍繞攝像機(jī)頭等邊設(shè)置。寬視場的攝像機(jī)傳感器可以離窄視場的攝像機(jī)傳感器更遠(yuǎn)。或者，也可應(yīng)用視場可變的攝像機(jī)(旋轉(zhuǎn)和推拉變焦距鏡頭而調(diào)到指定狀態(tài))。
圖4所示本發(fā)明一工作實施例，采用了密微的多傳感器設(shè)計，其中把多個超小型攝像機(jī)傳感器402圍繞圓形攝像機(jī)頭404周邊背對背配置。攝像機(jī)404底部較佳地裝有吸音材料，防止聲音從桌子反射到攝像機(jī)與話筒。該例使用8只攝像機(jī)傳感器。這種密微設(shè)計將攝像機(jī)傳感器背對背地緊密封裝在一起，改善了圖像縫合。本例中，攝像頭404的直徑約50mm，把攝像頭接至基座的柱體406高約10英寸，這一高度把攝像機(jī)404置于可拍攝全體與會者的正面像。或者，攝像頭404可以低于該高度，將攝像機(jī)傳感器402稍微朝上指，也可使攝像機(jī)無大礙。
3.3.2柱體參照圖3A與3B的實施例，全向攝像機(jī)302附接較佳的空心柱體304，后者附接于話筒基座306。柱體直徑D1應(yīng)細(xì)得足以讓柱體304對相應(yīng)于預(yù)定應(yīng)用的頻率在聲學(xué)上呈透明。較佳地，攝像機(jī)電纜通過柱體304敷設(shè)而不造成任何附加的聲障。柱體高度H1應(yīng)高得足以對圍繞會議桌就坐的每個人提供正面圖像，但又不高得使攝像機(jī)顯得突出。柱體高度還可選成可調(diào)節(jié)，如在電視會議場合，可按不同的桌子和與會者高度調(diào)柱高。
再參照圖3A與3B的工作實施例，柱體304的直徑D1為2cm或不到，使對應(yīng)于人話音的約50～4000Hz音頻從任一發(fā)言者基本上無干擾地通過該柱體傳到基座里的所有話筒。本例中的柱高H1為14cm。
3.3.3話筒基座話筒基座通常保持話筒、話筒前置放大器和A/D轉(zhuǎn)換器，它接至柱體，對攝像機(jī)電纜提供連接出口。話筒基座為低型面，以盡量縮小桌面與話筒的距離。基座使各話筒與與會者有一直接通路。
在圖3A與3B的集成式攝像機(jī)與話筒陣列工作實施例中，話筒基座306的直徑D3比攝像頭302的直徑D2更寬，使集成式攝像機(jī)與話筒陣列具有穩(wěn)定性，防止容易被翻倒。基座高度H3相對很小，該尺寸較佳地低得足以使埋置式話筒308保持接近桌面而避免多徑問題，卻高得足以讓話筒308埋入基座。對該工作例，D3為16cm，H3為1.5cm，H2為6cm，D2為10cm。
3.3.4話筒使用的話筒可以是全向或單向型，但優(yōu)選全向話筒，因它們對所有關(guān)注的聲角都給出均一的響應(yīng)。所需的最少話筒數(shù)為3個，但本發(fā)明該實施例用了8只，旨在提高聲源定位精度，更好的束形成和整個音頻系統(tǒng)的耐用性。
為減少桌面噪聲，可把話筒裝入橡膠箱，同樣地在話筒下面放置隔音材料。
再參照圖3A與3B的工作實施例，話筒308圍繞平面話筒基座306上的圓周等邊安置。本例應(yīng)用8只話筒308。一般，使用的話筒越多，全向音頻覆蓋與信噪比越好，但要考慮大量話筒的成本與復(fù)雜性。另外，若話筒更多，音頻信號處理就更復(fù)雜。在圖3A與3B的工作實施例中，柱體306與各話筒308的中心距離D5為7cm。
3.3.5話筒前置放大器、A/D轉(zhuǎn)換器話筒前置放大器310和模/數(shù)(A/D)轉(zhuǎn)換器(未示出)較佳地匯集入話筒基座306，如圖3B所示。本例中，前置放大器310的寬度D4為5.901cm。話筒前置放大器放大來自話筒的信號，對后接的A/D轉(zhuǎn)換器將信號幅值歸一化。A/D轉(zhuǎn)換器把來自攝像機(jī)的模擬信號轉(zhuǎn)換為數(shù)字信號。
本例中，對來自話筒的信號的信號取樣相互同步在1微秒內(nèi)，以利聲源定位和束形成。
3.4保密模式攝像機(jī)應(yīng)用鏡頭罩，在正常操作模式中打開，在保密模式中閉合?；蛟诒Ｃ苣Ｊ街嘘P(guān)閉攝像機(jī)傳感器的光閘，或以電子技術(shù)將攝像機(jī)隔離成關(guān)機(jī)。在喚醒保密模式時，最好也關(guān)閉話筒。錄制期間，攝像機(jī)頂燈發(fā)亮，讓用戶知道攝像機(jī)在工作。接通保密模式時，燈關(guān)閉。
4.0其它模塊化特征在實施例集成式全向攝像機(jī)與話筒設(shè)計的各種其它實施例是可行的，部分原因在于系統(tǒng)的模塊化特征。
例如，可以應(yīng)用各種攝像機(jī)實施例。在一實施例中，使用的全向攝像機(jī)應(yīng)用了實現(xiàn)360°攝像機(jī)覆蓋的多個視頻傳感器。而在本發(fā)明另一實施例中，使用的全向攝像機(jī)應(yīng)用一個視頻傳感器和一個捕獲360°光線以實現(xiàn)全景覆蓋的雙曲面鏡頭。再者，這些攝像機(jī)可在聲學(xué)透明柱棒上自己升高，對與會者提供正面圖像。這些攝像機(jī)可與話筒陣列集成。或者，其它全向攝像機(jī)設(shè)計也可結(jié)合使用柱棒和/或話筒陣列。
同樣地，可以采用各種話筒配置法。在一實施例中，話筒陣列包括的諸話筒圍繞圓周等邊距設(shè)置，并盡量靠近桌面，對室內(nèi)任一發(fā)言者引成通暢的通路。然而，其它話筒配置法可用聲學(xué)透明棒與攝像機(jī)集成起來。或者，可應(yīng)用剛才討論的全向話筒陣列，無須攝像機(jī)實現(xiàn)優(yōu)化的360°聲覆蓋。這種覆蓋由于減少或消除了多徑問題，在聲源定位和束形成方面尤其有用。
在集成式攝像機(jī)與話筒陣列的一實施例中，在PC上作圖像縫合與壓縮。另一實施例則在攝像機(jī)中以現(xiàn)場可編程門陣列(FPGA)或其它門陣列執(zhí)行圖像縫合與壓縮，該設(shè)計用USB接口使攝像機(jī)與PC接口，并讓PC用更多的CPU循環(huán)執(zhí)行其它任務(wù)，如圖像壓縮和錄播會議。
5.0示例工作實施例圖5示出應(yīng)用本發(fā)明攝像機(jī)502和話筒陣列504的一工作實施例，攝像機(jī)502的圖像輸出和話筒陣列504的音頻輸出，經(jīng)模/數(shù)轉(zhuǎn)換器506傳給計算機(jī)508，后者執(zhí)行各種功能以增強(qiáng)并利用圖像與音頻輸入，如全景濾波模塊510把全向攝像機(jī)502中各種傳感器拾取的圖像縫合在一起。另外，圖像數(shù)據(jù)被壓縮模塊512壓縮，使它更適于在網(wǎng)上(如因特網(wǎng))廣播514或保存到計算機(jī)可讀媒體516(較佳地通過分離器520)?；蛘?，也可將圖像數(shù)據(jù)輸入個人檢測器/跟蹤器模塊522，以改進(jìn)攝像機(jī)管理(524)，如圖像/視頻中含發(fā)言者的部分經(jīng)識別，使之與音頻信號相關(guān)聯(lián)，而將指向發(fā)言者的攝像機(jī)/傳感器拍攝的圖像將作廣播或保持到盤上。
音頻輸入還可作它用，如將音頻輸入聲源定位模塊526，隔離來自發(fā)言者的音頻。另在計算機(jī)508中可用束形成模塊528改善音頻的束形狀。減噪與自動增益控制模塊530通過降低噪聲和調(diào)節(jié)增益，以相對于室內(nèi)背景噪聲更好地捕獲來自發(fā)言者的音頻信號，也可提高信噪比。
如上所述，可將音視頻信號播送到另一電視會議地點或因特網(wǎng)，還可保存到計算機(jī)可讀媒體供以后觀看。
上述的本發(fā)明用于示例和說明，但并非無遺漏或把本發(fā)明限于揭示的精密形式，如上述集成式攝像機(jī)與話筒陣列諸例可用于監(jiān)視系統(tǒng)?？砂瓷鲜稣f明作出多種修改變化。本發(fā)明范圍不受該詳述的限制，而由所附如權(quán)利要求限定。
權(quán)利要求
1.一種捕獲音視頻數(shù)據(jù)的系統(tǒng)，其特征在于包括一臺或多臺捕獲視頻圖像數(shù)據(jù)的攝像機(jī)；捕獲音頻信號的話筒陣列；和把所述一臺或多臺攝像機(jī)接到所述話筒陣列的柱體，所述柱體在人話音頻率范圍內(nèi)呈聲學(xué)透明。
2.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述一臺或多臺攝像機(jī)在360°內(nèi)拍攝圖像。
3.如權(quán)利要求1的系統(tǒng)，其特征在于，還包括話筒陣列基座，其中所述話筒裝到所述話筒陣列基座上。
4.如權(quán)利要求3所述的系統(tǒng)，其特征在于，所述話筒陣列基座的高度小得足以將所述話筒陣列定位成盡量減小該陣列從任何表面拾取的聲反射。
5.如權(quán)利要求1所述的系統(tǒng)，其特征在于，柱體在聲學(xué)上透明的頻率范圍為50～4000Hz。
6.如權(quán)利要求1所述的系統(tǒng)，其特征在于，將音頻信號輸入計算機(jī)，所述計算機(jī)利用所述音頻信號作聲源定位，所述聲源定位測定聲音產(chǎn)生音頻信號的方向。
7.如權(quán)利要求1所述的系統(tǒng)，其特征在于，將音頻信號輸入計算機(jī)，所述計算機(jī)利用所述音頻信號作束形成，所述束形成通過濾除來自所有其它方向的聲音，提高了來自一個方向的聲音的音質(zhì)。
8.如權(quán)利要求1所述的系統(tǒng)，其特征在于，將音頻信號輸入計算機(jī)，所述計算機(jī)用人檢測與跟蹤算法精密地探測視頻圖像數(shù)據(jù)中捕獲的人，并把該人的視頻圖像數(shù)據(jù)與發(fā)言者產(chǎn)生的音頻信號關(guān)聯(lián)起來。
9.如權(quán)利要求1所述的系統(tǒng)，其特征在于，將視頻圖像數(shù)據(jù)輸入計算機(jī)，所述計算機(jī)利用所述視頻圖像數(shù)據(jù)縫合諸圖像。
10.如權(quán)利要求1所述的系統(tǒng)，其特征在于，話筒陣列中的話筒為全向。
11.如權(quán)利要求1所述的系統(tǒng)，其特征在于，話筒陣列中的話筒為單向。
12.如權(quán)利要求1所述的系統(tǒng)，其特征在于，話筒陣列含3只話筒。
13.如權(quán)利要求1所述的系統(tǒng)，其特征在于，話筒陣列含8只話筒。
14.如權(quán)利要求1所述的系統(tǒng)，其特征在于，話筒陣列含多只在圍繞平面話筒基座周邊的圓中等邊設(shè)置的話筒。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，把至少一只話筒裝在橡膠箱里以防外來的聲反射。
16.如權(quán)利要求14所述的系統(tǒng)，其特征在于，在至少一只話筒下面安置隔音材料，以防外來的聲反射。
17.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述攝像機(jī)還包括鏡頭蓋，在正常操作模式中向上，在保密模式中向下。
18.如權(quán)利要求17所述的系統(tǒng)，其特征在于，話筒在攝像機(jī)處于被喚醒的所述保密模式時被切斷。
19.如權(quán)利要求1所述的系統(tǒng)，其特征在于，攝像機(jī)上的燈在攝像機(jī)工作時發(fā)亮。
20.如權(quán)利要求1所述的系統(tǒng)，其特征在于，音頻信號在網(wǎng)上發(fā)射。
21.如權(quán)利要求1所述的系統(tǒng)，其特征在于，音頻信號保存到計算機(jī)可讀媒體上。
22.如權(quán)利要求1所述的系統(tǒng)，其特征在于，視頻圖像數(shù)據(jù)在網(wǎng)上發(fā)射。
23.如權(quán)利要求1所述的系統(tǒng)，其特征在于，視頻圖像數(shù)據(jù)保存到計算機(jī)可讀媒體上。
24.如權(quán)利要求1所述的系統(tǒng)，其特征在于，視頻信號用1394總線傳給計算機(jī)。
25.如權(quán)利要求1所述的系統(tǒng)，其特征在于，音頻信號用模擬電纜傳給計算機(jī)。
26.如權(quán)利要求1所述的系統(tǒng)，其特征在于，所述攝像機(jī)是IEEE1394攝像機(jī)。
27.一種對電話會議和會議錄制捕獲音視頻的處理，其特征在于包括以下處理動作用全向攝像機(jī)拍攝與會者圖像，用話筒陣列捕獲所述會議中出現(xiàn)的聲音的音頻信號，所述話筒陣列裝在基座中，后者用聲學(xué)透明棒接至所述全向攝像機(jī)。
28.如權(quán)利要求27所述的處理，其特征在于，所述話筒陣列置于桌上，所述與會者圍繞所述桌上就座。
29.如權(quán)利要求28所述的處理，其特征在于，話筒陣列盡量靠近所述桌子，以盡量減少桌子的聲反射被陣列拾取。
30.如權(quán)利要求27所述的處理，其特征在于，話筒陣列包括3只或更多的話筒。
31.如權(quán)利要求30所述的處理，其特征在于，所述話筒陣列包括在話筒基座周邊附近圓周內(nèi)等間隔的話筒。
32.如權(quán)利要求27所述的處理，其特征在于，全向攝像機(jī)包括多個視頻傳感器。
33.如權(quán)利要求32所述的處理，其特征在于，所述視頻傳感器圍繞一圓周等間隔設(shè)置。
34.如權(quán)利要求27所述的處理，其特征在于，全向攝像機(jī)包括單個配有捕獲360°光線的雙曲面鏡頭的視頻傳感器。
35.如權(quán)利要求27所述的處理，其特征在于，所述聲學(xué)透明棒為空心。
36.如權(quán)利要求27所述的處理，其特征在于，所述聲學(xué)透明棒附接于話筒基座，而攝像機(jī)電纜通過聲學(xué)透明棒，故所述電纜不造成聲障。
37.如權(quán)利要求27所述的處理，其特征在于，所述聲學(xué)透明棒的外徑為2厘米或更小。
38.如權(quán)利要求27所述的處理，其特征在于，聲學(xué)透明棒的直徑使來自發(fā)言者的50～4000Hz音頻繞過聲學(xué)透明棒幾乎無干擾地到達(dá)話筒陣列中的所有話筒。
39.如權(quán)利要求27所述的聲學(xué)透明棒，其特征在于，所述棒高度可調(diào)節(jié)。
40.一種集成式全向攝像機(jī)與話筒陣列，其特征在于包括全向攝像機(jī)；聲學(xué)透明棒，用于升高所述攝像機(jī)而提供優(yōu)化攝像機(jī)覆蓋；和話筒陣列。
41.如權(quán)利要求40所述的集成式全向攝像機(jī)與話筒陣列，其特征在于，所述全向攝像機(jī)用多個視頻傳感器實現(xiàn)360°攝像機(jī)覆蓋。
42.如權(quán)利要求40所述的集成式全向攝像機(jī)與話筒陣列，其特征在于，所述全向攝像機(jī)應(yīng)用一個視頻傳感器和一塊捕獲360°光線而實現(xiàn)全景覆蓋的雙曲面鏡頭。
43.如權(quán)利要求40所述的集成式全向攝像機(jī)與話筒陣列，其特征在于，聲學(xué)透明柱棒升高所述攝像機(jī)，對圍桌就座的人提供正面圖像。
44.如權(quán)利要求40所述的集成式全向攝像機(jī)與話筒陣列，其特征在于，話筒陣列包括多只繞圓周等邊距離設(shè)置的話筒。
45.如權(quán)利要求40所述的集成式全向攝像機(jī)與話筒陣列，其特征在于，話筒陣列置于表面，并盡量接近表面以減少來自所述表面的聲發(fā)射。
46.如權(quán)利要求41所述的集成式攝像機(jī)與話筒陣列，其特征在于，用視場較窄長的視頻傳感器拍攝較長距離的圖像，用視場較短寬的視頻傳感器拍攝較短距離圖像。
47.一種全向話筒陣列，其特征在于包括多只在繞平面話筒基座周邊的圓內(nèi)等邊設(shè)置的話筒；而其中所述話筒基座低得足以把所述話筒陣列定位得盡量減少來自話筒基座落坐的任何表面為陣列拾取的聲反射。
48.如權(quán)利要求47所述的話筒陣列，其特征在于，把所述多只話筒捕獲的音頻信號輸入計算機(jī)，所述計算機(jī)用所述音頻信號作聲源定位，所述聲源定位測定產(chǎn)生音頻信號的聲音方向。
49.如權(quán)利要求47所述的話筒陣列，其特征在于，把所述多只話筒捕獲的音頻信號輸入計算機(jī)，所述計算機(jī)用所述音頻信號作束形成，所述束形成通過濾除來自所有其它方向的聲音而提高來自一個方向的聲音的音質(zhì)。
50.如權(quán)利要求47所述的話筒陣列，其特征在于，話筒陣列的話筒為全向型。
51.如權(quán)利要求47所述的話筒陣列，其特征在于，話筒陣列的話筒為單向型。
52.如權(quán)利要求47所述的話筒陣列，其特征在于，話筒陣列含8只話筒。
53.如權(quán)利要求47所述的話筒陣列，其特征在于，至少一只話筒裝在橡膠箱里以防外來聲反射。
54.如權(quán)利要求47所述的話筒陣列，其特征在于，在至少一只話筒下面安置隔音材料，以防外來聲反射。
全文摘要
提出一種集成了話筒陣列的全向攝像機(jī)(360°攝像機(jī))。這種攝像機(jī)主要用于電視會議和會議錄制，并把該裝置設(shè)計成置于會議桌上。話筒陣列系平面結(jié)構(gòu)，話筒盡量靠近桌面以消除桌面的聲反射。攝像機(jī)用細(xì)柱棒接至話筒陣列基座，在50～4000Hz頻率范圍內(nèi)，細(xì)柱棒在聲學(xué)上不被話筒陣列看到，這樣從言者到陣列中所有話筒提供了直接通路，因而可用于聲源定位(測定發(fā)言者位置)和束形成(通過只濾波來自特定方向的聲音而提高發(fā)言者的音質(zhì))。攝像機(jī)陣列從桌面升高，對與會者提供正面近視點。
文檔編號H04N5/232GK1479525SQ03147129
公開日2004年3月3日 申請日期2003年6月27日 優(yōu)先權(quán)日2002年6月27日
發(fā)明者R·卡特勒, I·塔斯海弗, A·古普塔, 芮勇, R 卡特勒, 賬, 購８ 申請人:微軟公司