其實(shí)施例大體涉及多媒體內(nèi)容處理和呈現(xiàn)，并且更特別地，涉及具有觸覺效果的增強(qiáng)音視頻內(nèi)容。

背景技術(shù)：

通常使用在視頻游戲產(chǎn)業(yè)中的觸覺效果可以提供觸覺提示，其增強(qiáng)用戶體驗(yàn)并且針對(duì)用戶使虛擬環(huán)境更交互。例如，震動(dòng)效果或震動(dòng)觸覺效果在將提示提供給電子設(shè)備的用戶以對(duì)于特定事件警報(bào)用戶或提供現(xiàn)實(shí)反饋以創(chuàng)建模擬環(huán)境或虛擬環(huán)境內(nèi)的較大的感官沉浸可以是有用的?？梢酝ㄟ^(guò)將觸覺效果添加到直播事件的音頻分量和視頻分量增強(qiáng)在觀看諸如體育事件的直播事件中的用戶的體驗(yàn)。其實(shí)施例涉及用于將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備的架構(gòu)。

技術(shù)實(shí)現(xiàn)要素：

其實(shí)施例涉及一種用于將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備的系統(tǒng)。所述系統(tǒng)包括記錄器、傳感器、變換器和終端用戶設(shè)備。所述記錄器配置為記錄直播事件的視頻數(shù)據(jù)。所述傳感器配置為感測(cè)與所述直播事件相關(guān)聯(lián)的參數(shù)并且將所感測(cè)的參數(shù)輸出為傳感器數(shù)據(jù)。所述變換器配置為從所述傳感器接收所述傳感器數(shù)據(jù)并且將所述傳感器數(shù)據(jù)變換為信號(hào)，所述信號(hào)包括與所述直播事件相關(guān)聯(lián)的觸覺數(shù)據(jù)。所述終端用戶設(shè)備配置為從所述變換器接收所述觸覺數(shù)據(jù)并且配置為接收所述直播事件的所述視頻數(shù)據(jù)。所述終端用戶設(shè)備包括觸覺輸出設(shè)備，其配置為基于所述觸覺數(shù)據(jù)向用戶生成觸覺效果，并且包括顯示器，其配置為顯示所述視頻數(shù)據(jù)。

其實(shí)施例涉及一種系統(tǒng)，包括記錄器、傳感器、現(xiàn)場(chǎng)傳輸站、變換器和終端用戶設(shè)備。所述記錄器配置為記錄直播事件的視頻數(shù)據(jù)。所述傳感器配置為感測(cè)與所述直播事件相關(guān)聯(lián)的參數(shù)并且將所感測(cè)的參數(shù)輸出為傳感器數(shù)據(jù)。所述現(xiàn)場(chǎng)傳輸站定位在所述直播事件的現(xiàn)場(chǎng)。所述現(xiàn)場(chǎng)傳輸站配置為接收所述直播事件的所述視頻數(shù)據(jù)并且包括用于處理所述直播事件的所述視頻數(shù)據(jù)的處理器。所述變換器配置為從所述傳感器接收所述傳感器數(shù)據(jù)并且將所述傳感器數(shù)據(jù)變換為信號(hào)，所述信號(hào)包括與所述直播事件相關(guān)聯(lián)的觸覺數(shù)據(jù)。所述終端用戶設(shè)備配置為從所述變換器接收所述觸覺數(shù)據(jù)并且配置為從所述現(xiàn)場(chǎng)傳輸站的所述處理器接收所處理的視頻數(shù)據(jù)。所述終端用戶設(shè)備包括觸覺輸出設(shè)備，其配置為基于所述觸覺數(shù)據(jù)向用戶生成觸覺效果，并且包括顯示器，其配置為顯示所述視頻數(shù)據(jù)。

其實(shí)施例還涉及一種將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備的方法。記錄直播事件的所述視頻數(shù)據(jù)。感測(cè)與所述直播事件相關(guān)聯(lián)的參數(shù)，并且將所感測(cè)的參數(shù)輸出為傳感器數(shù)據(jù)。接收來(lái)自所述傳感器的所述傳感器數(shù)據(jù)，并且將所述傳感器數(shù)據(jù)變換為信號(hào)，所述信號(hào)包括與所述直播事件相關(guān)聯(lián)的觸覺數(shù)據(jù)。在終端用戶設(shè)備處接收所述觸覺數(shù)據(jù)。所述終端用戶設(shè)備包括顯示器，其配置為顯示所述視頻數(shù)據(jù)。在所述終端用戶設(shè)備處接收所述直播事件的所述視頻數(shù)據(jù)。所述終端用戶設(shè)備包括觸覺輸出設(shè)備，其配置為基于所述觸覺數(shù)據(jù)向用戶生成觸覺效果。基于所述觸覺數(shù)據(jù)，利用所述觸覺輸出設(shè)備生成至少一個(gè)觸覺效果，并且將所述視頻數(shù)據(jù)顯示在所述顯示器上。

附圖說(shuō)明

本發(fā)明的前述和其他特征和優(yōu)點(diǎn)通過(guò)其如附圖中所示的實(shí)施例的以下描述將變得顯而易見。并入本文并且形成說(shuō)明書的一部分的附圖還用于解釋本發(fā)明的原理并且使得相關(guān)領(lǐng)域的技術(shù)人員能夠制造和使用本發(fā)明。附圖不按比例。

圖1圖示了用于將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備的簡(jiǎn)化流程圖。

圖2圖示了包括在將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備時(shí)所利用的基本分量的更詳細(xì)的流程圖，其中，將經(jīng)處理的音頻數(shù)據(jù)和/或視頻數(shù)據(jù)和觸覺數(shù)據(jù)傳送給終端用戶設(shè)備作為分離或不同的信號(hào)。

圖3圖示了根據(jù)其另一實(shí)施例的包括在將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備時(shí)所利用的基本分量的更詳細(xì)的流程圖，其中，將經(jīng)處理的音頻數(shù)據(jù)和/或視頻數(shù)據(jù)和觸覺數(shù)據(jù)傳送給終端用戶設(shè)備作為復(fù)合信號(hào)。

圖4是根據(jù)其實(shí)施例的終端用戶設(shè)備的框圖。

圖5是可以用作其實(shí)施例中的終端用戶設(shè)備的多設(shè)備系統(tǒng)的框圖，其中，多設(shè)備系統(tǒng)包括初級(jí)終端用戶設(shè)備和次級(jí)終端用戶設(shè)備。

圖6是根據(jù)其實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，觸覺數(shù)據(jù)的變換經(jīng)由觸覺事件的手動(dòng)插入在現(xiàn)場(chǎng)處理或傳輸站處發(fā)生。

圖7是根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)在現(xiàn)場(chǎng)處理或傳輸站之后但是在到達(dá)終端用戶設(shè)備之前發(fā)生。

圖8是根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)在現(xiàn)場(chǎng)處理或傳輸站之前或其處發(fā)生并且對(duì)終端用戶設(shè)備的分布利用中央處理服務(wù)器。

圖9是根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)在現(xiàn)場(chǎng)處理或傳輸站之前或其處發(fā)生并且對(duì)終端用戶設(shè)備的分布未利用中央處理服務(wù)器。

圖10是根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)在傳感器自身處發(fā)生。

圖11是根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)的圖示，其中，將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)在終端用戶設(shè)備處發(fā)生。

具體實(shí)施方式

現(xiàn)在參考附圖描述本發(fā)明的特定實(shí)施例，其中，相同的附圖標(biāo)記指示相同或功能類似的元件。以下詳細(xì)描述實(shí)際上僅是示范性的并且不旨在限制本發(fā)明或者本發(fā)明的應(yīng)用和使用。而且，不旨在由前述技術(shù)領(lǐng)域、背景技術(shù)、發(fā)明內(nèi)容和以下具體實(shí)施方式中所呈現(xiàn)的任何所表達(dá)或所隱含的理論進(jìn)行限制。

其實(shí)施例涉及用于將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備以便實(shí)現(xiàn)直播視頻連同直播觸覺效果的觀看的架構(gòu)。換句話說(shuō)，本文所描述的架構(gòu)適于嵌入或包括具有直播視頻和/或音頻廣播的觸覺數(shù)據(jù)以增強(qiáng)用戶的體驗(yàn)。期望能夠記錄直播事件的視頻，而同時(shí)記錄直播事件的實(shí)時(shí)方面，使得事件的實(shí)時(shí)方面可以與直播視頻一起回放作為觸覺效果或感覺以為觀看直播視頻的用戶提供甚至更多的現(xiàn)實(shí)和沉浸式體驗(yàn)。當(dāng)與離線美術(shù)利用編程工具編輯并且寫入同步代碼以試圖使觸覺效果與視頻同步相比較時(shí)，記錄來(lái)自場(chǎng)景中的對(duì)象的實(shí)時(shí)數(shù)據(jù)并且觸覺地再現(xiàn)其體驗(yàn)是采集或重新創(chuàng)建體驗(yàn)的更直觀的方式。而且，當(dāng)與觸覺信號(hào)的手授權(quán)合成相比較時(shí)，記錄和變換真實(shí)世界傳感器數(shù)據(jù)以產(chǎn)生觸覺輸出是生成觸覺內(nèi)容的更成本效益的方式。

更特別地，參考圖1的流程圖100，直播事件(諸如但不限于將廣播給遠(yuǎn)程用戶的體育事件)生成各種形式的原始數(shù)據(jù)，諸如音頻、視頻和/或傳感器數(shù)據(jù)，如步驟102處所示。如本文將更詳細(xì)描述的，配置為輸出傳感器數(shù)據(jù)的傳感器與直播事件中所利用的設(shè)備相關(guān)聯(lián)或與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)。原始數(shù)據(jù)(即，原始音頻、視頻和/或傳感器數(shù)據(jù))經(jīng)歷一個(gè)或多個(gè)處置或處理，如在步驟104處所示，使得一個(gè)或多個(gè)終端設(shè)備可以將從傳感器數(shù)據(jù)所導(dǎo)出的音頻、視頻和/或觸覺數(shù)據(jù)輸出給用戶，如在步驟106處所示。本文的實(shí)施例涉及用于將從一個(gè)或多個(gè)傳感器所導(dǎo)出的觸覺數(shù)據(jù)進(jìn)行讀取、分析和/或變換從直播事件傳遞給終端用戶設(shè)備的架構(gòu)。如本文所使用的觸覺數(shù)據(jù)包括被用于創(chuàng)建或被轉(zhuǎn)換為傳達(dá)觸覺信息的數(shù)據(jù)的傳感器數(shù)據(jù)，并且因此觸覺數(shù)據(jù)涉及直播事件或與其相關(guān)聯(lián)。更特別地，觸覺數(shù)據(jù)包括手動(dòng)地被用于創(chuàng)建傳達(dá)觸覺信息的數(shù)據(jù)的傳感器數(shù)據(jù)(即，通過(guò)人類設(shè)計(jì)者或操作者)以及自動(dòng)地被轉(zhuǎn)換為傳達(dá)觸覺信息的數(shù)據(jù)(即，經(jīng)由一個(gè)或多個(gè)處理器通過(guò)自動(dòng)轉(zhuǎn)換)。觸覺數(shù)據(jù)是饋送或提供到觸覺輸出設(shè)備或發(fā)揮或輸出觸覺效果的觸覺外圍的致動(dòng)器的控制信號(hào)。在與音頻和/或視頻傳輸信道分離或獨(dú)立的獨(dú)立信道中傳送觸覺數(shù)據(jù)。創(chuàng)建針對(duì)觸覺數(shù)據(jù)的獨(dú)立信道提供植入的多功能性并且對(duì)不能必然地僅由音頻或視頻數(shù)據(jù)標(biāo)識(shí)的各種事件進(jìn)行區(qū)分(即，當(dāng)直接從音頻或視頻數(shù)據(jù)生成觸覺時(shí))，從而確保這些事件被轉(zhuǎn)換為觸覺效果并且不被察覺。

圖2圖示了包括當(dāng)將觸覺數(shù)據(jù)從直播事件傳遞給終端用戶設(shè)備時(shí)所利用的基本分量的更詳細(xì)的流程圖200。音頻和/或視頻記錄器108定位在直播事件處以便采集原始音頻和/或視頻數(shù)據(jù)，而傳感器110定位在直播事件處并且與直播事件中所利用的設(shè)備相關(guān)聯(lián)以便采集原始傳感器數(shù)據(jù)。包括原始音頻和/或視頻數(shù)據(jù)的信號(hào)112從音頻和/或視頻記錄器108傳送給處理器或編碼器116，并且包括原始傳感器數(shù)據(jù)的信號(hào)114從傳感器110傳送給處理器或變換器118。處理器或編碼器116處置或處理包括原始音頻和/或視頻數(shù)據(jù)的信號(hào)112，并且包括經(jīng)處置或經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)112從處理器或編碼器116傳送或廣播給終端用戶設(shè)備，所述終端用戶設(shè)備相應(yīng)地具有用于輸出經(jīng)處置的音頻和/或視頻數(shù)據(jù)的揚(yáng)聲器和/或顯示器124。更特別地，可以自動(dòng)地或通過(guò)人類操作者手動(dòng)地完成原始音頻和/或視頻數(shù)據(jù)的處置，所述人類操作者能夠例如控制饋送的延遲或質(zhì)量和/或能夠選擇對(duì)哪個(gè)音頻饋送或視角進(jìn)行廣播。變換器118將包括原始傳感器數(shù)據(jù)的信號(hào)114處置或處理為觸覺信號(hào)，并且包括觸覺數(shù)據(jù)的信號(hào)122從變換器118傳送或廣播給終端用戶設(shè)備，所述終端用戶設(shè)備具有用于輸出觸覺數(shù)據(jù)的觸覺輸出設(shè)備126。在步驟104中，不要求包括原始音頻和/或視頻數(shù)據(jù)的信號(hào)112的處置在與包括原始傳感器數(shù)據(jù)的信號(hào)114的處置在相同時(shí)間或地點(diǎn)處執(zhí)行。關(guān)于圖6-11的實(shí)施例在本文中所公開的架構(gòu)描述了針對(duì)包括原始傳感器數(shù)據(jù)的信號(hào)114的處置的不同的時(shí)間和地點(diǎn)。

在圖2的實(shí)施例中，包括經(jīng)處置或經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)120和包括觸覺數(shù)據(jù)的信號(hào)122圖示為遞送給一個(gè)或多個(gè)終端設(shè)備的分離或不同的信號(hào)。然而，在圖3中所描繪的其另一實(shí)施例中，包括經(jīng)處理或經(jīng)處置的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)(即，已經(jīng)由變換器118處置或處理的傳感器數(shù)據(jù))的復(fù)合信號(hào)328遞送給一個(gè)或多個(gè)終端設(shè)備。復(fù)合信號(hào)328包括視頻內(nèi)容或數(shù)據(jù)、音頻內(nèi)容或數(shù)據(jù)和觸覺內(nèi)容或數(shù)據(jù)，這樣的部分要么以時(shí)間順序交錯(cuò)遞送，要么這樣的部分無(wú)序遞送，但是包含可以被解釋用于以正確時(shí)間順序重新組裝以用于由終端設(shè)備呈現(xiàn)給用戶的排序信息。編碼器(未示出)可以取得包括觸覺數(shù)據(jù)的信號(hào)122并且將其編碼為包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)120。在Phan等人的美國(guó)專利申請(qǐng)公開2014/0347177(代理人案號(hào)IMM489)中描述了用于編碼的適合的編碼器和方法，其通過(guò)引用并入本文。編碼可以以運(yùn)動(dòng)圖像專家組(“MPEG”)容器中的專用軌道或作為現(xiàn)有音頻和/或視頻流的未使用/未充分利用的光譜分量的形式?？梢越?jīng)由空中(“OTA”)模擬廣播、衛(wèi)星、網(wǎng)際協(xié)議(“IP”)網(wǎng)絡(luò)或其他現(xiàn)有體育傳輸方法將編碼流分布給遠(yuǎn)程觀看者。在本文所描述的架構(gòu)實(shí)施例的處理或變換步驟中的任一個(gè)之前和/或之后，經(jīng)處置或經(jīng)處理的音頻和/或視頻數(shù)據(jù)和觸覺數(shù)據(jù)可以采取任何形式，即分離或不同的信號(hào)或復(fù)合信號(hào)。換句話說(shuō)，觸覺數(shù)據(jù)和經(jīng)處置或經(jīng)處理的音頻和/或視頻數(shù)據(jù)可以在與本文所描述的任何實(shí)施例中在相同的容器中一起編碼或作為分離的饋送進(jìn)行饋送或傳送。而且，解碼器可以存在于本文所描述的架構(gòu)實(shí)施例的變換或處理階段中的任一個(gè)處以從復(fù)合信號(hào)提取饋送(即音頻、視頻和觸覺)中的任一個(gè)并且然后處理或變換所提取的饋送。在處理或變換之后，所變換的饋送可以被廣播為分離的饋送或在編碼器的幫助下重新編碼為復(fù)合信號(hào)。另外，在其任何實(shí)施例中，本文所描述的信號(hào)(包括信號(hào)112、114、120、122和/或328)可以包括元數(shù)據(jù)。在實(shí)施例中，元數(shù)據(jù)可被用于觸覺效果和音頻和/或視頻數(shù)據(jù)的同步，如在Lacroix等人的美國(guó)專利公開號(hào)2008/0223627(代理人案號(hào)IMM250)中所描述的，和/或可被用于至少部分確定觸覺效果、事件和/或在觸覺效果與事件之間相關(guān)聯(lián)，如在Birmbaum等人的美國(guó)專利公開號(hào)2013/09311811(代理人案號(hào)IMM392)中所描述的，和/或可以以其他方式利用，如在Lacroix等人的美國(guó)專利公開號(hào)2014/0340209(代理人案號(hào)IMM459)中所描述的，其中的每一個(gè)以其整體內(nèi)容通過(guò)引用并入本文。

在圖2或圖3的步驟106中，一個(gè)或多個(gè)終端用戶設(shè)備用于輸出經(jīng)處理的音頻和/或視頻數(shù)據(jù)和觸覺數(shù)據(jù)。換句話說(shuō)，一個(gè)或多個(gè)終端用戶設(shè)備將廣播流(即，信號(hào)120、122)解碼為視頻、音頻和觸覺分量，并且每個(gè)分量可以由相同物理終端用戶設(shè)備或不同物理終端用戶設(shè)備顯示或輸出(即，針對(duì)視頻的計(jì)算機(jī)或電視、針對(duì)音頻的揚(yáng)聲器或頭戴式耳機(jī)和針對(duì)觸覺的可穿戴觸覺外圍或移動(dòng)設(shè)備)。

更特別地，在實(shí)施例中，單個(gè)終端用戶設(shè)備可以包括揚(yáng)聲器和/或顯示器124以及觸覺輸出設(shè)備126，并且可被用于輸出經(jīng)處理的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)。例如，遠(yuǎn)程用戶可以正在觀看諸如電話或平板電腦等移動(dòng)設(shè)備上的體育事件。在該實(shí)施例中，蜂窩或Wi-Fi技術(shù)可被用于傳輸，并且視覺、音頻和觸覺內(nèi)容將經(jīng)由相同設(shè)備輸出。在另一實(shí)施例中，用戶可以正在觀看體育場(chǎng)或競(jìng)技場(chǎng)中的體育事件直播。在該實(shí)施例中，移動(dòng)設(shè)備將提供相同位置中的附加沉浸并且將增強(qiáng)游戲的整體氛圍和設(shè)置。移動(dòng)設(shè)備將保持在用戶的手中或保持在用戶的口袋中，同時(shí)仍然輸出觸覺內(nèi)容。

更特別地，圖4圖示了單個(gè)終端用戶設(shè)備430的框圖，其包括用于輸出聲音內(nèi)容或數(shù)據(jù)的揚(yáng)聲器424_A、用于輸出視頻內(nèi)容或數(shù)據(jù)的顯示屏424_B和用于輸出觸覺內(nèi)容或數(shù)據(jù)的觸覺輸出設(shè)備426。為了感知或感覺觸覺效果，終端用戶設(shè)備430是由用戶保持、附接或耦合到用戶的設(shè)備或具有可以將觸覺或觸感效果傳達(dá)給用戶的表面。在實(shí)施例中，終端用戶設(shè)備430是包括觸覺效果渲染能力的電子手持式設(shè)備，諸如移動(dòng)電話、平板計(jì)算機(jī)、游戲設(shè)備、個(gè)人數(shù)字助理(“PDA”)等等。例如，終端用戶設(shè)備430可以是在市場(chǎng)中眾所周知并且可購(gòu)得的平板計(jì)算機(jī)，諸如和Galaxy針對(duì)終端用戶設(shè)備430的其他適合的設(shè)備包括但不限于個(gè)人數(shù)字助理(PDA)、計(jì)算機(jī)、游戲外圍和本領(lǐng)域的技術(shù)人員已知的其他設(shè)備。

如圖4的框圖上所示，終端用戶設(shè)備430包括接收器434、處理器432、存儲(chǔ)器436、觸覺輸出設(shè)備426、顯示屏424_B和揚(yáng)聲器424_A。終端用戶設(shè)備430執(zhí)行存儲(chǔ)在存儲(chǔ)器436中并且由處理器432執(zhí)行的軟件應(yīng)用。處理器432可以是任何類型的通用處理器，或者可以是特別地被設(shè)計(jì)為提供觸覺效果信號(hào)的處理器。存儲(chǔ)器436可以是任何類型的存儲(chǔ)設(shè)備或計(jì)算機(jī)可讀介質(zhì)，諸如但不限于隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)。存儲(chǔ)器436還可以定位在處理器或內(nèi)部存儲(chǔ)器和外部存儲(chǔ)器的任何組合的內(nèi)部。揚(yáng)聲器424_A可以是例如內(nèi)置或耦合到終端用戶設(shè)備430使得終端用戶設(shè)備430具有經(jīng)由揚(yáng)聲器424_A輸出音頻的能力的揚(yáng)聲器。終端用戶設(shè)備430還具有經(jīng)由顯示屏424_B輸出視頻的能力。顯示屏424_B可以耦合到終端用戶設(shè)備430，或者如本領(lǐng)域的技術(shù)人員已知，終端用戶設(shè)備430和顯示屏424_B可以組合為單個(gè)設(shè)備。另外，取決于所利用的廣播信號(hào)的類型，終端用戶設(shè)備430可以包括用于從因特網(wǎng)接收流信號(hào)的內(nèi)置有線或無(wú)線調(diào)制解調(diào)器(未示出)。

在操作中，終端用戶設(shè)備430的接收器434接收包括觸覺數(shù)據(jù)的信號(hào)122或接收復(fù)合信號(hào)328并且識(shí)別其觸覺分量。包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量然后路由或傳送給處理器432。包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量可以例如包括直接觸覺效果流或指示哪些觸覺效果必須執(zhí)行的命令集。響應(yīng)于接收包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量，處理器432命令觸覺輸出設(shè)備426將一個(gè)或多個(gè)觸覺效果提供或輸出給用戶。處理器432可以決定將什么觸覺效果發(fā)送給觸覺輸出設(shè)備426并且以什么順序發(fā)送觸覺效果。例如，包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量可以包括電壓幅值和持續(xù)時(shí)間。在另一示例中，包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量可以將高級(jí)命令提供給處理器432，諸如待由觸覺輸出設(shè)備426輸出的觸覺效果的類型(例如，震動(dòng)、搖動(dòng)、掣動(dòng)、彈出等等)，其中，處理器432關(guān)于待輸出的觸覺效果的特定特性(例如，幅值、頻率、持續(xù)時(shí)間等等)命令觸覺輸出設(shè)備426。處理器432可以從耦合到其的存儲(chǔ)器436檢索觸覺效果的類型、幅值、頻率、持續(xù)時(shí)間或其他特性。在另一實(shí)施例中，包括觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量可以將代碼或標(biāo)識(shí)號(hào)提供給處理器432，其與先前存儲(chǔ)在處理器432的存儲(chǔ)器中的觸覺效果相對(duì)應(yīng)。

觸覺反饋增強(qiáng)用戶體驗(yàn)。如本文所使用的，動(dòng)感效果(諸如活動(dòng)或阻力觸覺反饋)和/或觸感效果(諸如震動(dòng)、紋理和熱)統(tǒng)稱為“觸覺反饋”或“觸覺效果”。共同觸覺效果給用戶提供對(duì)音視頻內(nèi)容的較大的沉浸感，因?yàn)槎鄠€(gè)模態(tài)同時(shí)接合，例如視頻、音頻和觸覺。例如，震動(dòng)效果或震動(dòng)觸覺效果在將提示提供給用戶以對(duì)于特定事件警報(bào)用戶或提供現(xiàn)實(shí)反饋以創(chuàng)建模擬環(huán)境或虛擬環(huán)境內(nèi)的較大的感官沉浸是有用的。終端用戶設(shè)備430的處理器432可以正在運(yùn)行軟件算法，其還裁剪或調(diào)諧觸覺數(shù)據(jù)以優(yōu)化將渲染觸覺數(shù)據(jù)的特定類型的終端用戶設(shè)備430。

由觸覺輸出設(shè)備426所提供的觸覺效果可以包括但不限于暫態(tài)效果，諸如掣動(dòng)或震動(dòng)。觸覺輸出設(shè)備426可以是物理和/或非物理致動(dòng)器?？赡艿奈锢碇聞?dòng)器包括但不限于其中偏心質(zhì)量由電動(dòng)機(jī)移動(dòng)的偏心旋轉(zhuǎn)質(zhì)量(“ERM”)致動(dòng)器、其中來(lái)回地驅(qū)動(dòng)附接到彈簧的質(zhì)量的線性諧振致動(dòng)器(“LRA”)、壓電致動(dòng)器、其中偏心質(zhì)量由電動(dòng)機(jī)移動(dòng)的電磁電動(dòng)機(jī)、震動(dòng)觸覺致動(dòng)器、慣性致動(dòng)器或其他適合類型的致動(dòng)設(shè)備?？赡艿姆俏锢碇聞?dòng)器包括但不限于靜電摩擦(ESF)、超聲表面摩擦(USF)和其他非物理致動(dòng)器。在另一實(shí)施例中，(一個(gè)或多個(gè))觸覺輸出設(shè)備426可以使用動(dòng)覺觸覺反饋，包括例如改變終端用戶設(shè)備430的外殼的硬度/阻尼的螺線管、改變外殼的大小的小氣袋或形變材料

由觸覺輸出設(shè)備426所輸出的觸覺效果可以包括但不限于不同程度的震動(dòng)、不同程度的掣動(dòng)或其他類型的觸覺效果。如果終端用戶設(shè)備包括多個(gè)觸覺致動(dòng)器，那么處理器432可以確定在哪個(gè)觸覺致動(dòng)器處每個(gè)觸覺效果將執(zhí)行并且提供給用戶。在這樣的實(shí)施例中，在存儲(chǔ)在終端用戶設(shè)備的存儲(chǔ)器中的軟件代碼中生成高級(jí)觸覺參數(shù)或流動(dòng)值(streaming value)。通過(guò)處理器處理參數(shù)或值，并且從而生成針對(duì)每個(gè)觸覺致動(dòng)器的適當(dāng)?shù)碾妷弘娖健＿@允許終端用戶設(shè)備將適當(dāng)?shù)挠|覺效果提供給用戶并且通過(guò)針對(duì)每個(gè)觸覺輸出設(shè)備426所生成的不同的電壓電平使觸覺效果的數(shù)量或類型變化。

在另一實(shí)施例中，終端用戶設(shè)備430可以是可穿戴觸覺外圍，其配置為耦合到用戶或鄰近用戶定位。例如，終端用戶設(shè)備430不要求包括揚(yáng)聲器424_A或顯示屏424_B而是可配置為附接到用戶的身體或附接到鄰近用戶定位的衣服或家具，使得可穿戴觸覺外圍的(一個(gè)或多個(gè))觸覺輸出設(shè)備可以將觸覺效果遞送給用戶的相關(guān)身體部分(即，其中沖壓機(jī)已經(jīng)到達(dá)的身體部分)。

在圖5中所描繪的另一實(shí)施例中，多設(shè)備系統(tǒng)538包括輸出經(jīng)處理的音頻和/或視頻數(shù)據(jù)的第一或初級(jí)終端用戶設(shè)備540(諸如電視)和輸出觸覺數(shù)據(jù)的次級(jí)終端用戶設(shè)備530。例如，用戶還可以正在觀看大屏幕電視或初級(jí)終端用戶設(shè)備540上的體育事件，但是將次級(jí)終端用戶設(shè)備530(諸如電話、平板電腦或遙控器)用作“第二屏幕”。在體育事件期間，第二屏幕設(shè)備日益被用于觀看關(guān)于事件的元數(shù)據(jù)或擴(kuò)展信息，諸如體育統(tǒng)計(jì)和廣告。在該實(shí)施例中，視頻和/或音頻數(shù)據(jù)或內(nèi)容將主要消耗在初級(jí)終端用戶設(shè)備540的大屏幕上，但是觸覺數(shù)據(jù)或內(nèi)容可以利用次級(jí)終端用戶設(shè)備530體驗(yàn)。次級(jí)終端用戶設(shè)備530可以保持在用戶的手中或保持在用戶的口袋中，同時(shí)仍然輸出觸覺內(nèi)容。在題為“Second Screen Haptics”的Lacroix等人的美國(guó)專利臨時(shí)專利申請(qǐng)62/021,663(代理人案號(hào)IMM533P)中描述了針對(duì)多設(shè)備系統(tǒng)的各種架構(gòu)，其以整體內(nèi)容通過(guò)引用并入本文。

初級(jí)終端用戶設(shè)備540是諸如電視或TV的音視頻顯示設(shè)備，其配置為輸出包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)120或復(fù)合信號(hào)328的音頻和/或視頻分量。如圖5的框圖上所示，初級(jí)終端用戶設(shè)備540包括接收器542、揚(yáng)聲器524_D和顯示屏524_C。接收器542接收包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)120或復(fù)合信號(hào)328的音頻和/或視頻分量并且將信號(hào)轉(zhuǎn)換為可以處理為圖像和聲音的電氣信號(hào)。揚(yáng)聲器524_D可以是例如內(nèi)置或耦合到初級(jí)終端用戶設(shè)備540并且將電氣信號(hào)轉(zhuǎn)換為連同視頻圖像播放音頻的聲波。因此，初級(jí)終端用戶設(shè)備540經(jīng)由揚(yáng)聲器524_D輸出音頻。顯示屏524_C配置為將電氣信號(hào)轉(zhuǎn)換為可見光并且可以是將視頻輸出給用戶的任何類型的介質(zhì)；這包括但不限于監(jiān)視器、電視屏幕、等離子、LCD、投影儀或任何其他類型的顯示設(shè)備。因此，初級(jí)終端用戶設(shè)備540經(jīng)由顯示屏524_C輸出視頻。除TV外的音視頻顯示設(shè)備可以用作初級(jí)終端用戶設(shè)備540，包括但不限于智能電話、游戲控制臺(tái)、個(gè)人數(shù)字組織器、筆記本計(jì)算機(jī)和具有耦合到其的顯示屏的其他類型的計(jì)算機(jī)。取決于所利用的廣播信號(hào)的類型，初級(jí)終端用戶設(shè)備540可以包括用于從因特網(wǎng)接收流信號(hào)的內(nèi)置有線或無(wú)線調(diào)制解調(diào)器(未示出)。雖然上文所描述的初級(jí)終端用戶設(shè)備540包括用于相應(yīng)地輸出音頻和視頻內(nèi)容的顯示屏和聲音設(shè)備，但是初級(jí)終端用戶設(shè)備可以備選地僅輸出音頻內(nèi)容(例如，沒有視頻內(nèi)容的音樂)或可以備選地僅輸出視頻內(nèi)容(例如，沒有音頻內(nèi)容的無(wú)聲電影)。

如圖5的框圖上所示，次級(jí)終端用戶設(shè)備530與終端用戶設(shè)備430類似并且包括接收器534、處理器532、存儲(chǔ)器536、觸覺輸出設(shè)備526、顯示屏524_B和揚(yáng)聲器524_A。次級(jí)終端用戶設(shè)備530執(zhí)行存儲(chǔ)在存儲(chǔ)器536中并且由處理器532執(zhí)行的軟件應(yīng)用。處理器532可以是任何類型的通用處理器，或者可以是特別地設(shè)計(jì)為提供觸覺效果信號(hào)的處理器。存儲(chǔ)器536可以是任何類型的存儲(chǔ)設(shè)備或計(jì)算機(jī)可讀介質(zhì)，諸如但不限于隨機(jī)存取存儲(chǔ)器(RAM)或只讀存儲(chǔ)器(ROM)。存儲(chǔ)器536還可以定位在處理器或內(nèi)部存儲(chǔ)器和外部存儲(chǔ)器的任何組合的內(nèi)部。揚(yáng)聲器524_A可以是例如內(nèi)置或耦合到次級(jí)終端用戶設(shè)備530的揚(yáng)聲器或頭戴式耳機(jī)使得次級(jí)終端用戶設(shè)備530具有經(jīng)由揚(yáng)聲器524_A輸出音頻的能力。次級(jí)終端用戶設(shè)備530還具有經(jīng)由顯示屏524_B輸出視頻的能力。另外，取決于所利用的廣播信號(hào)的類型，次級(jí)終端用戶設(shè)備530可以包括用于從因特網(wǎng)接收流信號(hào)的內(nèi)置有線或無(wú)線調(diào)制解調(diào)器(未示出)。雖然本文所描述的次級(jí)終端用戶設(shè)備530可以包括用于可選地輸出音頻和/或視頻內(nèi)容的顯示屏和/或聲音設(shè)備，但是次級(jí)終端用戶設(shè)備不要求具有這些分量和功能性。例如，除觸覺輸出外，次級(jí)設(shè)備可以具有視頻輸出、可以具有音頻輸出、可以具有視頻輸出和音頻輸出二者或既不具有視頻輸出也不具有音頻輸出。

多設(shè)備系統(tǒng)538可以包括確保在次級(jí)終端用戶設(shè)備530上輸出觸覺內(nèi)容和在初級(jí)終端用戶設(shè)備540上輸出音視頻內(nèi)容的同步的裝置。例如，初級(jí)終端用戶設(shè)備540和次級(jí)終端用戶設(shè)備530可以彼此直接通信以便確保在相應(yīng)的設(shè)備上輸出內(nèi)容的同步?；胤哦ㄎ黄餍盘?hào)548可以在初級(jí)終端用戶設(shè)備540與次級(jí)終端用戶設(shè)備530之間通信并且用于確定針對(duì)信號(hào)120、122或復(fù)合信號(hào)328的時(shí)間參考點(diǎn)。時(shí)間參考點(diǎn)可以是例如時(shí)間碼、計(jì)數(shù)器、所消耗的媒體回放的秒數(shù)、媒體文件中的當(dāng)前時(shí)間回放位置或回放位置的任何其他指示。初級(jí)終端用戶設(shè)備540的回放定位器546有時(shí)將回放位置傳遞給次級(jí)終端用戶設(shè)備530的回放定位器544，或者反之亦然，以確保以與在次級(jí)終端用戶設(shè)備530上輸出的信號(hào)122或信號(hào)328的觸覺分量足夠地同步的方式渲染在初級(jí)終端用戶設(shè)備540上輸出的信號(hào)120或信號(hào)328的音頻和/或視頻分量。

如先前所提到的，關(guān)于圖6-11的實(shí)施例在本文中所公開的架構(gòu)描述了針對(duì)將包括原始傳感器數(shù)據(jù)的信號(hào)114處置為觸覺數(shù)據(jù)的不同的時(shí)間和地點(diǎn)。換句話說(shuō)，關(guān)于圖6-11的實(shí)施例在本文中所公開的架構(gòu)描述了在沿著從直播事件位置到終端用戶設(shè)備發(fā)生的分布鏈的哪個(gè)階段處，將具有原始傳感器數(shù)據(jù)的信號(hào)114變換為具有觸覺數(shù)據(jù)的信號(hào)122或復(fù)合信號(hào)328的觸覺分量將發(fā)生。

圖6圖示了根據(jù)其實(shí)施例的廣播觸覺架構(gòu)650。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在現(xiàn)場(chǎng)處理或傳輸站652處發(fā)生。如本文所使用的“處理或傳輸站”是指用于處理包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)的存在于或定位在直播事件處的處理設(shè)施。

在廣播觸覺架構(gòu)650中，音視頻記錄器608記錄直播事件處的直播音頻和視頻數(shù)據(jù)。更特別地，音視頻記錄器608是記錄設(shè)備，其配置為記錄或采集這兩個(gè)圖像作為視頻數(shù)據(jù)并且記錄或采集聲音作為音頻數(shù)據(jù)，諸如但不限于視頻攝影錄像機(jī)、智能電話等等。在本文所描述的任何架構(gòu)實(shí)施例中，可以分離地采集或記錄場(chǎng)景或事件的視頻和音頻(即，音頻和視頻能力可以在分離的或不同的設(shè)備上)，或可以僅采集或記錄視頻，或可以僅采集或記錄音頻。而且，在本文所描述的任何架構(gòu)實(shí)施例中，音視頻記錄器可以包括針對(duì)多個(gè)視頻和/或音頻饋送的多個(gè)視頻和/或音頻記錄設(shè)備的系統(tǒng)。包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)612傳送給現(xiàn)場(chǎng)處理或傳輸站652。為了回顧或處理原始音頻和/或視頻數(shù)據(jù)以確定其內(nèi)容適合或適用于廣播，在直播信號(hào)612從現(xiàn)場(chǎng)處理或傳輸站652廣播之前存在緩沖時(shí)段，例如七秒。在該實(shí)施例中，人類操作者在現(xiàn)場(chǎng)處理或傳輸站652處觀看直播信號(hào)612并且將觸覺效果手動(dòng)地插入緩沖時(shí)段內(nèi)，如由插入654所表示的。換句話說(shuō)，人類操作者在緩沖時(shí)段或強(qiáng)制性的廣播延遲期間利用已知觸覺效果創(chuàng)作工具創(chuàng)作觸覺效果。利用觸覺效果的手動(dòng)插入，在直播事件處不需要智能設(shè)備或傳感器。相反，人類操作者利用對(duì)應(yīng)的事件插入或嵌入預(yù)定或相關(guān)聯(lián)的觸覺效果。作為示例，直播事件可以是拳擊比賽，并且操作者正從現(xiàn)場(chǎng)處理或傳輸站652觀看比賽。當(dāng)操作者目睹頭部重?fù)魰r(shí)，她將預(yù)定或相關(guān)聯(lián)的頭部重?fù)粲|覺效果插入傳輸流中。作為另一示例，直播事件可以是網(wǎng)球比賽，并且操作者正從現(xiàn)場(chǎng)處理或傳輸站652觀看比賽。當(dāng)操作者目睹運(yùn)動(dòng)員擊中球時(shí)，她將預(yù)定或相關(guān)聯(lián)的球接觸觸覺效果插入傳輸流中。

在包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)612在現(xiàn)場(chǎng)處理或傳輸站652處已經(jīng)處理或回顧并且插入654已經(jīng)發(fā)生使得觸覺效果插入傳輸流之后，將具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)和嵌入的觸覺數(shù)據(jù)二者的復(fù)合信號(hào)628傳送給廣播站656。然后，廣播站656將具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)和嵌入的觸覺數(shù)據(jù)二者的復(fù)合信號(hào)628傳送給一個(gè)或多個(gè)終端用戶設(shè)備430。如圖6上所示，可以將復(fù)合信號(hào)628傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430被描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將復(fù)合信號(hào)628傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。在其另一實(shí)施例中，手動(dòng)地插入的觸覺效果傳送給終端用戶設(shè)備430作為不同的或分離的信號(hào)。

如上文所描述的，由于觸覺效果的手動(dòng)插入，因而廣播觸覺架構(gòu)650在直播事件處不要求智能設(shè)備或傳感器。然而，在其另一實(shí)施例中，一個(gè)或多個(gè)傳感器(未示出)在直播事件處記錄傳感器數(shù)據(jù)并且人類操作者在現(xiàn)場(chǎng)處理或傳輸站652處接收傳感器數(shù)據(jù)。如由插入654所表示的手動(dòng)地插入的觸覺效果可以基于傳感器數(shù)據(jù)和/或包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)612。因此，在該實(shí)施例中，傳感器數(shù)據(jù)連同包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)612采集和傳送給現(xiàn)場(chǎng)處理或傳輸站652。關(guān)于廣播觸覺架構(gòu)750和傳感器710在本文中描述了待利用在該實(shí)施例中的示例性傳感器和所感測(cè)的數(shù)據(jù)。

圖7圖示了根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)750。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在現(xiàn)場(chǎng)處理或傳輸站752處的音頻和/或視頻數(shù)據(jù)的處理之后但是在到達(dá)終端用戶設(shè)備430之前發(fā)生。換句話說(shuō)，在遠(yuǎn)離直播事件和終端用戶設(shè)備定位的非現(xiàn)場(chǎng)處理器上執(zhí)行處置或變換為觸覺數(shù)據(jù)。

在廣播觸覺架構(gòu)750中，音視頻記錄器708在直播事件處記錄直播音頻和視頻數(shù)據(jù)，并且傳感器710在直播事件處記錄傳感器數(shù)據(jù)。在本文所描述的任何架構(gòu)實(shí)施例中，傳感器可以是針對(duì)多個(gè)傳感器饋送的多個(gè)傳感器的系統(tǒng)(即，雖然被描述為單個(gè)傳感器，但是可以利用多個(gè)傳感器)。概括地說(shuō)，傳感器710是配置用于感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象、設(shè)備或人員的參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)的傳感器。在實(shí)施例中，傳感器710耦合或附接到在直播事件處所利用的一件設(shè)備760，諸如拳擊手套、足球、球、網(wǎng)球拍、頭盔或其他類型的體育事件相關(guān)物品，并且傳感器710配置為感測(cè)對(duì)象的移動(dòng)或速度并且將所感測(cè)的移動(dòng)轉(zhuǎn)換為傳感器數(shù)據(jù)。傳感器710可以是加速度計(jì)、陀螺儀、接觸壓力傳感器、全球定位系統(tǒng)(“GPS”)傳感器、旋轉(zhuǎn)速度傳感器或某種其他類型的傳感器，配置為檢測(cè)加速度、傾斜、慣性、移動(dòng)或位置的改變。在其另一實(shí)施例中，傳感器710與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)并且可以是生理信號(hào)(即，體積描記器)傳感器。如本文所使用的生理信號(hào)包括描述還可以轉(zhuǎn)譯為其情緒狀態(tài)的運(yùn)動(dòng)員的物理或生理狀態(tài)的任何信號(hào)。例如，生理信號(hào)包括但不限于涉及皮膚電反應(yīng)、血壓、體溫的信號(hào)、ECG信號(hào)、EMG信號(hào)和/或EEG信號(hào)。在另一實(shí)施例中，傳感器710配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象或設(shè)備的另一參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)，但是不要求耦合到對(duì)象或設(shè)備。例如，傳感器710可配置為記錄將轉(zhuǎn)換為觸覺效果的特定音頻和/或視頻信號(hào)或饋送。例如，傳感器710可以是用于采集能夠轉(zhuǎn)譯為觸覺效果的特定噪聲(即，引擎噪聲)的專用麥克風(fēng)。不像來(lái)自音視頻記錄器708的信號(hào)，來(lái)自傳感器710的音頻和/或視頻信號(hào)未廣播并且未被用于遞送視覺和聽覺反饋而是僅被用于觸覺目的。

在該實(shí)施例中，所有原始數(shù)據(jù)(即，原始視頻、音頻和傳感器數(shù)據(jù))一起同時(shí)傳遞到用于其處理或變換的遠(yuǎn)程或非現(xiàn)場(chǎng)位置。更特別地，將包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)712傳送給現(xiàn)場(chǎng)處理或傳輸站752，并且將包括原始傳感器數(shù)據(jù)的直播信號(hào)712也傳送給現(xiàn)場(chǎng)處理或傳輸站752。在不在其上執(zhí)行任何處理的情況下，現(xiàn)場(chǎng)處理或傳輸站752相應(yīng)地將具有原始音頻和/或視頻數(shù)據(jù)和原始傳感器數(shù)據(jù)的直播信號(hào)712和714傳送給廣播站756。然后，廣播站756相應(yīng)地將具有原始音頻和/或視頻數(shù)據(jù)和原始傳感器數(shù)據(jù)的直播信號(hào)712和714傳送給本地或區(qū)域處理站758。本地或區(qū)域處理站758包括處理器(即，圖2或3的處理器或編碼器116)以回顧或處理原始音頻和/或視頻數(shù)據(jù)以確定其內(nèi)容適合或適用于廣播，并且還包括處理器或變換器(即，圖2或3的變換器118)以將來(lái)自傳感器710的原始數(shù)據(jù)變換為觸覺數(shù)據(jù)。本地或區(qū)域處理站758遠(yuǎn)離直播事件和終端用戶設(shè)備。在其另一實(shí)施例中，現(xiàn)場(chǎng)處理或傳輸站752包括處理器(即，圖2或3的處理器或編碼器116)以回顧或處理直播信號(hào)712的原始音頻和/或視頻數(shù)據(jù)來(lái)確定其內(nèi)容適合或適用于廣播，同時(shí)在本地或區(qū)域處理站758處處理或處置包括原始傳感器數(shù)據(jù)的直播信號(hào)714，如上文所描述的。

在實(shí)施例中，取決于事件的類型和伴隨的傳感器信息(諸如力和強(qiáng)度)，將來(lái)自傳感器710的原始數(shù)據(jù)變換為包括觸覺事件檢測(cè)或標(biāo)識(shí)的觸覺數(shù)據(jù)。將來(lái)自傳感器710的原始數(shù)據(jù)從n(輸入)轉(zhuǎn)換到表示為m(輸出)的觸覺事件檢測(cè)或標(biāo)識(shí)，如Saboune等人的美國(guó)專利申請(qǐng)公開號(hào)2015/0054727(代理人案號(hào)IMM450)中更詳細(xì)描述的，其以整體內(nèi)容通過(guò)引用并入本文。待發(fā)揮的觸覺效果的位置、強(qiáng)度和性質(zhì)可以相對(duì)于觸覺事件標(biāo)識(shí)的特性。例如，可以將敲出命中轉(zhuǎn)譯為強(qiáng)碰撞，同時(shí)錯(cuò)過(guò)的反沖可以由輕微震動(dòng)表示。可以利用用于將原始傳感器數(shù)據(jù)轉(zhuǎn)換或變換為觸覺數(shù)據(jù)或命令的其他處理技術(shù)，其包括但不限于震動(dòng)、表面摩擦調(diào)制、皮膚夾緊、皮膚擠壓等等。例如，Lacroix等人的美國(guó)專利申請(qǐng)公開號(hào)2014/0205260(代理人案號(hào)IMM439)和Saboune等人的美國(guó)專利臨時(shí)專利申請(qǐng)?zhí)?1/968,799(代理人案號(hào)IMM520P)描述了用于將傳感器數(shù)據(jù)轉(zhuǎn)換為觸覺效果的系統(tǒng)和方法，其中的每一個(gè)以其整體內(nèi)容通過(guò)引用并入本文。

在本地或區(qū)域處理站758回顧或處理來(lái)自信號(hào)712、714的所有原始數(shù)據(jù)之后，本地或區(qū)域處理站758將觸覺的直播事件傳送給其具有終端用戶設(shè)備430的本地用戶。如圖7上所示，本地或區(qū)域處理站758可以同時(shí)傳送兩個(gè)分離的或不同的信號(hào)，其包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)720和具有觸覺數(shù)據(jù)的信號(hào)722。在另一實(shí)施例中，本地或區(qū)域處理站758還可以包括編碼器(未示出)，其取得包括觸覺數(shù)據(jù)的信號(hào)722并且將其編碼為包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)720以形成復(fù)合信號(hào)，所述復(fù)合信號(hào)包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)傳送給一個(gè)或多個(gè)終端設(shè)備，如關(guān)于圖3的以上描述。如圖7上所示，可以將信號(hào)720、722傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將信號(hào)720、722傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。

作為廣播觸覺架構(gòu)750的示例，直播事件是足球比賽，其利用裝備有傳感器710的足球，所述傳感器710通過(guò)放大器(未示出)將包括原始傳感器數(shù)據(jù)的信號(hào)傳送給現(xiàn)場(chǎng)處理或傳輸站752?，F(xiàn)場(chǎng)處理或傳輸站752將原始音頻/視頻/傳感器信號(hào)傳送給很多本地或區(qū)域處理站758。本地或區(qū)域處理站758處理所有信息并且將觸覺的直播事件傳送給終端用戶設(shè)備430。

圖8圖示了根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)850。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在現(xiàn)場(chǎng)處理或傳輸站852處的音頻和/或視頻數(shù)據(jù)的處理之前或與其同時(shí)發(fā)生。

在廣播觸覺架構(gòu)850中，音視頻記錄器808在直播事件處記錄直播音頻和視頻數(shù)據(jù)，并且傳感器810在直播事件處記錄傳感器數(shù)據(jù)。與傳感器710類似，傳感器810是配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象、設(shè)備或人員的參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)的傳感器。在實(shí)施例中，傳感器810耦合或附接到在直播事件處所利用的一件設(shè)備860，諸如拳擊手套、足球、球、網(wǎng)球拍、頭盔或其他類型的體育事件相關(guān)物品，并且傳感器810被配置為感測(cè)對(duì)象的移動(dòng)或速度并且將所感測(cè)的移動(dòng)轉(zhuǎn)換為傳感器數(shù)據(jù)。傳感器810可以是加速度計(jì)、陀螺儀、接觸壓力傳感器、全球定位系統(tǒng)(“GPS”)傳感器、旋轉(zhuǎn)速度傳感器或某種其他類型的傳感器，配置為檢測(cè)加速度、傾斜、慣性、移動(dòng)或位置的改變。在其另一實(shí)施例中，傳感器810與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)并且可以是生理信號(hào)(即，體積描記器)傳感器。在另一實(shí)施例中，傳感器810被配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象或設(shè)備的另一參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)，但是不要求耦合到對(duì)象或設(shè)備，如上文關(guān)于傳感器710的描述。

在該實(shí)施例中，具有來(lái)自傳感器810的原始數(shù)據(jù)的信號(hào)814首先在現(xiàn)場(chǎng)處理或傳輸站852之前或其處進(jìn)行本地處置并且然后通過(guò)現(xiàn)場(chǎng)處理或傳輸站852傳送給負(fù)責(zé)分配給不同終端用戶設(shè)備的中央處理服務(wù)器864。更特別地，將包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)812傳送給現(xiàn)場(chǎng)處理或傳輸站852，并且將包括原始傳感器數(shù)據(jù)的直播信號(hào)814傳送給現(xiàn)場(chǎng)變換器或處理器862。現(xiàn)場(chǎng)變換器或處理器862(即，圖2或3的變換器118)將來(lái)自傳感器810的原始數(shù)據(jù)變換為觸覺數(shù)據(jù)并且然后將包括觸覺數(shù)據(jù)的信號(hào)822傳送給現(xiàn)場(chǎng)處理或傳輸站852。如關(guān)于廣播觸覺架構(gòu)750所描述的，取決于事件的類型和伴隨的傳感器信息(諸如力和強(qiáng)度)，可以將來(lái)自傳感器810的原始數(shù)據(jù)變換為包括觸覺事件檢測(cè)或標(biāo)識(shí)的觸覺數(shù)據(jù)或者可以利用用于將原始傳感器數(shù)據(jù)轉(zhuǎn)換或變換為觸覺數(shù)據(jù)或命令的其他處理技術(shù)?，F(xiàn)場(chǎng)變換器或處理器862可以物理地定位在與直播事件相同建筑物或現(xiàn)場(chǎng)中或可以定位在現(xiàn)場(chǎng)處理或傳輸站852內(nèi)。

現(xiàn)場(chǎng)處理或傳輸站852包括處理器(即，圖2或圖3的處理器或編碼器116)，以回顧或處理原始音頻和/或視頻數(shù)據(jù)來(lái)確定其內(nèi)容適合或適用于廣播。現(xiàn)場(chǎng)處理或傳輸站852然后同時(shí)將兩個(gè)分離的或不同的信號(hào)傳送給廣播站856，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)820和具有觸覺數(shù)據(jù)的信號(hào)822。廣播站856將信號(hào)820、822傳送給中央處理服務(wù)器864，中央處理服務(wù)器864負(fù)責(zé)分配給不同的終端用戶設(shè)備430。如圖8上所示，可以將信號(hào)820、822傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430被描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將信號(hào)820、822傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。在另一實(shí)施例中，現(xiàn)場(chǎng)處理或傳輸站852或中央處理服務(wù)器864還可以包括編碼器(未示出)，其取得包括觸覺數(shù)據(jù)的信號(hào)822并且將其編碼為包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)820以形成復(fù)合信號(hào)，其包括經(jīng)處理或經(jīng)處置的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)傳送給一個(gè)或多個(gè)終端設(shè)備，如關(guān)于圖3上文所描述的。

圖9圖示了根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)950。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在現(xiàn)場(chǎng)處理或傳輸站852處的音頻和/或視頻數(shù)據(jù)的處理之前或與其同時(shí)發(fā)生。

在廣播觸覺架構(gòu)950中，音視頻記錄器908在直播事件處記錄直播音頻和視頻數(shù)據(jù)，并且傳感器910在直播事件處記錄傳感器數(shù)據(jù)。與傳感器710類似，傳感器910是配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象、設(shè)備或人員的參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)的傳感器。在實(shí)施例中，傳感器910耦合或附接到在直播事件處所利用的一件設(shè)備960，諸如拳擊手套、足球、球、網(wǎng)球拍、頭盔或其他類型的體育事件相關(guān)物品，并且傳感器910配置為感測(cè)對(duì)象的移動(dòng)或速度并且將所感測(cè)的移動(dòng)轉(zhuǎn)換為傳感器數(shù)據(jù)。傳感器910可以是加速度計(jì)、陀螺儀、接觸壓力傳感器、全球定位系統(tǒng)(“GPS”)傳感器、旋轉(zhuǎn)速度傳感器或某種其他類型的傳感器，配置為檢測(cè)加速度、傾斜、慣性、移動(dòng)或位置的改變。在其另一實(shí)施例中，傳感器910與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)并且可以是生理信號(hào)(即，體積描記器)傳感器。在另一實(shí)施例中，傳感器910配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象或設(shè)備的另一參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)，但是不要求耦合到對(duì)象或設(shè)備，如上文關(guān)于傳感器710所描述的。

在該實(shí)施例中，具有來(lái)自傳感器910的原始數(shù)據(jù)的信號(hào)914首先在現(xiàn)場(chǎng)處理或傳輸站952之前或其處進(jìn)行本地處置并且然后在沒有中央處理服務(wù)器的情況下通過(guò)現(xiàn)場(chǎng)處理或傳輸站952直接傳送給不同的終端用戶設(shè)備，如圖8中的實(shí)施例所描述的。通過(guò)播放經(jīng)由信號(hào)920的流動(dòng)的經(jīng)處理的音頻和/或視頻數(shù)據(jù)和經(jīng)由信號(hào)922的觸覺數(shù)據(jù)，每個(gè)終端用戶設(shè)備430充當(dāng)其自身的服務(wù)器。如果這是期望的，那么廣播觸覺架構(gòu)850之上的廣播觸覺架構(gòu)950的優(yōu)點(diǎn)是對(duì)本地附近終端用戶設(shè)備的傳輸。作為示例，直播事件是網(wǎng)球比賽，其利用裝備有傳感器910的球拍，所述傳感器910傳送加速度和陀螺儀信息。在體育館中的現(xiàn)場(chǎng)變換器或處理器962處處置原始傳感器數(shù)據(jù)或信號(hào)914并且通過(guò)現(xiàn)場(chǎng)處理或傳輸站952將經(jīng)由信號(hào)922的觸覺數(shù)據(jù)與經(jīng)由信號(hào)920的經(jīng)處理的音頻和/或視頻數(shù)據(jù)傳輸給體育館周圍的具有終端用戶設(shè)備的人們，其由于直播事件的票券售完而不可以進(jìn)入體育館中。附近人們將在其電話或平板電腦上觀看比賽并且根據(jù)具有觸覺數(shù)據(jù)的信號(hào)922感覺觸覺效果。

更特別地，將包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)912傳送給現(xiàn)場(chǎng)處理或傳輸站952，并且將包括原始傳感器數(shù)據(jù)的直播信號(hào)914傳送給現(xiàn)場(chǎng)變換器或處理器962。現(xiàn)場(chǎng)變換器或處理器962(即，圖2或3的變換器118)將來(lái)自傳感器910的原始數(shù)據(jù)變換為觸覺數(shù)據(jù)并且然后將包括觸覺數(shù)據(jù)的信號(hào)922傳送給現(xiàn)場(chǎng)處理或傳輸站952。如關(guān)于廣播觸覺架構(gòu)750所描述的，取決于事件的類型和伴隨的傳感器信息(諸如力和強(qiáng)度)，可以將來(lái)自傳感器910的原始數(shù)據(jù)變換為包括觸覺事件檢測(cè)或標(biāo)識(shí)的觸覺數(shù)據(jù)或者可以利用用于將原始傳感器數(shù)據(jù)轉(zhuǎn)換或變換為觸覺數(shù)據(jù)或命令的其他處理技術(shù)?，F(xiàn)場(chǎng)變換器或處理器962可以物理地定位在與直播事件相同建筑物或現(xiàn)場(chǎng)中或可以定位在現(xiàn)場(chǎng)處理或傳輸站952內(nèi)。

現(xiàn)場(chǎng)處理或傳輸站952包括處理器(即，圖2或圖3的處理器或編碼器116)，以回顧或處理原始音頻和/或視頻數(shù)據(jù)來(lái)確定其內(nèi)容適合或適用于廣播。現(xiàn)場(chǎng)處理或傳輸站952然后同時(shí)將兩個(gè)分離的或不同的信號(hào)直接分配給不同的終端用戶設(shè)備430，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)920和具有觸覺數(shù)據(jù)的信號(hào)922。如圖9上所示，可以將信號(hào)920、922傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430被描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將信號(hào)920、922傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。在另一實(shí)施例中，現(xiàn)場(chǎng)處理或傳輸站952還可以包括編碼器(未示出)，其取得包括觸覺數(shù)據(jù)的信號(hào)922并且將其編碼為包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)920以形成復(fù)合信號(hào)，所述復(fù)合信號(hào)包括經(jīng)處理或經(jīng)處置的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)傳送給一個(gè)或多個(gè)終端設(shè)備，如關(guān)于圖3上文所描述的。

圖10圖示了根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)1050。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在現(xiàn)場(chǎng)處理傳輸站1052處的音頻/或視頻數(shù)據(jù)的處理之前發(fā)生。

在廣播觸覺架構(gòu)1050中，音視頻記錄器1008在直播事件處記錄直播音頻和視頻數(shù)據(jù)，并且傳感器1010_A在直播事件處記錄傳感器數(shù)據(jù)。除傳感器1010_A包括微處理器或微控制器(即，圖2或3的變換器118)外，傳感器1010_A與傳感器710類似，其配置為將來(lái)自傳感器1010_A的原始數(shù)據(jù)變換為觸覺數(shù)據(jù)，如下文將更詳細(xì)描述的。傳感器1010_A是配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象、設(shè)備或人員的參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)的傳感器。在實(shí)施例中，傳感器1010_A耦合或附接到在直播事件處所利用的一件設(shè)備1060，諸如拳擊手套、足球、球、網(wǎng)球拍、頭盔或其他類型的體育事件相關(guān)物品，并且傳感器1010_A配置為感測(cè)對(duì)象的移動(dòng)或速度并且將所感測(cè)的移動(dòng)轉(zhuǎn)換為傳感器數(shù)據(jù)。傳感器1010_A可以是加速度計(jì)、陀螺儀、接觸壓力傳感器、全球定位系統(tǒng)(“GPS”)傳感器、旋轉(zhuǎn)速度傳感器或某種其他類型的傳感器，配置為檢測(cè)加速度、傾斜、慣性、移動(dòng)或位置的改變。在其另一實(shí)施例中，傳感器1010_A與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)并且可以是生理信號(hào)(即，體積描記器)傳感器。在另一實(shí)施例中，傳感器1010_A配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象或設(shè)備的另一參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)，但是不要求耦合到對(duì)象或設(shè)備。例如，傳感器1010_A可配置為記錄將轉(zhuǎn)換為觸覺效果的特定音頻和/或視頻信號(hào)或饋送，如上文關(guān)于傳感器710所描述的。

在該實(shí)施例中，傳感器信號(hào)的變換在傳感器自身內(nèi)發(fā)生。傳感器1010_A包括微處理器或微控制器，其配置為處理原始傳感器數(shù)據(jù)并且將原始傳感器數(shù)據(jù)變換為觸覺數(shù)據(jù)。廣播觸覺架構(gòu)1050的優(yōu)點(diǎn)在于，本地傳感器處理可導(dǎo)致歸因于本地較高環(huán)路速率的經(jīng)改進(jìn)或較好的觸覺事件檢測(cè)或標(biāo)識(shí)。如關(guān)于廣播觸覺架構(gòu)750所描述的，取決于事件的類型和伴隨的傳感器信息(諸如力和強(qiáng)度)，可以將來(lái)自傳感器1010_A的原始數(shù)據(jù)變換為包括觸覺事件檢測(cè)或標(biāo)識(shí)的觸覺數(shù)據(jù)或者可以利用用于將原始傳感器數(shù)據(jù)轉(zhuǎn)換或變換為觸覺數(shù)據(jù)或命令的其他處理技術(shù)。

更特別地，將包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)1012傳送給現(xiàn)場(chǎng)處理或傳輸站1052，并且將包括觸覺數(shù)據(jù)的信號(hào)1022傳送給現(xiàn)場(chǎng)處理或傳輸站1052。現(xiàn)場(chǎng)處理或傳輸站1052包括處理器(即，圖2或圖3的處理器或編碼器116)，以回顧或處理原始音頻和/或視頻數(shù)據(jù)來(lái)確定其內(nèi)容適合或適用于廣播?，F(xiàn)場(chǎng)處理或傳輸站1052然后同時(shí)將兩個(gè)分離的或不同的信號(hào)傳送給不同的終端用戶設(shè)備430，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)1020和具有觸覺數(shù)據(jù)的信號(hào)1022。如圖10上所示，可以將信號(hào)1020、1022傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430被描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將信號(hào)1020、1022傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。在另一實(shí)施例中，現(xiàn)場(chǎng)處理或傳輸站1052還可以包括編碼器(未示出)，其取得包括觸覺數(shù)據(jù)的信號(hào)1022并且將其編碼為包括經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)1020以形成復(fù)合信號(hào)，所述復(fù)合信號(hào)包括經(jīng)處理或經(jīng)處置的音頻和/或視頻數(shù)據(jù)以及觸覺數(shù)據(jù)傳送給一個(gè)或多個(gè)終端設(shè)備，如關(guān)于圖3上文所描述的。

雖然未示出，但是廣播觸覺架構(gòu)1050還可以包括用于分配給終端用戶設(shè)備的廣播站和/或中央處理服務(wù)器。更特別地，現(xiàn)場(chǎng)處理或傳輸站1052可以同時(shí)將兩個(gè)分離的或不同的信號(hào)傳送給廣播站，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)1020和具有觸覺數(shù)據(jù)的信號(hào)1022，并且然后廣播站可以將信號(hào)1020、1022傳送給負(fù)責(zé)分配給不同的終端用戶設(shè)備430的中央處理服務(wù)器。換句話說(shuō)，可以實(shí)現(xiàn)將信號(hào)1020、1022遞送給不同終端用戶設(shè)備430的方法，如先前實(shí)施例中的任一個(gè)中所描述的，即如關(guān)于圖8的廣播觸覺架構(gòu)850或圖9的廣播觸覺架構(gòu)950所描述的。

圖11圖示了根據(jù)其另一實(shí)施例的廣播觸覺架構(gòu)1150。在該實(shí)施例中，處置或變換為觸覺數(shù)據(jù)(即，圖2或圖3的變換器118)在終端用戶設(shè)備430的處理器處發(fā)生。雖然從帶寬觀點(diǎn)是最低效的，因?yàn)榫哂性紓鞲衅鲾?shù)據(jù)的信號(hào)1114自始至終完全地傳送給終端用戶設(shè)備430，但是廣播觸覺架構(gòu)1150從處理觀點(diǎn)是最高效的，因?yàn)槿總鞲衅鲾?shù)據(jù)的變換/處理卸載到端點(diǎn)。

在廣播觸覺架構(gòu)1150中，音視頻記錄器1108在直播事件處記錄直播音頻和視頻數(shù)據(jù)，并且傳感器1110在直播事件處記錄傳感器數(shù)據(jù)。傳感器1110與傳感器710類似，并且傳感器1110是配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象、設(shè)備或人員的參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)的傳感器。在實(shí)施例中，傳感器1110耦合或附接到在直播事件處所利用的一件設(shè)備1160，諸如拳擊手套、足球、球、網(wǎng)球拍、頭盔或其他類型的體育事件相關(guān)物品，并且傳感器1110配置為感測(cè)對(duì)象的移動(dòng)或速度并且將所感測(cè)的移動(dòng)轉(zhuǎn)換為傳感器數(shù)據(jù)。傳感器1110可以是加速度計(jì)、陀螺儀、接觸壓力傳感器、全球定位系統(tǒng)(“GPS”)傳感器、旋轉(zhuǎn)速度傳感器或某種其他類型的傳感器，配置為檢測(cè)加速度、傾斜、慣性、移動(dòng)或位置的改變。在其另一實(shí)施例中，傳感器1110與參與直播事件的一個(gè)或多個(gè)運(yùn)動(dòng)員相關(guān)聯(lián)并且可以是生理信號(hào)(即，體積描記器)傳感器。在另一實(shí)施例中，傳感器1110配置為感測(cè)與直播事件相關(guān)聯(lián)的對(duì)象或設(shè)備的另一參數(shù)并且將所感測(cè)的參數(shù)轉(zhuǎn)換為傳感器數(shù)據(jù)，但是不要求耦合到對(duì)象或設(shè)備，如上文關(guān)于傳感器710所描述的。

將包括原始音頻和/或視頻數(shù)據(jù)的直播信號(hào)1112傳送給現(xiàn)場(chǎng)處理或傳輸站1152，并且還將包括來(lái)自(一個(gè)或多個(gè))傳感器1160的原始數(shù)據(jù)的信號(hào)1114傳送給現(xiàn)場(chǎng)處理或傳輸站1152?，F(xiàn)場(chǎng)處理或傳輸站1152包括處理器(即，圖2或圖3的處理器或編碼器116)，以回顧或處理原始音頻和/或視頻數(shù)據(jù)來(lái)確定其內(nèi)容適合或適用于廣播?，F(xiàn)場(chǎng)處理或傳輸站1152然后同時(shí)將兩個(gè)分離的或不同的信號(hào)傳送給不同的終端用戶設(shè)備430，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)1120和包括來(lái)自(一個(gè)或多個(gè))傳感器1160的原始數(shù)據(jù)的信號(hào)1114。如圖11上所示，可以將信號(hào)1120、1114傳送給多設(shè)備終端用戶設(shè)備，并且因此，終端用戶設(shè)備430被描繪為終端用戶設(shè)備430₁、終端用戶設(shè)備430₂和終端用戶設(shè)備430_N。雖然被描繪為傳送給針對(duì)其視頻、音頻和觸覺分量的輸出的單個(gè)物理終端用戶設(shè)備430，但是可以備選地將信號(hào)1120、1114傳送給多設(shè)備系統(tǒng)，諸如本文所描述的多設(shè)備系統(tǒng)538。

雖然未示出，但是廣播觸覺架構(gòu)1150還可以包括用于分配給終端用戶設(shè)備的廣播站和/或中央處理服務(wù)器。更特別地，現(xiàn)場(chǎng)處理或傳輸站1152可以同時(shí)將兩個(gè)分離的或不同的信號(hào)傳送給廣播站，所述信號(hào)包括具有經(jīng)處理的音頻和/或視頻數(shù)據(jù)的信號(hào)1120和包括來(lái)自(一個(gè)或多個(gè))傳感器1160的原始數(shù)據(jù)的信號(hào)1114，并且然后廣播站可以將信號(hào)1120、1114傳送給負(fù)責(zé)分配給不同的終端用戶設(shè)備430的中央處理服務(wù)器。換句話說(shuō)，可以實(shí)現(xiàn)將信號(hào)1120、1122遞送給不同終端用戶設(shè)備430的方法，如先前實(shí)施例中的任一個(gè)中所描述的，即如關(guān)于圖8的廣播觸覺架構(gòu)850或圖9的廣播觸覺架構(gòu)950所描述的。信號(hào)1120、1122可以本地分配給直播事件的參加者，或者在另一實(shí)施例中可以在到達(dá)遠(yuǎn)程終端用戶設(shè)備之前通過(guò)廣播站和/或中央處理傳送。

雖然上文已經(jīng)描述根據(jù)本發(fā)明的各種實(shí)施例，但是應(yīng)當(dāng)理解，其已經(jīng)僅以圖示和示例而非限制的方式呈現(xiàn)。對(duì)于相關(guān)領(lǐng)域的技術(shù)人員而言將明顯的是，在不脫離本發(fā)明的精神和范圍的情況下，可以在其中做出形式和細(xì)節(jié)的各種改變。例如，雖然本文所描述的架構(gòu)包括對(duì)針對(duì)直播事件的視頻和/或音頻數(shù)據(jù)連同觸覺數(shù)據(jù)的傳輸或廣播，但是本文所描述的架構(gòu)可以修改為僅廣播來(lái)自直播事件的觸覺數(shù)據(jù)，與無(wú)線電僅廣播音頻數(shù)據(jù)的方式類似。例如，僅廣播觸覺數(shù)據(jù)可以利用在體育比賽中，其中，其得分每分鐘或其他預(yù)定時(shí)間觸覺地廣播或其得分每次得分改變時(shí)觸覺地廣播。因此，本發(fā)明的寬度和范圍不應(yīng)當(dāng)由上文所描述的示例性實(shí)施例中的任一個(gè)限定，而是應(yīng)當(dāng)僅根據(jù)隨附的權(quán)利要求書和其等價(jià)方案限定。還將理解到，本文所討論的每個(gè)實(shí)施例和本文所引用的每個(gè)參考文獻(xiàn)的每個(gè)特征可以組合任何其他實(shí)施例的特征使用。本文所討論的所有專利和出版物以其整體內(nèi)容通過(guò)引用并入本文。