專利名稱：便攜終端的影像和語(yǔ)音信號(hào)的同步裝置及其方法
技術(shù)領(lǐng)域：
本發(fā)明是將從多媒體便攜終端接收的影像信號(hào)和語(yǔ)音信號(hào)更快地進(jìn)行唇式同步，特別是涉及便攜終端的影像和語(yǔ)音信號(hào)同步裝置及其方法，將人識(shí)別的時(shí)間差反映到發(fā)生在發(fā)送方和接收方的數(shù)字調(diào)制解調(diào)時(shí)間差，因此縮短語(yǔ)音信號(hào)的輸出遲延時(shí)間，以便能夠進(jìn)行迅速而順暢的多媒體通信。
背景技術(shù)：
移動(dòng)通信用便攜終端(MSMOBILE STATION)在加入后已被登錄的系統(tǒng)的相應(yīng)基站(RANRADIO ACCESS NETWORK)形成的服務(wù)區(qū)域(SERVICE AREA)內(nèi)自由移動(dòng)，經(jīng)過(guò)根據(jù)移動(dòng)交換臺(tái)(MSCMOBILESWITCHING CENTER)的監(jiān)視、控制和切換(SWITCHING)而被設(shè)定的通信路徑，可以在任何時(shí)間、任何地方與所希望交流的對(duì)象立即進(jìn)行無(wú)線連接、通信，是個(gè)人經(jīng)常直接攜帶并移動(dòng)的尖端無(wú)線通信設(shè)備。
移動(dòng)通信系統(tǒng)包括第一代(1G)的只利用語(yǔ)音級(jí)信號(hào)通信，在第二代(2G)發(fā)展成為利用文字短消息的數(shù)據(jù)通信方式，現(xiàn)在的第三代(3GPP)移動(dòng)通信系統(tǒng)已經(jīng)發(fā)展成為包括語(yǔ)音信號(hào)和文字信號(hào)以及影像信號(hào)的多媒體級(jí)通信方式。
為了提高便攜終端的移動(dòng)性和便攜性，其被制作成了小型而輕量的便攜終端，因此，體積小、構(gòu)成被限制就導(dǎo)致了類(lèi)似于程序及存儲(chǔ)器等相關(guān)資源的處理能力也有限制。
用于上述多媒體通信的影像信號(hào)和語(yǔ)音信號(hào)要被數(shù)字處理，因?yàn)橛跋裥盘?hào)要處理的數(shù)據(jù)量多，因此比發(fā)送語(yǔ)音信號(hào)更消耗遲延時(shí)間。
在上述移動(dòng)通信系統(tǒng)中與對(duì)方直接連接實(shí)時(shí)通信的情況下，輸入的影像信號(hào)和語(yǔ)音信號(hào)被處理的同時(shí)進(jìn)行傳送，而處理影像信號(hào)的情況下，由于需要處理的數(shù)據(jù)量多，從處理結(jié)束到傳送的時(shí)間要比語(yǔ)音信號(hào)消耗的時(shí)間多，接收方處理的情況也比語(yǔ)音級(jí)信號(hào)處理的時(shí)間長(zhǎng)。
與對(duì)方進(jìn)行多媒體通信的情況下，雖然語(yǔ)音級(jí)信號(hào)能夠及時(shí)輸出，但由于影像信號(hào)輸出的慢，因此存在影像信號(hào)和語(yǔ)音信號(hào)的同步不一致的問(wèn)題。
而且，開(kāi)發(fā)多媒體通信的語(yǔ)音信號(hào)和影像信號(hào)一致的唇式同步技術(shù)的同時(shí)，也有必要開(kāi)發(fā)能夠進(jìn)行迅速而順暢的通信的技術(shù)。
以下參照附圖詳細(xì)說(shuō)明現(xiàn)有技術(shù)的便攜終端的影像信號(hào)和語(yǔ)音信號(hào)同步進(jìn)行的唇式同步的方式。
圖1是一般的移動(dòng)通信系統(tǒng)的功能構(gòu)成圖，圖2是現(xiàn)有技術(shù)的便攜終端的影像信號(hào)和語(yǔ)音信號(hào)同步方法的流程圖，這兩個(gè)圖都是用以說(shuō)明現(xiàn)有技術(shù)的。
下面參照?qǐng)D1說(shuō)明一般的移動(dòng)通信系統(tǒng)，便攜終端10在基站(RAN)20形成的服務(wù)區(qū)域內(nèi)自由移動(dòng)，可以在任何時(shí)間、任何地方與所希望交流的對(duì)象立即進(jìn)行無(wú)線連接、通話。
由于上述基站20形成的服務(wù)區(qū)域是限定的，因此本發(fā)明提供多個(gè)基站20以一定的間距連續(xù)被設(shè)置，將全國(guó)形成為移動(dòng)通信服務(wù)區(qū)域，上述多個(gè)基站20由移動(dòng)交換臺(tái)(MSC)30的控制與監(jiān)視而運(yùn)行，上述移動(dòng)交換臺(tái)30記錄保存便攜終端10的入網(wǎng)信息、登記位置，并提供通過(guò)相應(yīng)基站20的移動(dòng)通信服務(wù)。
上述便攜終端10連接請(qǐng)求的對(duì)方加入登錄到另外的通信系統(tǒng)時(shí)，由于上述移動(dòng)交換臺(tái)30控制空中網(wǎng)40連接到相應(yīng)通信網(wǎng)，所以可以與相應(yīng)通信網(wǎng)的對(duì)方進(jìn)行無(wú)線連接并進(jìn)行通信。
上述便攜終端10可以以包括影像信號(hào)和語(yǔ)音信號(hào)的多媒體方式進(jìn)行通信。由于上述影像信號(hào)比語(yǔ)音信號(hào)的數(shù)據(jù)量多，因此不僅存在便攜終端處理發(fā)送的時(shí)間差、接收處理的時(shí)間差。而且還存在影像信號(hào)和語(yǔ)音信號(hào)的同步或唇式同步(LIP SYNCHRONOUS)不一致而導(dǎo)致的多媒體通信不自然的問(wèn)題。
以下參照?qǐng)D2說(shuō)明現(xiàn)有技術(shù)的便攜終端的影像信號(hào)和語(yǔ)音信號(hào)的同步方法。
利用上述便攜終端發(fā)送多媒體通信信號(hào)的情況下(步驟S10)，輸入包括影像信號(hào)和語(yǔ)音信號(hào)的多媒體信號(hào)(步驟S20)，將上述輸入的信號(hào)各自數(shù)字調(diào)制處理后進(jìn)行發(fā)送(步驟S30)。
用上述便攜終端接收對(duì)方傳送的多媒體信號(hào)的情況下(步驟S40)，接收語(yǔ)音信號(hào)和影像信號(hào)進(jìn)行數(shù)字解調(diào)處理(步驟S50)，同步(LIP SYNC.)處理影像信號(hào)和語(yǔ)音信號(hào)并輸出(步驟S60)。
上述多媒體通信中，由于影像信號(hào)的數(shù)據(jù)量多，因此數(shù)據(jù)處理所需的時(shí)間較長(zhǎng)，而語(yǔ)音信號(hào)的數(shù)據(jù)量較少，因此數(shù)據(jù)處理并發(fā)送所需的時(shí)間較短，發(fā)送時(shí)要比發(fā)送影像信號(hào)快。
另外，由于接收方也發(fā)生相同的現(xiàn)象，因此存在影像信號(hào)和語(yǔ)音信號(hào)的同步不一致的問(wèn)題，由此產(chǎn)生各自輸出多媒體通信的語(yǔ)音和影像信號(hào)而導(dǎo)致通信不自然的問(wèn)題。
為解決上述問(wèn)題，現(xiàn)有技術(shù)的做法是，演算在發(fā)送方和接收方各自發(fā)生的影像信號(hào)和語(yǔ)音信號(hào)的處理遲延時(shí)間，并遲延在接收方中輸出的語(yǔ)音信號(hào)，因此使得接收輸出的影像信號(hào)和語(yǔ)音信號(hào)達(dá)到同步。
但是，通信會(huì)隨著遲延時(shí)間變慢，回復(fù)也會(huì)慢，用戶仍會(huì)感覺(jué)到遲延時(shí)間，因此存在通信無(wú)法正常進(jìn)行或通信時(shí)間變長(zhǎng)等的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明的目的在于提供一種便攜終端的影像和語(yǔ)音信號(hào)同步裝置及其方法，在進(jìn)行多媒體通信的便攜終端的接收方中，認(rèn)知發(fā)送方和接收方的影像信號(hào)遲延時(shí)間反映人的聽(tīng)力誤差，因此迅速輸出語(yǔ)音級(jí)信號(hào)縮短通信進(jìn)行時(shí)間的同時(shí)，使進(jìn)行順暢而自然。
為實(shí)現(xiàn)上述目的而提出的本發(fā)明由如下特征構(gòu)成，根據(jù)便攜終端的控制部與對(duì)方進(jìn)行多媒體通信的情況下，將從輸入輸出部輸入的語(yǔ)音和影像信號(hào)在影像處理部和語(yǔ)音處理部進(jìn)行數(shù)字調(diào)制，并通過(guò)無(wú)線部實(shí)時(shí)發(fā)送，控制唇式同步演算部發(fā)送演算的調(diào)整時(shí)間差；從無(wú)線部接收對(duì)方的多媒體信號(hào)的情況下，通過(guò)影像處理部和語(yǔ)音處理部各自數(shù)字解調(diào)，并控制唇式同步演算部演算解調(diào)時(shí)間差，反映接收的調(diào)整時(shí)間差值和人的認(rèn)知時(shí)間差，演算唇式同步時(shí)間差值，用上述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，并使其與解調(diào)的影像信號(hào)同步狀態(tài)地輸出到輸入輸出部。
而且，為實(shí)現(xiàn)如上所述的目的而提出的本發(fā)明的裝置的由如下幾個(gè)部分構(gòu)成無(wú)線部，無(wú)線發(fā)送或接收多媒體通信信號(hào)，無(wú)線發(fā)送影像信號(hào)和語(yǔ)音信號(hào)的調(diào)制時(shí)間差值；控制部，與上述無(wú)線部連接，數(shù)字調(diào)制多媒體發(fā)送信號(hào)一并與時(shí)間差值進(jìn)行輸出，解調(diào)接收信號(hào)，輸出反映演算的唇式同步值的多媒體信號(hào)；影像處理部，與上述控制部連接，將發(fā)送或接收的影像信號(hào)進(jìn)行數(shù)字調(diào)制或解調(diào)并輸出；語(yǔ)音處理部，與上述控制部連接，將發(fā)送或接收的語(yǔ)音信號(hào)數(shù)字調(diào)制或解調(diào)并輸出；唇式同步演算部，與上述控制部連接，演算輸出影像處理部和語(yǔ)音處理部調(diào)制或解調(diào)的時(shí)間差值，并演算輸出唇式同步時(shí)間。
而且，為實(shí)現(xiàn)如上所述的目的而提出的本發(fā)明的方法包括如下步驟便攜終端的控制部為了與對(duì)方通信而進(jìn)行多媒體信號(hào)傳送的情況下，數(shù)字調(diào)制語(yǔ)音和影像的多媒體信號(hào)，演算語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值并進(jìn)行傳送；接收對(duì)方的多媒體信號(hào)的情況下，接收語(yǔ)音和影像的多媒體信號(hào)進(jìn)行數(shù)字解調(diào)，演算語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，并演算反映接收的解調(diào)時(shí)間差值與人的認(rèn)知時(shí)間差值的唇式同步時(shí)間差值，用上述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，以影像信號(hào)和語(yǔ)音信號(hào)的同步狀態(tài)輸出。
而且，為實(shí)現(xiàn)如上所述的目的而提出的本發(fā)明的方法包括如下步驟輸入步驟，根據(jù)便攜終端的控制部要與對(duì)方通信而進(jìn)行傳送的情況下，輸入語(yǔ)音和影像的多媒體信號(hào)并各自進(jìn)行數(shù)字調(diào)制；演算步驟，在上述步驟中，給對(duì)方傳送數(shù)字調(diào)制的多媒體信號(hào)，并演算語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值進(jìn)行傳輸；解調(diào)步驟，根據(jù)上述控制部的判斷，接收對(duì)方傳送的多媒體信號(hào)的情況下，數(shù)字解調(diào)接收的信號(hào)；演算時(shí)差步驟，根據(jù)上述步驟演算語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，演算反映調(diào)制時(shí)間差值與人的認(rèn)知時(shí)間差值的唇式同步值；唇式同步步驟，以上述步驟中演算的唇式同步值遲延解調(diào)的語(yǔ)音信號(hào)，以影像信號(hào)和語(yǔ)音信號(hào)的同步狀態(tài)輸出。
本發(fā)明的有益效果在于，將在多媒體通信時(shí)由于影像信號(hào)和語(yǔ)音信號(hào)的處理時(shí)間差而發(fā)生的多媒體輸出遲延時(shí)間，通過(guò)反映根據(jù)人的認(rèn)知時(shí)間差值的唇式同步時(shí)間值，先輸出語(yǔ)音信號(hào)，而使得實(shí)時(shí)多媒體通信以最小的遲延迅速進(jìn)行。此外，使語(yǔ)音信號(hào)先輸出人的認(rèn)知時(shí)間差值的時(shí)間，與影像信號(hào)唇式同步輸出，因此使多媒體通信自然地進(jìn)行，并使其在使用上更加便利。


圖1是一般的移動(dòng)通信系統(tǒng)的功能構(gòu)成圖；圖2是現(xiàn)有技術(shù)的便攜終端的影像信號(hào)和語(yǔ)音信號(hào)同步方法的順序圖；圖3是本發(fā)明便攜終端的影像和語(yǔ)音信號(hào)同步裝置功能構(gòu)成圖；圖4是本發(fā)明便攜終端的影像和語(yǔ)音信號(hào)同步方法順序圖。
附圖主要部分的符號(hào)說(shuō)明100無(wú)線部110控制部120存儲(chǔ)部130輸入輸出部140唇式同步演算部150語(yǔ)音處理部160影像處理部具體實(shí)施方式
以下參照附圖詳細(xì)說(shuō)明本發(fā)明的便攜終端的影像和語(yǔ)音信號(hào)的同步裝置及其方法。
圖3是本發(fā)明便攜終端的影像和語(yǔ)音信號(hào)同步裝置功能構(gòu)成圖，圖4是本發(fā)明便攜終端的影像和語(yǔ)音信號(hào)的同步方法流程圖，均為說(shuō)明本發(fā)明而附加的。
參照附圖3說(shuō)明本發(fā)明的便攜終端的影像和語(yǔ)音信號(hào)同步裝置，其特征包括移動(dòng)通信用便攜終端的控制部110與對(duì)方進(jìn)行多媒體(MULTIMEDIA)通信的情況下，將輸入輸出部130輸入的語(yǔ)音和影像信號(hào)在影像處理部160和語(yǔ)音處理部150中進(jìn)行數(shù)字調(diào)制，通過(guò)無(wú)線部100實(shí)時(shí)發(fā)送，控制唇式同步演算部140發(fā)送演算的調(diào)制時(shí)間差值；從無(wú)線部100接收對(duì)方的多媒體信號(hào)的情況下，通過(guò)影像處理部160和語(yǔ)音處理部150各自進(jìn)行數(shù)字解調(diào)，控制唇式同步演算部140演算解調(diào)時(shí)間差值，反映接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值演算唇式同步(LIP SYNCHRONOUS)時(shí)間差值，以上述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)與解調(diào)的影像信號(hào)一同輸出到輸入輸出部。
詳細(xì)說(shuō)明如上所述的構(gòu)成包括無(wú)線部100，控制部110，存儲(chǔ)部120，輸入輸出部130，唇式同步演算部140，語(yǔ)音處理部150，影像處理部160。
無(wú)線部100，無(wú)線接收或發(fā)送多媒體通信信號(hào)，無(wú)線接收或發(fā)送影像信號(hào)和語(yǔ)音信號(hào)的調(diào)制時(shí)間差值。
控制部110，與上述無(wú)線部連接，數(shù)字調(diào)制多媒體發(fā)送信號(hào)并與時(shí)差值或時(shí)間差值一同輸出，解調(diào)接收信號(hào)并輸出反映演算的唇式同步值的多媒體信號(hào)。從輸入輸出部130添加要發(fā)送的多媒體信號(hào)的情況下，影像信號(hào)添加到影像處理部160進(jìn)行數(shù)字調(diào)制(MODULATION)，添加到無(wú)線部100無(wú)線發(fā)送給對(duì)方，影像信號(hào)調(diào)制時(shí)間信息添加到唇式同步演算部140中。語(yǔ)音信號(hào)添加到語(yǔ)音處理部150進(jìn)行數(shù)字調(diào)制，添加到無(wú)線部100無(wú)線發(fā)送給對(duì)方，語(yǔ)音信號(hào)調(diào)制時(shí)間信息添加到唇式同步演算部140中。控制唇式同步演算部140演算影像信號(hào)和語(yǔ)音信號(hào)的調(diào)制時(shí)間差值，添加到上述無(wú)線部100傳送給對(duì)方，如果從上述無(wú)線部100無(wú)線接收到對(duì)方傳送的多媒體信號(hào)和時(shí)間差值，則影像信號(hào)添加到影像處理部160進(jìn)行數(shù)字解調(diào)，影像信號(hào)解調(diào)時(shí)間信息添加到唇式同步演算部140中；語(yǔ)音信號(hào)添加到語(yǔ)音處理部150進(jìn)行數(shù)字解調(diào)，語(yǔ)音信號(hào)解調(diào)時(shí)間信息添加到唇式同步演算部140中?？刂拼绞酵窖菟悴?40演算在調(diào)制時(shí)間差值和解調(diào)時(shí)間差值中反映人的認(rèn)知時(shí)間差值的唇式同步值，將解調(diào)的語(yǔ)音信號(hào)遲延相當(dāng)于上述演算的唇式同步值，控制并監(jiān)視與影像信號(hào)一同輸出到輸入輸出部。
存儲(chǔ)部120，與上述控制部110連接，根據(jù)相應(yīng)控制記錄保存并輸出運(yùn)用程序和數(shù)據(jù)。
輸入輸出部130，與上述控制部110連接，根據(jù)相應(yīng)控制，輸入包括影像信號(hào)和語(yǔ)音信號(hào)的多媒體信號(hào)，輸出唇式同步的多媒體信號(hào)。
唇式同步演算部140，與上述控制部110連接，各演算輸出影像處理部160和語(yǔ)音處理部150調(diào)制和解調(diào)的時(shí)間差值，演算輸出唇式同步時(shí)間。
語(yǔ)音處理部150，與上述控制部110連接，將發(fā)送或接收的語(yǔ)音信號(hào)進(jìn)行數(shù)字調(diào)制或解調(diào)并輸出，根據(jù)控制部110的控制，將輸入輸出部130添加的語(yǔ)音信號(hào)調(diào)制成數(shù)字信號(hào)，與相應(yīng)調(diào)制時(shí)間信息一同輸出，將無(wú)線部100接收添加的語(yǔ)音信號(hào)解調(diào)成數(shù)字信號(hào)，與相應(yīng)解調(diào)時(shí)間信息一同輸出。
影像處理部160，與上述控制部110連接，將發(fā)送或接收的影像信號(hào)進(jìn)行數(shù)字調(diào)制或解調(diào)并輸出，根據(jù)控制部110的控制，將輸入輸出部130添加的影像信號(hào)調(diào)制成數(shù)字信號(hào)，與相應(yīng)調(diào)制時(shí)間信息一同輸出，將無(wú)線部100接收添加的影像信號(hào)解調(diào)成數(shù)字信號(hào)，與相應(yīng)解調(diào)時(shí)間信息一同輸出。
以下參照附圖詳細(xì)說(shuō)明如上所述構(gòu)成的本發(fā)明的便攜終端的影像和語(yǔ)音信號(hào)的同步裝置。
上述移動(dòng)通信用便攜終端(MS)利用數(shù)字方式，包括影像(VIDEO)信號(hào)和語(yǔ)音(VOICE或AUDIO)信號(hào)的多媒體信號(hào)，與對(duì)方在移動(dòng)狀態(tài)下進(jìn)行無(wú)線通信。
如果向上述便攜終端輸入根據(jù)影像和語(yǔ)音的多媒體信號(hào)，則各以數(shù)字方式調(diào)制(MODULATION)處理并無(wú)線傳送，以將從對(duì)方無(wú)線接收的多媒體信號(hào)數(shù)字處理并解調(diào)(DEMODULATION)輸出的方式與對(duì)方進(jìn)行無(wú)線通信。
上述影像信號(hào)比語(yǔ)音信號(hào)數(shù)字處理的數(shù)據(jù)量多，因此，在為發(fā)送的調(diào)制和接收處理的解調(diào)步驟各消耗的時(shí)間較多。
上述便攜終端(MS)與無(wú)線連接的對(duì)方進(jìn)行多媒體無(wú)線通信的情況下，要實(shí)時(shí)傳送相應(yīng)語(yǔ)音和影像信號(hào)。
上述便攜終端向?qū)Ψ桨l(fā)送經(jīng)過(guò)數(shù)字處理的多媒體信號(hào)的情況下，數(shù)據(jù)量少的語(yǔ)音級(jí)信號(hào)無(wú)線傳送的快，而數(shù)據(jù)量多的影像級(jí)信號(hào)需要時(shí)間來(lái)進(jìn)行數(shù)字處理，因此相應(yīng)的無(wú)線傳送速度會(huì)慢。
而且，接收方也如此，語(yǔ)音級(jí)信號(hào)數(shù)據(jù)量少，因此很快地被處理而輸出，影像級(jí)信號(hào)數(shù)據(jù)量多，因此處理數(shù)據(jù)要消耗時(shí)間而輸出的會(huì)慢，由于影像(VIDEO)信號(hào)隨著發(fā)送過(guò)程和接收過(guò)程中產(chǎn)生的延遲時(shí)間而延遲輸出，最終輸出的多媒體信號(hào)的音頻信號(hào)和影像信號(hào)將不會(huì)同步(LIP SYNC)輸出并導(dǎo)致發(fā)生不協(xié)調(diào)感。
如上所述遲延數(shù)據(jù)量多的語(yǔ)音信號(hào)，在使其與影像信號(hào)進(jìn)行唇式同步的情況下，從發(fā)送方發(fā)送通信內(nèi)容到對(duì)方確認(rèn)為止，遲延上述唇式同步的時(shí)間，答復(fù)上述遲延的通信內(nèi)容的情況下，通過(guò)與上述相同的步驟而遲延，則多媒體通信會(huì)進(jìn)行地很不自然。
而且，人用視覺(jué)確認(rèn)影像信號(hào)，用聽(tīng)覺(jué)確認(rèn)認(rèn)知的時(shí)間和語(yǔ)音信號(hào)，認(rèn)知并同步的時(shí)間上會(huì)有一定的差別。
因此，檢測(cè)出人的上述認(rèn)知時(shí)間差，并從上述唇式同步延遲時(shí)間中減去上述認(rèn)知時(shí)間差，使語(yǔ)音信號(hào)按照人的認(rèn)知時(shí)間差進(jìn)行輸出，從而實(shí)現(xiàn)更為自然、快捷、順暢的多媒體通信操作。
上述便攜終端(MS)的控制部110被提供工作電源，在活性化控制各功能部件的同時(shí)，從存儲(chǔ)部讀取相應(yīng)運(yùn)用程序和應(yīng)用程序及數(shù)據(jù)，而成為待機(jī)(STANDBY)狀態(tài)，在上述待機(jī)狀態(tài)下，多媒體通信的對(duì)方通過(guò)無(wú)線部100在無(wú)線連接狀態(tài)下，從上述輸入輸出部130輸入影像信號(hào)和語(yǔ)音信號(hào)，要與指定的對(duì)方發(fā)送時(shí)，從上述輸入輸出部130輸入的影像信號(hào)添加到影像處理部160，語(yǔ)音信號(hào)添加到語(yǔ)音處理部150。
上述影像處理部160根據(jù)控制部110的控制，將輸入的影像信號(hào)進(jìn)行數(shù)字調(diào)制(MODULATION)并輸出，上述語(yǔ)音處理部150也根據(jù)控制部110的控制，將輸入的語(yǔ)音信號(hào)進(jìn)行數(shù)字調(diào)制(MODULATION)并輸出。
上述控制部110將從影像處理部160和語(yǔ)音處理部150接收的數(shù)字調(diào)制輸入的信號(hào)添加到無(wú)線部100，與指定的對(duì)方實(shí)時(shí)(REALTIME)進(jìn)行無(wú)線傳送的同時(shí)，將上述各影像信號(hào)和語(yǔ)音信號(hào)的數(shù)字調(diào)制時(shí)間信息添加到上述唇式同步演算部140，以演算時(shí)間差值(TD-SKEW)，上述控制部110將演算的時(shí)間差值(TD-SKEW)添加到無(wú)線部100，并無(wú)線傳送給對(duì)方。
如上所述，便攜終端發(fā)送的多媒體信號(hào)經(jīng)由移動(dòng)通信基站(RAN)和移動(dòng)交換臺(tái)(MSC)系統(tǒng)傳送到指定的對(duì)方，因此存在根據(jù)上述系統(tǒng)發(fā)生的遲延時(shí)間(TD-NETTIME DELAY NETWORK)，而影像信號(hào)和語(yǔ)音信號(hào)幾乎同樣發(fā)生上述系統(tǒng)遲延時(shí)間(TD-NET)，因此可以不考慮其遲延時(shí)間。
上述便攜終端(MS)通過(guò)活性化的無(wú)線部100無(wú)線接收對(duì)方傳送的多媒體信號(hào)和調(diào)制時(shí)間差值(TD-SKEW)的情況下，分離檢索輸出上述無(wú)線接收的多媒體信號(hào)的影像信號(hào)添加到影像處理部160，分離檢索輸出語(yǔ)音信號(hào)添加到語(yǔ)音處理部150，分離檢索輸出的調(diào)制時(shí)間差值(TD-SKEW)各添加到唇式同步處理部140中。
上述影像處理部160將接收添加的影像信號(hào)數(shù)字解調(diào)(DEMODULATION)并輸出，上述語(yǔ)音處理部150將接收添加的語(yǔ)音信號(hào)數(shù)字解調(diào)(DIGITAL DEMODULATION)并輸出。
上述控制部110添加各從影像處理部160和語(yǔ)音處理部150解調(diào)的影像信號(hào)和語(yǔ)音信號(hào)，臨時(shí)記錄保存到存儲(chǔ)部120分配的區(qū)域中，檢索輸出各自解調(diào)(DEMODULATION)上述影像處理部160和語(yǔ)音處理部150所需的時(shí)間信息添加到上述唇式同步演算部140，上述唇式同步演算部140根據(jù)控制部110的控制演算影像信號(hào)和語(yǔ)音信號(hào)的解調(diào)時(shí)間差值(TD-REC)。
上述控制部110從上述存儲(chǔ)部120讀取人的認(rèn)知時(shí)間差值(TD-NEG)，添加到上述唇式同步演算部140的同時(shí)并進(jìn)行控制，演算反映在調(diào)制時(shí)間差值(TD-SKEW)和解調(diào)時(shí)間差值(TD-REC)中的人的認(rèn)知時(shí)間差值(TD-NEG)。
添加如上所述演算的唇式同步時(shí)間差值的控制部，讀取臨時(shí)記錄保存在上述存儲(chǔ)部分配的區(qū)域的影像信號(hào)和語(yǔ)音信號(hào)，將語(yǔ)音信號(hào)遲延上述唇式同步時(shí)間差值，設(shè)定為與影像信號(hào)同步的狀態(tài)，輸出到上述輸入輸出部130，由此可以進(jìn)行無(wú)線通信。
因此，檢測(cè)出人的認(rèn)知時(shí)間差(TD-NEG)，使語(yǔ)音信號(hào)按照人的上述認(rèn)知時(shí)間差進(jìn)行輸出，從而實(shí)現(xiàn)更為自然、快捷、順暢的多媒體通信操作，并存在不會(huì)發(fā)生異常感的優(yōu)點(diǎn)。
以下參照附圖4說(shuō)明本發(fā)明的便攜終端的影像和語(yǔ)音信號(hào)的同步方法。
在移動(dòng)通信用便攜終端的控制部110為了與對(duì)方進(jìn)行通信而無(wú)線發(fā)送多媒體信號(hào)時(shí)，數(shù)字調(diào)制(DIGITAL MODULATION)語(yǔ)音和影像的多媒體信號(hào)，并包括演算的語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值進(jìn)行無(wú)線發(fā)送。而在無(wú)線接收多方的多媒體信號(hào)的情況下，無(wú)線接收并數(shù)字解調(diào)(DIGITALDEMODULATION)語(yǔ)音和影像的多媒體信號(hào)，演算語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，演算反映接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值的唇式同步(LIP SYNCHRONOUS)時(shí)間差值，以上述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)(VOICE SIGNAL)，并以影像信號(hào)(VIDEO SIGNAL)和語(yǔ)音信號(hào)同步(DELAY)的狀態(tài)輸出。
再次說(shuō)明如上所述的一系列的步驟輸入步驟，在便攜終端控制部110要與對(duì)方通信而進(jìn)行無(wú)線發(fā)送的情況下，輸入語(yǔ)音(AUDIO)和影像(VIDEO)的多媒體(MULTIMEDIA)信號(hào)并各自進(jìn)行數(shù)字調(diào)制(DIGITAL MODULATION)。輸入步驟包括如下步驟根據(jù)控制部110的判斷，判斷是要與對(duì)方進(jìn)行通信而發(fā)送多媒體信號(hào)的步驟(步驟S100)；在上述步驟(步驟S100)中向?qū)Ψ桨l(fā)送多媒體信號(hào)時(shí)，將多媒體的語(yǔ)音和影像信號(hào)各自進(jìn)行數(shù)字調(diào)制的步驟(步驟S110)；演算步驟，在上述輸入步驟中，給對(duì)方發(fā)送數(shù)字調(diào)制的多媒體信號(hào)，演算語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值并發(fā)送。演算步驟包括如下步驟將數(shù)字調(diào)制的語(yǔ)音和影像信號(hào)各自實(shí)時(shí)(REALTIME)發(fā)送給對(duì)方的步驟(步驟S120)；根據(jù)上述步驟(步驟S120)演算語(yǔ)音和影像信號(hào)的數(shù)字調(diào)制時(shí)間差值，無(wú)線發(fā)送給對(duì)方的步驟(步驟S130)；解調(diào)步驟，根據(jù)上述控制部110的判斷，在無(wú)線接收對(duì)方傳送的多媒體信號(hào)的情況下，將接收的信號(hào)進(jìn)行數(shù)字解調(diào)。解調(diào)步驟包括如下步驟根據(jù)控制部110，判斷是要與對(duì)方進(jìn)行通信而接收多媒體信號(hào)和時(shí)間差值的步驟(步驟S140)；在上述步驟(步驟S140)中接收多媒體信號(hào)的情況下，實(shí)時(shí)接收語(yǔ)音和影像信號(hào)并各自進(jìn)行數(shù)字解調(diào)的步驟(步驟S150)；時(shí)差步驟，演算根據(jù)上述解調(diào)步驟的語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，演算反映調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值的唇式同步時(shí)間差值。時(shí)差步驟包括如下步驟演算各自解調(diào)(DEMODULATION)多媒體(MULTIMEDIA)的語(yǔ)音(VOICE或AUDIO)和影像(VIDEO)信號(hào)所發(fā)生的時(shí)間差值(步驟S160)；在上述步驟(步驟S160)中演算唇式同步(LIP SYNCHRONOUS)時(shí)間差值的步驟(步驟S170)，其中唇式同步時(shí)間差值是指反映演算的解調(diào)時(shí)間差值和接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值；唇式同步步驟(步驟S180)，在上述時(shí)差步驟中以演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，并與影像信號(hào)以同步狀態(tài)同時(shí)輸出。
以下參照附圖詳細(xì)說(shuō)明如上所述構(gòu)成的本發(fā)明的便攜終端的影像和語(yǔ)音信號(hào)的同步方法。
以上述移動(dòng)通信用便攜終端(MS)要與指定的對(duì)方發(fā)送包括影像信號(hào)的多媒體信號(hào)進(jìn)行無(wú)線通信的情況下(步驟S100)為例，控制部110分析從輸入輸出部130添加的多媒體信號(hào)，將影像信號(hào)添加到影像處理部160并進(jìn)行數(shù)字調(diào)制(MODULATION)，將語(yǔ)音信號(hào)添加到語(yǔ)音處理部150并進(jìn)行數(shù)字調(diào)制(MODULATION)(步驟S110)。
上述控制部110，如上所述將經(jīng)過(guò)數(shù)字調(diào)制的影像信號(hào)和語(yǔ)音信號(hào)各自添加到無(wú)線部100，實(shí)時(shí)(REALTIME)地與指定的對(duì)方進(jìn)行無(wú)線發(fā)送(步驟S120)，控制唇式同步演算部140演算語(yǔ)音信號(hào)和影像信號(hào)的調(diào)制時(shí)間差值(TD-SKEW)并添加到無(wú)線部100，由此與指定的對(duì)方進(jìn)行無(wú)線傳送(步驟S130)。
上述便攜終端(MS)的控制部110監(jiān)視無(wú)線部100，判斷為從對(duì)方接收包括上述調(diào)制時(shí)間差值(TD-SKEW)的信號(hào)的多媒體信號(hào)時(shí)(步驟S140)，上述調(diào)制時(shí)間差值(TD-SKEW)添加到唇式同步演算部140，并分析多媒體信號(hào)將影像信號(hào)添加到影像處理部160進(jìn)行數(shù)字解調(diào)(DEMODULATION)，將語(yǔ)音信號(hào)添加到語(yǔ)音處理部150進(jìn)行數(shù)字解調(diào)(步驟S150)。
上述步驟的控制部110，監(jiān)視上述影像處理部160和語(yǔ)音處理部150，并檢索輸出語(yǔ)音信號(hào)和影像信號(hào)的解調(diào)時(shí)間，添加到上述唇式同步演算部140進(jìn)行演算，由此產(chǎn)生出解調(diào)時(shí)間差值(TD-REC)(步驟S160)，添加從存儲(chǔ)部120讀取的人的認(rèn)知時(shí)間差值(TD-NEG)，演算反映上述認(rèn)知時(shí)間差值(TD-NEG)的唇式同步時(shí)間差值(TD-AUD)(步驟S170)。
添加上述步驟的唇式同步時(shí)間差值(TD-AUD)的控制部110，讀取臨時(shí)記錄保存在上述存儲(chǔ)部120的分配區(qū)域的影像信號(hào)和語(yǔ)音信號(hào)，將語(yǔ)音信號(hào)遲延(DELAY)唇式同步的時(shí)間差值，由此設(shè)定為與影像信號(hào)同步(SYNCHRONOUS)狀態(tài)，并輸出到輸入輸出部130(步驟S180)。
而且，從對(duì)方收到多媒體信號(hào)的語(yǔ)音信號(hào)按照人的認(rèn)知時(shí)間差進(jìn)行輸出，從而使多媒體通信更為自然、快捷、順暢。
如上所述構(gòu)成的本發(fā)明的有益效果在于，將在多媒體通信過(guò)程中，由于影像信號(hào)和語(yǔ)音信號(hào)的處理時(shí)間差而發(fā)生的多媒體輸出遲延時(shí)間，通過(guò)反映根據(jù)人的認(rèn)知時(shí)間差值的唇式同步時(shí)間值，先輸出語(yǔ)音信號(hào)，因此使得實(shí)時(shí)多媒體通信以最小的遲延迅速進(jìn)行。
此外，使語(yǔ)音信號(hào)先輸出人的認(rèn)知時(shí)間差值的時(shí)間，與影像信號(hào)唇式同步輸出，因此使多媒體通信自然地進(jìn)行，并使之在使用上更為便利。
以上參照附圖對(duì)本發(fā)明的有益實(shí)施例進(jìn)行了說(shuō)明，但本發(fā)明并不限定于上述實(shí)施例，在不脫離權(quán)利要求書(shū)中所要求的本發(fā)明要旨的前提下，任何在本發(fā)明所屬領(lǐng)域具有常識(shí)的人都可以進(jìn)行多種變形加以實(shí)施。
權(quán)利要求
1.一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于，在便攜終端與對(duì)方進(jìn)行多媒體通信的情況下，其控制部將輸入輸出部輸入的語(yǔ)音和影像信號(hào)在影像處理部和語(yǔ)音處理部中進(jìn)行數(shù)字調(diào)制，并通過(guò)無(wú)線部實(shí)時(shí)發(fā)送，控制唇式同步演算部發(fā)送演算的調(diào)制時(shí)間差值；在從無(wú)線部接收對(duì)方的多媒體信號(hào)的情況下，通過(guò)影像處理部和語(yǔ)音處理部各自進(jìn)行數(shù)字解調(diào)，并控制唇式同步演算部演算解調(diào)時(shí)間差值，反映接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值演算唇式同步時(shí)間差值，以所述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，使其與解調(diào)的影像信號(hào)以同步狀態(tài)輸出到輸入輸出部。
2.一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于包括無(wú)線部，無(wú)線接收或發(fā)送多媒體通信信號(hào)，無(wú)線接收或發(fā)送影像信號(hào)和語(yǔ)音信號(hào)的調(diào)制時(shí)間差值；控制部，與所述無(wú)線部連接，數(shù)字調(diào)制多媒體發(fā)送信號(hào)并與時(shí)差值一同輸出，解調(diào)接收信號(hào)并輸出反映演算的唇式同步值的多媒體信號(hào)；影像處理部，與所述控制部連接，將發(fā)送或接收的影像信號(hào)進(jìn)行數(shù)字調(diào)制或解調(diào)并輸出；語(yǔ)音處理部，與所述控制部連接，將發(fā)送或接收的語(yǔ)音信號(hào)進(jìn)行數(shù)字調(diào)制或解調(diào)并輸出；唇式同步演算部，與所述控制部連接，演算輸出影像處理部和語(yǔ)音處理部調(diào)制或解調(diào)的時(shí)間差值，演算輸出唇式同步時(shí)間。
3.根據(jù)權(quán)利要求2所述的一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于還包括輸入輸出部，與所述控制部連接，根據(jù)相應(yīng)控制，輸入包括影像信號(hào)和語(yǔ)音信號(hào)的多媒體信號(hào)，輸出唇式同步的多媒體信號(hào)；存儲(chǔ)部，與所述控制部連接，根據(jù)相應(yīng)控制，記錄保存并輸出應(yīng)用程序和數(shù)據(jù)。
4.根據(jù)權(quán)利要求2所述的一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于，所述影像處理部根據(jù)控制部的控制，將所述輸入輸出部添加的影像信號(hào)調(diào)制成數(shù)字信號(hào)，與相應(yīng)調(diào)制時(shí)間信息一同輸出；或?qū)⑺鰺o(wú)線部接收添加的影像信號(hào)解調(diào)成數(shù)字信號(hào)，與相應(yīng)解調(diào)時(shí)間信息一同輸出。
5.根據(jù)權(quán)利要求2所述的一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于，所述語(yǔ)音處理部根據(jù)控制部的控制，將所述輸入輸出部添加的語(yǔ)音信號(hào)調(diào)制成數(shù)字信號(hào)，與相應(yīng)調(diào)制時(shí)間信息一同輸出；或?qū)⑺鰺o(wú)線部接收添加的語(yǔ)音信號(hào)解調(diào)成數(shù)字信號(hào)，與相應(yīng)解調(diào)時(shí)間信息一同輸出。
6.根據(jù)權(quán)利要求2所述的一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置，其特征在于，所述控制部在從輸入輸出部添加要發(fā)送的多媒體信號(hào)的情況下，將影像信號(hào)添加到影像處理部進(jìn)行數(shù)字調(diào)制，并添加到無(wú)線部無(wú)線發(fā)送給對(duì)方，而將影像信號(hào)調(diào)制時(shí)間信息添加到唇式同步演算部中；將語(yǔ)音信號(hào)添加到語(yǔ)音處理部進(jìn)行數(shù)字調(diào)制，并添加到無(wú)線部無(wú)線發(fā)送給對(duì)方，而將語(yǔ)音信號(hào)調(diào)制時(shí)間信息添加到唇式同步演算部中；所述控制部控制唇式同步演算部演算影像信號(hào)和語(yǔ)音信號(hào)的調(diào)制時(shí)間差值，并添加到所述無(wú)線部傳送給對(duì)方；如果從所述無(wú)線部無(wú)線接收對(duì)方傳送的多媒體信號(hào)和時(shí)間差值，則將影像信號(hào)添加到影像處理部進(jìn)行數(shù)字解調(diào)，并將影像信號(hào)解調(diào)時(shí)間信息添加到唇式同步演算部中；將語(yǔ)音信號(hào)添加到語(yǔ)音處理部進(jìn)行數(shù)字解調(diào)，并將語(yǔ)音信號(hào)解調(diào)時(shí)間信息添加到唇式同步演算部中；所述控制部控制唇式同步演算部演算在調(diào)制時(shí)間差值和解調(diào)時(shí)間差值中反映人的認(rèn)知時(shí)間差值的唇式同步值，將解調(diào)的語(yǔ)音信號(hào)遲延相當(dāng)于所述演算的唇式同步值，控制并監(jiān)視與影像信號(hào)一同輸出到輸入輸出部。
7.一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，便攜終端的控制部為了與對(duì)方進(jìn)行通信而發(fā)送多媒體信號(hào)時(shí)，數(shù)字調(diào)制語(yǔ)音和影像的多媒體信號(hào)，并一并與演算的語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值進(jìn)行發(fā)送；接收多方的多媒體信號(hào)的情況下，接收并數(shù)字解調(diào)語(yǔ)音和影像的多媒體信號(hào)，演算語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，演算反映接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值的唇式同步時(shí)間差值，以所述演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，并以影像信號(hào)和語(yǔ)音信號(hào)同步的狀態(tài)輸出。
8.一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，包括如下幾個(gè)步驟輸入步驟，在便攜終端的控制部要與對(duì)方通信而進(jìn)行發(fā)送的情況下，輸入語(yǔ)音和影像的多媒體信號(hào)并各自進(jìn)行數(shù)字調(diào)制；演算步驟，在所述輸入步驟中給對(duì)方發(fā)送經(jīng)過(guò)數(shù)字調(diào)制的多媒體信號(hào)，演算語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值并發(fā)送；解調(diào)步驟，根據(jù)所述控制部的判斷，在接收對(duì)方傳送的多媒體信號(hào)的情況下，將接收的信號(hào)進(jìn)行數(shù)字解調(diào)；時(shí)差步驟，演算根據(jù)所述解調(diào)步驟的語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，演算反映調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值的唇式同步時(shí)間差值；唇式同步步驟，在所述時(shí)差步驟中，以演算的唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，并與影像信號(hào)以同步狀態(tài)同時(shí)輸出。
9.根據(jù)權(quán)利要求8所述一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，所述輸入步驟包括根據(jù)所述便攜終端的控制部的判斷，判斷是要與對(duì)方進(jìn)行通信而發(fā)送多媒體信號(hào)的步驟；在上述步驟中，向?qū)Ψ桨l(fā)送多媒體信號(hào)時(shí)，將多媒體的語(yǔ)音和影像信號(hào)各自進(jìn)行數(shù)字調(diào)制的步驟。
10.根據(jù)權(quán)利要求8所述一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，所述演算步驟包括在所述輸入步驟中，將經(jīng)過(guò)數(shù)字調(diào)制的語(yǔ)音和影像信號(hào)各自實(shí)時(shí)發(fā)送給對(duì)方的步驟；根據(jù)上述步驟演算語(yǔ)音和影像信號(hào)的數(shù)字調(diào)制時(shí)間差值，并無(wú)線發(fā)送給對(duì)方的步驟。
11.根據(jù)權(quán)利要求8所述一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，所述解調(diào)步驟包括根據(jù)控制部判斷是要與對(duì)方進(jìn)行通信而接收多媒體信號(hào)和時(shí)間差值的步驟；在上述步驟中，在接收多媒體信號(hào)的情況下，實(shí)時(shí)接收語(yǔ)音和影像信號(hào)并各自進(jìn)行數(shù)字解調(diào)的步驟。
12.根據(jù)權(quán)利要求8所述一種便攜終端的影像和語(yǔ)音信號(hào)的同步方法，其特征在于，所述時(shí)差步驟包括演算在所述解調(diào)步驟中各自解調(diào)的多媒體信號(hào)的語(yǔ)音和影像信號(hào)所發(fā)生的時(shí)間差值；在上述步驟中，演算唇式同步時(shí)間差值的步驟，其中唇式同步時(shí)間差值是指反映演算的解調(diào)時(shí)間差值和接收的調(diào)制時(shí)間差值和人的認(rèn)知時(shí)間差值。
全文摘要
一種便攜終端的影像和語(yǔ)音信號(hào)的同步裝置及其方法，其涉及在多媒體便攜終端中，反映人的語(yǔ)音信號(hào)認(rèn)知時(shí)間，快速地進(jìn)行唇式同步語(yǔ)音信號(hào)和影像信號(hào)，從而使多媒體通信更為自然、快捷、順暢。所述方法包括在進(jìn)行多媒體通信的過(guò)程中，在發(fā)送多媒體信號(hào)的情況下，將語(yǔ)音和影像的多媒體信號(hào)進(jìn)行數(shù)字調(diào)制，并發(fā)送包括演算的語(yǔ)音和影像信號(hào)的調(diào)制時(shí)間差值；在接收多媒體信號(hào)的情況下，接收語(yǔ)音和影像的多媒體信號(hào)并進(jìn)行數(shù)字解調(diào)，演算語(yǔ)音和影像信號(hào)的解調(diào)時(shí)間差值，并演算反映接收的調(diào)制時(shí)間差值和認(rèn)知時(shí)間差值的唇式同步時(shí)間差值，以唇式同步時(shí)間差值遲延解調(diào)的語(yǔ)音信號(hào)，輸出影像信號(hào)和語(yǔ)音信號(hào)。
文檔編號(hào)H04N5/04GK1832568SQ200610058509
公開(kāi)日2006年9月13日 申請(qǐng)日期2006年3月10日 優(yōu)先權(quán)日2005年3月11日
發(fā)明者文基雄 申請(qǐng)人:樂(lè)金電子(中國(guó))研究開(kāi)發(fā)中心有限公司