專利名稱：控制音頻信號的時間縮放的制作方法
技術領域：
本發(fā)明涉及一種控制音頻信號的時間縮放的方法。本發(fā)明同樣 地涉及支持控制音頻信號的時間縮放的芯片組、音頻接收器、電子 設備和系統(tǒng)。本發(fā)明進一 步涉及存儲用于控制音頻信號的時間縮放 的軟件代碼的軟件程序產(chǎn)品。
背景技術：
可以例如在音頻接收器中支持時間縮放音頻信號，該音頻接收 器適于經(jīng)由分組交換網(wǎng)絡(例如因特網(wǎng))來接收分組中的編碼的音 頻信號，從而解碼編碼的音頻信號并且向用戶回放解碼的音頻信號。
分組交換通信的屬性通常引入對分組的傳輸時間的改變，這稱 為抖動，其由接收器視為分組以不規(guī)則的間隔到達。除了分組丟失 情況，網(wǎng)絡抖動是通過分組交換網(wǎng)絡提供的會話語音服務的主要障 礙。
更具體地，實時操作的音頻接收器的音頻回放組件需要固定的 輸入來維持良好的聲音質量。甚至應該避免短的中斷。因此，如果 包括音頻幀的 一 些分組僅在音頻幀需要用于解碼和進一 步處理后到 達時，則那些分組和包括的音頻幀被認為丟失。音頻解碼器將執(zhí)行 錯誤隱藏以補償在丟失的幀中所攜帶的音頻信號。顯然，大量的錯 誤隱藏也將降低聲音質量。
通常，使用抖動緩沖器來隱藏不規(guī)則的分組到達時間并且向解 碼器和隨后的音頻回放組件提供持續(xù)的輸入。抖動緩沖器為此在預 定的時間量存儲到來的音頻幀。該時間可以在例如接收到分組流的 第一分組時指定。然而，抖動緩沖器引入附加的延遲分量，因為在 進一步處理前存儲了接收到的分組。這增加了端到端的延遲。抖動
緩沖器特征在于在所有接收到的幀中，延遲幀所占的比例和平均緩 沖延遲。
使用固定延遲的抖動緩沖器是在低端到端延遲和低數(shù)量的延遲 幀之間的不可避免的妥協(xié)，并且找到最佳的折衷并不是容易的任務。 盡管可以存在特定的環(huán)境和應用，其中可以估計預計的抖動量保持 在預定的限度內(nèi)，通常抖動可以從零到幾百毫秒變化-甚至在相同的 會話內(nèi)。使用設定成足夠大的值的固定延遲來覆蓋根據(jù)預計最差情 形的抖動將保持對延遲幀數(shù)量的控制，但同時也存在這樣的危險， 即引入太長的端到端延遲以致無法支持自然會話。因此，在大多數(shù) 通過分組交換網(wǎng)絡進行操作的音頻傳輸應用中，應用固定緩沖不是 最佳的選擇。
自適應抖動緩沖器可以用于動態(tài)地控制足夠短的延遲和足夠低 數(shù)量的延遲幀之間的平衡。在該方法中，固定地監(jiān)視進入的分組流， 并且根據(jù)在進入的分組流的延遲性態(tài)中觀察到的改變來調節(jié)該緩沖 延遲。如果傳輸延遲增加或抖動將變壞，則緩沖延遲被增加以滿足 網(wǎng)絡條件。在相反的情況下，緩沖延遲可以被減小，并且因此，整 體端到端延遲被最小化。
由于音頻回放組件需要規(guī)則的輸入，緩沖器調節(jié)并不是完全直 接的。事實上如果緩沖延遲被減小，則提供給回放組件的音頻信號
需要被縮短，以補償縮短的緩沖延遲；并且另一方面，如果緩沖延 遲被增加，則音頻信號必須被加長以補償增加的緩沖延遲，這將出 現(xiàn)問題。
對于通過IP的話音(VoIP)應用，已知在增加或減小的緩沖器 延遲的情況下，通過當非連續(xù)傳輸(DTX)被啟用時丟棄或重復在 活躍的語音周期間的一部分柔性噪聲信號來修改信號。然而，此類 方法不總是可能的。例如，DTX功能可能沒有被使用，或由于復雜 的背景噪聲條件，例如背景中干擾的發(fā)言者，DTX可能不切換到柔 性噪聲。
在考慮到改變的緩沖器延遲的更為高級的解決方案中，使用信
號時間縮放來改變轉發(fā)到回放組件的輸出音頻信號幀的長度。該信
方法中，當減小延遲時，解碼器將比常規(guī)操作期間更為頻繁地讀取 抖動緩沖器中的幀，而增加的延遲將放慢來自抖動緩沖器的幀輸出率。
在配備有自適應抖動緩沖器和時間縮放功能的音頻接收器中， 將固定地監(jiān)視網(wǎng)絡狀態(tài)和緩沖器狀態(tài)?；诰彌_器和網(wǎng)絡的狀態(tài)， 通過增加或移除音頻信號的段(多個段)，對音頻信號執(zhí)行時間縮 放修改，從而補償緩沖器延遲中的任何改變。
在音頻信號的活躍部分中執(zhí)行時間縮放修改的挑戰(zhàn)在于，將感 知的音頻質量保持在足夠高的水平。

發(fā)明內(nèi)容
本發(fā)明的目的是改進應用于音頻信號的時間縮放操作。 本發(fā)明另外的目的是優(yōu)化時間縮放的音頻信號的音頻質量。 提出一種用于對音頻信號進行時間縮放的方法，該音頻信號被 分配成經(jīng)由分組交換網(wǎng)絡接收到的幀序列。該方法包括檢測接收到
的幀的延遲中的改變。本方法另外包括確定將要應用到接收到的幀 以便補償檢測到的改變的時間縮放量。本方法另外包括確定改變的 類型。本方法另外包括根據(jù)改變的確定類型來確定時間窗的長度， 在該時間窗內(nèi)將完成確定量的時間縮放。
此外，提出一種具有至少一個芯片的芯片組。該至少一個芯片 包括用于控制音頻信號的時間縮放的時間縮放控制組件，該音頻信 號被分配成經(jīng)由分組交換網(wǎng)絡接收到的幀序列。時間縮放控制組件 適于檢測接收到的幀的延遲中的改變。該時間縮放控制組件另外適 于確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放 量。時間縮放控制組件另外適于確定檢測的改變的類型。時間縮放 控制組件另外適于根據(jù)改變的確定類型來確定時間窗的長度，在該 時間窗內(nèi)將完成確定量的時間縮^U
此外，提出 一種包括用于控制音頻信號的時間縮放的時間縮放 控制組件的音頻接收器。假定該音頻信號被分配成經(jīng)由分組交換網(wǎng) 絡接收到的幀序列。時間縮放控制組件適于實現(xiàn)如提出的芯片組的 時間縮放控制組件的相應功能。然而，應該注意到時間縮放控制組 件可以通過硬件和/或軟件來實現(xiàn)。時間縮放控制組件可以實現(xiàn)在例 如芯片組中，或其可以由執(zhí)行相應的軟件程序代碼組件的處理器來 實現(xiàn)。
此外，提出 一種包括用于控制音頻信號的時間縮放的時間縮放 控制組件的電子設備。假定該音頻信號被分配成經(jīng)由分組交換網(wǎng)絡 接收到的幀序列。電子設備的時間縮放控制組件對應于提出的音頻 接收器的時間縮放控制組件。電子設備例如可以是純的音頻處理設 備，或更為復雜的設備，像移動終端或媒體網(wǎng)關等。
此外，提出一種系統(tǒng)，其包括適于傳送音頻信號的分組交換網(wǎng) 絡，適于提供音頻信號以便經(jīng)由分組交換網(wǎng)絡傳輸?shù)陌l(fā)送器，適于 經(jīng)由分組交換網(wǎng)絡接收音頻信號的接收器。接收器對應于上面提到 的音頻接收器。
最后，提出一種軟件程序產(chǎn)品，其中用于控制音頻信號的時間 縮放的軟件代碼存儲在可讀介質中。同樣假定該音頻信號被分配成 經(jīng)由分組交換網(wǎng)絡接收到的幀序列。當由處理器執(zhí)行時，軟件代碼 實現(xiàn)提出的方法。軟件程序產(chǎn)品例如可以是單獨的存儲器設備、將 要實現(xiàn)在音頻接收器中的存儲器等。
從對于不同類型的情況時間縮放操作應該不同的做出反應出 發(fā)，來考慮本發(fā)明。
通常，當對時間縮放應用的改變盡可能小時，時間縮放操作導致最佳的音頻質量。例如，可以預料將20ms的音頻信號段擴展成 25 ms的段實際上沒有造成質量的降級，而將20ms段擴展到40 ms 段可能造成音頻質量上的一些降級。這意味著將相當大的時間縮放 請求劃分成一系列更短的縮放步長通常在音頻質量方面提供明顯的 優(yōu)勢。
盡管該要求好像贊成漸近的修改，但傳輸延遲特性中的突然改 變可能需要立即的時間縮放修改，盡管先前提到漸進修改的優(yōu)勢。 盡管立即并且在短的時限內(nèi)執(zhí)行修改可能導致某種質量降級，導致 一個幀或多個幀的丟失，從而具有漸進修改結果的緩沖器溢出或下 溢仍將是更為嚴重的。
因此建議使用窗口化時間縮放操作并且通過不僅提供所需的時 間縮放量，而且附加地提供時間窗長度來控制時間縮放，時間窗長 度即其中縮放必須被執(zhí)行的時限。這允許時間縮放在許多小的步幅 內(nèi)執(zhí)行以適合于時間窗。
本發(fā)明的優(yōu)勢在于可以最佳的方式來維護緩沖的延遲和延遲的 音頻幀數(shù)量之間的折衷。通過時間縮放的相應控制，可以考慮需要 不同的緩沖器適配策略的傳輸特性中的改變。這將改進利用時間縮 放操作得到的音頻質量。
改變的確定類型是針對確定的時間縮放量需要更短的時間窗的 類型、或針對確定的時間縮放量的允許更長時間窗的類型。
例如，如果檢測到延遲中的改變，該改變超出了預定值，則可 以確定給出需要更短的時間窗的改變類型。此類顯著的改變可以表 示分組交換網(wǎng)絡中的"靜態(tài)，，傳輸延遲的改變?？蛇x地或附加地， 例如如果延遲尖峰被檢測到，則可以確定給出需要更短的時間窗的 改變類型。
例如，如果檢測到改變的延遲幀數(shù)量，則可以確定給出需要更 長的時間窗的改變類型。此類改變可以表示分組交換網(wǎng)絡中的改變 的抖動。如果在接收時，接收到的幀被緩存在可變緩沖器中，則可 選地或附加地，例如如果檢測到漸進地改變緩沖器占用率，則可以 確定給出允許更長的時間窗的改變類型。此類緩沖器占用率的改變 可以表示發(fā)送器和接收器之間的時鐘漂移。
可以在確定長度的時間窗內(nèi)以確定的量對接收到的幀進行時間 縮放?？梢匀我夂线m的方式來實施實際的縮放。每個縮放周期例如 可以對應于合適的多個基音周期。
可以理解，不必恰好對那些幀執(zhí)行時間縮放，即實際接收到的 具有改變的延遲并且檢測到延遲改變的幀。至少在 一 些系統(tǒng)和實現(xiàn)
收到的幀的改變的延遲。
對于實際的時間縮放，進一 步可以考慮到對于所有的音頻內(nèi)容, 在時間縮放修改后得到的音頻質量不是相同的。例如，對于語音信 號，某些幀類型(例如靜默幀或話音開始)被有利地小心處理以便 不降級音頻質量。這意味著利用嚴格的質量準則，通過阻止某些幀 的縮放可能獲得最佳的結果。具體地，如果確定的時間窗的長度較 長，則附加地可以確定在確定的時間窗內(nèi)的幀的內(nèi)容的類型。4妾著， 在具有確定類型內(nèi)容的時間窗內(nèi)的那些幀的時間縮i文可以被避免。
時間縮放可能不能直接應用于接收到的幀，但可以應用于處理 過的接收到的幀。
在接收時，接收到的幀可以例如被緩存在可變緩沖器中并且可 以從可變緩沖器獲取以便解碼。然后，解碼的幀接收可以被時間縮 放。該可選方案特別適用于時間縮放被實現(xiàn)在專用處理塊中的情形， 即，實現(xiàn)在分隔的硬件電路或分隔的軟件代碼中。
可選地，時間縮放例如可以結合另一處理功能來實現(xiàn)，像解碼 或代碼轉換功能。例如，將基音同步縮放技術與語音解碼器進行組 合是特別受歡迎的方法，從而提供高質量的時間縮放能力。例如，
利用AMR編解碼器，這在低處理負載方面提供了明顯優(yōu)勢。
如果時間縮放組合解碼，則在接收時，接收到的幀同樣可以緩
存在可變緩沖器中并且從該可變緩沖器中獲取以便解碼。然而，在 這種情況下，要經(jīng)過時間縮放的幀可以是在解碼中生成的包括線性
預測(LP)合成濾波器激勵信號的幀。
本發(fā)明可以被應用到任何類型的音頻編解碼器，特別地但不排 他性地，可以應用到任何類型的語音編解碼器。進一步，其可以被 用于例如AMR和VoIP。
通過下面結合附圖所考慮的詳細描述，本發(fā)明的其他目的和特
征將變得明顯。然而，可以理解附圖僅用于示例的目的而并非對本 發(fā)明的限制的定義，而對本發(fā)明的限制可以參考所附權利要求書。 進一步應該理解附圖并沒有按比例繪制并且它們僅旨在概念上說明 這里所述的結構和過程。


圖1是根據(jù)本發(fā)明的一個實施方式的傳輸系統(tǒng)的示意性框圖； 圖2圖示出圖1的系統(tǒng)的音頻接收器的細節(jié)； 圖3圖示出圖1的系統(tǒng)的音頻接收器的進一步細節(jié)；以及 圖4是示出圖1的音頻接收器的操作的流程圖。
具體實施例方式
圖1是示例性傳輸系統(tǒng)的示意性框圖，其中可以實現(xiàn)根據(jù)本發(fā) 明的 一 個實施方式的增強的時間縮方文。
系統(tǒng)包括具有音頻發(fā)送器111的電子設備110、分組交換通信網(wǎng) 絡120和具有音頻接收器131的電子設備130。音頻發(fā)送器111可以 經(jīng)由分組交換通信網(wǎng)絡120向音頻接收器131傳送包括編碼的音頻 數(shù)據(jù)的音頻幀，每個分組包括具有編碼的音頻數(shù)據(jù)的音頻幀。
音頻接收器131的輸入在音頻接收器131內(nèi)一方面連接到抖動 緩沖器132,并且另一方面連接到網(wǎng)絡分析器133。抖動緩沖器132 經(jīng)由時間縮放單元135和解碼器134連接到音頻接收器131的輸出。 網(wǎng)絡分析器133的控制信號輸出連接到時間縮放控制邏輯136的第 一控制輸入，而抖動緩沖器132的控制信號輸出連接到時間縮放控 制邏輯136的第二控制輸入。時間縮放控制邏輯136的控制信號輸 出進一步連接到時間縮放單元135的控制輸入。
音頻接收器131的輸出可以連接到電子設備130的回放組件 138，例如連接到揚聲器。
抖動緩沖器132用于存儲等待解碼和回放的接收到的音頻幀。 抖動緩沖器132可以具有將接收到的幀安排成正確的解碼順序并且
在請求時將安排的幀或關于丟失幀的信息按順序提供給解碼器134。
此外，抖動緩沖器132可以向時間縮放控制邏輯136提供關于其狀 態(tài)的信息。網(wǎng)絡分析器133基于幀接收統(tǒng)計和接收到的幀的定時來 計算描述當前接收特性的 一組參數(shù)，并且將該組參數(shù)提供給時間縮 放控制邏輯136。基于該接收到的信息，時間縮放控制邏輯136確定 需要改變緩沖延遲并且向時間縮放單元13 5給出相應的時間縮放指 令。使用的平均緩沖延遲不必是輸入幀長度的整數(shù)倍。最佳的平均 緩沖延遲是在沒有任何幀遲到達的情況下最小化緩沖時間的延遲。
無論何時回放組件138請求新的數(shù)據(jù)，解碼器134從緩沖器132 獲取音頻幀。其解碼獲得的音頻幀并且將解碼的音頻幀轉發(fā)到時間 縮放單元135。時間縮放單元135執(zhí)行由時間縮放控制邏輯136所指 示的縮放，即，其可以加長或縮短接收到的解碼幀。解碼的并且可 能時間縮放的幀被提供給回放組件138以便呈現(xiàn)給用戶。
應該理解所提出的圖1的音頻接收器131的架構僅旨在說明根 據(jù)本發(fā)明的示例音頻接收器的基本邏輯功能。在實際的實現(xiàn)中，所 4€出的功能可以不同地分配給處理塊?？蛇x架構的某個處理塊可以 組合上述功能的若干幾個。與解碼器組合的時間縮放單元例如可以 提供計算上很有效的解決方案。而且，可以具有附加的處理塊和某 些組件，像緩沖器132,其甚至可以安排在音頻接收器131的外部。
所提出的系統(tǒng)可以像常規(guī)系統(tǒng)那樣實現(xiàn)，其中音頻數(shù)據(jù)從音頻 發(fā)送器傳送到音頻接收器，除了音頻接收器131的時間縮放控制邏 輯136和時間縮;故單元135。
在圖2中示出時間縮放控制邏輯136的功能性細節(jié)。
時間縮放控制邏輯136可以由電子設備131的處理器200所執(zhí) 行的軟件代碼來實現(xiàn)。應該理解，相同的處理器200可以附加地執(zhí) 行實現(xiàn)音頻接收器131的其他功能或通常電子設備130的其他功能 的軟件代碼?？蛇x地，必須注意到時間縮放控制邏輯136的功能可 以通過硬件來實現(xiàn)，例如通過集成在芯片或芯片組中的電路來實現(xiàn)。
時間縮放控制邏輯136包括"時間縮放量"確定組件210和鏈
接到該確定組件210的"時間窗長度"確定組件211。分別連接到網(wǎng)
絡分析器133和抖動緩沖器132的時間縮放控制邏輯136的控制輸 入都鏈接到確定組件210。確定組件210輸出饋入到時間縮放單元 135的縮放請求。確定組件211輸出饋入到時間縮放單元135的時間 窗長度。
在圖3中示出時間縮放單元135的功能細節(jié)。
時間縮放單元135同樣地可以由電子設備131的處理器200所 執(zhí)行的軟件代碼來實現(xiàn)。應該理解，相同的處理器200可以附加地 執(zhí)行實現(xiàn)音頻接收器131的其他功能或通常電子設備130的其他功 能的軟件代碼。特別地，實現(xiàn)時間縮放單元135的功能的軟件代碼 可以由實現(xiàn)時間縮放控制邏輯136的功能的軟件代碼的相同處理器 200來運行。可選地，必須注意時間縮放單元135的功能也可以通過 硬件來實現(xiàn)，例如通過集成在芯片或芯片組中的電路來實現(xiàn)，可能 是其中時間縮放控制邏輯136的功能被集成的相同芯片或芯片組。
時間縮放單元135包括"幀類型"確定組件310和鏈接到該確 定組件310的"窗口化時間縮放"組件311。針對縮放請求和時間窗 長度的時間縮放單元136的控制信號輸出都鏈接到"窗口化時間縮 放"組件311。解碼器134的輸出鏈接到確定組件310。"窗口化時 間縮放"組件311輸出饋入到回放組件138的解碼的和縮放的幀。
如果時間縮放單元135操作為所示出的單獨的處理塊，則通常 對解碼的語音信號執(zhí)行所述的時間縮放修改。如果時間縮放單元13 5 與解碼器134組合，則例如可以對在解碼器134中生成的LP合成濾 波器激勵信號執(zhí)行所述的時間縮放修改。
現(xiàn)在將參考圖4的流程圖來描述根據(jù)本發(fā)明的示例性實施方式 的時間縮放控制。由時間縮放控制邏輯136來實施指示的步驟401 到405,而由時間縮》文單元135來實施指示的步驟406到407。
時間縮放控制邏輯136從網(wǎng)絡分析器133接收關于網(wǎng)絡狀態(tài)的 信息和從抖動緩沖器132接收關于緩沖器狀態(tài)的信息?；谠撔畔?， 確定組件210確定緩沖延遲的改變是否即將發(fā)生，并且如果是，則
其附加地確定對于補償該改變所需的時間縮放量(步驟401 )。當網(wǎng) 絡特性和緩沖器狀態(tài)指示增加的延遲，則 一 些幀不得不被加長合適
的量，從而回放組件138請求更低速率的新數(shù)據(jù)，從而當緩沖延遲 正在被增加時，阻止緩沖器下溢。當網(wǎng)絡特性和緩沖器狀態(tài)指示減 小的延遲，則一些幀不得不被縮短合適的量，從而回放組件138請 求更高速率的新數(shù)據(jù)，從而當緩沖延遲正在被減小時，阻止緩沖器 溢出。
確定組件210向確定組件211通知關于任何所需的時間縮;改以 及當前網(wǎng)絡狀態(tài)和緩沖器狀態(tài)。附加地，其生成包括所需的時間縮 放量的時間縮放請求，并且將其提供給時間縮放單元135。
如果需要時間縮放(步驟402)，確定組件211確定改變延遲的 類型是否需要快速反應(步驟403 )。
為此，確定組件211例如可以在時鐘漂移、"靜態(tài)"傳輸延遲 中的改變、改變抖動和延遲尖鋒之間做出區(qū)分，下文將對其進行解 釋。
在一些情況下，由于事實上時鐘信號不是完全精確，驅動發(fā)送 器111和接收器131處的操作的時鐘沒有同步。可能存在小的偏差， 使得實際的時鐘率稍微不同于標稱值，這導致時鐘漂移。如果發(fā)送 器時鐘運行快于接收器，則幀將以太短的間隔到達接收器131處， 這可通過漸進增長的緩沖器占用率和增加的平均緩沖延遲而在接收 器131處看到。另一方面，如果發(fā)送器時鐘運行慢于接收器時鐘， 則幀將以太長的間隔到達接收器131,并且這將造成慢的減小的緩沖 器占用率和減小的平均緩沖延遲。如果不注意該現(xiàn)象，則其遲早會
導致緩沖器溢出或下溢。
第一考慮的方面可以由確定組件211通過密切注視漸進改變的 緩沖器占用率來檢測。
如果網(wǎng)絡負載突然改變，則"靜態(tài)"傳輸延遲中的改變可能會 發(fā)生。結果是，可能在延遲中存在顯著的改變，從而需要緩沖器適 配。延遲中的明顯增加可能引入緩沖器下溢，而延遲中的突然減小
可能造成緩沖器溢出。
第二考慮的方面可以由確定組件211通過密切注視接收到的分 組的延遲中的明顯改變來檢測。
網(wǎng)絡負載中的改變也可以被視為改變抖動，而不是靜態(tài)延遲分 量中的改變。改變抖動通常是比改變靜態(tài)延遲更為常見的現(xiàn)象。在 該情形中，如果緩沖延遲沒有相應地增長，則增加抖動將造成增加 遲到達的幀數(shù)量。另一方面，抖動中減小趨勢將減小由于遲到達而 造成的丟失幀的數(shù)量，這可以被實施用于減小緩沖延遲。
第三考慮的方面可以由確定組件211通過估計遲到達的幀數(shù)量 來檢測。
網(wǎng)絡120中很短期的"干擾，，在接收器131中可以被視為延遲 尖峰，即，在分組的突發(fā)后跟著是根本沒有分組的短周期。
第四考慮的方面可以由確定組件211估計分組的接收時間分布 來檢測。
在上面列出的所有情形中，相同步幅的修改將不會導致最佳可 能的音頻質量。時鐘漂移和改變抖動通常使得它們可以通過漸進的 修改來注意到，其本質上是維持高音頻質量的最佳方法。另一方面， 改變的靜態(tài)傳輸延遲和延遲尖峰需要快的反應以最小化由于丟失的 包而造成的音頻質量中的降級。
如果檢測到快速反應是不必要的(步驟403 )，則確定組件211 將針對所需的縮放量來將時間窗的長度設定到大的值，并且將該值 提供給時間縮放單元135 (步驟404)。大的值適于指示時間縮放單 元135在相對長的修改周期上執(zhí)行所需的時間縮放量。
如果檢測到快速反應是需要的(步驟403 ),則確定組件211將 針對所需的縮放量將時間窗的長度設定成小的值并且將該值提供給 時間縮放單元135(步驟405 )。小的值適于指示時間縮放單元135， 來立即并且在短的修改周期內(nèi)執(zhí)行所需的時間縮放量。
應該注意到在這兩種情形下，選擇的窗口大小可以附加地取決 于其他準則。其例如附加地可以取決于所需的時間縮放量，因為相
同時間窗內(nèi)的大的縮放量和小的縮放量將明顯具有不同的效果。
時間縮放單元135從解碼器134接收解碼的音頻幀。附加地， 其從時間縮放控制邏輯136接收縮放指令和相關的時間窗長度。
確定組件310檢查當前接收到的解碼幀的類型以便檢測對于音 頻質量具有特殊要求的幀，像靜默幀或具有話音開始的幀(步驟 406)。
時間縮放單元135的窗口化時間縮放組件311接著對接收到的 解碼幀應用時間縮放(步驟407 )。
在指示的時間窗內(nèi)以所請求的量來4丸行時間縮;改。窗口化時間
的幀內(nèi)的最佳修改點。
原則上，時間縮放開始于新的縮放指令后第 一個接收到的幀。 然而，如果時間縮放量和指示的窗口大小的組合沒有暗示需要快速 反應，則窗口化時間縮放組件311注意到由確定組件310所檢測到 的壽文感幀的時間縮放被避免。
通常，信號擴展或收縮是作為基音周期的倍數(shù)來進行的。合適 的時間縮放的例子可以在S.Roucos和A.M.Wilgus的文檔"High quality time-scale modification for speech", IEEE ICASSP 1985,第 493-496頁中找到。然而，應該注意到其他的時間縮力文方法也是可以 應用的。
不得不注意到時間縮放量不僅可以通過利用在給定時間窗內(nèi)接 收到的幀所實現(xiàn)的絕對所需縮放量來給出。時間縮放量例如也可以 指示多少時間縮放幀應該適應于指示的時間窗。因此，時間窗的長 度可能限制在進行時間縮放前考慮幀的數(shù)量或定義利用時間縮放所 得到的幀的擴展。
另外可以注意，在其中時間縮放控制邏輯136將更大的縮放請 求分配成 一 系列更小的縮放請求的可選的方法，其相較于建議的窗 口化具有更少的優(yōu)勢。原因在于時間縮放單元135已知當前信號特 性，并且因此能夠對準確的縮放點做出決策，這最小化音頻質量的
降級。
總之，自適應的抖動緩沖器應該考慮到底層的網(wǎng)絡條件、解碼 器操作、以及時間縮放單元性能。
盡管已經(jīng)示出和描述以及指出被應用到本發(fā)明的優(yōu)選實施方式 的本發(fā)明的基礎新穎性特征，但將理解到在不偏離本發(fā)明的精神下， 本領域技術人員可以在所述設備和方法的形式和細節(jié)方面做出各種 省略和替換以及改變。例如，特意強調以基本上相同的方式來^^丸行
基本上相同的功能以實現(xiàn)相同的結果的那些單元和/或方法步驟的組 合都在本發(fā)明的范圍內(nèi)。此外，應該認識到結合任何公開的形式或 本發(fā)明的實施方式所示出和/或描述的結構和/或單元和/方法步驟可 以被包括在任意其他的公開或描述或建議的形式中或實施方式中， 作為設計選擇的 一 般問題。因此力圖僅由附在此的權利要求書的范 圍來限定。
權利要求
1. 一種用于控制音頻信號的時間縮放的方法，所述音頻信號被分配成經(jīng)由分組交換網(wǎng)絡接收到的幀序列，所述方法包括:檢測接收到的幀的延遲中的改變；確定將要應用到接收到的幀以便補償所述檢測到的改變的時間縮放量；確定所述改變的類型；以及根據(jù)所述改變的所述確定類型來確定時間窗的長度，在該時間窗內(nèi)將完成所述確定量的時間縮放。
2. 根據(jù)權利要求1所述的方法，其中所述改變的所述確定類型 是針對確定的時間縮放量需要更短的時間窗的類型、或者針對確定 的時間縮放量允許更長的時間窗的類型。
3. 根據(jù)權利要求2所述的方法，其中如果延遲中的改變的至少 一個出現(xiàn)，其中改變超出預定的值以及檢測到延遲尖峰，則確定給 出需要更短的時間窗的改變類型。
4. 根據(jù)權利要求2所述的方法，其中在接收時，接收到的幀被 緩存在可變緩沖器中，并且其中至少如果檢測到漸進的改變的緩沖 器占用率，則確定給出允許更長的時間窗的改變類型。
5. 根據(jù)權利要求2所述的方法，其中至少如果檢測到延遲幀的 改變數(shù)量，則確定給出允許更長的時間窗的改變類型。
6. 根據(jù)權利要求1所述的方法，包括在所述確定長度的時間窗 內(nèi)以所述確定的量來對接收到的幀進行時間縮放的后續(xù)步驟。
7. 根據(jù)權利要求6所述的方法，進一步包括確定在所述時間窗 內(nèi)的所述幀的內(nèi)容類型，并且避免對所述時間窗內(nèi)的那些幀進行時 間縮放，那些幀是具有預定類型的內(nèi)容的幀。
8. 根據(jù)權利要求6所述的方法，其中在所述接收到的幀的先前 處理后，對接收到的幀應用所述時間縮放。
9. 根據(jù)權利要求6所述的方法，其中在接收時，接收到的幀被緩存在可變緩沖器中，并且從所述可變緩沖器獲取以用于解碼，并 且其中經(jīng)歷所述時間縮放的幀是解碼的幀。
10. 根據(jù)權利要求6所述的方法，其中在接收時，接收到的幀被 緩存在可變緩沖器中，并且從所述可變緩沖器獲取以用于解碼，并 且其中經(jīng)歷所述時間縮放的幀是包括在所述解碼中生成的線性預測 合成濾波器激勵信號的幀。
11. 一種具有至少一個芯片的芯片組，該至少一個芯片包括用于 控制音頻信號的時間縮放的時間縮放控制組件，該音頻信號被分配 成經(jīng)由分組交換網(wǎng)絡接收到的幀序列，所述時間縮放控制組件適于檢測接收到的幀的延遲中的改變； 所述時間縮放控制組件適于確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放量；所述時間縮放控制組件適于確定檢測的改變的類型；以及所述時間縮放控制組件適于根據(jù)所述改變的所述確定類型來確定時間窗的長度，在該時間窗內(nèi)將完成所述確定量的時間縮i文。
12. —種包括用于控制音頻信號的時間縮放的時間縮放控制組 件的音頻接收器，該音頻信號被分配成經(jīng)由分組交換網(wǎng)絡接收到的 幀序列，所述時間縮放控制組件適于檢測接收到的幀的延遲中的改變； 所述時間縮放控制組件適于確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放量；所述時間縮放控制組件適于確定檢測的改變的類型；以及 所述時間縮放控制組件適于根據(jù)所述改變的所述確定類型來確定時間窗的長度，在該時間窗內(nèi)將完成確定量的時間縮放。
13. —種包括用于控制音頻信號的時間縮放的時間縮放控制組 件的電子設備，該音頻信號被分配成經(jīng)由分組交換網(wǎng)絡接收到的幀 序列，所述時間縮放控制組件適于檢測接收到的幀的延遲中的改變； 所述時間縮放控制組件適于確定將要應用到接收到的幀以便補 償檢測到的改變的時間縮放量；所述時間縮放控制組件適于確定檢測的改變的類型；以及定時間窗的長度，在該時間窗內(nèi)將完成所述確定量的時間縮放。
14. 根據(jù)權利要求13所述的電子設備，其中所述改變的確定類 型是針對確定的時間縮放量需要更短的時間窗的類型、或者針對確 定的時間縮放量允許更長的時間窗的類型。
15. 根據(jù)權利要求13所述的電子設備，其中所述時間縮放控制 組件另外適于在所述確定長度的時間窗內(nèi)以所述確定的量來對接收 到的幀進行時間縮放。
16. 根據(jù)權利要求15所述的電子設備，其中所述時間縮放控制 組件適于確定在所述時間窗內(nèi)的所述幀的內(nèi)容類型并且避免對所述 時間窗內(nèi)的那些幀進行時間縮放，那些幀是具有預定類型的內(nèi)容的 幀。
17. —種系統(tǒng)，其包括適于傳送音頻信號的分組交換網(wǎng)絡，適 于提供音頻信號以便經(jīng)由所述分組交換網(wǎng)絡傳輸?shù)陌l(fā)送器，以及適 于經(jīng)由所述分組交換網(wǎng)絡接收音頻信號的接收器，所述接收器包括 用于控制音頻信號的時間縮放的時間縮放控制組件，該音頻信號被 分配成經(jīng)由所述分組交換網(wǎng)絡接收到的幀序列，所述時間縮放控制組件適于檢測接收到的幀的延遲中的改變； 所述時間縮放控制組件適于確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放量；所述時間縮放控制組件適于確定檢測的改變的類型；以及 所述時間縮放控制組件適于根據(jù)所述改變的所述確定類型來確定時間窗的長度，在該時間窗內(nèi)將完成所述確定量的時間縮放。
18. —種軟件程序產(chǎn)品，其中存儲用于控制音頻信號的時間縮放 的軟件代碼，所述音頻信號被分配成經(jīng)由所述分組交換網(wǎng)絡接收到 的幀序列，其中當由處理器執(zhí)行時，所述軟件代碼實現(xiàn)下面的步驟檢測接收到的幀的延遲中的改變； 確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放量；確定所述改變的類型；以及根據(jù)所述改變的所述確定類型來確定時間窗的長度，在該時間窗 內(nèi)將完成所述確定量的時間縮放。
19. 根據(jù)權利要求18所述的軟件程序產(chǎn)品，其中所述改變的確 定類型是針對確定的時間縮放量需要更短的時間窗的類型、或者針 對確定的時間縮放量允許更長的時間窗的類型。
20. 根據(jù)權利要求18所述的軟件程序產(chǎn)品，其中當由所述處理 器執(zhí)行時，所述軟件代碼實現(xiàn)在所述確定長度的時間窗內(nèi)以所述確 定的量來對接收到的幀進行時間縮放的后續(xù)步驟。
全文摘要
為了控制音頻信號的時間縮放，音頻信號被分配成經(jīng)由分組交換網(wǎng)絡接收到的幀序列，檢測接收到的幀的延遲中的改變。此外，確定將要應用到接收到的幀以便補償檢測到的改變的時間縮放量。另外，確定改變的類型。另外，將根據(jù)所述改變的確定類型來確定時間窗的長度，在該時間窗內(nèi)將完成確定量的時間縮放。
文檔編號H04J3/06GK101379556SQ200780004620
公開日2009年3月4日 申請日期2007年2月5日 優(yōu)先權日2006年2月7日
發(fā)明者A·拉卡尼米, P·奧雅拉 申請人:諾基亞公司