專利名稱：緩沖器控制方法、中繼裝置、通信系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及對中繼裝置中具有的緩沖器進(jìn)行控制的緩沖器控制方法， 特別是涉及在經(jīng)由傳輸路徑的狀態(tài)(頻帶或數(shù)據(jù)損失、錯誤特性)不同的 網(wǎng)絡(luò)來進(jìn)行伴有視頻的電視電話或電視會議等通信時，能夠使由傳輸路徑 狀態(tài)的影響導(dǎo)致的在接收側(cè)所顯示的視頻的紊亂達(dá)到最小限度的視頻緩沖 器控制方法。另外，本發(fā)明涉及使用了緩沖器控制方法的中繼裝置以及通 信系統(tǒng)。
背景技術(shù)：
近年來，隨著使用ADSL或光通信技術(shù)等而實現(xiàn)的網(wǎng)絡(luò)的高速化，經(jīng) 由網(wǎng)絡(luò)并利用分組對圖像或聲音的編碼數(shù)據(jù)進(jìn)行通信。例如，被稱為VoIP (Voice over IP)或TVoIP (TV over IP)的雙向通信系統(tǒng)和會議系統(tǒng)快速 普及起來。
用于上述圖像或聲音的編碼數(shù)據(jù)的通信中的編碼方式具有若干種類。 例如作為運動圖像的編碼方式，多使用對通過基于幀間預(yù)測的高效率壓縮 而編碼的編碼數(shù)據(jù)進(jìn)行傳輸?shù)姆椒?。在這些基于幀間預(yù)測的編碼方式中， 通過時間上位于前后的幀來預(yù)測編碼圖像。并且，通過對預(yù)測編碼圖像而 得的預(yù)測參數(shù)和預(yù)測殘差圖像數(shù)據(jù)進(jìn)行編碼來削減時間方向的相關(guān)性高的 運動圖像的信息量。然后，對預(yù)測殘差圖像數(shù)據(jù)進(jìn)行變換編碼或量化，由 此進(jìn)行高效率的壓縮編碼，從而能夠以較少的傳輸頻帶來進(jìn)行通信。
另外，在第三代便攜式電話中存在支持提供線路交換(CS)式的電視 電話服務(wù)的便攜式電話終端。另外，還存在將可使用上述電視電話服務(wù)的 便攜式電話機(jī)和連接在IP網(wǎng)絡(luò)上的TvoIP客戶連接起來的網(wǎng)關(guān)。并且，已 經(jīng)使用上述的便攜式電話終端和網(wǎng)關(guān)實現(xiàn)了跨越CS網(wǎng)(線路交換網(wǎng))和 PS網(wǎng)(分組交換網(wǎng))的實時通信。
當(dāng)如上述在傳輸路徑的狀態(tài)(頻帶或數(shù)據(jù)損失、錯誤特性)不同的網(wǎng) 絡(luò)之間進(jìn)行實時通信時，為了連結(jié)(中繼)雙方的網(wǎng)絡(luò)而使用中繼裝置。 此時，中繼裝置具有吸收網(wǎng)絡(luò)上的抖動的抖動緩沖器，或進(jìn)行削減吸收抖 動時的傳輸延遲的延遲削減處理。
另外，作為對編碼數(shù)據(jù)進(jìn)行中繼的中繼裝置，例如在專利文獻(xiàn)1中記 載了將從編碼流中取得的編碼信息插入編碼流中的編碼流中繼裝置。
專利文獻(xiàn)1:日本專利文獻(xiàn)特開2006-13583號公報(0029段-0042 段、圖6);
非專利文獻(xiàn)1: H.Schulzrinne， S.Casner， R.Frederick, V.Jacobson, " RTP: A Transport Protocol for Real-Time Applications " , RFC 3550, July 2003， , 乂 夕 一氺y卜< URL:http:〃www.ietf.org/rfc/rfc3550.tet > ;
非專利文獻(xiàn)2 : TELECOMMUNICATION STANDARDIZATION SECTOR OF ITU， " ITU-T Recommendation H.223 " ， 03/1996。

發(fā)明內(nèi)容
但是，當(dāng)對視頻流實施延遲削減處理時，如果使用當(dāng)前廣泛使用的預(yù) 測編碼來進(jìn)行視頻流的編碼，則視頻流中的任意數(shù)據(jù)都被執(zhí)行削減處理， 從而在接收側(cè)再現(xiàn)的視頻流的圖像質(zhì)量會大幅度惡化。并且，當(dāng)使用預(yù)測 編碼來進(jìn)行視頻流的編碼時，存在以視頻的惡化持續(xù)好一會兒的狀態(tài)圖像 被再現(xiàn)的問題。
另外，為了吸收不同網(wǎng)絡(luò)間的頻帶差異，想到了對編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)碼 的方法。但是，用于對編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)碼的處理量的增加很顯著，不能適 用于必須使用同一裝置處理許多流的情況。
另外，根據(jù)專利文獻(xiàn)1記載的編碼流中繼裝置，與編碼信息的傳遞方 式無關(guān)，能夠?qū)邮战K端中所接收的編碼流進(jìn)行正常解碼。但不能防止由 于不同網(wǎng)絡(luò)間的傳輸路徑狀態(tài)的影響而在接收側(cè)發(fā)生圖像紊亂。
因此，本發(fā)明目的在于，提供一種在進(jìn)行伴有視頻的通信時能夠降低 視頻由于受傳輸路徑狀態(tài)的影響而惡化的緩沖器控制方法、中繼裝置、通 信系統(tǒng)。
本發(fā)明涉及的緩沖器控制方法是對中繼裝置(例如，中繼裝置101、
401)所具有的緩沖器(例如，視頻緩沖器208)進(jìn)行控制的緩沖器控制方
法，其特征在于，包括存儲步驟，將從發(fā)送終端(例如，發(fā)送終端 102)接收的視頻流存儲在中繼裝置的緩沖器中；以及緩沖器控制步驟， 以段(即便在有一部分段由于丟失或出錯而不能解碼的情況下也能夠用其
他的段獨立進(jìn)行解碼的單位，例如，幀、視頻包、GOB、切片、或NAL
單元)為單位對由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制。
另外，本發(fā)明涉及的緩沖器控制方法是對中繼裝置所具有的緩沖器進(jìn)
行控制的緩沖器控制方法，其也可以包括從發(fā)送終端接收視頻流的接收 步驟；將接收的視頻流存儲在中繼裝置的緩沖器中的存儲步驟；對由中繼 裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制的緩沖器控制步驟；以及從 中繼裝置的緩沖器中取出視頻流并將其發(fā)送給目的地的接收終端(例如， 接收終端103)的發(fā)送步驟。
另外，本發(fā)明涉及的緩沖器控制方法是對中繼裝置所具有的緩沖器進(jìn) 行控制的緩沖器控制方法，其也可以包括從發(fā)送終端接收視頻流的接收 步驟；將接收的視頻流存儲在中繼裝置的緩沖器中的存儲步驟；對由中繼 裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制的緩沖器控制步驟；以及從 中繼裝置的緩沖器中取出視頻流并將其發(fā)送給目的地的接收終端的發(fā)送步 驟，并且在緩沖器控制步驟中，可以執(zhí)行對由中繼裝置的緩沖器存儲的視 頻流的規(guī)定數(shù)據(jù)量進(jìn)行間拔的間拔處理。
另外，本發(fā)明涉及的緩沖器控制方法也可以在緩沖器控制步驟中，通 過丟棄由中繼裝置的緩沖器存儲的視頻流，或者停止向中繼裝置的緩沖器 中的視頻流的輸入，或者提高從中繼裝置的緩沖器輸出視頻流的輸出速 率，來以段為單位對由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控 制。
另外，本發(fā)明涉及的緩沖器控制方法也可以在緩沖器控制步驟中，將 幀、視頻包、GOB、切片、NAL單元中的至少一個用作所述段單位，來控 制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括以規(guī)定的方法設(shè)定閾
值的閾值設(shè)定步驟，并且在緩沖器控制步驟中，可根據(jù)所設(shè)定的閾值來控 制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法在緩沖器控制步驟中，作為基于
閾值的緩沖器控制，也可以利用下述(A)至(C)控制中的至少一種控制 來對所述緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制，其中所述(A)至(C)
控制分別如下
(A) 將所述視頻流的數(shù)據(jù)量的上限值設(shè)定為閾值，并將所述緩沖器
內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條件，停止向所述中繼裝 置的緩沖器中的輸入，或者丟棄所述中繼裝置的緩沖器內(nèi)的視頻流的至少 一部分，或者提高從所述中繼裝置的緩沖器輸出視頻比特流的輸出比特速
率；
(B) 將所述視頻流的數(shù)據(jù)量的上限值和下限值設(shè)定為閾值，并將所 述中繼裝置的緩沖器內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條 件，執(zhí)行停止向所述中繼裝置的緩沖器中的輸入、或者提高從所述中繼裝 置的緩沖器輸出視頻比特流的輸出比特速率的控制，直到所述中繼裝置的 緩沖器內(nèi)的視頻流的數(shù)據(jù)量達(dá)到下限值；以及
(C) 將用于間拔所述視頻流的數(shù)據(jù)量的間拔閾值設(shè)定為閾值，并將 所述中繼裝置的緩沖器內(nèi)的視頻流的數(shù)據(jù)量達(dá)到間拔閾值為條件，不進(jìn)行 向所述中繼裝置的緩沖器中的規(guī)定數(shù)據(jù)量的數(shù)據(jù)的輸入。
另外，本發(fā)明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以基 于規(guī)定的定時來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以將 每隔固定時間的定時、接收包數(shù)目達(dá)到固定量的定時、接收視頻流的數(shù)據(jù) 量達(dá)到固定量的定時、向所述緩沖器輸入的數(shù)據(jù)量達(dá)到固定量的定時、或 者接收段數(shù)目達(dá)到固定量的定時中的至少一個定時作為規(guī)定的定時，并基 于此定時來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法在緩沖器控制步驟中，也可以根 據(jù)從外部裝置(例如，外部裝置104)接收的控制命令，來控制由中繼裝 置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括對視頻流中包含的幀 的幀類型進(jìn)行判斷的幀類型判斷步驟，并且在緩沖器控制步驟中，可以利 用在幀類型判斷步驟中判斷的幀類型來控制由中繼裝置的緩沖器存儲的視 頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括有沒有被參考的判斷 步驟，該步驟根據(jù)幀類型來判斷是否為被其他幀所參考的被參考幀，并且 在緩沖器控制步驟中，可利用幀是否為被參考幀的判斷結(jié)果來控制由中繼 裝置的緩沖器存儲的視頻流的數(shù)據(jù)量，以作為利用了幀類型的緩沖器控 制。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括根據(jù)與所述被參考幀 之間的距離來設(shè)定幀的優(yōu)先級的步驟，并且在緩沖器控制步驟中，可利用 幀的優(yōu)先級來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量，以作為利 用了幀類型的緩沖器控制。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括對視頻流中包含的切 片的切片類型進(jìn)行判斷的切片類型判斷步驟，并且在緩沖器控制步驟中， 可利用所判斷的切片類型來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù) 量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括對所述視頻流中包含
的NAL單元的類別進(jìn)行判斷的類別判斷步驟，并且在緩沖器控制步驟 中，可利用所判斷的NAL單元的類別來控制由中繼裝置的緩沖器存儲的 視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括有沒有被參考的判斷 步驟，該步驟判斷視頻流中包含的NAL單元是否為被視頻流中包含的其 他NAL單元所參考的被參考單元，并且在緩沖器控制步驟中，可利用 NAL單元是否為被參考單元的判斷結(jié)果，來控制由中繼裝置的緩沖器存儲 的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的緩沖器控制方法也可以包括對視頻流中包含的宏 塊的宏塊類型進(jìn)行判斷的宏塊類型判斷步驟，并且在緩沖器控制步驟中， 可利用所判斷的宏塊類型來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)本發(fā)明涉及的中繼裝置是對視頻流的通信進(jìn)行中繼的中繼裝置，其特 征在于，包括存儲控制單元(例如由接收數(shù)據(jù)分離部202實現(xiàn))，將從 發(fā)送終端接收的視頻流存儲到所述中繼裝置的緩沖器(例如，視頻緩沖器
208)中；以及緩沖器控制單元(例如由視頻緩沖器控制部207、 407實
現(xiàn))，以段為單位對由所述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行 控制。
另外，本發(fā)明涉及的中繼裝置是對視頻流的通信進(jìn)行中繼的中繼裝
置，所述中繼裝置也可以包括接收單元(例如由接收部201實現(xiàn))，接 收從所述發(fā)送終端發(fā)送的視頻流；存儲控制單元(例如由接收數(shù)據(jù)分離部 202實現(xiàn))，將由接收單元接收的視頻流存儲到該中繼裝置的緩沖器(例 如，視頻緩沖器208)中；緩沖器控制單元(例如由視頻緩沖器控制部 207、 407實現(xiàn))，對存儲在所述中繼裝置的緩沖器中的視頻流的數(shù)據(jù)量進(jìn) 行控制；提取單元(例如由發(fā)送數(shù)據(jù)生成部209實現(xiàn))，從所述中繼裝置 的緩沖器中提取視頻流；以及發(fā)送單元(例如由發(fā)送部210實現(xiàn))，將由 提取單元提取的視頻流發(fā)送給目的地的接收終端。
另外，本發(fā)明涉及的中繼裝置是對視頻流的通信進(jìn)行中繼的中繼裝 置，所述中繼裝置也可以包括接收單元，對從所述發(fā)送終端發(fā)送的視頻 流進(jìn)行接收；存儲控制單元，將由接收單元接收的視頻流存儲到該中繼裝 置的緩沖器中；緩沖器控制單元，對存儲在所述中繼裝置的緩沖器中的視 頻流的數(shù)據(jù)量進(jìn)行控制；提取單元，從所述中繼裝置的緩沖器中提取視頻 流；以及發(fā)送單元，將由提取單元提取的視頻流發(fā)送給目的地的接收終 端，并且緩沖器控制單元可以包括間拔單元(例如由視頻緩沖器控制部 207、 407實現(xiàn))，該間拔單元執(zhí)行對由中繼裝置的緩沖器存儲的視頻流的 規(guī)定數(shù)據(jù)量進(jìn)行間拔的間拔處理。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元可以通過丟棄由 中繼裝置的緩沖器存儲的視頻流，或者停止向中繼裝置的緩沖器中的視頻 流的輸入，或者提高從中繼裝置的緩沖器輸出視頻流的輸出速率，來以段 為單位對由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元也可以將幀、視
頻包、GOB、切片、NAL單元中的至少一個用作所述規(guī)定的單位來對中繼 裝置的緩沖器所存儲的視頻流的數(shù)據(jù)量進(jìn)行控制。
另外，本發(fā)明涉及的中繼裝置也可以包括以規(guī)定的方法來設(shè)定閾值的 閾值設(shè)定單元(例如由閾值設(shè)定部204實現(xiàn))，并且緩沖器控制單元可基 于由閾值設(shè)定單元設(shè)定的閾值來控制由中繼裝置的緩沖器存儲的視頻流的 數(shù)據(jù)量。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元，作為基于閾值 的緩沖器控制，也可以利用下述(A)至(C)控制中的至少一種控制來對 所述緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制，其中所述(A)至(C)控制 分別如下
(A) 將所述視頻流的數(shù)據(jù)量的上限值設(shè)定為閾值，并將所述緩沖器
內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條件，停止向所述中繼裝
置的緩沖器中的輸入，或者丟棄所述中繼裝置的緩沖器內(nèi)的視頻流的至少
一部分，或者提高從所述中繼裝置的緩沖器輸出視頻比特流的輸出比特速 率；
(B) 將所述視頻流的數(shù)據(jù)量的上限值和下限值設(shè)定為閾值，并將所 述中繼裝置的緩沖器內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條 件，執(zhí)行停止向所述中繼裝置的緩沖器中的輸入、或者提高從所述中繼裝 置的緩沖器輸出視頻比特流的輸出比特速率的控制，直到所述中繼裝置的 緩沖器內(nèi)的視頻流的數(shù)據(jù)量達(dá)到下限值；以及
(C) 將用于間拔所述視頻流的數(shù)據(jù)量的間拔閾值設(shè)定為閾值，并將 所述中繼裝置的緩沖器內(nèi)的視頻流的數(shù)據(jù)量達(dá)到間拔閾值為條件，不進(jìn)行 向所述中繼裝置的緩沖器中的規(guī)定數(shù)據(jù)量的數(shù)據(jù)的輸入。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元也可以基于規(guī)定 的定時來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元也可以將每隔固 定時間的定時、接收包數(shù)目達(dá)到固定量的定時、接收視頻流的數(shù)據(jù)量達(dá)到 固定量的定時、向所述緩沖器輸入的數(shù)據(jù)量達(dá)到固定量的定時、或者接收
段數(shù)目達(dá)到固定量的定時中的至少一個定時作為規(guī)定的定時，并基于此定 時來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，在本發(fā)明涉及的中繼裝置中，緩沖器控制單元也可以根據(jù)從外 部裝置接收的控制命令，來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)
另外，本發(fā)明涉及的中繼裝置也可以包括對視頻流中包含的幀的幀類
型進(jìn)行判斷的幀類型判斷單元(例如由段解析部206實現(xiàn))，并且緩沖器
控制單元可利用由幀類型判斷單元判斷的幀類型來控制由中繼裝置的緩沖 器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的中繼裝置也可以包括有沒有被參考的判斷單元
(例如由流解析部406實現(xiàn))，該單元根據(jù)幀類型來判斷是否為被其他幀 所參考的被參考幀，并且緩沖器控制單元可利用幀是否為被參考幀的判斷 結(jié)果，來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量，以作為利用了 幀類型的緩沖器控制。
另外，本發(fā)明涉及的中繼裝置也可以包括根據(jù)與被參考幀之間的距離 來設(shè)定幀的優(yōu)先級的優(yōu)先級設(shè)定單元(例如由流解析部406實現(xiàn))，并且 緩沖器控制單元可利用幀的優(yōu)先級來控制由中繼裝置的緩沖器存儲的視頻 流的數(shù)據(jù)量，以作為利用了幀類型的緩沖器控制。
另外，本發(fā)明涉及的中繼裝置也可以包括對視頻流中包含的切片的切 片類型進(jìn)行判斷的切片類型判斷單元(例如由段解析部206實現(xiàn))，并且 緩沖器控制單元可利用由切片類型判斷單元判斷的切片類型，來控制由中 繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的中繼裝置也可以包括對所述視頻流中包含的NAL 單元的類別進(jìn)行判斷的類別判斷單元(例如由段解析部206實現(xiàn))，并且 緩沖器控制單元可利用由類別判斷單元判斷的NAL單元的類別來控制由 中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的中繼裝置也可以包括沒有沒被參考的判斷單元 (例如由段解析部206實現(xiàn))，該單元判斷視頻流中包括的NAL單元是 否為被視頻流中包含的其他NAL單元所參考的被參考單元，并且緩沖器
控制單元可利用由沒有沒被參考的判斷單元進(jìn)行的NAL單元是否為被參 考單元的判斷結(jié)果，來控制由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的中繼裝置也可以包括對視頻流中包含的宏塊的宏
塊類型進(jìn)行判斷的宏塊類型判斷單元(例如由段解析部206實現(xiàn))，并且 緩沖器控制單元可利用由宏塊類型判斷單元判斷的宏塊類型，來控制由中 繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
另外，本發(fā)明涉及的通信系統(tǒng)是進(jìn)行視頻流的通信的通信系統(tǒng)，其特
征在于，包括對視頻流的通信進(jìn)行中繼的中繼裝置，所述中繼裝置包括
存儲控制單元，將從發(fā)送終端接收的視頻流存儲到該中繼裝置的緩沖器
中；以及緩沖器控制單元，以段為單位對所述中繼裝置的緩沖器存儲的視 頻流的數(shù)據(jù)量進(jìn)行控制。
另外，本發(fā)明涉及的通信系統(tǒng)是進(jìn)行視頻流的通信的通信系統(tǒng)，其特 征在于，包括對視頻流的通信進(jìn)行中繼的中繼裝置，所述中繼裝置可以包
括接收單元，從發(fā)送終端接收視頻流；存儲控制單元，將由接收單元接 收的視頻流存儲到所述中繼裝置的緩沖器中；緩沖器控制單元，控制由所 述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量；提取單元，從所述中繼裝置 的緩沖器中提取視頻流；發(fā)送單元，將由提取單元提取的視頻流發(fā)送給目 的地的接收終端。
本發(fā)明涉及的緩沖器控制程序是用于對中繼裝置所具有的緩沖器進(jìn)行 控制的緩沖器控制程序，其使計算機(jī)執(zhí)行以下處理將從發(fā)送終端接收的 視頻流存儲到中繼裝置中的處理；以及以段為單位對中繼裝置的緩沖器存 儲的視頻流的數(shù)據(jù)量進(jìn)行控制的處理。
另外，本發(fā)明涉及的緩沖器控制程序是用于對中繼裝置所具有的緩沖 器進(jìn)行控制的緩沖器控制程序，其也可以使計算機(jī)執(zhí)行以下處理從發(fā)送 終端接收視頻流的處理；將從發(fā)送終端接收的視頻流存儲在中繼裝置中的 處理；對由中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)流進(jìn)行控制的處理；以 及從中繼裝置的緩沖器中取出視頻流并將其發(fā)送給目的終端的處理。
發(fā)明效果
根據(jù)本發(fā)明，將從發(fā)送終端接收的視頻流存儲在中繼裝置的緩沖器
中。另外，以段為單位對中繼裝置的緩沖器所存儲的視頻流的數(shù)據(jù)量進(jìn)行 控制。由于以段為單位進(jìn)行緩沖器控制，因此，在丟棄(刪除)了本應(yīng)由 中繼裝置發(fā)送的視頻流的一部分的情況下，也能夠緩解基于由接收終端接 收的視頻流來再現(xiàn)視頻時的圖像質(zhì)量的惡化。
另外，根據(jù)本發(fā)明，由于以段為單位進(jìn)行緩沖器控制，因此，即使在 進(jìn)行由傳輸路徑的狀態(tài)不同的網(wǎng)絡(luò)來進(jìn)行視頻流的通信的情況下，也不用 對編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)碼，就能夠降低在接收側(cè)顯示的視頻由于傳輸路徑的狀 態(tài)的影響而惡化的情況。


圖1是示出使用了緩沖器控制方法的通信系統(tǒng)的結(jié)構(gòu)的一個示例的框
圖2是示出中繼裝置的結(jié)構(gòu)的一個示例的框圖3是示出由中繼裝置中繼的視頻流的格式的示例的說明圖； 圖4是示出中繼裝置控制視頻緩沖器的緩沖器控制處理的一個示例的 流程圖5是示出中繼裝置的結(jié)構(gòu)的另一示例的框圖； 圖6是示出流解析部的結(jié)構(gòu)的一個示例的框圖7是示出根據(jù)幀類型來決定數(shù)據(jù)的優(yōu)先級的處理的一個示例的流程
圖8是示出根據(jù)參考圖像(picture)來決定數(shù)據(jù)的優(yōu)先級的處理的一 個示例的流程圖9是示出根據(jù)是否為IntraMB來決定數(shù)據(jù)的優(yōu)先級的處理的一個示 例的流程圖。 標(biāo)號說明 101中繼裝置 102發(fā)送終端 103接收終端 104外部裝置
105、 106、 107傳輸路徑
201接收部
202接收數(shù)據(jù)分離部
203命令接收部
204閾值設(shè)定部
205定時生成部
206段解析部
207視頻緩沖器控制部
208視頻緩沖器
209發(fā)送數(shù)據(jù)生成部
210發(fā)送部
具體實施方式
實施方式1
下面，參照附圖對本發(fā)明的第一實施方式進(jìn)行說明。本發(fā)明的視頻緩 沖器控制方法(緩沖器控制方法)可應(yīng)用于對從終端發(fā)送的視頻流進(jìn)行中 繼的中繼裝置中。另外，緩沖器控制方法可應(yīng)用于使用中繼裝置對經(jīng)由不 同網(wǎng)絡(luò)的通信進(jìn)行中繼的通信系統(tǒng)中。
另外，在本實施方式中，對從終端發(fā)送的視頻流進(jìn)行中繼的中繼裝置 包括接收從終端裝置發(fā)送的視頻流的單元；將接收到的視頻流存儲到視 頻緩沖器中的單元；以及控制緩沖器內(nèi)的數(shù)據(jù)量的單元。
另外，中繼裝置可以具有以規(guī)定單位控制緩沖器內(nèi)的數(shù)據(jù)量的單元。 此時，中繼裝置也可以包括將(1)幀、(2)視頻包、(3) GOB (Group Of Blocks,塊組)、(4)切片(slice)、以及(5) NAL (Network Abstraction Layer,網(wǎng)絡(luò)提取層)單元等視頻流固有的段(segment)中的 至少一個用作規(guī)定單位的單元。
另外，中繼裝置也可以包括通過規(guī)定的方法來設(shè)定閾值的單元；以 及基于所設(shè)定的閾值來控制緩沖器內(nèi)的數(shù)據(jù)量的單元。另外，中繼裝置也 可以包括基于規(guī)定的定時來控制緩沖器內(nèi)的數(shù)據(jù)量的單元。另外，中繼裝
置也可以包括根據(jù)來自外部裝置的指令來控制緩沖器內(nèi)的數(shù)據(jù)量的單元， 并且從視頻緩沖器中取出視頻流后發(fā)送給中繼目的地的終端。
首先，參照附圖，對使用了緩沖器控制方法的通信系統(tǒng)的結(jié)構(gòu)進(jìn)行說 明。圖1是示出使用了緩沖器控制方法的通信系統(tǒng)的結(jié)構(gòu)的一個示例的框 圖。如圖1所示，通信系統(tǒng)包括中繼裝置101;發(fā)送視頻流的發(fā)送終端 102;接搜從發(fā)送終端102發(fā)送的視頻流的接收終端103;以及發(fā)送視頻隊 列控制命令的外部裝置104。
另外，如圖1所示，中繼裝置101和發(fā)送終端102經(jīng)由傳輸路徑105 連接。另外，中繼裝置101和接收終端103經(jīng)由傳輸路徑106連接。另 外，中繼裝置101與外部裝置經(jīng)由傳輸路徑107連接。此外，傳輸路徑 105 107通過利用有線或者無線下的IP (Internet Protocol,網(wǎng)際協(xié)議)的 網(wǎng)絡(luò)或者線路交換網(wǎng)來實現(xiàn)。
此外，在本實施方式中，發(fā)送終端102和接收終端103分別連接在傳 輸路徑的狀態(tài)(頻帶或數(shù)據(jù)損失、錯誤特性)不同的網(wǎng)絡(luò)上。例如，在圖 1所示的例子中，傳輸路徑105與傳輸路徑106的頻帶或數(shù)據(jù)損失、錯誤 特性不同。
另夕卜，在圖1中，雖然示出了發(fā)送終端102為l個的情況，但是在通 信系統(tǒng)中，可以包括多個發(fā)送終端102。另外，在圖1中，雖然示出了接 收終端103為1個的情況，但是在通信系統(tǒng)中，可以包括多個發(fā)送終端 103。另外，發(fā)送終端102不僅具有發(fā)送視頻流的功能還可以具有接收視 頻流的功能。另外，接收終端103不僅具有接收視頻流的功能還可以具有 發(fā)送視頻流的功能。此外，外部裝置104也可以通過與發(fā)送終端102或接 收終端103相同的裝置實現(xiàn)。
具體地說，發(fā)送終端102通過便攜式電話機(jī)或PDA等信息處理終端 實現(xiàn)。另外，接收終端例如可以是個人計算機(jī)等終端。發(fā)送終端102在進(jìn) 行電視電話或電視會議時，根據(jù)用戶的操作，經(jīng)由傳輸路徑，對包括視頻 流的數(shù)據(jù)進(jìn)行發(fā)送。
具體地說，接收終端103通過便攜式電話機(jī)或PDA等信息處理終端 實現(xiàn)。另外，接收終端103例如也可以是個人計算機(jī)等終端。接收終端
103具有經(jīng)由傳輸路徑106來接收視頻流的功能。另外，接收終端103具 有基于所接收的視頻流在液晶顯示部等顯示部上顯示視頻的功能。例如， 接收終端103在進(jìn)行電視電話或電視會議時，依照用戶的操作，經(jīng)由傳輸 路徑106來接收包括視頻流在內(nèi)的數(shù)據(jù)，并在液晶顯示部上再現(xiàn)視頻。
具體地說，外部裝置104通過工作站或個人計算機(jī)等信息處理裝置實 現(xiàn)。外部裝置104例如由管理中繼裝置101的通信運送商或提供商運營。 外部裝置104具有將用于控制中繼裝置101所具有的緩沖器的控制命令經(jīng) 由傳輸路徑107發(fā)送給中繼裝置101的功能。此外，外部裝置104在通過 與發(fā)送終端102或接收終端103相同的裝置(例如，用戶終端)來實現(xiàn)時 可以是便攜式電話機(jī)或PDA等終端。
具體地說，中繼裝置101通過網(wǎng)關(guān)等通信控制裝置實現(xiàn)。另外，中繼 裝置101可以是按照用于中繼通信的通信中繼程序來執(zhí)行處理的工作站或 個人計算機(jī)等信息處理裝置。圖2是示出中繼裝置的結(jié)構(gòu)的一個示例的框 圖。如圖2所示，中繼裝置包括接收數(shù)據(jù)分離部202、命令接收部203、 閾值設(shè)定部204、定時生成部205、段解析部206、視頻緩沖器控制部 207、視頻緩沖器208、發(fā)送數(shù)據(jù)生成部209、以及發(fā)送部210。
接收部201具有從發(fā)送終端102經(jīng)由傳輸路徑105來接收包含視頻流 在內(nèi)的數(shù)據(jù)的功能。接收數(shù)據(jù)分離部202具有從接收數(shù)據(jù)中分離視頻流并 提取視頻流的功能。另外，接收數(shù)據(jù)分離部202具有將分離的視頻流存儲 到視頻緩沖器208中的功能。
命令接收部203具有經(jīng)由傳輸路徑107來接收來自外部裝置的命令的 功能。閾值設(shè)定部204具有設(shè)定在緩沖器控制中使用的閾值的功能。定時 生成部205具有設(shè)定進(jìn)行緩沖器控制的定時并生成定時信息的功能。段解 析部206具有從接收數(shù)據(jù)分離部202接受視頻流并對視頻流內(nèi)的段進(jìn)行解 析(解釋)的功能。
視頻緩沖器控制部207具有對視頻緩沖器208進(jìn)行控制的功能。在本 實施方式中，視頻緩沖器控制部207通過進(jìn)行削減視頻緩沖器208所存儲 的視頻流等處理，來對視頻緩沖器208進(jìn)行控制。此時，視頻緩沖器控制 部207基于命令接收部203從外部裝置104接收的控制命令來控制視頻緩
沖器208。另外，視頻緩沖器控制部207基于由閾值設(shè)定部207設(shè)定的閾 值來控制視頻緩沖器208。另外，視頻緩沖器控制部207基于由定時生成 部205設(shè)定的定時來控制視頻緩沖器208。另外，視頻緩沖器控制部207 基于段解析部206的解析結(jié)果來控制視頻緩沖器208。
視頻緩沖器208具有存儲由接收數(shù)據(jù)分離部209分離而得的視頻流的 功能。發(fā)送數(shù)據(jù)生成部209具有基于視頻緩沖器208內(nèi)的視頻流來生成可 用傳輸路徑106進(jìn)行通信的形式的發(fā)送數(shù)據(jù)的功能。發(fā)送部210具有將由 發(fā)送數(shù)據(jù)生成部209生成的發(fā)送數(shù)據(jù)經(jīng)由傳輸路徑106發(fā)送給接收終端 103的功能。
此外，假設(shè)由接收部201接收的數(shù)據(jù)的格式是依賴于在傳輸路徑105 中使用的通信協(xié)議的傳輸格式。另外，假設(shè)由發(fā)送部210發(fā)送的格式是依 賴于在傳輸路徑106中使用的通信協(xié)議的傳輸格式。這里所說的傳輸格式 是指傳輸視頻流時使用的格式，例如IP網(wǎng)絡(luò)的RTP格式或線路交換網(wǎng)絡(luò) 的H.223格式等。
此外，所述RTP格式例如被記載于非專利文獻(xiàn)1 " <formula>formula see original document page 21</formula>
另外，當(dāng)中繼裝置101通過信息處理裝置來實現(xiàn)時，中繼裝置101的 存儲裝置存儲有用于中繼經(jīng)由不同網(wǎng)絡(luò)所進(jìn)行的視頻流通信的各種程序。 例如，中繼裝置101的存儲裝置存儲有緩沖器控制程序，該緩沖器控制程
序用于使計算機(jī)執(zhí)行將從發(fā)送終端接收的視頻流存儲到中繼裝置的緩沖器 中的處理、以及將中繼裝置的緩沖器所存儲的視頻流的數(shù)據(jù)量控制為段單 位的處理。
接著，對由中繼裝置101中繼的視頻流的格式進(jìn)行說明。圖3是示出 由中繼裝置101中繼的視頻流的格式例的說明圖。如圖3所示，假定視頻 流由多個幀30-l 30-n構(gòu)成。在圖3中，VP表示MPEG4的視頻包。如圖
3所示，幀30-1由多個VP31-l 31-m構(gòu)成。此外，幀30-1不限于由多個 VP31-l 31-m構(gòu)成，也可以不以VP為單位來進(jìn)行劃分。另外，幀30-2 30-n與幀30-1—樣，既可以由多個VP構(gòu)成，也可以不以VP為單位來進(jìn) 行劃分。
此外，在本實施方式中，雖然說明了對以MPEG4方式編碼后的視頻 流進(jìn)行通信的情況，但是緩沖器控制方法不限定于特定的編碼方式，例如 也可以應(yīng)用于進(jìn)行使用MPEG1或MPEG2編碼后的視頻流的通信的通信 系統(tǒng)中。另外，視頻流中包含的幀不限于以VP為單位進(jìn)行劃分的情況， 例如也可以以H.263中的GOB或切片等視頻編碼方式所固有的單位來進(jìn) 行劃分。另外，幀例如也可以以H.264中的NAL單元或切片等視頻編碼 方式所固有的單位來進(jìn)行劃分。
接著，對動作進(jìn)行說明。圖4是示出中繼裝置101控制視頻緩沖器 208的緩沖器控制處理的一個示例的流程圖。發(fā)送終端102的用戶在與接 收終端103的用戶進(jìn)行電視電話或電視會議時，操作發(fā)送終端來進(jìn)行用于 指示視頻流的發(fā)送的操作。發(fā)送終端102按照用戶的操作，經(jīng)由發(fā)送線路 105，將包含視頻流在內(nèi)的數(shù)據(jù)發(fā)送給中繼裝置101。
首先說明中繼裝置101接收視頻流并將其存儲到視頻緩沖器208中的 動作。中繼裝置101的接收部201經(jīng)由發(fā)送線路105，從發(fā)送終端102接 收至少包含視頻流的接收數(shù)據(jù)(步驟Sll)。然后，接收數(shù)據(jù)分離部202 根據(jù)在傳輸路徑105中使用的傳輸格式，從接收數(shù)據(jù)中分離視頻流，并提 取視頻流(步驟S12)。另外，接收數(shù)據(jù)分離部202將分離后的視頻流存 儲到視頻緩沖器208中(步驟S13)。通過以上的處理，視頻流被依次存 儲到中繼裝置101的視頻緩沖器208中。
接著，對中繼裝置101控制視頻緩沖器208的動作進(jìn)行說明。中繼裝 置101的命令接收部203以規(guī)定的定時從外部裝置104經(jīng)由傳輸路徑107 來接收控制命令(步驟S14)。然后，視頻緩沖器控制部207根據(jù)命令接 收部203所接收的控制命令，丟棄(刪除)視頻緩沖器208所存儲的視頻 流(步驟S15)。
另外，在本實施方式中，中繼裝置101的閾值設(shè)定部204預(yù)先設(shè)定有
規(guī)定的閾值。此時，視頻緩沖器控制部207在步驟S15中根據(jù)閾值設(shè)定部 204所設(shè)定的閾值來丟棄(刪除)視頻緩沖器208所存儲的視頻流。
另外，在本實施方式中，中繼裝置101的定時生成部205預(yù)先設(shè)定有 規(guī)定的定時。此時，視頻緩沖器控制部207在步驟S15中根據(jù)定時生成部 205所設(shè)定的定時來丟棄(刪除)視頻緩沖器208所存儲的視頻流。
另外，在本實施方式中，中繼裝置101的段解析部206在接收到視頻 流時，對視頻流中包括的段進(jìn)行解析。此時，視頻緩沖器控制部207在步 驟S15中根據(jù)段解析部206所解析的段，以段為單位來丟棄(刪除)視頻 緩沖器208中的視頻流。
視頻緩沖器控制部207也可以不是根據(jù)來自外部裝置104的控制命 令、閾值、定時、以及段的解析結(jié)果的全部來控制視頻緩沖器208，而是 根據(jù)來自外部裝置104的控制命令、閾值、定時、以及段的解析結(jié)果中的 某一個或多個來控制視頻緩沖器208。此時，例如中繼裝置101可以不包 括命令接收部203，通信系統(tǒng)可以不包括發(fā)送控制命令的外部裝置104。 另外，例如，中繼裝置101可以不包括閾值設(shè)定部204。另外，例如中繼 裝置101可以不包括定時生成部205。
另外，視頻緩沖器控制部207既可以丟棄視頻緩沖器208所存儲的視 頻流中的一部分流，也可以丟棄所有的視頻流。
接著，對由中繼裝置101發(fā)送緩沖器208中存儲的視頻流的動作進(jìn)行 說明。中繼裝置101的發(fā)送數(shù)據(jù)生成部209將視頻緩沖器208所存儲的視 頻流(在步驟S15中沒有丟棄而留在視頻緩沖器208中的視頻流)加工成 在傳輸路徑106中使用的傳輸格式，從而生成發(fā)送數(shù)據(jù)(步驟S16)。并 且，發(fā)送部210將由發(fā)送數(shù)據(jù)生成部209生成的發(fā)送數(shù)據(jù)經(jīng)由傳輸路徑 106發(fā)送給接收終端103 (步驟S17)。另外，接收終端103基于從中繼裝 置101接收的數(shù)據(jù)中所包括的視頻流，在顯示部上顯示視頻。
此外，在視頻緩沖器208中存儲視頻流或丟棄視頻緩沖器208內(nèi)的數(shù) 據(jù)的處理具體地說可通過停止向視頻緩沖器208中的輸入、或者提高從視 頻緩沖器208輸出數(shù)據(jù)的輸出比特速率來實現(xiàn)。
接著，對從外部裝置104發(fā)送的控制命令進(jìn)行說明。從外部裝置104
發(fā)送的控制命令在想從外部對中繼裝置101內(nèi)的視頻緩沖器208進(jìn)行操作 時，從外部裝置104向中繼裝置101進(jìn)行發(fā)送。然后，經(jīng)由命令接收部 203被傳給中繼裝置101內(nèi)的閾值設(shè)定部204、定時生成部205、段解析部 206以及視頻緩沖器控制部207等各個模塊。
例如，當(dāng)發(fā)送終端102被切換為通信系統(tǒng)中的其他發(fā)送終端時，從外 部裝置104發(fā)送用于視頻緩沖器208清除緩沖器內(nèi)部(刪除視頻流)的控 制命令，以使切換前的發(fā)送終端102的過去的視頻流不被發(fā)送。并且，該 控制命令經(jīng)由命令接收部203被傳遞給視頻緩沖器控制部207。另外，例 如當(dāng)通過轉(zhuǎn)送而接收終端103被改為通信系統(tǒng)中的其他接收終端時，從外 部裝置104發(fā)送用于視頻緩沖器208刪除視頻流的控制命令。
另外，當(dāng)從發(fā)送終端102發(fā)送的視頻流的比特速率或幀速率發(fā)生急劇 變化或已發(fā)生了變化時，也可以從外部裝置104發(fā)送與該比特速率或幀速 率的變化相符地增大或減小視頻緩沖器大小的控制命令。并且，控制命令 可以經(jīng)由命令接收部203被傳遞給視頻緩沖器控制部207。另外，可以將 變更為與所述比特速率或幀速率的變化相符的閾值的控制命令傳遞給閾值 設(shè)定部204。另外，可以將變更為與所述比特速率或幀速率的變化相符的 緩沖器控制定時的控制命令傳遞給定時生成部205。另外，可以將控制變 更為與所述比特速率或幀速率的變化相符的段的命令傳遞給段解析部 206。另外，上述的四個命令既可以分別獨立地單獨發(fā)送，也可以多個控 制命令同時發(fā)送。
另外，當(dāng)由發(fā)送終端102發(fā)送的視頻流從以MPEG4編碼的流變成以 H.263編碼的流時，可以將清除(刪除)視頻緩沖器208內(nèi)的視頻流的控 制命令傳遞給視頻緩沖器控制部207。并且，可以將控制命令轉(zhuǎn)送給段解 析部206，以便對與變更的視頻流相符的段進(jìn)行解析(解釋)。此外，在 變更為以MPEG4以及H.263以外的方式編碼的流的情況下也一樣。
接著，對由閾值設(shè)定部204設(shè)定的閾值進(jìn)行說明。閾值設(shè)定部204可 以根據(jù)預(yù)先存儲在存儲器等存儲裝置中的設(shè)定文件的設(shè)定內(nèi)容來設(shè)定閾 值。另外，閾值設(shè)定部204也可以根據(jù)從與中繼裝置IOI連接的規(guī)定的設(shè) 定終端(例如，個人計算機(jī)等終端)輸入的設(shè)定信息來設(shè)定閾值。
閾值設(shè)定部204例如將視頻緩沖器208中積攢的(可積累的)視頻流 的數(shù)據(jù)量的上限值設(shè)定為閾值。此時，如果判斷出在緩沖器208中積累了 限值以上的視頻流時，則視頻緩沖器控制部207丟棄(刪除)視頻緩沖器 208中的視頻流的一部分或者全部?；蛘撸曨l緩沖器控制部207停止向 視頻緩沖器208的輸入、或者提高從視頻緩沖器208的輸出比特速率。
另外，閾值設(shè)定部204例如也可以將視頻緩沖器208中積累的視頻流 的數(shù)據(jù)量的上限值和下限值這兩個值設(shè)定為閾值。此時，如果判斷出在緩 沖器208中積累了上限值以上的視頻流，則視頻緩沖器控制部207控制向 視頻緩沖器208中的視頻流的輸入，以使所述輸入不至于進(jìn)行到視頻緩沖 器208所積累的視頻流的數(shù)據(jù)量達(dá)到下限值?；蛘?，視頻緩沖器控制部 207也可以控制從視頻緩沖器208的視頻流的輸出比特速率，以使視頻緩 沖器208所積累的視頻流的數(shù)據(jù)量達(dá)到下限值。
另外，閾值設(shè)定部204既可以獨自計算視頻流的輸入比特速率或幀速 率，或者，通過經(jīng)由命令接收部203從外部裝置104接收來取得輸入比特 速率或幀速率。在此情況下，當(dāng)所取得的比特速率或幀速率瞬間升高時， 閾值設(shè)定部204可以暫時提高視頻緩沖器208所積累的視頻流的數(shù)據(jù)量的 上限值。
此外，當(dāng)視頻流被輸入視頻緩沖器208中時，閾值設(shè)定部204也可以 計算在規(guī)定的時間(例如，分、秒、毫秒等)內(nèi)輸入的視頻流的數(shù)據(jù)量或 者數(shù)據(jù)量的微分值。并且，閾值設(shè)定部204也可以將用于與上述求得的數(shù) 據(jù)量或微分值進(jìn)行比較的值設(shè)定為閾值。在此情況下，例如當(dāng)輸入比特速 率的微分值較大時，閾值設(shè)定部204可以提高視頻緩沖器208的上限值。 或者，為了防止數(shù)據(jù)從視頻緩沖器208中溢出，也可以進(jìn)行在緩沖量達(dá)到 上限值之前停止視頻流的輸入等的控制。
例如，可以設(shè)定用于間拔(間引〈)視頻緩沖器208內(nèi)數(shù)據(jù)的間拔閾 值，并在緩沖量達(dá)到間拔閾值時對規(guī)定的數(shù)據(jù)量進(jìn)行緩沖器控制(例如， 不向視頻緩沖器208進(jìn)行規(guī)定數(shù)據(jù)量的數(shù)據(jù)的輸入)。即，視頻緩沖器控 制部207可以執(zhí)行對視頻緩沖器208存儲的視頻流的規(guī)定數(shù)據(jù)量進(jìn)行間拔 的間拔處理。另外，可以設(shè)定多個所述間拔閾值，例如，可以在緩沖量的
三分之一處(達(dá)到第一間拔閾值的時候)對一幀的數(shù)據(jù)量進(jìn)行緩沖器控 制，在緩沖量的三分之二處(達(dá)到第二間拔閾值的時候)對二幀的數(shù)據(jù)量 進(jìn)行緩沖器控制。
接著，對由定時生成部205設(shè)定規(guī)定的定時(以下也稱為緩沖器控制 定時)并生成定時信息的動作進(jìn)行說明。"緩沖器控制定時"是用于視頻
緩沖器控制部207查看視頻緩沖器208的內(nèi)部(確認(rèn)視頻緩沖器208存儲 的視頻流)并進(jìn)行緩沖器控制的定時。
定時生成部205可以根據(jù)預(yù)先存儲在存儲器等存儲裝置中的設(shè)定文件 的設(shè)定內(nèi)容來設(shè)定緩沖器控制定時。另外，定時生成部205也可以根據(jù)從 與中繼裝置101相連的規(guī)定的設(shè)定終端輸入的設(shè)定信息，將某個固定的定 時設(shè)定為緩沖器控制定時。
另外，定時生成部205也可以將由接收部201進(jìn)行數(shù)據(jù)接收的定時作 為緩沖器控制定時。另外，定時生成部205也可以將從命令接收部203接 收控制命令的定時作為緩沖器控制定時。
另外，定時生成部205可以在與視頻緩沖器208積累的數(shù)據(jù)量相比來 自接收數(shù)據(jù)分離部202的視頻流的數(shù)據(jù)量少時、或者視頻流的接收頻率低 時，以使緩沖器控制定時延遲地進(jìn)行設(shè)定。另外，相反地，定時生成部 205可以在與視頻緩沖器208積累的數(shù)據(jù)量相比來自接收數(shù)據(jù)分離部202 的視頻流的數(shù)據(jù)量多時、或者視頻流的接收頻率高時，以使緩沖器控制定 時提前地進(jìn)行設(shè)定。這里的定時例如既可以是以每隔固定時間的時間信息 確定的定時，也可以是接收包的數(shù)目達(dá)到固定量的定時、接收視頻流的數(shù) 據(jù)量達(dá)到固定量的定時、或者輸入到視頻緩沖器中的數(shù)據(jù)量達(dá)到固定量的 定時。另外，可以是在與接下來示出的段解析部206協(xié)作的情況下，接收 幀的數(shù)目達(dá)到固定量的定時、或者接收視頻編碼方式所固有的段的數(shù)目達(dá) 到固定量的定時等。
接著說明由段解析部206進(jìn)行的段解析(視頻流中包含的段的解析處 理)。在本實施方式中，將作為解析對象的段假定為幀以及將幀進(jìn)一步分 割的視頻編碼方式所固有的單位(例如，視頻包、GOB、切片、NAL單 元)這兩類。此時，段解析部206例如通過進(jìn)行段的解析處理來指定是能
夠?qū)⒁曨l流劃分為幀單位，還是能夠?qū)⒁曨l流劃分為視頻編碼方式所固有 的單位。
在本實施方式中，作為段的視頻編碼方式所固有的單位是將幀分割的 單位，是即使在視頻流中的一部分的段由于丟包或誤碼而不能解碼的情況 下視頻流中的其他段也能夠獨立地解碼的單位。
作為段解析的方法，段解析部206例如使用從視頻流中搜索表示段劃 分的起始碼的方法來指定視頻流中的段。此外，段解析部206例如也可以 使用從傳輸格式中辨別段劃分的方法來指定視頻流中的段。另外，段解析 部206例如也可以使用視頻流所固有的段解析方法來指定視頻流中的段。
下面，對將MPEG4中的視頻包(VP)用作段單位的情況進(jìn)行說明。 在將其他視頻編碼方式所固有的單位(例如，GOB、切片或NAL單元) 用作段的情況下也一樣。
首先，段解析部206根據(jù)預(yù)先設(shè)定的初始值或者從命令接收部203接 收到的控制命令，決定是否對某段(幀或者視頻包)進(jìn)行解析。中繼裝置 101將在這里由段解析部203解析的段用作向視頻緩沖器208輸入視頻流 時或丟棄視頻緩沖器208內(nèi)的視頻流時的單位。
如果以幀單位進(jìn)行緩沖器控制，則在接收終端103接收的視頻的幀數(shù) 目就會減少，幀速率下降。例如，當(dāng)經(jīng)幀間預(yù)測從發(fā)送終端102發(fā)送了圖 3所示的幀30-3時，如果前一幀30-2通過緩沖器控制被丟棄并沒有被發(fā)送 給接收終端103，參考幀就會發(fā)生偏移。因此，對幀30-3進(jìn)行解碼時所參 考的幀變成之前第二個的幀30-1，從而導(dǎo)致在接收終端103再現(xiàn)的圖像的 圖像質(zhì)量惡化。但是，在運動較少的視頻(幀間變化少的視頻)的情況 下，由參考幀偏移引起的圖像質(zhì)量惡化較少。因此，在運動較少的視頻的 情況下，通過將幀單位作為段來進(jìn)行緩沖器控制，能夠降低在接收終端 103再現(xiàn)的圖像的圖像質(zhì)量惡化。
另一方面，如果以VP單位進(jìn)行緩沖器控制，則在接收終端103接收 的視頻的幀速率不發(fā)生變化，接收到的VP能夠正常地解碼。例如，即使 在圖3所示的VP31-2通過緩沖器控制而被丟棄并沒有被發(fā)送給接收終端 103時，構(gòu)成幀30-1的其他的VP31-1、 31-3 31-m也正常地被解碼。此
時，對于幀中VP31-2部分的解碼處理依賴于接收終端103的解碼精度。 因此，根據(jù)接收終端103的解碼精度，能夠通過將視頻包單位作為段來進(jìn) 行緩沖器控制，來降低在接收終端103再現(xiàn)的圖像的圖像質(zhì)量惡化。
接著考慮不以段單位而是以某個固定的比特量為單位進(jìn)行緩沖器控制 的情況。例如假定通過緩沖器控制丟棄了幀30-1的末尾附近以及幀30-2 的開頭附近。此時，對于幀30-l，接收終端103能夠正常地解碼其開頭部 分至丟棄部分之前的部分的內(nèi)容。另一方面，對于幀30-2，接收終端103 由于其開頭部分已被丟棄(例如，由于頭部分已被丟棄)，因此不能正常 地解碼至下一個VP或下一個幀的部分。
同樣地，當(dāng)通過緩沖器控制而丟棄了 VP31-5的末尾附近與VP31-6的 開頭附近時，接收終端103也不能正常地解碼至下一個VP或幀的部分。 如果如上述那樣不以段單位而是以固定的比特量為單位進(jìn)行緩沖器控制， 就會向接收終端大量發(fā)送即便接收也不能正常解碼的數(shù)據(jù)，從而會引起在 接收終端103中再現(xiàn)的圖像的圖像質(zhì)量惡化。在本實施方式中，通過以段 為單位進(jìn)行視頻緩沖器控制，能夠緩解在接收終端103中再現(xiàn)的圖像的圖 像質(zhì)量的惡化。
視頻緩沖器控制部207接收來自命令接收部203、閾值設(shè)定部204、 定時生成部205、以及段解析部206的信息，對視頻緩沖器208中的視頻 流進(jìn)行控制。
如上所述，根據(jù)本實施例，中繼裝置IOI將從來自發(fā)送終端102的接 收數(shù)據(jù)中分離的視頻流存儲到視頻緩沖器208中。另外，中繼裝置101解 析視頻流中包含的段，并基于段的解析結(jié)果來將視頻緩沖器208所存儲的 視頻流的數(shù)據(jù)量控制為段單位。由于以段為單位進(jìn)行緩沖器控制，因此即 便在丟棄(刪除)了本應(yīng)由中繼裝置101發(fā)送的視頻流的一部分的情況 下，也能夠緩解接收終端103基于接收到的視頻流來再現(xiàn)視頻時的圖像質(zhì) 量的惡化。因此，當(dāng)進(jìn)行伴有視頻的通信時，能夠降低在接收側(cè)顯示的視 頻由于受傳輸路徑狀態(tài)的影響而惡化的情況。
此外，根據(jù)本實施方式，由于以段為單位進(jìn)行緩沖器控制，因此即便 在經(jīng)由傳輸路徑的狀態(tài)不同的網(wǎng)絡(luò)來進(jìn)行視頻流的通信的情況下，也不用
對編碼數(shù)據(jù)進(jìn)行轉(zhuǎn)碼，就能夠降低在接收側(cè)顯示的視頻由于受傳輸路徑狀 態(tài)的影響而惡化的情況。 實施方式2
下面，參照附圖對本發(fā)明的第二實施方式進(jìn)行說明。在本實施方式 中，使用了視頻緩沖器控制方法(緩沖器控制方法)的中繼裝置除了第一 實施方式所示的構(gòu)成部分以外，還包括指定包含于視頻流中的視頻流信息 的單元。
另外，中繼裝置具有將(1)幀類型、(2)切片類型、(3) NAL單 元的類別、(4) NAL單元有沒有被參考的情況、或者(5)宏塊類型中的 至少一種用作視頻流信息的單元。另外，中繼裝置具有使用特定的視頻流 信息來控制數(shù)據(jù)量的單元，并且從視頻緩沖器中取出視頻流后發(fā)送給中繼 目的地的終端。
首先，參照附圖對使用了緩沖器控制方法的通信系統(tǒng)的結(jié)構(gòu)進(jìn)行說 明。在本實施方式中，通信系統(tǒng)的基本結(jié)構(gòu)與第一實施方式中示出的結(jié)構(gòu) (參照圖1)相同。在本實施方式中，中繼裝置401的功能不同于第一實 施方式中示出的中繼裝置101的功能。
圖5是示出中繼裝置的結(jié)構(gòu)的其他示例的框圖。如圖5所示，在該實 施方式中，中繼裝置401包括代替了圖2所示的中繼裝置101的段解析部 206的流解析部406，這一點不同于第一實施方式。另外，在本實施方式 中，視頻緩沖器控制部407的功能不同于圖2所示的視頻緩沖器控制器 207的功能。
在本實施方式中，中繼裝置401相當(dāng)于在第一實施方式所示的中繼裝 置101中增加了使用視頻流信息進(jìn)行緩沖器控制的單元(流解析部406以 及視頻緩沖器控制部407)。此外，接收部201、接收數(shù)據(jù)分離部202、命 令接收部203、閾值設(shè)定部204、定時生成部205、視頻緩沖器208、發(fā)送 數(shù)據(jù)生成部209、以及發(fā)送部210的功能與第一實施方式中示出的各部分 的功能相同。
流解析部406具有進(jìn)行段解析(段的解釋)并從視頻流中取得(提 取)段信息的功能。
視頻緩沖器控制部407具有控制視頻緩沖器208的功能。此時，視頻 緩沖器控制部407與第一實施方式中示出的視頻緩沖器控制部207同樣 地，根據(jù)由命令接收部203從外部裝置104接收的控制命令來控制視頻緩 沖器208。另外，視頻緩沖器控制部407與第一實施方式中示出的視頻緩 沖器控制部207同樣地，根據(jù)閾值設(shè)定部所設(shè)定的閾值來控制視頻緩沖器 208。另外，視頻緩沖器控制部407與第一實施方式中示出的視頻緩沖器 控制部207同樣地，根據(jù)定時生成部205所設(shè)定的定時來控制視頻緩沖器 208。另外，視頻緩沖器控制部407除第一實施方式中示出的視頻緩沖器 控制部207的功能以外，還取得由流解析部406解析的段以及由流解析部 406提取的段信息，進(jìn)行視頻緩沖器控制部207的緩沖器控制。
圖6是示出流解析部406的結(jié)構(gòu)的一個示例的框圖。如圖6所示，流 解析部406包括段解析部206和段信息取得部501。段解析部206與第一 實施方式中示出的中繼裝置101所包括的段解析部206同樣地具有對視頻 流中的段進(jìn)行解析(解釋)的功能。段信息取得部501具有從由段解析部 206解析的段(視頻流中包含的段)中取得(提取)段所固有的信息(段 信息)的功能。
接著，對動作進(jìn)行說明。在本實施方式中，中繼裝置401按照與圖4 所示的緩沖器控制處理相同的處理，從發(fā)送終端102接收視頻流并將其存 儲到視頻緩沖器208中，并且控制視頻緩沖器208來將存儲在視頻緩沖器 208中的視頻流發(fā)送給接收終端103。
另外，流解析部406的段解析部206在接收到視頻流時若從接收數(shù)據(jù) 分離部202輸入了視頻流，則與第一實施方式示出的段解析部206同樣 地，按照幀單位或?qū)指疃玫囊曨l編碼方式所固有的單位來進(jìn)行段解 析。另外，段解析部206將解析的段傳(輸出)給段信息取得部501。
段信息取得部501根據(jù)來自段解析部206的段的解析結(jié)果來取得(提 取)段信息。另外，段信息取得部501將得到的段信息輸出給視頻緩沖器 控制部407。然后，視頻緩沖器控制部407將從流解析部406輸入的段信 息用于緩沖器控制中。
首先考慮以幀為單位對段進(jìn)行解析的情況。此時，段信息取得部501
通過解析流開頭的頭部分或者解析傳輸格式等，來取得(提取)作為段信
息的幀類型。另外，視頻緩沖器控制部407使用由段信息取得部501判斷 的幀類型來控制視頻緩沖器208。因此，能夠?qū)榱伺袛鄮愋投黾拥?處理量控制得較小。
另外，當(dāng)以幀為單位對段進(jìn)行解析時，流解析部406根據(jù)所提取的幀 類型來決定緩沖器控制中的數(shù)據(jù)的優(yōu)先級。并且，視頻緩沖器控制部407 根據(jù)由流解析部406決定的優(yōu)先級來控制視頻緩沖器208。例如，視頻緩 沖器控制部407進(jìn)行控制，以便按照優(yōu)先級從低到高的順序以段單位丟棄 視頻緩沖器208所存儲的視頻流。
圖7是示出根據(jù)幀類型來決定數(shù)據(jù)優(yōu)先級的處理的一個示例的流程 圖。如圖7所示，流解析部406根據(jù)由段信息取得部501提取的幀類型， 首先判斷幀類型是否為I幀(步驟S601)。當(dāng)判斷為I幀時，由于是可通 過幀間預(yù)測來單獨解碼的數(shù)據(jù)，因此流解析部406提高該幀的優(yōu)先級(步 驟S602) 。 g卩，流解析部406進(jìn)行設(shè)定使得I幀的優(yōu)先級變高。
當(dāng)在步驟S601中判斷為是I幀以外的幀(例如，B幀)時，由于解碼 視頻質(zhì)量依賴于幀間預(yù)測中的其他幀的狀況，因此流解析部406降低該幀 的優(yōu)先級(步驟S603)。即，流解析部406進(jìn)行設(shè)定使得I幀以外的幀的 優(yōu)先級變低。
在例如MPEG4的SimpleProfile等僅存在I幀和P幀的視頻流中，I幀 跟前的P幀不被任何圖像所參考。因此，即使丟棄I幀跟前的P幀，也只 不過是比特速率或幀速率有所下降，而輸出的視頻流不會發(fā)生紊亂。另 外，當(dāng)丟棄了 I幀跟前的P幀時，位于所述丟棄的P幀跟前的P幀也不被 任何圖像所參考。因此，即使將所丟棄的P幀跟前的P幀丟棄掉，輸出的 視頻流也不會發(fā)生紊亂。即可考慮將距離被參考幀最遠(yuǎn)的幀(I幀跟前的P 幀)的優(yōu)先級設(shè)定為最低，并隨著接近被參考幀而將優(yōu)先級設(shè)定得逐漸升 高。另外，不限于所述I幀跟前的P幀的情況，只要是沒有被其他的幀參 考的幀，就可以同樣地將優(yōu)先級設(shè)定得很低。例如，B幀沒有被其他的幀 參考，即使丟棄B幀，輸出的視頻流也不會發(fā)生紊亂。因此可考慮將B幀 的優(yōu)先級設(shè)定得很低。
通過執(zhí)行上述的處理，流解析部406根據(jù)幀類型來判斷是否為被其他
幀所參考的被參考幀。并且，視頻緩沖器控制部407使用該判斷結(jié)果來控 制視頻緩沖器208所存儲的視頻流的數(shù)據(jù)量。另外，流解析部406根據(jù)與 被參考幀之間的距離來設(shè)定幀的優(yōu)選度。并且，視頻緩沖器控制部407利 用所設(shè)定的幀的優(yōu)先級來控制視頻緩沖器208所存儲的視頻流的數(shù)據(jù)量。
此外，當(dāng)解析了 H.264中的切片單位的段時，在圖7中可以代替幀而 讀取切片。此時，段信息取得部501判斷并提取視頻流中包含的切片的切 片類型來作為段信息。并且，視頻緩沖器控制部407使用由段信息取得部 501判斷的切片類型來控制視頻緩沖器208。
另外，段信息取得部501也可以判斷并提取視頻流中包含的宏塊的宏 塊類型來作為段信息。并且，視頻緩沖器控制部407可以使用由段信息取 得部501判斷的宏塊類型來控制視頻緩沖器208。
接著考慮以NAL單元為單位對段進(jìn)行解析的情況。此時，段信息取 得部501判斷視頻流中包含的NAL單元是否為被視頻流中包含的其他 NAL單元所參考的被參考單位(參考圖像)。并且，視頻緩沖器控制部 407利用NAL單元是否為參考圖像的判斷結(jié)果來控制視頻緩沖器208。
NAL單元通常具有被稱為NAL頭的頭部，在該頭部中包含有表示是 否為參考圖像的標(biāo)志、以及表示NAL單元類別的標(biāo)識符。此時，流解析 部406根據(jù)NAL單元中所包含的用于表示是否為參考圖像的標(biāo)志來判斷 段(NAL單元)是否為參考圖像，從而決定緩沖器控制中的數(shù)據(jù)的優(yōu)先 級。
圖8是示出根據(jù)是否為參考圖像來決定數(shù)據(jù)優(yōu)先級的處理的一個示例 的流程圖。如圖8所示，流解析部406首先判斷段是否為參考圖像(步驟 S701)。當(dāng)判斷為參考圖像時，由于該段是被其他圖像所參考的數(shù)據(jù)，因 此流解析部406使該段的優(yōu)先級上升(步驟S702)。即，流解析部406進(jìn) 行設(shè)定使得參考圖像的優(yōu)先級變高。
當(dāng)步驟S701中判斷為不是參考圖像時，流解析部406獲知即使該段 的圖像損失(丟棄)也不會影響到其他圖像，因此降低該段的優(yōu)先級(步 驟S703) 。即，流解析部406進(jìn)行設(shè)定使得參考圖像以外的圖像的優(yōu)先級
變低。當(dāng)僅丟棄了參考圖像以外的圖像時，將得到雖比特速率或幀速率有 所下降但輸出的視頻流完全沒有發(fā)生紊亂的視頻。
同樣地，也可以使用NAL單元類別來設(shè)定用于緩沖器控制的優(yōu)先 級。此時，段信息取得部501對視頻流中包含的NAL單元的類別進(jìn)行判 斷。并且，視頻緩沖器控制部407利用由段信息取得部501判斷的NAL 單元的類別來控制視頻緩沖器208。
例如，當(dāng)NAL單元類別示出序列參數(shù)集(SPS)或圖像參數(shù)集 (PPS)時，由于這些信息是在以后的圖像流的解碼中所需的參數(shù)，因此 流解析部406將優(yōu)先級設(shè)定為最高。另外，當(dāng)NAL單元類別示出AU定界 符時，由于其是表示幀的分界線的重要的值，因此流解析部406將優(yōu)先級 設(shè)定為第二高。另外，當(dāng)NAL單元類別示出IDR圖像的切片時，由于其 示出了復(fù)合比特流所需的所有的狀態(tài)被重置并給以后的解碼帶來很大影 響，因此流解析部406將優(yōu)先級設(shè)定為第三高。此外，當(dāng)是上述類別以外 的NAL單元類別時，流解析部406將優(yōu)先級設(shè)定得較低。
例如，MPEG4的DcoderConfiglnfo (DCI)信息雖然不是NAL單元， 但同樣是視頻流的解碼中所需要的參數(shù)，因此，流解析部406也可以根據(jù) DcoderConfiglnfo (DCI)信息來將優(yōu)先級設(shè)定得較高。另外，在傳輸路徑 406是具有可靠性的無差錯傳輸路徑的情況下，流解析部406也可以在接 收到與上一次的SPS、 PPS、 DCI相同的參數(shù)時，將該接收數(shù)據(jù)的優(yōu)先級 設(shè)定得較低。
接著考慮以VP (視頻包)為單位對段進(jìn)行解析并且一個VP由一個宏 塊(MB)構(gòu)成的情況。此時，流解析部406可通過解析MB的開頭部分 來判別是否為IntraMB，從而決定緩沖器控制中的數(shù)據(jù)的優(yōu)先級。另外， 由于可以只對MB的開頭部分進(jìn)行解析，因此能夠?qū)⑻幚砹康脑黾涌刂圃?最低限度。
圖9是示出根據(jù)是否為IntraMB來決定數(shù)據(jù)優(yōu)先級的處理的一個示例 的流程圖。如圖9所示，流解析部406首先判斷段是否為I幀(步驟 S801)。在判斷為段為I幀時，由于MB類型全部是IntraMB，段間不存 在差異，因此，流解析部406不改變該段的優(yōu)先級，并直接結(jié)束處理。
當(dāng)判斷為段不是I幀時，流解析部406判斷段是否為IntraMB (步驟 S802)。當(dāng)判斷為段為IntraMB時，由于在采用了不以I幀以外的幀進(jìn)行 幀間預(yù)測的視頻編碼方式的情況下能夠用該MB單體進(jìn)行解碼，因此，流 解析部406提高該段的優(yōu)先級(步驟S803) 。 S卩，流解析部406進(jìn)行設(shè)定 使得IntmMB的段的優(yōu)先級變高。
當(dāng)在步驟S802中判斷為IntraMB以外的MB時，流解析部406由于可 通過基于其他數(shù)據(jù)的預(yù)測來進(jìn)行解碼，因此降低該段的優(yōu)先級(步驟 S804) 。 B卩，流解析部406進(jìn)行設(shè)定使得IntraMB以外的段的優(yōu)先級變 低。
在圖9中，可以代替VP而以切片、NAL單元等其他的視頻編碼方式 所固有的段單位來讀取。
另外，圖7 圖9示出的賦予優(yōu)先級的方法(優(yōu)先級設(shè)定方法)為一 個示例，例如，即使根據(jù)使用者的設(shè)定策略來進(jìn)行變更，也能夠得到相同 的效果。
視頻緩沖器控制部407在緩沖器控制中以段單位丟棄視頻緩沖器208 內(nèi)的數(shù)據(jù)中的優(yōu)先級低的數(shù)據(jù)(視頻流)，或者停止優(yōu)先級低的數(shù)據(jù)輸入 到視頻緩沖器208。
在接收終端103具有能夠吸收若干到達(dá)順序的緩沖器的情況下，中繼 裝置401可以有意識地更換優(yōu)先級高的數(shù)據(jù)的發(fā)送順序后進(jìn)行發(fā)送。另 外，當(dāng)如使用H.264的場合那樣能夠基于切片頭部內(nèi)的PPS來判斷數(shù)據(jù)屬 于哪個順序，并使用能夠不依賴于到達(dá)順序進(jìn)行解碼的視頻編碼方式等 時，中繼裝置401也可以有意識地更換優(yōu)先級高的數(shù)據(jù)的發(fā)送順序后進(jìn)行 發(fā)送。
產(chǎn)業(yè)上的實用性
本發(fā)明能夠應(yīng)用于對經(jīng)由不同網(wǎng)絡(luò)所進(jìn)行的視頻流的通信進(jìn)行中繼的 中繼裝置。另外，能夠應(yīng)用于包括對不同網(wǎng)絡(luò)間的通信進(jìn)行中繼的中繼裝 置的通信系統(tǒng)。
權(quán)利要求
1. 一種緩沖器控制方法，對中繼裝置所具有的緩沖器進(jìn)行控制，所述中繼裝置將來自接收終端的視頻流中繼給接收終端，其特征在于，包括存儲步驟，將從所述發(fā)送終端接收的視頻流存儲到所述中繼裝置的緩沖器中；以及緩沖器控制步驟，以段為單位對由所述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制。
2. 根據(jù)權(quán)利要求1所述的緩沖器控制方法，其特征在于， 作為積累所述中繼裝置所接收的視頻流的所述中繼裝置的緩沖器的數(shù)據(jù)量的控制，基于對與所述中繼裝置所接收的視頻流相關(guān)的段進(jìn)行解析的結(jié)果與其 他設(shè)定的組合，以段為單位對所述中繼裝置的緩沖器中的視頻流的數(shù)據(jù)量 進(jìn)行控制，所述其他設(shè)定包括閾值、規(guī)定的定時、控制命令中的一個或多個，所 述閾值是就所述中繼裝置的緩沖器的數(shù)據(jù)量的控制所設(shè)定的閾值，所述規(guī) 定的定時是就所述中繼裝置的緩沖器的數(shù)據(jù)量的控制所設(shè)定的定時，所述 控制命令是由與所述中繼裝置連接的外部裝置向所述中繼裝置輸入的控制 命令，所述中繼裝置取出所述中繼裝置的緩沖器中積累的視頻流，并將其發(fā) 送給接收終端。
3. 根據(jù)權(quán)利要求1所述的緩沖器控制方法，其特征在于， 作為積累所述中繼裝置所接收的視頻流的所述中繼裝置的緩沖器的數(shù)據(jù)量的控制，還包括以下(Sl)至(S4)步驟中的任意步驟(51) 包括對所述視頻流中包含的幀的幀類型進(jìn)行判斷的幀類型判斷 步驟，在所述緩沖器控制步驟中，使用在所述幀類型判斷步驟中判斷的幀 類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量；(52) 包括對所述視頻流中包含的切片的切片類型進(jìn)行判斷的切片類 型判斷步驟，在所述緩沖器控制步驟中，使用在所述切片類型判斷步驟中判斷的切片類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量，(53) 包括對所述視頻流中包含的NAL (Network Abstraction Layer)單元的類別進(jìn)行判斷的類別判斷步驟，在所述緩沖器控制步驟中，使用在 所述類別判斷步驟中判斷的NAL單元的類別來控制由所述中繼裝置的緩 沖器存儲的視頻流的數(shù)據(jù)量，(54) 包括對所述視頻流中包含的宏塊的宏塊類型進(jìn)行判斷的宏塊類 型判斷步驟，在所述緩沖器控制步驟中，使用在所述宏塊類型判斷步驟中 判斷的宏塊類型來控制由所述中繼裝置的緩沖器存儲的視頻流的數(shù)據(jù)量。
4. 一種對視頻流的通信進(jìn)行中繼的中繼裝置，其特征在于，包括 緩沖器，用于存儲視頻流；存儲控制單元，將從發(fā)送終端接收的視頻流存儲到所述緩沖器中；和 緩沖器控制單元，以段為單位對所述緩沖器所存儲的視頻流的數(shù)據(jù)量 進(jìn)行控制。
5. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括接收從所述發(fā)送終端發(fā)送的視頻流的接收單元， 所述存儲控制單元將由所述接收單元接收的視頻流存儲到所述緩沖器中，所述所述中繼裝置包括提取單元，從所述緩沖器中提取視頻流；以及發(fā)送單元，將所述提取單元提取的視頻流發(fā)送給目的地的接收終端。
6. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述緩沖器控制單元通過執(zhí)行以下處理中的至少一個來控制所述緩沖器所存儲的視頻流的數(shù)據(jù)量，其中所述處理分別如下對所述緩沖器所存 儲的視頻流進(jìn)行間拔的處理；丟棄所述緩沖器所存儲的視頻流的處理；停 止向所述緩沖器中的視頻流的輸入；以及提高從所述緩沖器輸出的視頻流 的輸出速率的處理。
7. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述緩沖器控制單元將幀、視頻包、GOB (Group Of Blocks)、切片、NAL (Network Abstraction Layer)單元中的至少一個用作所述段單位來控制所述緩沖器所存儲的視頻流的數(shù)據(jù)量。
8. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括以規(guī)定的方法設(shè)定閾值的閾值設(shè)定單元， 所述緩沖器控制單元基于由所述閾值設(shè)定單元設(shè)定的閾值來控制所述緩沖器所存儲的視頻流的數(shù)據(jù)量。
9. 根據(jù)權(quán)利要求8所述的中繼裝置，其特征在于， 所述緩沖器控制單元使用下述(A)至(C)控制中的至少一種控制來對所述緩沖器存儲的視頻流的數(shù)據(jù)量進(jìn)行控制，其中所述(A)至(C)控制分別如下(A) 將所述視頻流的數(shù)據(jù)量的上限值設(shè)定為閾值，并將所述緩沖器 內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條件，停止向所述緩沖器 中的輸入，或者丟棄所述緩沖器內(nèi)的視頻流的至少一部分，或者提高從所 述緩沖器輸出視頻比特流的輸出比特速率；(B) 將所述視頻流的數(shù)據(jù)量的上限值和下限值設(shè)定為閾值，并將所 述緩沖器內(nèi)積累的視頻流的數(shù)據(jù)量達(dá)到所述上限值以上為條件，執(zhí)行停止 向所述緩沖器中的輸入、或者提高從所述緩沖器輸出視頻比特流的輸出比 特速率的控制，直到所述緩沖器的視頻流的數(shù)據(jù)量達(dá)到下限值；以及(C) 將用于間拔所述視頻流的數(shù)據(jù)量的間拔閾值設(shè)定為閾值，并將 所述緩沖器的視頻流的數(shù)據(jù)量達(dá)到間拔閾值為條件，不進(jìn)行向所述緩沖器 中的規(guī)定數(shù)據(jù)量的數(shù)據(jù)的輸入。
10. 根據(jù)權(quán)利要求9所述的中繼裝置，其特征在于， 所述緩沖器控制單元基于規(guī)定的定時來控制所述緩沖器所存儲的視頻流的數(shù)據(jù)量，作為所述規(guī)定的定時，包括每隔固定時間的定時、接收包數(shù)目達(dá)到固 定量的定時、接收視頻流的數(shù)據(jù)量到達(dá)固定量的定時、以及向所述緩沖器 輸入的數(shù)據(jù)量到達(dá)固定量的定時、接收視頻流的段數(shù)目達(dá)到固定量的定時 中的至少一個。
11. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于，所述緩沖器控制單元根據(jù)從外部裝置接收的控制命令來控制所述緩沖器所存儲的視頻流的數(shù)據(jù)量。
12. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于，所述中繼裝置包括幀類型判斷單元、切片類型判斷單元、類別判斷單 元、以及宏塊類型判斷單元中的至少一個判斷單元，其中，幀類型判斷單 元判斷所述視頻流中包含的幀的幀類型，所述切片類型判斷單元判斷所述 視頻流中包含的切片的切片類型，所述類別判斷單元判斷所述視頻流中包含的NAL單元的類別，所述宏塊類型判斷單元判斷所述視頻流中包含的 宏塊的宏塊類型，所述緩沖器控制單元使用由所述判斷單元判斷的幀類型、切片類型、 NAL單元的類別、以及宏塊類型中的至少一個，來控制所述緩沖器所存儲 的視頻流的數(shù)據(jù)量。
13. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括幀類型判斷單元，判斷所述視頻流中包含的幀的幀類型；以及有沒有被參考的判斷單元，根據(jù)所述幀類型來判斷是否為被 其他幀所參考的被參考幀，所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進(jìn)行的有關(guān) 所述幀是否為被參考幀的判斷結(jié)果，來控制由所述緩沖器存儲的視頻流的 數(shù)據(jù)量，以作為利用了所述幀類型的緩沖器控制。
14. 根據(jù)權(quán)利要求13所述的中繼裝置，其特征在于， 所述中繼裝置包括優(yōu)先級設(shè)定單元，該優(yōu)先級設(shè)定單元根據(jù)與所述被參考幀之間的距離來設(shè)定幀的優(yōu)先級，所述緩沖器控制單元利用所述幀的優(yōu)先級來控制由所述中繼裝置的所 述緩沖器存儲的視頻流的數(shù)據(jù)量，以作為利用了所述幀類型的緩沖器控 制。
15. 根據(jù)權(quán)利要求4所述的中繼裝置，其特征在于， 所述中繼裝置包括類別判斷單元，判斷所述視頻流中包含的NAL單元的類別；以及有沒有被參考的判斷單元，判斷所述視頻流中包含的 NAL單元是否為被所述視頻流中包含的其他NAL單元所參考的被參考單 元，所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進(jìn)行的NAL 單元是否為被參考單元的判斷結(jié)果，對所述緩沖器存儲的視頻流的數(shù)據(jù)量 進(jìn)行控制。
16. —種通信系統(tǒng)，將來自發(fā)送終端的視頻流通過中繼裝置中繼并發(fā) 送給接收終端，其特征在于，所述中繼裝置包括緩沖器，存儲從所述發(fā)送終端接收的視頻流；緩沖器控制單元，以段為單位對所述緩沖器所存儲的視頻流的數(shù)據(jù)量 進(jìn)行控制；以及取出所述緩沖器中積累的視頻流并將其發(fā)送給所述接收終端的單元。
17. 根據(jù)權(quán)利要求16所述的通信系統(tǒng)，其特征在于， 所述中繼裝置包括對與所述視頻流相關(guān)的段進(jìn)行解析的段解析單元， 并且，所述中繼裝置還包括閾值設(shè)定單元、定時生成單元以及命令接收單元中的一個或多個單元，其中，所述閾值設(shè)定單元就所述緩沖器的數(shù) 據(jù)量的控制設(shè)定閾值；所述定時生成單元生成控制所述緩沖器的數(shù)據(jù)量的 規(guī)定的定時；所述命令接收單元從與所述中繼裝置連接的外部裝置接收向 所述中繼裝置輸入的控制命令，所述緩沖器控制單元根據(jù)(A)所述段的解析結(jié)果以及(B)所述段的 解析結(jié)果與其他設(shè)定的組合中的任一個，以段為單位對所述緩沖器中的視 頻流的數(shù)據(jù)量進(jìn)行控制，所述(B)中的所述其他設(shè)定包括所述閾值、所述規(guī)定的定時、所述 控制命令中的一個或多個。
18. 根據(jù)權(quán)利要求16所述的通信系統(tǒng)，其特征在于， 所述中繼裝置包括流解析單元，該流解析單元進(jìn)行所述視頻流的段解析，并從所示視頻流中提取段信息，所述中繼裝置執(zhí)行下述(Sl)至(S4)控制中的任意控制，其中所述 (Sl)至(S4)控制分別如下(Sl)所述流解析單元判斷所述視頻流中包含的幀的幀類型，所述緩 沖器控制單元利用所述判斷的幀類型來控制由所述緩沖器存儲的視頻流的 數(shù)據(jù)量； (52) 所述流解析單元判斷所述視頻流中包含的切片的切片類型，所 述緩沖器控制單元利用所述判斷的切片類型來控制由所述緩沖器存儲的視頻流的數(shù)據(jù)量；(53) 所述流解析單元判斷所述視頻流中包含的NAL (Network Abstraction Layer)單元的類別，所述緩沖器控制單元利用所述判斷的 NAL單元的類別來控制由所述緩沖器存儲的視頻流的數(shù)據(jù)量；(54) 所述流解析單元判斷所述視頻流中包含的宏塊的宏塊類型，所 述緩沖器控制單元利用所述判斷的宏塊類型來控制由所緩沖器存儲的視頻 流的數(shù)據(jù)量。
19. 根據(jù)權(quán)利要求18所述的通信系統(tǒng)，其特征在于， 在所述中繼裝置中，作為所述(SI)的控制，所述流解析單元基于所述視頻流中包含的幀 類型來判斷是否為被其他幀所參考的被參考幀，所述緩沖器控制單元利用 由所述有沒有被參考的判斷單元進(jìn)行的有關(guān)所述幀是否為被參考幀的判斷 結(jié)果，來控制由所述緩沖器存儲的視頻流的數(shù)據(jù)量，以作為利用了所述幀 類型的緩沖器控制，作為(S3)的控制，所述流解析單元判斷所述視頻流中包含的NAL 單元是否為被所述視頻流中包含的其他NAL單元所參考的被參考單元， 所述緩沖器控制單元利用由所述有沒有被參考的判斷單元進(jìn)行的NAL單 元是否為被參考單元的判斷結(jié)果，來控制由所述緩沖器存儲的視頻流的數(shù) 據(jù)量。
20. 根據(jù)權(quán)利要求18所述的通信系統(tǒng)，其特征在于， 在所述中繼裝置中，作為所述(SI)的控制，所述流解析單元包括根據(jù)與所述被參考幀之間的距離來設(shè)定幀的優(yōu)先級的單元，所述緩沖器控制 單元利用所述幀的優(yōu)先級來控制由所述中繼裝置的所述緩沖器存儲的視頻 流的數(shù)據(jù)量，以作為利用了所述幀類型的緩沖器控制。
全文摘要
本發(fā)明在經(jīng)由傳輸路徑的狀態(tài)(頻帶或數(shù)據(jù)損失、錯誤特性)不同的網(wǎng)絡(luò)之間進(jìn)行伴有視頻的電視電話或電視會議等實時通信時，能夠使傳輸路徑的狀態(tài)不同的接收側(cè)中的顯示圖像的紊亂最小化。在對經(jīng)由傳輸路徑的狀態(tài)不同的網(wǎng)絡(luò)間的通信進(jìn)行中繼的中繼裝置中，進(jìn)行考慮了傳輸路徑的狀態(tài)和所接收的視頻流的特性的視頻緩沖器控制。通過上述的控制來緩解在接收側(cè)顯示視頻時發(fā)生的紊亂。中繼裝置(101)的視頻緩沖器控制部(207)根據(jù)由命令接收部(203)接收的控制命令、由閾值設(shè)定部(204)設(shè)定的閾值、以及由定時生成部(205)設(shè)定的定時來控制視頻緩沖器(208)。另外，視頻緩沖器控制部(207)根據(jù)段解析部(206)的解析結(jié)果，以段為單位控制視頻緩沖器(208)。
文檔編號H04L12/66GK101395871SQ200780007950
公開日2009年3月25日 申請日期2007年3月9日 優(yōu)先權(quán)日2006年3月14日
發(fā)明者出井洋明, 小澤一范, 竹島良太 申請人:日本電氣株式會社