用于發(fā)送編碼視頻流的裝置及其發(fā)送方法
【專利摘要】討論了一種用于發(fā)送編碼視頻流的裝置及其發(fā)送方法。該裝置包括：片產(chǎn)生單元，將視頻流中包含的一幀劃分為至少一個或多個片；以及發(fā)送單元，在片限期內(nèi)以分組為單位發(fā)送片，所述片限期是發(fā)送所述片所要求的時間限制，所述發(fā)送單元相對于其他分組優(yōu)先發(fā)送包含片頭部信息的頭部分組，所述片頭部包括對于重建所述片所必需的信息，其中所述發(fā)送單元包括：分組發(fā)送器，當(dāng)分組發(fā)送失敗時在預(yù)定重試限制內(nèi)重發(fā)所述分組；以及頭部保護(hù)器，即使當(dāng)所述頭部分組的重發(fā)次數(shù)超過所述預(yù)定重試限制時，所述頭部保護(hù)器仍執(zhí)行控制以在所述片限期內(nèi)重復(fù)地發(fā)送所述頭部分組。
【專利說明】用于發(fā)送編碼視頻流的裝置及其發(fā)送方法

【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及用于發(fā)送編碼視頻流的裝置及其發(fā)送方法。

【背景技術(shù)】
[0002] 通過以恒定速率顯示靜止圖像或者幀的序列來實(shí)現(xiàn)數(shù)字視頻的播放，所述速率是 以每秒幀數(shù)（fps)為單位的。為了平滑視頻播放，幀必須滿足嚴(yán)格的回放（playout)限期。 因此，所有網(wǎng)絡(luò)和播放延遲都必須保持在連續(xù)幀之間所允許的時間約束條件之內(nèi)。
[0003]H. 264編解碼器是一種高效率的編碼標(biāo)準(zhǔn)。與傳統(tǒng)的視頻壓縮技術(shù)類似，H. 264使 用預(yù)測方法重建視頻順序。這一概念源自于這樣的事實(shí)：數(shù)字視頻通常顯示出空間冗余和 時間冗余，空間冗余表示一幀內(nèi)的各像素之間的相似性，時間冗余是相鄰幀中的各像素之 間的相似性。幀被劃分為作為16X16的像素區(qū)域的宏塊（MB)單元，并對每MB進(jìn)行幀內(nèi)編 碼（intra-coded)或者巾貞間編碼（inter-coded)。使用來自當(dāng)前巾貞的信息重建巾貞內(nèi)編碼的 MB。使用僅僅來自前一幀的信息（預(yù)測型）、或者使用來自前一幀和更前一幀兩者的信息 (雙預(yù)測型）重建幀間編碼的MB。
[0004] 幀可以包含不同MB類型的混合，并根據(jù)用于預(yù)測的參考類型來標(biāo)記幀。例如，B幀 具有雙預(yù)測的MB;然而，它也可以包含內(nèi)預(yù)測的MB。P幀將包含根據(jù)過去的幀預(yù)測的MB，也 可以包含內(nèi)預(yù)測的MB。I幀僅僅包含內(nèi)預(yù)測的MB，并且不參考其他幀。
[0005] 編碼視頻由圖像組（G0P)的序列構(gòu)成，圖像組是一組規(guī)定了I、P和B幀的順序的 編碼圖像。
[0006] 圖1示出現(xiàn)有技術(shù)中的G0P的幀排序。箭頭表示來自于相鄰幀的預(yù)測MB的源。
[0007] 如圖1所示，僅僅I幀和P幀用作參考幀。由于幀之間的這種相互依賴性，當(dāng)發(fā)生 分組丟失時，錯誤可能會在G0P中的各幀之間傳播。
[0008] 使用H. 264標(biāo)準(zhǔn)編碼的HD視頻幀通常再劃分為多個片（slice)。片是根據(jù)它們所 包含的MB的類型而分類的。
[0009] 圖2示出現(xiàn)有技術(shù)中的H. 264位流的分級語法。
[0010] 如圖2所示，語法被抽象為兩層：視頻編碼層（VCL)，具有實(shí)際的壓縮視頻數(shù)據(jù)；和 網(wǎng)絡(luò)提取層（NAL)，以適合于基于分組的網(wǎng)絡(luò)的形式封裝壓縮數(shù)據(jù)和附加信息。
[0011] 網(wǎng)絡(luò)提取層由一系列的NAL單元構(gòu)成，所述NAL單元是可由H. 264解碼的最小數(shù) 據(jù)單元。三種常見的NAL單元是序列參數(shù)集（SPS)、圖像參數(shù)集（PPS)和片。
[0012] SPS包含整個視頻共用的參數(shù)，比如編碼視頻所符合的類（profile)和級（level)。 因此，如果包含SPS信息的分組丟失，整個視頻將無法解碼。PPS包含應(yīng)用于一個幀序列的 共用參數(shù)，比如熵編碼模式。如果一個幀序列的PPS丟失，則這些幀都無法解碼。如前所述， 片是構(gòu)造幀的主要單元，并且?guī)梢跃哂袉蝹€片或者多個片。
[0013] 每個片包含片頭部，之后是包含MB的視頻數(shù)據(jù)。片頭部包含片內(nèi)的所有MB共用 的信息。如果片頭部丟失，則即使正確地接收了片數(shù)據(jù)，整個片也無法解碼。
[0014] 圖3A和圖3B示出在現(xiàn)有技術(shù)中分組丟失對幀的影響。圖3A示出原始發(fā)送的幀， 而圖3B示出由于分組丟失而導(dǎo)致失去一些信息的接收幀。
[0015] 如圖3B所示，片4的片頭部丟失，導(dǎo)致整個片無法解碼。與此相反，接收到片5的 片頭部，但是丟失了最后兩個實(shí)時協(xié)議（RTP)分組，這允許對大部分的片進(jìn)行解碼。


【發(fā)明內(nèi)容】

[0016] 據(jù)此，本發(fā)明涉及一種用于發(fā)送編碼視頻流的裝置及其發(fā)送方法，其基本上避免 了由于現(xiàn)有技術(shù)的局限性和不足而引起的一個或多個問題。
[0017] 本發(fā)明的一個方面是提供一種用于發(fā)送編碼視頻流的裝置及其方法，其相對于其 他分組優(yōu)先發(fā)送包含片頭部信息的頭部分組。
[0018] 本發(fā)明的另一方面是提供一種用于發(fā)送編碼視頻流的裝置及其方法，其估計(jì)信道 條件并選擇適當(dāng)?shù)闹卦囅拗啤?br> [0019] 本發(fā)明的另一方面是提供一種用于發(fā)送編碼視頻流的裝置及其方法，其使用MAC 和物理層參數(shù)估計(jì)分組到達(dá)時間，并將估計(jì)結(jié)果與相應(yīng)的回放限期比較以確定完全丟棄分 組。
[0020] 除了本發(fā)明的上述目的之外，下文將說明本發(fā)明的其他特征和優(yōu)點(diǎn)，這可以由本 領(lǐng)域技術(shù)人員根據(jù)以下說明而清楚理解。
[0021] 除了本發(fā)明的上述特征和效果之外，本發(fā)明的其他特征和效果可以根據(jù)本發(fā)明的 實(shí)施例而重新推斷。
[0022] 本發(fā)明的額外優(yōu)點(diǎn)、目的和特征將部分在隨后的描述中進(jìn)行闡述，而部分則將在 本領(lǐng)域技術(shù)人員在研究下文之后變得清楚明白，或者可以通過本發(fā)明的實(shí)踐來了解?？梢?通過在所撰寫的說明書及其權(quán)利要求書以及所附附圖中具體指明的結(jié)構(gòu)來實(shí)現(xiàn)和獲得本 發(fā)明的目的及其他優(yōu)點(diǎn)。
[0023] 為了實(shí)現(xiàn)這些及其他益處、并根據(jù)本發(fā)明的目的，正如此處所具體實(shí)現(xiàn)和概括描 述的，提供了一種用于發(fā)送編碼視頻流的裝置，包括：片產(chǎn)生單元，將視頻流中包含的一幀 劃分為至少一個或多個片；以及發(fā)送單元，在片限期內(nèi)以分組為單位發(fā)送片，所述片限期是 發(fā)送所述片所要求的時間限制，所述發(fā)送單元相對于其他分組優(yōu)先發(fā)送包含片頭部信息的 頭部分組，所述片頭部包括對于重建所述片所必需的信息，其中所述發(fā)送單元包括：分組發(fā) 送器，所述分組發(fā)送器當(dāng)未成功發(fā)送分組時在預(yù)定重試限制內(nèi)重發(fā)所述分組，而當(dāng)成功發(fā) 送當(dāng)前分組時發(fā)送下一可用分組；以及頭部保護(hù)器，所述頭部保護(hù)器即使當(dāng)所述頭部分組 的重發(fā)次數(shù)超過所述預(yù)定重試限制時，仍執(zhí)行控制，以便在所述片限期內(nèi)重復(fù)地發(fā)送所述 頭部分組。
[0024] 在本發(fā)明的另一方面中，提供了一種發(fā)送包括至少一個或多個片的幀的方法，包 括：在片限期內(nèi)以分組為單位發(fā)送片，所述片限期是發(fā)送所述片所要求的時間限制，發(fā)送單 元相對于其他分組優(yōu)先發(fā)送包含片頭部信息的頭部分組，所述片頭部包括對于恢復(fù)所述片 所必需的信息；以及當(dāng)未成功發(fā)送分組時在預(yù)定重試限制內(nèi)重發(fā)所述分組，而當(dāng)成功發(fā)送 所述分組時開始發(fā)送下一可用分組，其中所述分組的重發(fā)包括在所述片限期的時間約束之 內(nèi)，即使當(dāng)所述頭部分組的重發(fā)次數(shù)超過所述預(yù)定重試限制時，仍重發(fā)所述頭部分組。
[0025] 應(yīng)理解的是，本發(fā)明的上述概括說明及隨后的詳細(xì)說明是示例性的和解釋性的， 旨在為所請求保護(hù)的本發(fā)明提供進(jìn)一步的解釋。

【專利附圖】

【附圖說明】
[0026] 附圖被包括在內(nèi)以提供對于本發(fā)明的進(jìn)一步的理解，它們被并入并構(gòu)成本申請的 一部分；附圖圖示出本發(fā)明的實(shí)施例并與描述內(nèi)容一起用于解釋本發(fā)明的原理。在附圖 中：
[0027] 圖1示出現(xiàn)有技術(shù)中的G0P的幀排序。箭頭表示來自于相鄰幀的預(yù)測MB的源；
[0028] 圖2示出現(xiàn)有技術(shù)中的H. 264位流的分級語法；
[0029] 圖3A和圖3B示出在現(xiàn)有技術(shù)中分組丟失對幀的影響；
[0030] 圖4示出根據(jù)本發(fā)明的將片劃分為實(shí)時協(xié)議（RTP)分組以及它們對應(yīng)的重要性；
[0031] 圖5示出根據(jù)本發(fā)明的解碼順序和顯示順序；
[0032] 圖6示出根據(jù)本發(fā)明的片保護(hù)發(fā)送方案；
[0033] 圖7示出根據(jù)本發(fā)明的片保護(hù)方案的范例體系結(jié)構(gòu)；
[0034] 圖8示出根據(jù)本發(fā)明的發(fā)送編碼視頻流的裝置的實(shí)施例；
[0035] 圖9示出根據(jù)本發(fā)明的發(fā)送單元的實(shí)施例；以及
[0036] 圖10示出根據(jù)本發(fā)明的發(fā)送編碼視頻流的方法的實(shí)施例。

【具體實(shí)施方式】
[0037] 在下文中，將參考附圖詳細(xì)說明根據(jù)本發(fā)明的發(fā)送編碼視頻流的裝置及其方法。
[0038] 本發(fā)明涉及一種用于名稱為H. 264視頻的動態(tài)重試適配方案（DRAS. 264)的H. 264 視頻的自適應(yīng)MAC層重發(fā)技術(shù)。本發(fā)明利用嵌入H. 264位流的特定細(xì)節(jié)連同對于網(wǎng)絡(luò)條件 的實(shí)時監(jiān)控，提供對于任何H. 264編碼視頻的保護(hù)，而不管所使用的類和級如何。
[0039] 此外，本發(fā)明符合H. 264視頻的實(shí)體，具有片和可變的幀尺寸。MAC層重發(fā)限制是 根據(jù)由H. 264位流推定的分組類型、以及在視頻發(fā)送過程中監(jiān)測的具體網(wǎng)絡(luò)量度而動態(tài)調(diào) 整的。盡管本發(fā)明特別適用于H. 264視頻，但是本發(fā)明也適用于包含基于片的幀的任何視 頻，包括即將到來的H. 265視頻。
[0040] IEEE802. 11分布式協(xié)調(diào)功能（DCF)是控制無線網(wǎng)絡(luò)接入的MAC協(xié)議的核心機(jī)制。 在802. 11網(wǎng)絡(luò)中，每個站監(jiān)控?zé)o線媒介的活動。站按照時隙的間隔來監(jiān)控媒介。當(dāng)檢測到 媒介在特定時期TDIFS內(nèi)是空閑的，則允許站發(fā)送。在表1中提供了 802. 11DCF的重要時間 間隔的概述。
[0041] [表 1]
[0042]

【權(quán)利要求】
1. 一種用于發(fā)送編碼視頻流的裝置，包括： 片產(chǎn)生單元，將視頻流中包含的一峽劃分為至少一個或多個片；W及 發(fā)送單元，在片限期內(nèi)W分組為單位發(fā)送片，所述片限期是發(fā)送所述片所要求的時間 限制，所述發(fā)送單元相對于其他分組優(yōu)先發(fā)送包含片頭部信息的頭部分組，所述片頭部包 括對于重建所述片所必需的信息， 其中所述發(fā)送單元包括： 分組發(fā)送器，所述分組發(fā)送器當(dāng)分組發(fā)送失敗時在預(yù)定重試限制內(nèi)重發(fā)所述分組，而 當(dāng)當(dāng)前分組發(fā)送成功時發(fā)送下一可用分組；W及 頭部保護(hù)器，即使當(dāng)所述頭部分組的重發(fā)次數(shù)超過所述預(yù)定重試限制時，所述頭部保 護(hù)器仍執(zhí)行控制W在所述片限期內(nèi)重復(fù)地發(fā)送所述頭部分組。
2. 根據(jù)權(quán)利要求1所述的裝置，還包括動態(tài)地計(jì)算分組限期的分組限期計(jì)算單元，所 述分組限期是片中的頭部分組之后的每一分組的發(fā)送時間限制，所述分組限期是通過將直 至片限期的剩余時間除W片中的分組數(shù)目而計(jì)算的， 其中，所述剩余時間是通過從所述片限期中減去成功發(fā)送所述頭部之后的當(dāng)前時間而 計(jì)算的。
3. 根據(jù)權(quán)利要求2所述的裝置，其中所述分組限期Dpkt是通過如下表示的等式計(jì)算 的：
其中tfeiMiDiDg表示所述剩余時間，Dpkt表示所述片中包含的分組的數(shù)目，IWt表示所述 頭部分組超過所述重試限制的次數(shù)。
4. 根據(jù)權(quán)利要求1所述的裝置，還包括重試限制計(jì)算單元，所述重試限制計(jì)算單元動 態(tài)地設(shè)置所述重試限制，W使得預(yù)測分組延遲.
；滿足W下條件：所述預(yù)測分組延遲 小于等于分組限期，其中所述預(yù)測分組延遲是每次重試所引起的延遲的運(yùn)行平均值，所述 分組限期是每一分組所要求的時間限制。
5. 根據(jù)權(quán)利要求4所述的裝置，其中所述預(yù)測分組延遲是基于W下等式計(jì)算的：
其中Lucxws表示成功接收確認(rèn)（ACK)并由此指示成功發(fā)送分組的最終嘗試所用時間， E巧Of]表示每次嘗試的平均退避窗口大小，表示其他站訪問媒介的平均發(fā)送數(shù)， tsiot表示時隙間隔，r表示嘗試重發(fā)的次數(shù)，T。。山日加。表示沖突中浪費(fèi)的時間，Tdifs表示媒介 在重發(fā)之前或者開始發(fā)送新分組之前必須處于空閑的限定時間，Tbu,y表示其他站訪問媒介 的時間。
6. 根據(jù)權(quán)利要求1所述的裝置，其中所述片限期依據(jù)片類型而可變地設(shè)置。
7. 根據(jù)權(quán)利要求1所述的裝置，其中所述發(fā)送單元還包括ACK接收器，其確定分組是否 發(fā)送成功。

8. -種發(fā)送包括至少一個或多個片的峽的編碼視頻流發(fā)送方法，包括： 在片限期內(nèi)W分組為單位發(fā)送片，所述片限期是發(fā)送所述片所要求的時間限制，發(fā)送 單元相對于其他分組優(yōu)先發(fā)送包含片頭部信息的頭部分組，所述片頭部包括對于恢復(fù)所述 片所必需的信息；W及 當(dāng)分組發(fā)送失敗時在預(yù)定重試限制內(nèi)重發(fā)所述分組，而當(dāng)分組發(fā)送成功時開始發(fā)送下 一可用分組， 其中所述分組的重發(fā)包括在所述片限期的時間約束之內(nèi)，即使當(dāng)所述頭部分組的重發(fā) 次數(shù)超過所述預(yù)定重試限制時，仍重發(fā)所述頭部分組。
9. 根據(jù)權(quán)利要求8所述的編碼視頻流發(fā)送方法，還包括動態(tài)地計(jì)算分組限期，所述分 組限期是片中的頭部分組之后的每一分組的發(fā)送時間限制，所述分組限期是通過將直至片 限期的剩余時間除W片中的分組數(shù)目而計(jì)算的，其中，所述剩余時間是通過從所述片限期 中減去發(fā)送頭部分組所用時間而計(jì)算的。
10. 根據(jù)權(quán)利要求9所述的編碼視頻流發(fā)送方法，還包括動態(tài)地復(fù)位所述重試限制，W 使得預(yù)測分組延遲滿足W下條件：所述預(yù)測分組延遲小于等于分組限期，其中所 述預(yù)測分組延遲是每次重試所引起的延遲的運(yùn)行平均值，所述分組限期是每一分組所要求 的時間限制。
【文檔編號】H04N19/66GK104427405SQ201410410333
【公開日】2015年3月18日 申請日期:2014年8月20日 優(yōu)先權(quán)日:2013年9月6日
【發(fā)明者】默罕默德·欣科, 本·李, 金彰坤, 李泰旭 申請人:樂金顯示有限公司