本發(fā)明的一方面涉及一種對(duì)應(yīng)用刷新方案的幀序列進(jìn)行編碼的方法。例如，該方法可以用在用于對(duì)已經(jīng)捕獲的幀序列進(jìn)行編碼的相機(jī)設(shè)備中。然后，相機(jī)設(shè)備可以存儲(chǔ)已經(jīng)編碼的幀序列，或者可以將這個(gè)構(gòu)成視頻的序列發(fā)送到另一設(shè)備，或者，相機(jī)設(shè)備既可以存儲(chǔ)已經(jīng)編碼的幀序列又可以將這個(gè)構(gòu)成視頻的序列發(fā)送到另一設(shè)備。本發(fā)明的其他方面涉及一種視頻編碼器、用于視頻編碼器的計(jì)算機(jī)程序、包括編碼的幀序列的數(shù)據(jù)集以及視頻解碼器。

背景技術(shù)：

1、存在眾多應(yīng)用幀內(nèi)模式編碼以及幀間模式編碼的視頻編碼技術(shù)。以幀內(nèi)模式進(jìn)行編碼的幀或該幀中的至少一個(gè)區(qū)域不參考另一幀。因此，幀內(nèi)模式編碼產(chǎn)生自包含的編碼幀或編碼區(qū)域。相反，以幀間模式進(jìn)行編碼的幀或該幀中的至少一個(gè)區(qū)域參考一個(gè)或多個(gè)先前編碼的幀。通常，生成要編碼的區(qū)域的差分表示。差分表示對(duì)應(yīng)于一方面要編碼的區(qū)域與另一方面先前編碼的幀的解碼版本中的對(duì)應(yīng)區(qū)域之間的差。因此，幀間模式編碼產(chǎn)生與一個(gè)或多個(gè)先前編碼的幀有內(nèi)在聯(lián)系的編碼幀或編碼區(qū)域。

2、視頻編碼可以涉及評(píng)估幀或幀中的區(qū)域應(yīng)當(dāng)是以幀內(nèi)模式進(jìn)行編碼還是以幀間模式進(jìn)行編碼。此評(píng)估可以基于一種或多種標(biāo)準(zhǔn)，此評(píng)估通常包括通過編碼產(chǎn)生最小數(shù)據(jù)量作為標(biāo)準(zhǔn)。如果預(yù)計(jì)幀內(nèi)模式產(chǎn)生最小數(shù)據(jù)量，則可以應(yīng)用此模式。相反，如果預(yù)計(jì)幀間模式產(chǎn)生最小數(shù)據(jù)量，則可以應(yīng)用此模式。通常，如果要編碼的幀或幀中的區(qū)域與可以參考的幀之間存在相對(duì)大的差異，則評(píng)估將最好保留幀內(nèi)模式。例如，如果場(chǎng)景中有變化，或者有發(fā)生許多變化的場(chǎng)景，則通常是這種情況。如果要編碼的幀或幀中的區(qū)域與可以參考的幀之間存在相對(duì)小的差異，則評(píng)估將最好保留幀間模式。例如在安靜的場(chǎng)景（類似于靜止畫面）中或在場(chǎng)景中的靜態(tài)背景中，則通常是這種情況。

3、如果根據(jù)如上文所描述的評(píng)估應(yīng)用了幀內(nèi)模式或幀間模式，則可能發(fā)生存在以幀間模式進(jìn)行編碼的相對(duì)長的連續(xù)幀序列。因此，此連續(xù)幀序列將不包括以幀內(nèi)模式進(jìn)行編碼的任何幀。這對(duì)于該連續(xù)幀序列中的區(qū)域同樣適用。例如，如果區(qū)域是靜態(tài)背景的一部分，則區(qū)域?qū)⒃谡麄€(gè)連續(xù)幀序列中以幀間模式進(jìn)行編碼。

4、如果存在以幀間模式進(jìn)行編碼的相對(duì)長的連續(xù)幀序列，則自身可能出現(xiàn)以下解碼延遲問題。在該相對(duì)長的連續(xù)幀序列期間開始解碼的解碼器，只要該序列持續(xù)，將不能產(chǎn)生正確解碼的視頻。即，解碼器必須首先解碼已經(jīng)以幀內(nèi)模式進(jìn)行編碼的幀，以便獲得有效的參考（有效的解碼起點(diǎn)）。因此，在解碼器能夠產(chǎn)生正確解碼的視頻之前可能花費(fèi)相對(duì)長的時(shí)間。如果以幀間模式對(duì)相對(duì)長的連續(xù)幀序列中的區(qū)域進(jìn)行專門編碼，則也會(huì)出現(xiàn)這種解碼延遲問題。在該連續(xù)幀序列中將不存在以幀內(nèi)模式對(duì)其區(qū)域進(jìn)行編碼的幀。

5、可以應(yīng)用刷新方案來解決上文描述的解碼延遲問題?；旧?，刷新方案經(jīng)常針對(duì)若干連續(xù)幀中的一個(gè)幀，促使該幀或幀中的至少一個(gè)區(qū)域以幀內(nèi)模式被強(qiáng)制編碼。也就是說，盡管做出了對(duì)該幀或幀中的區(qū)域應(yīng)當(dāng)以幀間模式進(jìn)行編碼的評(píng)估，但該幀或幀中的區(qū)域以幀內(nèi)模式進(jìn)行編碼。因此，刷新方案確保在連續(xù)幀序列中頻繁出現(xiàn)參考。因此，這避免了在獲得正確解碼的視頻時(shí)的過長延遲。

6、專利公開wo2020249790a1描述了上文討論的某些方面。具體地，該專利公開描述了一種針對(duì)線性變換幀的一部分評(píng)估以下條件是否適用的編碼組件。當(dāng)以幀間模式對(duì)線性變換幀的一部分進(jìn)行編碼時(shí)，獲得該線性變換幀的該部分的編碼版本，該編碼版本相比于通過以幀內(nèi)模式對(duì)該線性變換幀的該部分進(jìn)行編碼而獲得的編碼版本而言，包括更少量的數(shù)據(jù)。如果該條件適用，則編碼組件以幀間模式對(duì)該線性變換幀的該部分進(jìn)行編碼。如果該條件不適用，則以幀內(nèi)模式對(duì)該線性變換幀的該部分進(jìn)行編碼。

7、專利公開wo2020249790a1還描述了編碼組件對(duì)各個(gè)線性變換幀部分周期性地以幀內(nèi)模式進(jìn)行編碼。這可以被認(rèn)為是允許在解碼端處快速實(shí)現(xiàn)相對(duì)好的圖像質(zhì)量的刷新機(jī)制。視頻解碼器可以說是能夠快速鎖定由包含編碼組件的視頻編碼器提供的編碼視頻流。而且，這也允許更魯棒的視頻傳輸。如果編碼視頻流的一部分由于例如錯(cuò)誤而丟失，則可以相對(duì)快速地恢復(fù)幀的受影響區(qū)域。

技術(shù)實(shí)現(xiàn)思路

1、需要一種允許視頻質(zhì)量的改進(jìn)的視頻編碼技術(shù)。

2、本發(fā)明考慮以下內(nèi)容。如上文所描述的刷新方案可能會(huì)產(chǎn)生視覺假象。假設(shè)存在在以幀間模式進(jìn)行編碼時(shí)沒有應(yīng)用刷新方案的連續(xù)幀序列。如上文所提及的，該連續(xù)幀序列可以表示安靜場(chǎng)景或甚至靜態(tài)場(chǎng)景。在該連續(xù)幀序列中，以幀間模式進(jìn)行編碼的每個(gè)幀可以提供細(xì)化，使得圖像質(zhì)量逐漸增加或者至少保持在相對(duì)高的水平處。

3、現(xiàn)在假設(shè)應(yīng)用刷新方案，使得上文描述的連續(xù)幀序列中的幀以幀內(nèi)模式被強(qiáng)制編碼。幀內(nèi)模式的該編碼潛在地產(chǎn)生相對(duì)大的數(shù)據(jù)量。通常，對(duì)幀或幀中的區(qū)域進(jìn)行編碼，以便產(chǎn)生在數(shù)據(jù)量的預(yù)算內(nèi)的數(shù)據(jù)量。為了將以幀內(nèi)模式進(jìn)行編碼而產(chǎn)生的數(shù)據(jù)量保持在預(yù)算內(nèi)，可能需要以相對(duì)低的分辨率對(duì)以幀內(nèi)模式被強(qiáng)制編碼的幀進(jìn)行量化。因此，該幀的解碼版本可能具有相對(duì)較差的質(zhì)量。結(jié)果，圖像質(zhì)量可能在場(chǎng)景中的某個(gè)點(diǎn)處突然下降，該場(chǎng)景可以是相對(duì)安靜的場(chǎng)景或幾乎靜態(tài)的場(chǎng)景。這可能特別是由于場(chǎng)景中質(zhì)量下降的意外性質(zhì)而構(gòu)成視覺假象。

4、當(dāng)根據(jù)確實(shí)應(yīng)當(dāng)應(yīng)用幀內(nèi)模式的評(píng)估來以幀內(nèi)模式對(duì)幀進(jìn)行編碼時(shí)，前述視覺假象不需要出現(xiàn)。然后，因?yàn)槔鐖?chǎng)景中存在相當(dāng)大的一些變化，或者存在場(chǎng)景的變化，所以該幀通常在很大程度上不同于一個(gè)或多個(gè)先前幀。在那種情況下，具有相對(duì)低分辨率的量化通常比上文描述的情況顯然更不明顯，在上文描述的情況下，幀以幀內(nèi)模式被強(qiáng)制編碼，而該幀本來將以幀間模式進(jìn)行編碼。

5、前述內(nèi)容同樣適用于連續(xù)幀序列中的區(qū)域。該區(qū)域可以是例如靜態(tài)的背景的一部分。然后，針對(duì)每個(gè)幀，評(píng)估將指示該區(qū)域應(yīng)當(dāng)以幀間模式進(jìn)行編碼。除了由于應(yīng)用刷新方案而以幀內(nèi)模式被強(qiáng)制編碼的一個(gè)或多個(gè)幀之外，實(shí)際上將應(yīng)用幀間模式。這里同樣，這通常將使得針對(duì)這些幀，該區(qū)域然后以相對(duì)低的分辨率進(jìn)行量化，以便遵守?cái)?shù)據(jù)量的預(yù)算。因此，可能出現(xiàn)圖像質(zhì)量的突然下降，在這種情況下這可能構(gòu)成局部的視覺假象。

6、如權(quán)利要求1限定的本發(fā)明的一方面，提供一種對(duì)幀序列進(jìn)行編碼以便獲得編碼的幀序列的方法，所述方法包括：

7、-逐幀地對(duì)連續(xù)幀序列中的至少一個(gè)區(qū)域做出所述區(qū)域應(yīng)當(dāng)以幀內(nèi)模式進(jìn)行編碼還是以幀間模式進(jìn)行編碼的評(píng)估；

8、-應(yīng)用刷新方案，所述刷新方案經(jīng)常針對(duì)若干連續(xù)幀中的一個(gè)幀促使所述區(qū)域以所述幀內(nèi)模式被強(qiáng)制編碼，而與所做出的評(píng)估無關(guān)；以及

9、-對(duì)所述連續(xù)幀序列中的所述區(qū)域進(jìn)行量化，使得針對(duì)幀，相比于根據(jù)所做出的評(píng)估而以幀內(nèi)模式和幀間模式之一對(duì)所述區(qū)域進(jìn)行編碼的情況，在所述區(qū)域以所述幀內(nèi)模式被強(qiáng)制編碼并且與所做出的評(píng)估相反的情況下，所述區(qū)域以更高的分辨率進(jìn)行量化。

10、如權(quán)利要求12限定的本發(fā)明的另一方面，提供一種適于對(duì)幀序列進(jìn)行編碼以便獲得編碼的幀序列的視頻編碼器，所述視頻編碼器包括：

11、-編碼模式應(yīng)用組件，包括：

12、-編碼模式評(píng)估模塊，適于逐幀地針對(duì)連續(xù)幀序列中的至少一個(gè)區(qū)域做出所述區(qū)域應(yīng)當(dāng)以幀內(nèi)模式進(jìn)行編碼還是以幀間模式進(jìn)行編碼的評(píng)估；以及

13、-刷新方案應(yīng)用模塊，適于針對(duì)若干連續(xù)幀中的一個(gè)幀經(jīng)常促使所述區(qū)域以所述幀內(nèi)模式被強(qiáng)制編碼，而與所做出的評(píng)估無關(guān)；以及

14、-量化組件，適于對(duì)所述連續(xù)幀序列中的所述區(qū)域進(jìn)行量化，使得針對(duì)幀，相比于所述區(qū)域根據(jù)所做出的評(píng)估而以幀內(nèi)模式和幀間模式之一進(jìn)行編碼的情況，在所述區(qū)域以所述幀內(nèi)模式被強(qiáng)制編碼并且與所做出的評(píng)估相反的情況下，所述區(qū)域以更高的分辨率進(jìn)行量化。

15、如權(quán)利要求13限定的本發(fā)明的又一方面，提供一種用于視頻編碼器的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括使所述視頻編碼器能夠執(zhí)行上文限定的所述方法的指令集。

16、在這些方面的每一個(gè)方面中，原本將以幀間模式進(jìn)行編碼、但卻以幀內(nèi)模式被強(qiáng)制編碼的幀或幀中的區(qū)域以相對(duì)高的分辨率進(jìn)行量化。換句話說，這樣的幀或這樣的區(qū)域在量化中得到優(yōu)先處理。這有助于避免該幀或該區(qū)域比先前幀或先前幀中的區(qū)域具有顯著更低的圖像質(zhì)量。因此，可以避免圖像質(zhì)量的突然顯著下降，這因此避免前述視覺假象，或者至少減輕這種假象。因此，本發(fā)明允許視頻質(zhì)量的改進(jìn)。

17、有各種在量化中給予前述優(yōu)先處理的方式。一個(gè)基本選項(xiàng)是基于實(shí)現(xiàn)目標(biāo)數(shù)據(jù)量來適配量化控制方案。優(yōu)先處理可以按原樣集成在這樣的量化控制方案中。另一個(gè)基本選項(xiàng)是對(duì)幀或幀中的區(qū)域進(jìn)行預(yù)量化，預(yù)量化的分辨率取決于幀或幀中的區(qū)域原本將以幀間模式進(jìn)行編碼但是否以幀內(nèi)模式被強(qiáng)制編碼。與其他幀或其他區(qū)域相比，針對(duì)強(qiáng)制以幀內(nèi)模式進(jìn)行編碼而不是以幀間模式進(jìn)行編碼的幀或幀中的區(qū)域，量化的分辨率更高。強(qiáng)制以幀內(nèi)模式進(jìn)行編碼而不是以幀間模式進(jìn)行編碼的幀或幀中的區(qū)域也可以不經(jīng)過任何量化，而其他幀或其他區(qū)域經(jīng)過量化。這種選擇性預(yù)量化也提供優(yōu)先處理。

18、如權(quán)利要求14限定的本發(fā)明的附加方面，提供一種數(shù)據(jù)集，所述數(shù)據(jù)集包括：

19、-編碼的幀序列，通過根據(jù)如上文限定的方法獲得；

20、-指示，所述指示關(guān)于盡管做出了幀中的區(qū)域應(yīng)當(dāng)以所述幀間模式進(jìn)行編碼的評(píng)估但所述區(qū)域是否以所述幀內(nèi)模式被強(qiáng)制編碼。

21、如權(quán)利要求15限定的本發(fā)明的另一附加方面，提供一種視頻解碼器，所述視頻解碼器適于對(duì)通過根據(jù)上文限定的方法獲得的編碼的幀序列進(jìn)行解碼，其中，所述編碼的幀序列包括在數(shù)據(jù)集中，所述數(shù)據(jù)集包括指示，所述指示關(guān)于盡管做出了幀中的區(qū)域應(yīng)當(dāng)以所述幀間模式進(jìn)行編碼的評(píng)估但所述區(qū)域是否以所述幀內(nèi)模式被強(qiáng)制編碼，所述視頻解碼器包括：

22、-去量化組件，所述去量化組件適于依據(jù)所述指示對(duì)所述區(qū)域去量化，所述指示關(guān)于盡管做出了所述區(qū)域應(yīng)當(dāng)以所述幀間模式進(jìn)行編碼的評(píng)估但所述區(qū)域是否以所述幀內(nèi)模式被強(qiáng)制編碼。

23、這些附加方面允許上文提及的給予優(yōu)先處理的高效實(shí)施。此外，這些附加方面還可以允許以有效的方式，特別是在數(shù)據(jù)的有效使用方面，以現(xiàn)有編碼技術(shù)實(shí)現(xiàn)優(yōu)先處理。jpeg?xs是其適用的現(xiàn)有編碼技術(shù)的示例。jpeg?xs在iso文件“iso/iec?21122-1:2022-信息技術(shù)-jpeg?xs低延遲輕量圖像編碼系統(tǒng)-第1部分：核心編碼系統(tǒng)”中定義。jpeg?xs包含用于指定視頻編碼器已經(jīng)應(yīng)用的數(shù)據(jù)量化的有效技術(shù)。相對(duì)少量的數(shù)據(jù)可以指定已應(yīng)用的數(shù)據(jù)量化，這使視頻解碼器能夠正確地應(yīng)用去量化。前述關(guān)于區(qū)域是否被以幀內(nèi)模式進(jìn)行強(qiáng)制編碼而不是以幀間模式進(jìn)行編碼的指示可能需要附加標(biāo)志。然而，該指示允許維持用于在jpeg-xs中指定數(shù)據(jù)量化的有效技術(shù)。

24、出于說明的目的，參考附圖詳細(xì)描述了本發(fā)明的一些實(shí)施例。在該描述中，將呈現(xiàn)其中的一些特征限定在從屬權(quán)利要求中的附加特征，并且優(yōu)點(diǎn)將是明顯的。