涉及一個或多個著色器中的至少一個著色器要應(yīng)用的視頻流中的至少一子集的第一處理，以及涉及一個或多個著色器中的至少一個著色器將應(yīng)用的視頻流中的至少一子集的第二處理。在確定第一處理和第二處理時，著色器操作單元506可考慮關(guān)于視頻流處理設(shè)備、客戶端設(shè)備和/或視頻流處理設(shè)備與客戶端設(shè)備之間的連接的信息。著色器操作單元506還可考慮視頻流的內(nèi)容，即，通過使用視頻分析算法或被提供有來自另一個設(shè)備的視頻分析數(shù)據(jù)。例如，如果確定視頻流包括需要遮蓋的人臉，例如，通過隱私遮蔽遮蓋，則著色器操作單元可確定第一處理應(yīng)包括對視頻流應(yīng)用這種隱私遮蔽的著色器。根據(jù)一些實施例，遠離視頻流處理設(shè)備來提供著色器操作單元。根據(jù)此實施例，第一處理和第二處理被提供到視頻流處理設(shè)備，而不是在視頻流處理設(shè)備中確定。
[0070]視頻流處理設(shè)備進一步包括GPU 508和編碼器512，GPU 508用于實施第一處理，編碼器512被配置成將視頻流編碼成編碼的視頻流106。編碼的視頻流106隨后由數(shù)字網(wǎng)絡(luò)模塊510經(jīng)由數(shù)字網(wǎng)絡(luò)514傳輸?shù)娇蛻舳嗽O(shè)備516。數(shù)字網(wǎng)絡(luò)模塊510還將傳輸?shù)诙幚碇幸獞?yīng)用的一個或多個著色器中的至少一個著色器108和關(guān)于第二處理涉及的視頻流中的至少一子集的數(shù)據(jù)524。例如，在圖3c中示出的實施例中，關(guān)于第二處理涉及的視頻流中的至少一子集的數(shù)據(jù)524描述每幀的右半幀應(yīng)在第二處理中被處理。著色器操作單元506和編碼器512可在軟件中實現(xiàn)，并且可由視頻流處理設(shè)備502中的一個或多個處理器執(zhí)行。
[0071]如上所述，可優(yōu)先于第二處理中要應(yīng)用的一個或多個著色器中的至少一個著色器108的傳輸和關(guān)于第二處理涉及的視頻流中的至少一子集的數(shù)據(jù)524的傳輸而考慮編碼的視頻流106的傳輸。此特征在圖5中通過表示視頻流106的傳輸?shù)木€比表示著色器108和數(shù)據(jù)524的傳輸?shù)木€粗來描述?？梢砸远喾N方式獲得此優(yōu)先級。例如，可經(jīng)由第一網(wǎng)絡(luò)連接實施視頻流106的傳輸，并且可經(jīng)由不同于第一網(wǎng)絡(luò)連接的第二網(wǎng)絡(luò)連接實施著色器108和數(shù)據(jù)524的傳輸。在這種情況下，用于視頻流106的傳輸?shù)倪B接可具有比用于著色器108和數(shù)據(jù)524的傳輸?shù)倪B接更高的帶寬。根據(jù)其他實施例，視頻流處理設(shè)備502包括多個執(zhí)行線程，并且其中通過執(zhí)行第一線程實施視頻流106的傳輸，并且其中通過執(zhí)行不同于第一線程的第二線程實施第二處理中應(yīng)用的著色器108和數(shù)據(jù)524的傳輸。
[0072]編碼的視頻流106、著色器108和數(shù)據(jù)524由客戶端設(shè)備中的數(shù)字網(wǎng)絡(luò)模塊522接收?？蛻舳嗽O(shè)備516中的數(shù)字網(wǎng)絡(luò)模塊522因此被配置成經(jīng)由數(shù)字網(wǎng)絡(luò)514接收第二處理中要應(yīng)用的一個或多個著色器中的至少一個著色器108、關(guān)于第二處理涉及的視頻流中的至少一子集的數(shù)據(jù)524和編碼的視頻流106?？蛻舳嗽O(shè)備516進一步包括解碼器520和GPU 518，解碼器520被配置成將編碼的視頻流106解碼成視頻流，并且GPU 518用于使用接收的一個或多個著色器中的至少一個著色器108和接收的關(guān)于第二處理涉及的視頻流中的至少一子集的數(shù)據(jù)524來實施第二處理。最后，客戶端設(shè)備可連接到用于顯示處理的視頻流526的顯示器104。
【主權(quán)項】
1.一種用于在系統(tǒng)中處理視頻流(102、102，、202)的方法，所述系統(tǒng)包括連接到客戶端設(shè)備(516)的視頻流處理設(shè)備(502),所述方法包括: 設(shè)置(3102)要應(yīng)用到所述視頻流的一個或多個著色器(31、32、33、105)， 在所述視頻流處理設(shè)備處通過第一處理將所述一個或多個著色器中的至少一個著色器(107)應(yīng)用到(SI 04)所述視頻流(102、202)中的至少一子集， 在所述客戶端設(shè)備處通過第二處理將所述一個或多個著色器中的至少一個著色器(108)應(yīng)用(S112)到所述視頻流中的至少一子集， 其中所述第二處理中應(yīng)用的所述一個或多個著色器中的所述至少一個著色器被從所述視頻流處理設(shè)備傳輸(SI 06、S208、S214)到所述客戶端設(shè)備，并且其中所述一個或多個著色器用于所述視頻流的后處理。2.根據(jù)權(quán)利要求1所述的方法，其中所述第一處理不同于所述第二處理。3.根據(jù)權(quán)利要求2所述的方法，其中所述第一處理中應(yīng)用的所述至少一個著色器不同于所述第二處理中應(yīng)用的所述至少一個著色器。4.根據(jù)權(quán)利要求2所述的方法，其中所述第一處理涉及的所述視頻流中的所述至少一子集不同于所述第二處理涉及的所述視頻流中的所述至少一子集。5.根據(jù)權(quán)利要求1所述的方法，其中所述第一處理和/或所述第二處理取決于由以下類型構(gòu)成的組中的至少之一: 所述客戶端設(shè)備的圖形處理單元(518)GRJ的類型，以及 所述視頻流處理設(shè)備的圖形處理單元(508)GRJ的類型。6.根據(jù)權(quán)利要求1所述的方法，其中所述第一處理和/或所述第二處理在所述視頻流的持續(xù)期間改變。7.根據(jù)權(quán)利要求6所述的方法，其中所述第一處理和/或所述第二處理基于關(guān)于以下構(gòu)成的組中的至少之一的信息在所述視頻流的持續(xù)期間動態(tài)地改變: 所述視頻流處理設(shè)備和所述客戶端設(shè)備之間的連接的帶寬， 所述客戶端設(shè)備的電池水平， 所述視頻流處理設(shè)備的電池水平， 所述客戶端設(shè)備的GRJ的處理能力，以及 所述視頻流處理設(shè)備的GPU的處理能力。8.根據(jù)權(quán)利要求1所述的方法，其中所述視頻流作為編碼的視頻流(106)從所述視頻流處理設(shè)備傳輸(S109)到所述客戶端設(shè)備，在所述客戶端設(shè)備處，所述視頻流在所述第二處理之前被解碼(SllO)。9.根據(jù)權(quán)利要求8所述的方法，其中所述視頻流的傳輸具有第一優(yōu)先級，其中所述第二處理中應(yīng)用的所述一個或多個著色器中的所述至少一個著色器從所述視頻流處理設(shè)備到所述客戶端設(shè)備的傳輸具有低于所述第一優(yōu)先級的第二優(yōu)先級，并且其中實施所述傳輸?shù)捻樞蚴腔谒鰝鬏敻髯缘膬?yōu)先級的。10.根據(jù)權(quán)利要求9所述的方法，其中所述視頻流的傳輸經(jīng)由第一網(wǎng)絡(luò)連接實施，并且其中所述第二處理中應(yīng)用的所述一個或多個著色器中的所述至少一個著色器從所述視頻流處理設(shè)備到所述客戶端設(shè)備的傳輸經(jīng)由不同于所述第一網(wǎng)絡(luò)連接的第二網(wǎng)絡(luò)連接實施。11.根據(jù)權(quán)利要求1所述的方法，進一步包括步驟: 在所述視頻流處理設(shè)備處從所述客戶端設(shè)備接收(S202)要從所述視頻流處理設(shè)備向所述客戶端設(shè)備傳輸視頻流的請求， 在所述視頻流處理設(shè)備處從所述請求中提取關(guān)于所述客戶端設(shè)備的信息，關(guān)于所述客戶端設(shè)備的信息包括至少所述客戶端設(shè)備的GHJ的類型的信息，其中所述第一處理和/或所述第二處理取決于所提取的信息。12.—種用于處理視頻流(102、202)的視頻流處理設(shè)備(502)，包括: 存儲器(504)，用于存儲要應(yīng)用到所述視頻流的一個或多個著色器(31、32、33、105)， 著色器操作單元(506)，用于確定: 涉及要應(yīng)用所述一個或多個著色器中的至少一個著色器(107)的所述視頻流中的至少一子集的第一處理，以及 涉及要應(yīng)用所述一個或多個著色器中的至少一個著色器(108)的所述視頻流中的至少一子集的第二處理， 圖形處理單元(508)GRJ，用于實施(S104)所述第一處理，并且 所述視頻流處理設(shè)備進一步包括:數(shù)字網(wǎng)絡(luò)模塊(510)，所述數(shù)字網(wǎng)絡(luò)模塊(510)被配置成傳輸(S106、S208、S214)所述第二處理中要應(yīng)用(S112)的所述一個或多個著色器中的所述至少一個著色器和關(guān)于所述第二處理涉及的所述視頻流中的至少一子集的數(shù)據(jù)，其中所述一個或多個著色器用于所述視頻流的后處理。13.根據(jù)權(quán)利要求12所述的視頻流處理設(shè)備，所述視頻流處理設(shè)備是數(shù)字視頻攝像機，其中所述視頻流由所述數(shù)字視頻攝像機獲取。14.一種用于處理視頻流(102、202、202 ’)的系統(tǒng)(500)，包括: 根據(jù)權(quán)利要求12所述的視頻流處理設(shè)備(502)， 客戶端設(shè)備(516)，包括: 數(shù)字網(wǎng)絡(luò)模塊(522)，被配置成經(jīng)由所述數(shù)字網(wǎng)絡(luò)接收所述第二處理中要應(yīng)用的所述一個或多個著色器中的所述至少一個著色器、關(guān)于所述第二處理涉及的所述視頻流中的至少一子集的數(shù)據(jù)和編碼的視頻流， 解碼器(520)，被配置成將所述編碼的視頻流解碼(SllO)成一視頻流，以及GPU(518)，用于使用所接收的所述一個或多個著色器中的所述至少一個著色器和所接收的關(guān)于所述第二處理涉及的所述視頻流中的至少一子集的數(shù)據(jù)，實施(S112)所述第二處理。
【專利摘要】本發(fā)明公開了一種用于視頻流的后處理的方法及設(shè)備。本發(fā)明涉及處理視頻流的領(lǐng)域，并且更具體地，涉及使用著色器的視頻流的后處理領(lǐng)域。在視頻流處理設(shè)備和客戶端設(shè)備之間分配視頻流的處理。
【IPC分類】G06F9/50, G06F3/14
【公開號】CN105677270
【申請?zhí)枴?br>【發(fā)明人】袁松
【申請人】安訊士有限公司
【公開日】2016年6月15日
【申請日】2015年12月4日