關(guān)等。用戶接口 971對用戶經(jīng)由這些結(jié)構(gòu)構(gòu)件的操作進行檢測、生成操作信號并且將所生成的操作信號輸出至控制部970。
[0275]傳感器972包括傳感器組如加速度傳感器和陀螺儀傳感器，并且輸出表示圖像拍攝裝置960的運動的指標。電池974經(jīng)由從圖中省略的電力線給圖像拍攝部962、信號處理部963、圖像處理部964、顯示部965、介質(zhì)驅(qū)動器968、0SD 969、控制部970以及傳感器972提供電力。
[0276]在以上述方式配置的圖像拍攝裝置960中，圖像處理部964包括根據(jù)上述實施方式的圖像編碼裝置10或圖像編碼裝置60的功能。因此，在圖像拍攝裝置960中，可以由圖像處理部964根據(jù)與資源效率相關(guān)的操作模式來靈活控制塊劃分深度，并且有效地利用圖像拍攝裝置960的資源。
[0277]<5.結(jié)論〉
[0278]因此，前面使用圖1至圖22詳細描述了根據(jù)本公開內(nèi)容的技術(shù)的實施方式。根據(jù)上述實施方式，在通過遞歸地劃分要編碼的圖像的塊而形成編碼單元的圖像編碼方案中，當配置編碼單元時，根據(jù)與資源效率有關(guān)的模式來控制塊劃分深度。因此，在圖像質(zhì)量優(yōu)先的情況下，可以確保用于決定最優(yōu)塊劃分的足夠的資源，而在資源效率優(yōu)先的情況下，可以限制塊劃分深度并且節(jié)約資源。例如，在限制塊劃分深度的情況下，可以減少電池消耗，并且過量的資源可以用于實現(xiàn)較高的幀或者用于加速編碼處理。
[0279]在一個工作示例中，限制塊劃分深度以使得編碼單元不具有多個可用尺寸之中的較小尺寸。在這種情況下，可以省略用于決定塊劃分的多個處理，并且可以有效地減少資源的使用率。此外，在一個工作示例中，限制塊劃分深度以使得編碼單元不具有多個可用尺寸之中的較大尺寸。在這種情況下，可以減少資源的使用率同時仍然使用小CU以為解碼時重現(xiàn)圖像的細紋理留下空間。
[0280]在一個工作示例中，通過調(diào)整IXU尺寸或S⑶尺寸的值來限制塊劃分深度。在這種情況下，用于指定四叉樹結(jié)構(gòu)的分裂標志的數(shù)目減少，從而提高編碼效率。此外，在一個工作示例中，不是通過調(diào)整LCU或SCU尺寸的值來限制塊劃分深度，而是通過跳過對編碼單元的指定尺寸的成本比較來限制塊劃分深度。在這種情況下，可以在不更新SPS的情況下自由地改變劃分深度。
[0281]應(yīng)注意，可以在任何軟件、硬件以及軟件和硬件的組合中實現(xiàn)本說明書所描述的裝置進行的一系列控制過程。例如，構(gòu)成軟件的程序預先存儲在設(shè)置在每個裝置的內(nèi)部或外部的非暫態(tài)介質(zhì)中。然后，例如，在運行時將每個程序加載到隨機存取存儲器(RAM)中并且由處理器如CPU執(zhí)行。
[0282]在本說明書中闡述的術(shù)語CU、PU和TU是指與HEVC中的各塊相關(guān)聯(lián)的包括語法的邏輯單元。在僅處理作為圖像的一部分的各塊的情況下，這些術(shù)語可以分別被下述術(shù)語取代:編碼塊(CB)、預測塊(PB)和變換塊(TB)。CB是通過將編碼樹塊(CTB)遞歸地劃分成四叉樹結(jié)構(gòu)而形成的。一整個四叉樹對應(yīng)于CTB，并且對應(yīng)于CTB的邏輯單元被稱為編碼樹單元(CTU)。
[0283]應(yīng)注意，本說明書主要描述了其中有關(guān)塊劃分的信息被多路復用到編碼流的頭中并且被從編碼側(cè)傳輸至解碼側(cè)的示例。然而，傳輸這種信息的技術(shù)不限于這種示例。例如，這種信息也可以被傳輸或記錄為與編碼位流相關(guān)聯(lián)的獨立的數(shù)據(jù)而不被復用至編碼位流。本文中，術(shù)語“相關(guān)聯(lián)”是指當解碼時包括在位流中的圖像(也包括部分圖像如片或塊)和對應(yīng)于那些圖像的信息能夠鏈接。換言之，可以在與圖像(或位流)分離的傳輸通道上傳輸信息。此外，可以將信息記錄至與圖像(或位流)分離的記錄介質(zhì)(或相同記錄介質(zhì)上的不同記錄區(qū)域)。此外，例如，信息和圖像(或位流)可以以任意單元如多個幀、單幀或幀內(nèi)的一部分彼此相關(guān)聯(lián)。
[0284]因此，前面參照附圖詳細描述了本公開的優(yōu)選實施方式。然而，本公開的技術(shù)范圍并不限于這種示例。本公開內(nèi)容所屬領(lǐng)域的技術(shù)人員應(yīng)明白，在權(quán)利要求中所述的技術(shù)思想的范圍內(nèi)可以對本公開內(nèi)容進行各種修改或變化，并且應(yīng)理解，這種修改或變化明顯屬于本公開的技術(shù)范圍。
[0285]另外，本技術(shù)還可以配置如下。
[0286](I) 一種用于對圖像信號進行編碼的編碼器，包括:
[0287]處理器，被配置成:
[0288]接收指示與資源效率相關(guān)聯(lián)的已確定操作模式的操作模式信號，以及
[0289]基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。
[0290](2)根據(jù)(I)所述的編碼器，其中，所述處理器對于每個已確定的最大編碼單元(LCU)，基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。
[0291](3)根據(jù)(I)或(2)所述的編碼器，其中，所述編碼器用于根據(jù)高效率視頻編碼(HEVC)對所述圖像信號進行編碼。
[0292](4)根據(jù)(I)至(3)中任一項所述的編碼器，其中，所述操作模式是基于針對用戶接口的、從多個操作模式中選擇所述操作模式的用戶輸入來確定的。
[0293](5)根據(jù)(I)至(4)中任一項所述的編碼器，其中，所述與資源效率相關(guān)聯(lián)的已確定操作模式是正常模式和資源效率模式之一，并且通過針對用戶接口的用戶輸入指定，所述資源效率模式是以下模式之一:電池使用效率模式，其中減少電池消耗優(yōu)先于圖像質(zhì)量；電池電量模式，其在電池電量低于閾值時自動啟動；處理資源使用效率模式，其中處理資源優(yōu)先。
[0294](6)根據(jù)(I)至(4)中任一項所述的編碼器，其中，所述已確定操作模式是第一操作模式和第二操作模式之一，并且所述處理器通過以下方式控制用于所述塊設(shè)置過程的所述塊劃分深度:在所述第一操作模式下將所述塊劃分深度設(shè)置成第一深度以及在所述第二操作模式下將所述塊劃分深度設(shè)置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。
[0295](7)根據(jù)(I)至(4)中任一項所述的編碼器，其中，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第一操作模式，所述處理器控制所述塊劃分深度，使得不對用于所述塊設(shè)置過程的所述塊劃分深度進行限制。
[0296](8)根據(jù)(I)至(4)中任一項所述的編碼器，其中，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第一操作模式，所述處理器對從最小編碼單元(SCU)到已確定的最大編碼單元(LCU)的所有編碼單元(CU)執(zhí)行所述塊設(shè)置過程。
[0297](9)根據(jù)⑴至(4)中任一項所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，所述處理器控制所述塊劃分深度，使得限制用于所述塊設(shè)置過程的所述塊劃分深度。
[0298](10)根據(jù)(I)至(4)中任一項所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，所述處理器對少于從最小編碼單元(SCU)到已確定的最大編碼單元(LCU)的所有編碼單元(CU)的編碼單元執(zhí)行所述塊設(shè)置過程。
[0299](11)根據(jù)(I)至(4)中任一項所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，與關(guān)于總數(shù)量的編碼單元針對所述第一操作模式執(zhí)行的計算相比，所述處理器關(guān)于少于所述總數(shù)量編碼單元的多個編碼單元(CU)進行至少一個較小成本的計算。
[0300](12)根據(jù)(9)至(11)中任一項所述的編碼器，其中，通過以下方式執(zhí)行所述塊劃分過程:增大最小編碼單元(SCU)的值并且執(zhí)行關(guān)于包括已確定的最大編碼單元(LCU)的所有其他編碼單元(CU)的成本計算和成本比較；或者跳過關(guān)于所述LCU的成本計算和成本比較。
[0301](13)根據(jù)(9)至(11)中任一項所述的編碼器，其中，通過以下方式執(zhí)行所述塊劃分過程:減小已確定的最大編碼單元(LCU)的值并且執(zhí)行關(guān)于包括最小編碼單元(SCU)的所有其他編碼單元(CU)的成本計算和成本比較；或者跳過關(guān)于所述LCU的成本計算和成本比較。
[0302](14) 一種被配置成對編碼圖像信號進行解碼的解碼器，包括:
[0303]處理電路，被配置成對所述編碼圖像信號進行解碼以重現(xiàn)與所述編碼圖像信號相關(guān)聯(lián)的四叉樹結(jié)構(gòu)，
[0304]其中，所述編碼圖像信號是基于以下方面編碼的:
[0305]操作模式信號，其指示對所述編碼圖像信號進行編碼的編碼器的與資源效率相關(guān)聯(lián)的已確定操作模式，以及
[0306]基于對所述編碼圖像信號進行編碼的編碼器的所述操作模式信號所指示的所述已確定操作模式來針對塊設(shè)置過程設(shè)置的塊劃分深度。
[0307](15)根據(jù)(14)所述的解碼器，其中，所述處理電路基于多路復用至所述編碼圖像信號的參數(shù)，通過遞歸地劃分所述編碼圖像信號的最大編碼單元(LCU)來重現(xiàn)與所述編碼圖像信號相關(guān)聯(lián)的所述四叉樹結(jié)構(gòu)。
[0308](16) —種圖像處理系統(tǒng)，包括:
[0309]用戶接口；以及
[0310]處理電路，被配置成:
[0311]接收指示與資源效率相關(guān)聯(lián)的已確定操作模式的操作模式信號，以及
[0312]基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度，
[0313]其中，所述已確定操作模式是基于針對用戶接口的、從多個操作模式中選擇所述操作模式的用戶輸入確定的。
[0314](17)根據(jù)(16)所述的圖像處理系統(tǒng)，其中，
[0315]所述處理電路對于每個已確定的最大編碼單元(LCU)，基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。
[0316](18)根據(jù)(16)或(17)所述的圖像處理系統(tǒng)，其中，所述已確定操作模式是第一操作模式和第二操作模式之一，并且所述處理電路通過以下方式控制用于所述塊設(shè)置過程的所述塊劃分深度:在所述第一操作模式下將所述塊劃分深度設(shè)置成第一深度以及在所述第二操作模式下將所述塊劃分深度設(shè)置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。
[0317](19)根據(jù)(16)至(18)中任一項所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是移動電話并且還包括電池。
[0318](20)根據(jù)(16)至(18)中任一項所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是記錄和播放裝置并且還包括:
[0319]解碼器；
[0320]HDD ；以及
[0321]盤驅(qū)動器。
[0322](21)根據(jù)(16)至(18)中任一項所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是攝像機并且還包括:
[0323]電池；以及
[0324]圖像拍攝電路。
[0325]附圖標記列表
[0326]10，60圖像編碼裝置
[0327]14正交變換部
[0328]27選擇部
[0329]35幀間預測部
[0330]41模式控制部
[0331]47塊設(shè)置部
【主權(quán)項】
1.一種用于對圖像信號進行編碼的編碼器，包括: 處理器，被配置成: 接收指示與資源效率相關(guān)聯(lián)的已確定操作模式的操作模式信號，以及 基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。2.根據(jù)權(quán)利要求1所述的編碼器，其中，所述處理器對于每個已確定的最大編碼單元(LCU)，基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。3.根據(jù)權(quán)利要求1所述的編碼器，其中，所述編碼器用于根據(jù)高效率視頻編碼(HEVC)對所述圖像信號進行編碼。4.根據(jù)權(quán)利要求1所述的編碼器，其中，所述操作模式是基于針對用戶接口的、從多個操作模式中選擇所述操作模式的用戶輸入來確定的。5.根據(jù)權(quán)利要求1所述的編碼器，其中，所述與資源效率相關(guān)聯(lián)的已確定操作模式是正常模式和資源效率模式之一，并且通過針對用戶接口的用戶輸入指定，所述資源效率模式是以下模式之一:電池使用效率模式，其中減少電池消耗優(yōu)先于圖像質(zhì)量；電池電量模式，其在電池電量低于閾值時自動啟動；處理資源使用效率模式，其中處理資源優(yōu)先。6.根據(jù)權(quán)利要求1所述的編碼器，其中，所述已確定操作模式是第一操作模式和第二操作模式之一，并且所述處理器通過以下方式控制用于所述塊設(shè)置過程的所述塊劃分深度:在所述第一操作模式下將所述塊劃分深度設(shè)置成第一深度以及在所述第二操作模式下將所述塊劃分深度設(shè)置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。7.根據(jù)權(quán)利要求1所述的編碼器，其中，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第一操作模式，所述處理器控制所述塊劃分深度，使得不對用于所述塊設(shè)置過程的所述塊劃分深度進行限制。8.根據(jù)權(quán)利要求1所述的編碼器，其中，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第一操作模式，所述處理器對從最小編碼單元(SCU)到已確定的最大編碼單元(LCU)的所有編碼單元(CU)執(zhí)行所述塊設(shè)置過程。9.根據(jù)權(quán)利要求1所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，所述處理器控制所述塊劃分深度，使得限制用于所述塊設(shè)置過程的所述塊劃分深度。10.根據(jù)權(quán)利要求1所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，所述處理器對少于從最小編碼單元(SCU)到已確定的最大編碼單元(LCU)的所有編碼單元(CU)的編碼單元執(zhí)行所述塊設(shè)置過程。11.根據(jù)權(quán)利要求1所述的編碼器，對于從包括第一操作模式和第二操作模式的多個操作模式中確定的所述第二操作模式，與關(guān)于總數(shù)量的編碼單元針對所述第一操作模式執(zhí)行的計算相比，所述處理器關(guān)于少于所述總數(shù)量編碼單元的多個編碼單元(CU)進行至少一個較小成本的計算。12.根據(jù)權(quán)利要求9所述的編碼器，其中，通過以下方式執(zhí)行所述塊劃分過程:增大最小編碼單元(SCU)的值并且執(zhí)行關(guān)于包括已確定的最大編碼單元(LCU)的所有其他編碼單元(CU)的成本計算和成本比較；或者跳過關(guān)于所述LCU的成本計算和成本比較。13.根據(jù)權(quán)利要求9所述的編碼器，其中，通過以下方式執(zhí)行所述塊劃分過程:減小已確定的最大編碼單元(LCU)的值并且執(zhí)行關(guān)于包括最小編碼單元(SCU)的所有其他編碼單元(CU)的成本計算和成本比較；或者跳過關(guān)于所述LCU的成本計算和成本比較。14.一種被配置成對編碼圖像信號進行解碼的解碼器，包括: 處理電路，被配置成對所述編碼圖像信號進行解碼以重現(xiàn)與所述編碼圖像信號相關(guān)聯(lián)的四叉樹結(jié)構(gòu)， 其中，所述編碼圖像信號是基于以下方面編碼的: 操作模式信號，其指示對所述編碼圖像信號進行編碼的編碼器的與資源效率相關(guān)聯(lián)的已確定操作模式，以及 基于對所述編碼圖像信號進行編碼的編碼器的所述操作模式信號所指示的所述已確定操作模式來針對塊設(shè)置過程設(shè)置的塊劃分深度。15.根據(jù)權(quán)利要求14所述的解碼器，其中，所述處理電路基于多路復用至所述編碼圖像信號的參數(shù)，通過遞歸地劃分所述編碼圖像信號的最大編碼單元(LCU)來重現(xiàn)與所述編碼圖像信號相關(guān)聯(lián)的所述四叉樹結(jié)構(gòu)。16.一種圖像處理系統(tǒng)，包括: 用戶接口 ；以及 處理電路，被配置成: 接收指示與資源效率相關(guān)聯(lián)的已確定操作模式的操作模式信號，以及 基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度， 其中，所述已確定操作模式是基于針對用戶接口的、從多個操作模式中選擇所述操作模式的用戶輸入確定的。17.根據(jù)權(quán)利要求16所述的圖像處理系統(tǒng)，其中，所述處理電路對于每個已確定的最大編碼單元(LCU)，基于由所述操作模式信號指示的所述已確定操作模式來控制用于塊設(shè)置過程的塊劃分深度。18.根據(jù)權(quán)利要求16所述的圖像處理系統(tǒng)，其中，所述已確定操作模式是第一操作模式和第二操作模式之一，并且所述處理電路通過以下方式控制用于所述塊設(shè)置過程的所述塊劃分深度:在所述第一操作模式下將所述塊劃分深度設(shè)置成第一深度以及在所述第二操作模式下將所述塊劃分深度設(shè)置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。19.根據(jù)權(quán)利要求16所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是移動電話并且還包括電池。20.根據(jù)權(quán)利要求16所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是記錄和播放裝置并且還包括: 解碼器； HDD ；以及 盤驅(qū)動器。21.根據(jù)權(quán)利要求16所述的圖像處理系統(tǒng)，其中，所述圖像處理系統(tǒng)是攝像機并且還包括: 電池；以及 圖像拍攝電路。
【專利摘要】用于處理圖像信號的圖像處理系統(tǒng)、方法及裝置。所述圖像處理系統(tǒng)、方法及裝置接收指示與資源效率相關(guān)聯(lián)的已確定操作模式的操作模式信號，以及基于由操作模式信號指示的已確定操作模式來控制塊設(shè)置過程的塊劃分深度。
【IPC分類】H04N19/146, H04N19/162, H04N19/176, H04N19/119, H04N19/156
【公開號】CN105247864
【申請?zhí)枴緾N201480029706
【發(fā)明人】土屋壽治, 佐佐木雅朗
【申請人】索尼公司
【公開日】2016年1月13日
【申請日】2014年5月16日
【公告號】US20150381980, WO2014192244A1