專利名稱：場景轉(zhuǎn)換檢測裝置以及影像記錄裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及從連續(xù)的影像中檢測出多個場景(場面)的變化點(場景轉(zhuǎn)換)的場 景轉(zhuǎn)換(scene change)檢測裝置以及使用了該裝置的影像記錄裝置。
背景技術(shù)：
在數(shù)字?jǐn)z影機(jī)或記錄數(shù)字廣播的影像記錄裝置等中，使用對連續(xù)記錄的一個影像 序列中所包含的場景轉(zhuǎn)換進(jìn)行檢測的場景轉(zhuǎn)換檢測裝置。作為以往的場景轉(zhuǎn)換檢測的方法，例如有如下那樣的專利文獻(xiàn)1、2所示的方法。在專利文獻(xiàn)1中，使用直方圖差分法，在該直方圖差分法中，求出某幀圖像的亮度 或者色差的像素值的度數(shù)分布(直方圖histogram)，例如將2幀圖像之間的直方圖的差異 作為評價值計算出，并對評價值進(jìn)行閾值處理，從而對場景轉(zhuǎn)換進(jìn)行檢測。在專利文獻(xiàn)2中，公開了根據(jù)對以MPEG-2編碼方式編碼的編碼流進(jìn)行解碼而得到 的解碼圖像生成直方圖的方法，并公開了為了高速進(jìn)行場景轉(zhuǎn)換，在對包含于編碼流中的 DCT系數(shù)進(jìn)行解碼時，不解碼所有系數(shù)而是根據(jù)削減所使用的分量(次數(shù))而解碼的圖像生 成直方圖的方法。另外，作為不對以MPEG-2編碼方式編碼的編碼流進(jìn)行解碼而抽出用于場景轉(zhuǎn)換 的特征量的方法，例如有專利文獻(xiàn)3所示的方法。在專利文獻(xiàn)3中，作為不對以像MPEG-2編碼方式那樣使用了 DCT的幀結(jié)構(gòu)的壓縮 方式編碼的編碼流進(jìn)行解碼而檢測場景轉(zhuǎn)換的方法，公開了將DCT系數(shù)的特定位置的頻率 分量的值用作評價值的方法。例如，在包含于幀內(nèi)的兩個場(field)之間存在場景轉(zhuǎn)換的 情況下，奇數(shù)場與偶數(shù)場的數(shù)據(jù)值之差變大，成為橫條紋(水平方向分量)多的幀。在將橫 條紋多的圖像分割為塊進(jìn)行了 DCT變換的情況下，利用左端尤其是左下的分量值的絕對值 變大的現(xiàn)象來檢測場景轉(zhuǎn)換。但是，作為數(shù)字?jǐn)z影機(jī)或記錄數(shù)字廣播的影像記錄裝置等中使用的影像編碼方 式，除了 MPEG-2以外還有AVC/H. 264編碼方式。在AVC/H. 264編碼方式中，將圖像分割為 規(guī)定尺寸的塊(宏塊)，并進(jìn)行宏塊單位的編碼。對于各宏塊，選擇僅使用編碼對象幀內(nèi)的 數(shù)據(jù)來進(jìn)行編碼的幀內(nèi)編碼模式(幀內(nèi)模式dntra-mode)、在幀間進(jìn)行運動補償預(yù)測來進(jìn) 行編碼的幀間編碼模式(幀間模式inter-mode)中的某一個模式。以下，說明選擇了幀內(nèi) 模式的宏塊的編碼方法。宏塊被分割為規(guī)定尺寸的塊，按照塊單位進(jìn)行編碼。對于編碼對 象的塊內(nèi)的像素，使用周邊的已編碼塊的像素進(jìn)行預(yù)測(幀內(nèi)預(yù)測)，得到與通過幀內(nèi)預(yù)測 生成的預(yù)測信號的差分信號(預(yù)測誤差信號)。對預(yù)測誤差信號進(jìn)行正交變換，得到變換系 數(shù)數(shù)據(jù)。對變換系數(shù)數(shù)據(jù)進(jìn)行量化而得到量化系數(shù)數(shù)據(jù)。對量化系數(shù)數(shù)據(jù)進(jìn)行算術(shù)編碼等 熵編碼，復(fù)用到比特流數(shù)據(jù)中。在幀內(nèi)預(yù)測中，通過預(yù)測信號的生成方法，準(zhǔn)備了多個模式 (幀內(nèi)預(yù)測模式)，可以按照塊單位選擇一個模式。選擇何種模式的信息按照塊單位被復(fù)用 到比特流數(shù)據(jù)中。專利文獻(xiàn)1 日本特開2008-85540公報
專利文獻(xiàn)2 國際公開第2007/017970號小冊子
專利文獻(xiàn)3 日本特開2002-64823公報
但是，在專利文獻(xiàn)1記載的方法中，必須對已編碼的流進(jìn)行解碼而臨時生成解碼 圖像，存在如下問題例如在無能為力(powerless)的CPU上進(jìn)行處理的情況或與記錄時的 編碼處理同時進(jìn)行的情況等，在場景轉(zhuǎn)換檢測處理中可占有的處理時間被限制的情況下， 來不及進(jìn)行場景轉(zhuǎn)換檢測處理。另外，在專利文獻(xiàn)2記載的方法中，采用了通過削減DCT系數(shù)的處理次數(shù)來降低處 理負(fù)荷的做法，但例如在像AVC/H. 264編碼方式那樣使用已編碼的像素來進(jìn)行預(yù)測編碼的 編碼方式的情況下，通過削減DCT系數(shù)的次數(shù)無法得到正確的預(yù)測圖像而誤差被傳播，導(dǎo) 致解碼圖像不成形，所以難以根據(jù)削減DCT系數(shù)的次數(shù)而解碼的解碼圖像進(jìn)行場景轉(zhuǎn)換檢 測。進(jìn)而，在專利文獻(xiàn)3記載的方法中，利用在存在場景轉(zhuǎn)換時成為橫條紋(水平方向 分量)多的幀的現(xiàn)象，但在像AVC/H. 264編碼方式那樣使用鄰接像素來進(jìn)行預(yù)測編碼時， DCT系數(shù)成為與預(yù)測圖像的誤差信號，例如在跨越塊而橫條紋連續(xù)的情況下，在對作為編碼 對象的右側(cè)的塊的像素值直接進(jìn)行DCT變換時在左端的系數(shù)中存在絕對值大的分量，但在 根據(jù)已編碼的塊的右端的像素值生成預(yù)測圖像時，預(yù)測誤差成為0，并且對預(yù)測誤差進(jìn)行了 DCT變換時也不產(chǎn)生DCT系數(shù)，所以難以檢測關(guān)注了特定分量的值的場景轉(zhuǎn)換。

發(fā)明內(nèi)容
本發(fā)明是為了解決上述那樣的課題而完成的，其目的在于提供一種場景轉(zhuǎn)換檢測 裝置以及影像記錄裝置，可以使用解碼像素從利用如進(jìn)行預(yù)測編碼那樣的編碼方式實施編 碼而得到的流中，高速地進(jìn)行場景轉(zhuǎn)換檢測。本發(fā)明的場景轉(zhuǎn)換檢測裝置，具備熵解碼單元，將影像數(shù)據(jù)分割為規(guī)定尺寸的 塊，從以該塊單位編碼的編碼流中，按照塊單位對表示生成預(yù)測信號的方法的預(yù)測模式進(jìn) 行熵解碼；預(yù)測模式直方圖生成單元，輸入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式，生 成直方圖；預(yù)測模式直方圖類似度計算單元，對針對每個圖片生成的預(yù)測模式的直方圖進(jìn) 行比較而計算直方圖之間的類似度；以及場景轉(zhuǎn)換判定單元，根據(jù)類似度，判定在圖片之間 是否存在場景轉(zhuǎn)換。本發(fā)明的場景轉(zhuǎn)換檢測裝置生成預(yù)測模式的多個塊的直方圖，對每個圖片的直方 圖進(jìn)行比較而求出直方圖的類似度，并根據(jù)該類似度判定在圖片之間是否存在場景轉(zhuǎn)換， 所以可以使用解碼像素從利用如進(jìn)行預(yù)測編碼那樣的編碼方式編碼得到的流中，高速地進(jìn) 行場景轉(zhuǎn)換檢測。


圖1是示出本發(fā)明的實施方式1的影像記錄裝置的結(jié)構(gòu)圖。圖2是示出本發(fā)明的實施方式1的場景轉(zhuǎn)換檢測裝置的結(jié)構(gòu)圖。圖3是示出AVC/H. 264編碼方式中的亮度的幀內(nèi)預(yù)測模式的說明圖。圖4是示出本發(fā)明的實施方式1的場景轉(zhuǎn)換檢測裝置中的某圖片的亮度的幀內(nèi)預(yù) 測模式的直方圖的說明圖。
圖5是本發(fā)明的實施方式2的場景轉(zhuǎn)換檢測裝置的結(jié)構(gòu)圖。符號說明1 影像記錄裝置；2 流控制部；3、3a 場景轉(zhuǎn)換檢測部；4 :HDD ；5 編碼部；31、 31a 熵解碼部；32 幀內(nèi)預(yù)測模式直方圖差分生成部；33、33a 場景轉(zhuǎn)換判定部；34 色差 信號解碼部；35 色差信號直方圖差分生成部；36 存儲器；341 逆量化部；342 逆正交變 換部；343 幀內(nèi)預(yù)測部；344 加法部。
具體實施例方式實施方式1圖1是示出本發(fā)明的實施方式1的影像記錄裝置的結(jié)構(gòu)圖。圖1所示的影像記錄裝置1具備流控制部2、場景轉(zhuǎn)換檢測部3、以及硬盤驅(qū)動器 (HDD) 4。流控制部2構(gòu)成為，輸入在設(shè)置于外部的編碼部5中以AVC/H. 264編碼方式編碼 而得到的編碼流，將該編碼流作為影像記錄信號輸出給HDD4，并且將幀內(nèi)圖片數(shù)據(jù)輸出給 場景轉(zhuǎn)換檢測部3。場景轉(zhuǎn)換檢測部3是輸入幀內(nèi)圖片數(shù)據(jù)而進(jìn)行場景轉(zhuǎn)換檢測處理的場 景轉(zhuǎn)換檢測裝置，對于其詳情在后面敘述。HDD4構(gòu)成記錄單元，記錄從流控制部2輸出的編 碼流與由場景轉(zhuǎn)換檢測部3檢測出的場景轉(zhuǎn)換位置信息。另外，編碼部5例如是調(diào)諧器這 樣的裝置，以AVC/H. 264編碼方式對影像信號進(jìn)行編碼，輸出編碼流。另外，也可以在影像 記錄裝置1內(nèi)部具備該編碼部5。圖2是示出場景轉(zhuǎn)換檢測部3的內(nèi)部的結(jié)構(gòu)圖。場景轉(zhuǎn)換檢測部3具備熵解碼部31、幀內(nèi)預(yù)測模式直方圖差分生成部32、以及場 景轉(zhuǎn)換判定部33。熵解碼部31是輸入從流控制部2輸出的幀內(nèi)圖片數(shù)據(jù)，進(jìn)行熵解碼的 功能部。幀內(nèi)預(yù)測模式直方圖差分生成部32是如下功能部根據(jù)由熵解碼部31熵解碼出 的編碼參數(shù)中的預(yù)測模式，生成1個圖片內(nèi)的多個塊的直方圖，對每個圖片的直方圖進(jìn)行 比較，計算直方圖之間的類似度。場景轉(zhuǎn)換判定部33是如下功能部根據(jù)從幀內(nèi)預(yù)測模式 直方圖差分生成部32輸出的直方圖之間的類似度，判定在圖片之間是否存在場景轉(zhuǎn)換。另 外，熵解碼部31構(gòu)成熵編碼單元，幀內(nèi)預(yù)測模式直方圖差分生成部32構(gòu)成預(yù)測模式直方圖 生成單元與預(yù)測模式直方圖類似度計算單元，場景轉(zhuǎn)換判定部33構(gòu)成場景轉(zhuǎn)換判定單元。接下來，說明實施方式1的影像記錄裝置的動作。在編碼部5中以AVC/H. 264編碼方式編碼而得到的編碼流被輸入到流控制部2。 流控制部2將在場景轉(zhuǎn)換檢測中使用的編碼流輸出給場景轉(zhuǎn)換檢測部3。如以下說明，在場 景轉(zhuǎn)換檢測部3僅使用影像數(shù)據(jù)的尤其是被幀內(nèi)編碼的圖片數(shù)據(jù)(幀內(nèi)圖片數(shù)據(jù))來進(jìn)行 場景轉(zhuǎn)換檢測的情況下，在流控制部2中，從編碼流中僅抽出幀內(nèi)圖片數(shù)據(jù)并輸出給場景 轉(zhuǎn)換檢測部3。場景轉(zhuǎn)換檢測部3輸入幀內(nèi)圖片數(shù)據(jù)而進(jìn)行場景轉(zhuǎn)換檢測處理。以下，說明該場 景轉(zhuǎn)換檢測處理。從流控制部2輸出的幀內(nèi)圖片數(shù)據(jù)被輸入到熵解碼部31，通過算術(shù)解碼 或者可變長解碼等熵解碼，對以塊單位編碼的編碼參數(shù)與預(yù)測誤差信號的量化系數(shù)數(shù)據(jù)進(jìn) 行解碼。在熵解碼出的編碼參數(shù)中，亮度的幀內(nèi)預(yù)測模式被輸出到幀內(nèi)預(yù)測模式直方圖差 分生成部32。在此，說明AVC/H. 264編碼方式中的幀內(nèi)預(yù)測模式。對于亮度的幀內(nèi)預(yù)測模式，可以按照塊單位從九個模式中選擇一個模式。圖3示出亮度的幀內(nèi)預(yù)測模式。在圖3中，白圓 是編碼對象的塊內(nèi)的像素。黑圓是在預(yù)測中使用的像素，是已編碼的鄰接塊內(nèi)的像素。例 如，模式O是垂直方向預(yù)測，通過在垂直方向上重復(fù)上面的塊的鄰接像素來生成預(yù)測圖像。 例如在縱條紋圖案時，選擇模式O。同樣地，模式1是水平方向預(yù)測，通過在水平方向上重復(fù) 左面的塊的鄰接像素來生成預(yù)測圖像。例如在橫條紋圖案時，選擇模式1。這樣，根據(jù)圖像 所具有的結(jié)構(gòu)性的特征來決定幀內(nèi)預(yù)測模式。因此，通過在圖片內(nèi)觀察幀內(nèi)預(yù)測模式的分 布的變化，可以檢測出結(jié)構(gòu)性的特征大幅變化的場景的變化點。
幀內(nèi)預(yù)測模式直方圖差分生成部32輸入按照塊單位熵解碼出的幀內(nèi)預(yù)測模式， 按照圖片單位生成幀內(nèi)預(yù)測模式的直方圖。在亮度的幀內(nèi)預(yù)測模式的情況下，有九個模式 且對各模式的個數(shù)進(jìn)行計數(shù)。圖4示出某圖片的亮度的幀內(nèi)預(yù)測模式的直方圖。在圖4中， 橫軸表示幀內(nèi)預(yù)測模式，縱軸表示各模式的個數(shù)(頻度)。生成的直方圖被存儲到直方圖緩 沖器(未圖示)中。在使用2個圖片的直方圖來計算圖片之間的類似度的情況下，準(zhǔn)備2 個直方圖緩沖器即可。在使用3個圖片以上的直方圖來計算場景的類似度的情況下，直方 圖緩沖器也需要3個以上。幀內(nèi)預(yù)測模式直方圖差分生成部32計算存儲在直方圖緩沖器中的幀內(nèi)預(yù)測模式 的直方圖之間的類似度。將兩個直方圖之間的類似度設(shè)為例如，將與直方圖的相同要素 (幀內(nèi)預(yù)測模式)對應(yīng)的頻度(個數(shù))的絕對差分針對所有要素相加而得到的值(絕對差 分和)(式1)。圖片i的幀內(nèi)預(yù)測模式的直方圖Hi = Ihi(O), ^(1), ...,^(Ν-1)},Ν = 9圖片i+1 的幀內(nèi)預(yù)測模式的直方圖:Hi+1 = {hi+1(0)，hi+1(l)，…，hi+1(N_l)}，N = 9圖片i與圖片i+Ι的直方圖之間的類似度d(式 υ另外，也可以將對各要素的絕對差分進(jìn)行不同的加權(quán)之后相加而得到的值(加權(quán) 絕對差分和)作為直方圖之間的類似度。特別是，在有針對場景的結(jié)構(gòu)性的變化敏感地變 化的幀內(nèi)預(yù)測模式的情況下，可以通過增大對該幀內(nèi)預(yù)測模式的加權(quán)來提高場景轉(zhuǎn)換的精度。由幀內(nèi)預(yù)測模式直方圖差分生成部32求出的連續(xù)的圖片的直方圖之間的類似度 被輸出到場景轉(zhuǎn)換判定部33。場景轉(zhuǎn)換判定部33對直方圖之間的類似度與規(guī)定的閾值進(jìn)行比較，在類似度超 過閾值的情況下，將其圖片之間判定為場景轉(zhuǎn)換，將判定為場景轉(zhuǎn)換的圖片的時刻信息作 為場景轉(zhuǎn)換位置信息輸出。在場景轉(zhuǎn)換的判定中使用的閾值可以是預(yù)先確定的固定值，但 也可以根據(jù)判定為同一場景內(nèi)的圖片之間的類似度的平均值或方差來動態(tài)地決定閾值。即 使是相同的場景，在變動大的場景中，類似度的平均值或方差也變大，所以將閾值也設(shè)定為 較大的值。相對于此，在幾乎沒有變動的場景中，由于類似度的平均值或方差變小，所以將 閾值也設(shè)定為較小的值。通過這樣決定閾值，可以防止誤檢測，提高場景轉(zhuǎn)換的精度。從場景轉(zhuǎn)換判定部33輸出的場景轉(zhuǎn)換位置信息被記錄到HDD4等記錄介質(zhì)中。另外，在上述說明中，使用亮度的幀內(nèi)預(yù)測模式的直方圖來檢測了場景轉(zhuǎn)換，但在AVC/H. 264中，與亮度的幀內(nèi)預(yù)測模式不同地準(zhǔn)備了針對色差信號的幀內(nèi)預(yù)測模式(4種)。 因此，也可以與亮度同樣地，使用色差的幀內(nèi)預(yù)測模式的直方圖檢測場景轉(zhuǎn)換。另外，也可 以使用亮度的幀內(nèi)預(yù)測模式與色差的幀內(nèi)預(yù)測模式這兩方的直方圖來檢測場景轉(zhuǎn)換。另外，在AVC/H. 264中，作為亮度的幀內(nèi)預(yù)測的塊尺寸，可以從水平16像素X垂 直16行、水平8像素X垂直8行、以及水平4像素X垂直4行中選擇。因此，也可以使用 這些幀內(nèi)預(yù)測的塊尺寸的直方圖來檢測場景轉(zhuǎn)換。在該情況下，幀內(nèi)預(yù)測模式直方圖差分 生成部32并不是計算幀內(nèi)預(yù)測模式的直方圖，而是計算幀內(nèi)預(yù)測的塊尺寸的直方圖的類 似度。
另外，在本實施方式中，以編碼流是按照AVC/H. 264編碼方式進(jìn)行編碼而得到的 流的情況為前提進(jìn)行了說明，但只要是在進(jìn)行幀內(nèi)編碼時使用多個預(yù)測模式來生成預(yù)測圖 像并將預(yù)測模式與預(yù)測誤差信號以塊單位進(jìn)行編碼的編碼方式，則可以同樣地檢測出場景 轉(zhuǎn)換。進(jìn)而，在本實施方式中，按照圖片單位將編碼流輸入給場景轉(zhuǎn)換檢測部3，但也可 以按照將圖片分割為多個區(qū)域而得到的單位(切片單位)輸入給場景轉(zhuǎn)換檢測部3。另外， 也可以將圖片內(nèi)的部分區(qū)域(例如僅上半部分或者中央等)輸入給場景轉(zhuǎn)換檢測部3。如上所述，根據(jù)實施方式1的場景轉(zhuǎn)換檢測裝置，具備熵解碼單元，將影像數(shù)據(jù) 分割為規(guī)定尺寸的塊，從以塊單位編碼的編碼流中，按照塊單位對表示生成預(yù)測信號的方 法的預(yù)測模式進(jìn)行熵解碼；預(yù)測模式直方圖生成單元，輸入1個圖片內(nèi)的多個塊的熵解碼 出的預(yù)測模式，生成直方圖；預(yù)測模式直方圖類似度計算單元，對針對每個圖片生成的預(yù)測 模式的直方圖進(jìn)行比較，計算直方圖之間的類似度；以及場景轉(zhuǎn)換判定單元，根據(jù)類似度判 定在圖片之間是否存在場景轉(zhuǎn)換，所以可以利用解碼像素，從使用如進(jìn)行預(yù)測編碼那樣的 編碼方式實施編碼而得到的流中，高速地進(jìn)行場景轉(zhuǎn)換檢測。另外，根據(jù)實施方式1的影像記錄裝置，由于將輸入到預(yù)測模式直方圖生成單元 的預(yù)測模式設(shè)為1個圖片量，所以可以高精度地檢測圖片之間的場景轉(zhuǎn)換。另外，根據(jù)實施方式1的影像記錄裝置，具備編碼單元，將影像數(shù)據(jù)分割為規(guī)定 尺寸的塊，輸出以塊單位編碼的編碼流；熵解碼單元，從由編碼單元輸出的編碼流中，按照 塊單位對表示生成預(yù)測信號的方法的預(yù)測模式進(jìn)行熵解碼；預(yù)測模式直方圖生成單元，輸 入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式，生成直方圖；預(yù)測模式直方圖類似度計算 單元，對針對每個圖片生成的預(yù)測模式的直方圖進(jìn)行比較，計算類似度；場景轉(zhuǎn)換判定單 元，根據(jù)類似度，判定在圖片之間是否存在場景轉(zhuǎn)換；場景轉(zhuǎn)換位置信息輸出單元，在場景 轉(zhuǎn)換判定單元中判定為存在場景轉(zhuǎn)換的情況下，輸出場景轉(zhuǎn)換的位置信息；以及記錄單元， 記錄場景轉(zhuǎn)換位置信息與編碼流，所以能夠?qū)崿F(xiàn)如下的影像記錄裝置，即可以使用解碼像 素，從利用如進(jìn)行預(yù)測編碼那樣的編碼方式實施編碼而得到的流中，高速地進(jìn)行場景轉(zhuǎn)換 檢測的影像記錄裝置。實施方式2在實施方式1中，使用包含在幀內(nèi)圖片數(shù)據(jù)中的幀內(nèi)預(yù)測模式來檢測了場景轉(zhuǎn) 換，但在本實施方式中除了幀內(nèi)預(yù)測模式以外還使用色差信號來檢測場景轉(zhuǎn)換。圖5是示出實施方式2中的影像記錄裝置的場景轉(zhuǎn)換檢測部的內(nèi)部的結(jié)構(gòu)圖。實施方式2中的場景轉(zhuǎn)換檢測部3a具備熵解碼部31a、幀內(nèi)預(yù)測模式直方圖差分生成部32、場景轉(zhuǎn)換判定部33a、色差信號解碼部34、色差信號直方圖差分生成部35、以及 存儲器36。熵解碼部31a具有實施方式1的熵解碼部31的功能，并且根據(jù)幀內(nèi)圖片數(shù)據(jù)，輸 出色差量化系數(shù)數(shù)據(jù)與色差的幀內(nèi)預(yù)測模式。幀內(nèi)預(yù)測模式直方圖差分生成部32具有與 實施方式1的幀內(nèi)預(yù)測模式直方圖差分生成部32同樣的功能。另外，場景轉(zhuǎn)換判定部33a 根據(jù)從幀內(nèi)預(yù)測模式直方圖差分生成部32輸出的幀內(nèi)預(yù)測模式的直方圖之間的類似度、 與從色差信號直方圖差分生成部35輸出的色差信號的直方圖之間的類似度，判定場景轉(zhuǎn) 換。色差信號解碼部34具備逆量化部341、逆正交變換部342、幀內(nèi)預(yù)測部343、以及加 法部344，它們具有如下那樣的功能。逆量化部341進(jìn)行色差量化系數(shù)數(shù)據(jù)的逆量化。逆正 交變換部342進(jìn)行從逆量化部341輸出的變換系數(shù)數(shù)據(jù)的逆正交變換，輸出預(yù)測誤差信號。 幀內(nèi)預(yù)測部343根據(jù)色差的幀內(nèi)預(yù)測模式與存儲在存儲器36中的解碼色差信號生成預(yù)測 信號，輸出給加法部344。加法部344將從逆正交變換部342輸出的預(yù)測誤差信號與從幀內(nèi) 預(yù)測部343輸出的預(yù)測信號相加，作為解碼色差信號輸出。色差信號直方圖差分生成部35是如下的功能部根據(jù)從色差信號解碼部34輸 出的解碼色差信號，求出色差信號的直方圖之間的類似度，并將其輸出給場景轉(zhuǎn)換判定部 33a。存儲器36是用于保持從色差信號解碼部34的加法部344輸出的解碼色差信號的存 儲部。另外，由色差信號解碼部34的逆量化部341與逆正交變換部342構(gòu)成預(yù)測誤差信 號解碼單元，幀內(nèi)預(yù)測部343構(gòu)成預(yù)測信號生成單元。另外，加法部344構(gòu)成加法單元，色 差信號直方圖差分生成部35構(gòu)成色差信號直方圖生成單元與色差信號直方圖類似度計算 單元。進(jìn)而，熵解碼部31a構(gòu)成熵解碼單元，場景轉(zhuǎn)換判定部33a構(gòu)成場景轉(zhuǎn)換判定單元。接下來，說明實施方式2的場景轉(zhuǎn)換檢測部3a的動作。幀內(nèi)圖片數(shù)據(jù)被輸入到熵解碼部31a，通過算術(shù)解碼或者可變長解碼等熵解碼，對 以塊單位編碼的編碼參數(shù)、量化系數(shù)數(shù)據(jù)進(jìn)行解碼。在熵解碼出的編碼參數(shù)中，亮度或者色 差的幀內(nèi)預(yù)測模式被輸出到幀內(nèi)預(yù)測模式直方圖差分生成部32。色差的幀內(nèi)預(yù)測模式被輸 出到色差信號解碼部34的幀內(nèi)預(yù)測部343。熵解碼出的色差的量化系數(shù)數(shù)據(jù)被輸出到逆量 化部341。由于幀內(nèi)預(yù)測模式直方圖差分生成部32的動作與實施方式1相同，所以省略在此 的說明。幀內(nèi)預(yù)測部343將色差的幀內(nèi)預(yù)測模式作為輸入，按照針對各個模式?jīng)Q定的預(yù)測 方法，從存儲器36中參照鄰接塊的解碼色差信號的像素并生成預(yù)測信號。預(yù)測信號被輸出 到加法部344。逆量化部341對輸入的色差的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化而得到變換系數(shù)數(shù)據(jù)。變 換系數(shù)數(shù)據(jù)被輸出到逆正交變換部342。逆正交變換部342對輸入的變換系數(shù)數(shù)據(jù)進(jìn)行逆 正交變換而得到預(yù)測誤差信號。預(yù)測誤差信號被輸出到加法部344。加法部344將輸入的預(yù)測誤差信號與預(yù)測信號相加而得到解碼色差信號。解碼色 差信號被輸出到色差信號直方圖差分生成部35。另外，為了在幀內(nèi)預(yù)測時參照，記錄到存儲 器36中。
色差信號直方圖差分生成部35根據(jù)1個圖片的解碼色差信號生成直方圖。在色 差信號具有8比特的灰度的情況下，將0至255的各像素值作為要素，對各要素的頻度進(jìn)行 計數(shù)而生成直方圖。另外，也可以按照適當(dāng)?shù)胤指?比特的灰度而得到的單位分配要素，由 此減少要素數(shù)。
色差信號直方圖差分生成部35計算連續(xù)的圖片的解碼色差信號的直方圖之間的 類似度。將直方圖之間的類似度設(shè)為，針對所有要素求出直方圖的相同要素的頻度(個數(shù)) 的絕對差分并相加得到的值(絕對差分和)。另外，也可以將對各要素的絕對差分進(jìn)行不同 的加權(quán)之后相加而得到的值(加權(quán)絕對差分和)作為直方圖之間的類似度。連續(xù)的圖片的 解碼色差信號的直方圖之間的類似度被輸出到場景轉(zhuǎn)換判定部33a。場景轉(zhuǎn)換判定部33a將輸入的連續(xù)的圖片的解碼色差信號的直方圖之間的差分 以及幀內(nèi)預(yù)測模式的直方圖之間的差分作為輸入，對解碼色差信號的直方圖之間的類似度 與幀內(nèi)預(yù)測模式的直方圖之間的類似度之和、和規(guī)定的閾值進(jìn)行比較，在類似度之和超過 閾值的情況下，將其圖片之間判定為場景轉(zhuǎn)換，輸出場景轉(zhuǎn)換位置信息。另外，也可以在求 出類似度之和時，付上權(quán)重，由此提高某一個類似度的優(yōu)先級。另外，在本實施方式中，求出了幀內(nèi)預(yù)測模式的直方圖與解碼色差信號的直方圖 這兩者，但也可以例如根據(jù)CPU的處理負(fù)荷狀況等，判斷是否生成解碼色差信號的直方圖， 在判斷為不生成解碼色差信號的直方圖的情況下，僅使用幀內(nèi)預(yù)測模式的直方圖來進(jìn)行場 景轉(zhuǎn)換的判定。如上所述，根據(jù)實施方式2的場景轉(zhuǎn)換檢測裝置，熵解碼單元從編碼流中按照塊 單位對色差的預(yù)測模式與預(yù)測誤差信號的量化系數(shù)數(shù)據(jù)進(jìn)行熵解碼，并且場景轉(zhuǎn)換檢測裝 置還具備預(yù)測誤差信號解碼單元，對熵解碼出的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化、逆正交變換而 解碼預(yù)測誤差信號；預(yù)測信號生成單元，按照用熵解碼出的色差的預(yù)測模式表示的方法，生 成預(yù)測信號；加法單元，將預(yù)測誤差信號與預(yù)測信號相加而生成色差的解碼信號；色差信 號直方圖生成單元，輸入1個圖片內(nèi)的多個塊的按照塊單位生成的色差的解碼信號，生成 直方圖；以及色差信號直方圖類似度計算單元，對針對每個圖片生成的色差信號的直方圖 進(jìn)行比較而計算類似度，其中，場景轉(zhuǎn)換判定單元根據(jù)從預(yù)測模式直方圖類似度計算單元 輸出的類似度、與從色差信號直方圖類似度計算單元輸出的類似度，判定在圖片之間是否 存在場景轉(zhuǎn)換，所以可以使用解碼像素，從利用如進(jìn)行預(yù)測編碼那樣的編碼方式編碼的流 中，高速地進(jìn)行場景轉(zhuǎn)換檢測，并且可以可靠地檢測場景轉(zhuǎn)換。另外，根據(jù)實施方式2的影像記錄裝置，具備編碼單元，將影像數(shù)據(jù)分割為規(guī)定 尺寸的塊，輸出以塊單位編碼的編碼流；熵解碼單元，從由編碼單元輸出的編碼流中，按照 塊單位對表示生成預(yù)測信號的方法的預(yù)測模式進(jìn)行熵解碼；預(yù)測模式直方圖生成單元，輸 入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式，生成直方圖；預(yù)測模式直方圖類似度計算 單元，對針對每個圖片生成的預(yù)測模式的直方圖進(jìn)行比較而計算類似度；場景轉(zhuǎn)換判定單 元，根據(jù)類似度，判定在圖片之間是否存在場景轉(zhuǎn)換；場景轉(zhuǎn)換位置信息輸出單元，在場景 轉(zhuǎn)換判定單元中判定為存在場景轉(zhuǎn)換的情況下，輸出場景轉(zhuǎn)換的位置信息；以及記錄單元， 記錄場景轉(zhuǎn)換位置信息與編碼流，并且，熵解碼單元從編碼流中按照塊單位對色差的預(yù)測 模式與預(yù)測誤差信號的量化系數(shù)數(shù)據(jù)進(jìn)行熵解碼，并且影像記錄裝置還具備預(yù)測誤差信 號解碼單元，對熵解碼出的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化、逆正交變換而解碼預(yù)測誤差信號；預(yù)測信號生成單元，按照用熵解碼出的色差的預(yù)測模式表示的方法，生成預(yù)測信號 ；加法單 元，將預(yù)測誤差信號與預(yù)測信號相加而生成色差的解碼信號；色差信號直方圖生成單元， 輸入1個圖片內(nèi)的多個塊的按照塊單位生成的色差的解碼信號，生成直方圖；以及色差信 號直方圖類似度計算單元，對針對每個圖片生成的色差信號的直方圖進(jìn)行比較而計算類似 度，場景轉(zhuǎn)換判定單元根據(jù)從預(yù)測模式直方圖類似度計算單元輸出的類似度與從色差信號 直方圖類似度計算單元輸出的類似度，判定在圖片之間是否存在場景轉(zhuǎn)換，所以能夠?qū)崿F(xiàn) 可以高速且可靠地檢測場景轉(zhuǎn)換的影像記錄裝置。
權(quán)利要求
一種場景轉(zhuǎn)換檢測裝置，其特征在于，具備熵解碼單元，將影像數(shù)據(jù)分割為規(guī)定尺寸的塊，從以該塊單位編碼的編碼流中，按照上述塊單位對表示生成預(yù)測信號的方法的預(yù)測模式進(jìn)行熵解碼；預(yù)測模式直方圖生成單元，輸入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式，生成直方圖；預(yù)測模式直方圖類似度計算單元，對針對每個圖片生成的預(yù)測模式的直方圖進(jìn)行比較而計算直方圖之間的類似度；以及場景轉(zhuǎn)換判定單元，根據(jù)上述類似度，判定在圖片之間是否存在場景轉(zhuǎn)換。
2.根據(jù)權(quán)利要求1所述的場景轉(zhuǎn)換檢測裝置，其特征在于，輸入到預(yù)測模式直方圖生 成單元中的預(yù)測模式是1個圖片量。
3.根據(jù)權(quán)利要求1或2所述的場景轉(zhuǎn)換檢測裝置，其特征在于，熵解碼單元從編碼流中，按照塊單位對色差的預(yù)測模式與預(yù)測誤差信號的量化系數(shù)數(shù) 據(jù)進(jìn)行熵解碼，并且場景轉(zhuǎn)換檢測裝置還具備預(yù)測誤差信號解碼單元，對上述熵解碼出的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化、逆正交變換而 解碼預(yù)測誤差信號；預(yù)測信號生成單元，按照用上述熵解碼出的色差的預(yù)測模式表示的方法，生成預(yù)測信號；加法單元，將上述預(yù)測誤差信號與上述預(yù)測信號相加而生成色差的解碼信號； 色差信號直方圖生成單元，輸入1個圖片內(nèi)的多個塊的按照上述塊單位生成的色差的 解碼信號，生成直方圖；以及色差信號直方圖類似度計算單元，對針對每個圖片生成的色差信號的直方圖進(jìn)行比較 而計算類似度，場景轉(zhuǎn)換判定單元根據(jù)從預(yù)測模式直方圖類似度計算單元輸出的類似度與從上述色 差信號直方圖類似度計算單元輸出的類似度，判定在圖片之間是否存在場景轉(zhuǎn)換。
4.一種影像記錄裝置，其特征在于，具備編碼單元，將影像數(shù)據(jù)分割為規(guī)定尺寸的塊，輸出以該塊單位編碼的編碼流； 熵解碼單元，從由上述編碼單元輸出的編碼流中，按照上述塊單位對表示生成預(yù)測信 號的方法的預(yù)測模式進(jìn)行熵解碼；預(yù)測模式直方圖生成單元，輸入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式，生成直 方圖；預(yù)測模式直方圖類似度計算單元，對針對每個圖片生成的預(yù)測模式的直方圖進(jìn)行比較 而計算類似度；場景轉(zhuǎn)換判定單元，根據(jù)上述類似度，判定在圖片之間是否存在場景轉(zhuǎn)換； 場景轉(zhuǎn)換位置信息輸出單元，在上述場景轉(zhuǎn)換判定單元中判定為存在場景轉(zhuǎn)換的情況 下，輸出場景轉(zhuǎn)換的位置信息；以及記錄單元，記錄上述場景轉(zhuǎn)換位置信息與上述編碼流。
5.根據(jù)權(quán)利要求4所述的影像記錄裝置，其特征在于，輸入到上述預(yù)測模式直方圖生成單元中的預(yù)測模式是1個圖片量。
6.根據(jù)權(quán)利要求4或5所述的影像記錄裝置，其特征在于，熵解碼單元從編碼流中，按照塊單位對色差的預(yù)測模式與預(yù)測誤差信號的量化系數(shù)數(shù) 據(jù)進(jìn)行熵解碼，并且影像記錄裝置還具備預(yù)測誤差信號解碼單元，對上述熵解碼出的量化系數(shù)數(shù)據(jù)進(jìn)行逆量化、逆正交變換而 解碼預(yù)測誤差信號；預(yù)測信號生成單元，按照用上述熵解碼出的色差的預(yù)測模式表示的方法，生成預(yù)測信號；加法單元，將上述預(yù)測誤差信號與上述預(yù)測信號相加而生成色差的解碼信號； 色差信號直方圖生成單元，輸入1個圖片內(nèi)的多個塊的按照上述塊單位生成的色差的 解碼信號，生成直方圖；以及色差信號直方圖類似度計算單元，對針對每個圖片生成的色差信號的直方圖進(jìn)行比較 而計算類似度，場景轉(zhuǎn)換判定單元根據(jù)從預(yù)測模式直方圖類似度計算單元輸出的類似度與從上述色 差信號直方圖類似度計算單元輸出的類似度，判定在圖片之間是否存在場景轉(zhuǎn)換。
全文摘要
本發(fā)明得到一種場景轉(zhuǎn)換檢測裝置，可以使用解碼像素從利用如進(jìn)行預(yù)測編碼那樣的編碼方式編碼得到的流中，高速地進(jìn)行場景轉(zhuǎn)換檢測。熵解碼部(31)從編碼流中對預(yù)測模式進(jìn)行熵解碼。幀內(nèi)預(yù)測模式直方圖差分生成部(32)輸入1個圖片內(nèi)的多個塊的熵解碼出的預(yù)測模式而生成直方圖，并且對針對每個圖片生成的預(yù)測模式的直方圖進(jìn)行比較而計算直方圖之間的類似度。場景轉(zhuǎn)換判定部(33)根據(jù)由幀內(nèi)預(yù)測模式直方圖差分生成部(32)求出的類似度，判定在圖片之間是否存在場景轉(zhuǎn)換。
文檔編號H04N9/82GK101873495SQ20101016930
公開日2010年10月27日 申請日期2010年4月21日 優(yōu)先權(quán)日2009年4月22日
發(fā)明者關(guān)口俊一, 出原優(yōu)一, 守屋芳美 申請人:三菱電機(jī)株式會社