專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本技術(shù)涉及圖像處理設(shè)備、圖像處理方法和程序，更具體地，涉及能夠沒(méi)有處理延遲地且以更小電路改進(jìn)立體圖像的深度感的圖像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
在現(xiàn)有技術(shù)中，已提出用于生成運(yùn)動(dòng)圖像的視差信息并基于該視差信息再現(xiàn)三維運(yùn)動(dòng)圖像的技木。另外，已提出如下立體圖像處理設(shè)備當(dāng)再現(xiàn)三維運(yùn)動(dòng)圖像時(shí)，該立體圖像處理設(shè)備將表示視差分布的圖像和三維運(yùn)動(dòng)圖像疊加(例如，參見(jiàn)日本未審查專利申請(qǐng)公告第2008-103820 號(hào))。

發(fā)明內(nèi)容
然而，在上述技術(shù)中，不對(duì)所生成的視差信息進(jìn)行校正。因此，當(dāng)觀看再現(xiàn)的運(yùn)動(dòng)圖像時(shí)，難以感知比利用所生成的視差信息創(chuàng)建的深度感更好的深度。在對(duì)視差信息進(jìn)行校正的情況下，當(dāng)生成視差信息時(shí)，基于關(guān)于運(yùn)動(dòng)圖像的多幀的視差信息來(lái)實(shí)時(shí)地執(zhí)行校正處理。然而，在這種情況下，運(yùn)動(dòng)圖像中發(fā)生處理延遲而達(dá)到了校正視差信息的程度，需要保存多幀的幀存儲(chǔ)器，因此，電路的尺寸可能増加。期望提供能夠沒(méi)有處理延遲地且以更小的電路改進(jìn)立體圖像的深度感的圖像處理設(shè)備、圖像處理方法和程序。根據(jù)本技術(shù)的實(shí)施例，提供了ー種圖像處理設(shè)備，包括讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)上以及從記錄介質(zhì)讀取該深度信息和變化信息，其中該深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，該變化信息表示連續(xù)幀之間的變化；深度信息校正單元，其基于讀寫單元讀取的變化信息對(duì)讀寫單元讀取的深度信息進(jìn)行校正。讀寫單元將經(jīng)深度信息校正單元校正后的深度信息重寫入記錄介質(zhì)上。該圖像處理設(shè)備還可包括深度信息生成単元，其基于記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成深度信息；以及變換信息生成単元，其基于記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成變化信息。讀寫單元將深度信息生成単元生成的深度信息和變化信息生成単元生成的變化信息寫入記錄介質(zhì)上。變化信息生成単元可生成關(guān)于關(guān)注幀和與關(guān)注幀相鄰的相鄰幀之間的變化的變化信息。深度信息校正単元可基于讀寫單元讀取的變化信息對(duì)關(guān)注幀的深度信息進(jìn)行校正。變化信息生成単元可生成像素值變化信息和深度信息變化信息，其中該像素值變化信息表示關(guān)注幀與相鄰幀之間像素的像素值變化，該深度信息變化信息表示關(guān)注幀與相鄰幀之間的深度信息變化。當(dāng)由像素值變化信息表達(dá)的像素值變化小且由深度信息變化信息表達(dá)的深度信息變化大時(shí)，深度信息校正単元可用相鄰幀的深度信息替代關(guān)注幀的深度信息。變化信息生成単元可生成構(gòu)圖變化信息和深度信息變化信息，其中該構(gòu)圖變化信息表示關(guān)注幀與相鄰幀之間的構(gòu)圖變化，該深度信息變化信息表示關(guān)注幀與相鄰幀之間的深度信息變化。深度信息校正単元可根據(jù)由構(gòu)圖變化信息表達(dá)的構(gòu)圖變化和由深度信息變化信息表達(dá)的深度信息變化，將關(guān)注幀的深度信息與相鄰幀的深度信息的加權(quán)平均設(shè)置為關(guān)注幀的深度信息。變化信息生成單元可生成場(chǎng)景變化信息，該場(chǎng)景變化信息表示關(guān)注幀與相鄰幀之間的場(chǎng)景變化。深度信息校正単元可根據(jù)由場(chǎng)景變化信息表達(dá)的場(chǎng)景變化對(duì)關(guān)注幀的深度信息進(jìn)行校正。變化信息生成単元可基于關(guān)注幀與相鄰幀生成運(yùn)動(dòng)矢量作為變化信息。深度信息校正単元可基于運(yùn)動(dòng)矢量來(lái)對(duì)關(guān)注幀的深度信息執(zhí)行運(yùn)動(dòng)補(bǔ)償。圖像處理設(shè)備還可包括記錄介質(zhì)。 記錄介質(zhì)可被安裝在圖像處理設(shè)備的外部。圖像處理設(shè)備還可包括變化信息更新単元，其對(duì)與經(jīng)深度信息校正単元校正后的深度信息對(duì)應(yīng)的變化信息進(jìn)行更新。讀寫單元可將經(jīng)變化信息更新単元更新后的變化信息重寫入記錄介質(zhì)上。根據(jù)本技術(shù)的另ー實(shí)施例，提供了一種圖像處理設(shè)備的圖像處理方法，其中該圖像處理設(shè)備包括讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)上以及從記錄介質(zhì)讀取該深度信息和該變化信息，其中，該深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，該變化信息表示在連續(xù)幀之間的變化；深度信息校正単元，其基于讀寫單元讀取的變化信息對(duì)讀寫單元讀取的深度信息進(jìn)行校正。圖像處理方法可包括通過(guò)圖像處理設(shè)備進(jìn)行如下處理，從記錄介質(zhì)讀取表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示連續(xù)幀之間的變化的變化信息；基于所讀取的變化信息對(duì)所讀取的深度信息進(jìn)行校正；以及將校正后的深度信息重寫入記錄介質(zhì)上。根據(jù)本技術(shù)的又ー實(shí)施例，提供了ー種程序，用于使計(jì)算機(jī)執(zhí)行包括以下步驟的處理從記錄介質(zhì)讀取表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示連續(xù)幀之間的變化的變化信息；基于通過(guò)讀取步驟的處理讀取的變化信息對(duì)通過(guò)讀取步驟的處理讀取的深度信息進(jìn)行校正；以及將通過(guò)校正步驟的處理校正后的深度信息重寫入記錄介質(zhì)上。根據(jù)本技術(shù)的實(shí)施例，從記錄介質(zhì)讀取表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示連續(xù)幀之間的變化的變化信息；基于所讀取的變化信息對(duì)所讀取的深度信息進(jìn)行校正；以及將校正后的深度信息重寫入記錄介質(zhì)上。根據(jù)上述本技術(shù)的實(shí)施例，能夠沒(méi)有處理延遲地且以更小的電路改進(jìn)立體圖像的深度感。


圖I是示出根據(jù)本技術(shù)的實(shí)施例的圖像處理設(shè)備的功能配置的示例的框圖；圖2是示出深度圖的圖；圖3是示出深度值的圖；圖4是示出深度圖生成處理的流程圖5是示出深度圖優(yōu)化處理的流程圖；圖6是示出對(duì)深度圖進(jìn)行時(shí)間平滑的示例的圖；圖7是示出對(duì)深度圖進(jìn)行時(shí)間平滑的另ー示例的圖；圖8是示出根據(jù)本技術(shù)的實(shí)施例的深度圖的示例的圖；圖9是示出附加信息生成単元的具體配置的示例的框圖；圖10是示出用于生成亮度變化度信息的處理的流程圖；圖11是示出用于生成深度圖變化度信息的處理的流程圖；圖12是示出深度圖優(yōu)化處理的具體示例的流程圖； 圖13是示出根據(jù)本技術(shù)的實(shí)施例的深度圖的另一示例的圖；圖14是示出附加信息生成単元的另一具體示例的框圖；圖15是示出用于生成構(gòu)圖變化信息的處理的流程圖；圖16示出物體的檢測(cè)和選擇的圖；圖17是示出深度圖優(yōu)化處理的另一具體示例的流程圖；圖18是示出根據(jù)本技術(shù)的另一實(shí)施例的圖像處理設(shè)備的功能配置的示例的框圖；以及圖19是示出計(jì)算機(jī)的硬件配置的示例的框圖。
具體實(shí)施例方式下文中，將參照附圖詳細(xì)描述本公開(kāi)內(nèi)容的優(yōu)選實(shí)施例。應(yīng)注意，在本說(shuō)明書和附圖中，具有基本上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件以相同的附圖標(biāo)記表示，并且省略對(duì)這些結(jié)構(gòu)元件的重復(fù)說(shuō)明。下文中，將參照附圖描述本技術(shù)的實(shí)施例。將按照以下順序進(jìn)行描述I.根據(jù)本技術(shù)實(shí)施例的圖像處理設(shè)備的配置2.深度圖生成和優(yōu)化處理3.深度圖優(yōu)化處理的第一具體示例4.深度圖優(yōu)化處理的第二具體示例5.根據(jù)本技術(shù)的實(shí)施例的圖像處理設(shè)備的另ー配置〈I.根據(jù)本技術(shù)實(shí)施例的圖像處理設(shè)備的配置〉圖I是示出根據(jù)本技術(shù)實(shí)施例的圖像處理設(shè)備的配置的圖。圖I中的圖像處理設(shè)備11被配置為硬盤驅(qū)動(dòng)器(HDD)記錄器等，并且記錄諸如運(yùn)動(dòng)圖像的內(nèi)容。圖I中的圖像處理設(shè)備11包括深度圖生成単元31、附加信息生成単元32、讀寫單元33、記錄介質(zhì)34和深度圖優(yōu)化單元35。深度圖生成単元31計(jì)算深度值作為深度信息，深度信息表示讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容(運(yùn)動(dòng)圖像)的幀的每個(gè)像素中的對(duì)象的深度。然后，深度圖生成単元31生成具有與一幀對(duì)應(yīng)的深度值的深度圖。例如，如圖2所示，當(dāng)讀取與分辨率為1920X1080像素(全HD大小)的ー幀內(nèi)容對(duì)應(yīng)的視頻信號(hào)時(shí)，深度圖生成単元31對(duì)視頻信號(hào)的像素的亮度值Pic_y執(zhí)行預(yù)定的濾波計(jì)算處理，以獲得深度值Pic_d。深度圖生成単元31對(duì)ー幀視頻信號(hào)的全部像素執(zhí)行預(yù)定的濾波計(jì)算處理，以生成深度圖。即，可以認(rèn)為深度圖是以深度值作為像素值的圖像。這里，如圖3所示，深度值是表示從觀看者處觀看內(nèi)容時(shí)內(nèi)容中的對(duì)象的深度感的值。例如，當(dāng)從觀看者處觀看時(shí)，預(yù)定的后表面被設(shè)置為深度值為O的表面。當(dāng)從觀看者處觀看時(shí)，最前面的顯示表面被設(shè)置為深度值為255的表面。由O到255的八個(gè)比特表示這些表面。另外，深度值可相對(duì)地表示對(duì)象的深度，或者可由十個(gè)比特表示。當(dāng)從觀看者處觀看時(shí)，后表面可被設(shè)置為具有深度值255,并且前表面可被設(shè)置為具有深度值O。深度值是基于像素的亮度值來(lái)計(jì)算的，但可基于像素的色差來(lái)計(jì)算。讀寫單元33將所生成的深度圖寫入記錄介質(zhì)34上。附加信息生成単元32生成附加信息，作為關(guān)于讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容(運(yùn)動(dòng)圖像)的連續(xù)幀之間的變化的信息。讀寫單元33將所生成的附加信息寫入記錄介質(zhì)34上。讀寫單元33將各種數(shù)據(jù)寫入記錄介質(zhì)34上，并且從記錄介質(zhì)34讀取各種數(shù)據(jù)。 由HDD構(gòu)成的記錄介質(zhì)34記錄內(nèi)容34a、深度圖34b和附加信息34c。內(nèi)容34a是預(yù)先記錄的并由讀寫單元33從記錄介質(zhì)34適當(dāng)?shù)刈x取。另外，讀寫單元33將深度圖34b和附加信息34c適當(dāng)?shù)貙懭胗涗浗橘|(zhì)34上或從記錄介質(zhì)34適當(dāng)?shù)刈x取深度圖34b和附加信息34c。深度圖優(yōu)化単元35對(duì)讀寫単元33從記錄介質(zhì)34讀取的深度圖和附加信息執(zhí)行優(yōu)化處理。深度圖優(yōu)化單元35包括深度圖校正単元51和附加信息更新單元52。深度圖校正単元51對(duì)讀寫単元33從記錄介質(zhì)34讀取的深度圖進(jìn)行校正以生成更適當(dāng)?shù)纳疃葓D。讀寫単元33將校正后的深度圖(校正深度圖)重寫入記錄介質(zhì)34上。附加信息更新単元52根據(jù)深度圖校正単元51對(duì)深度圖執(zhí)行的校正來(lái)對(duì)讀寫単元33從記錄介質(zhì)34讀取的附加信息進(jìn)行更新。讀寫單元33將更新后的附加信息(更新附加信息)重寫入記錄介質(zhì)34上。<2.深度圖生成和優(yōu)化處理〉接下來(lái)，將描述圖像處理設(shè)備11的深度圖生成和優(yōu)化處理。深度圖生成處理首先，將參照?qǐng)D4的流程圖描述圖像處理設(shè)備11的深度圖生成處理。在步驟Sll中，讀寫單元33讀取關(guān)注幀和與關(guān)注幀相鄰的相鄰幀，然后將關(guān)注幀和相鄰幀提供給深度圖生成単元31和附加信息生成単元32，其中，關(guān)注幀為對(duì)于記錄在記錄介質(zhì)4上的內(nèi)容(諸如，運(yùn)動(dòng)圖像)關(guān)注的幀。在步驟S12中，深度圖生成単元31生成由讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容的關(guān)注幀的深度圖，然后將所生成的深度圖提供給讀寫単元33。在步驟S13中，附加信息生成単元32生成關(guān)于由讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容中的關(guān)注幀與相鄰幀之間的變化的附加信息，然后將所生成的附加信息提供給讀寫單元33。這里，生成例如表示幀間像素的像素值(例如，亮度值)變化的像素值變化信息、表示幀間深度圖變化的深度圖變化信息、表示幀間構(gòu)圖變化的構(gòu)圖變化信息、表示幀間場(chǎng)景變化(場(chǎng)景變化)的場(chǎng)景變化信息、或者表示幀間運(yùn)動(dòng)的運(yùn)動(dòng)矢量，作為附加信息。在步驟S14中，讀寫單元33將來(lái)自深度圖生成単元31的深度圖和來(lái)自附加信息生成単元32的附加信息分別作為關(guān)注幀的深度圖和附加信息寫入記錄介質(zhì)34上。在步驟S15中，讀寫單元33確定是否對(duì)記錄介質(zhì)34上所記錄的內(nèi)容34a的全部幀執(zhí)行了上述處理。當(dāng)在步驟S15中讀寫單元33確定未對(duì)全部幀執(zhí)行處理時(shí)，處理返回至步驟S11，并且重復(fù)從步驟Sll至步驟S15的處理。另ー方面，當(dāng)在步驟S15中讀寫單元33確定對(duì)全部幀執(zhí)行了處理時(shí)，深度圖生成
處理結(jié)束。因此,生成了深度圖和附加信息并將其記錄在記錄有內(nèi)容的記錄介質(zhì)34上。深度圖優(yōu)化處理
接下來(lái)，將參照?qǐng)D5的流程圖描述圖像處理設(shè)備11的深度圖優(yōu)化處理。在步驟S21中，讀寫單元33從記錄介質(zhì)34讀取關(guān)注幀的深度圖和附加信息，然后將關(guān)注幀的深度圖和附加信息提供給深度圖優(yōu)化単元35。在步驟S22中，深度圖校正単元51基于讀寫單元33從記錄介質(zhì)34讀取的附加信息對(duì)深度圖進(jìn)行校正。這里，當(dāng)附加信息包括像素值變化信息和深度圖變化信息時(shí)，深度圖校正単元51根據(jù)幀間像素值變化(其由像素值變化信息表示)以及幀間深度圖變化(其由深度圖變化信息表示)對(duì)深度圖進(jìn)行校正，以生成更適當(dāng)?shù)纳疃葓D。當(dāng)附加信息包括構(gòu)圖變化信息和深度圖變化信息吋，深度圖校正単元51根據(jù)幀間構(gòu)圖變化(其由構(gòu)圖變化信息表示)和幀間深度圖變化(其由深度圖變化信息表示)對(duì)深度圖進(jìn)行校正，以生成更適當(dāng)?shù)纳疃葓D。當(dāng)附加信息包括場(chǎng)景變化信息時(shí)，深度圖校正単元51根據(jù)幀間場(chǎng)景變化(其由場(chǎng)景變化信息表示)對(duì)深度圖進(jìn)行校正，以生成更適當(dāng)?shù)纳疃葓D。當(dāng)附加信息包括運(yùn)動(dòng)矢量時(shí)，深度圖校正単元51根據(jù)運(yùn)動(dòng)矢量對(duì)深度圖執(zhí)行運(yùn)動(dòng)補(bǔ)償處理，以生成更適當(dāng)?shù)纳疃葓D。校正后的深度圖被提供給讀寫單元33。在步驟S23中，附加信息更新單元52根據(jù)經(jīng)深度圖校正単元51校正后的深度圖對(duì)讀寫単元33從記錄介質(zhì)34讀取的附加信息進(jìn)行更新。更新后的附加信息被提供給讀寫單元33。在步驟S24中，讀寫單元33將來(lái)自深度圖校正単元51的校正后的深度圖(校正深度圖)和來(lái)自附加信息更新単元52的更新后的附加信息(更新附加信息)分別作為關(guān)注幀的深度圖和附加信息重寫入記錄介質(zhì)34上。在步驟S25中，讀寫單元33確定是否對(duì)記錄介質(zhì)34上所記錄的內(nèi)容34a的全部幀的深度圖和附加信息執(zhí)行了上述處理。當(dāng)在步驟S25中讀寫單元33確定未對(duì)全部幀執(zhí)行上述處理吋，處理返回至步驟S21并重復(fù)步驟S21至步驟S25的處理。當(dāng)在步驟S25中讀寫單元33確定對(duì)全部幀執(zhí)行了上述處理時(shí)，深度圖優(yōu)化處理結(jié)束?；陬A(yù)先生成的附加信息，通過(guò)上述處理對(duì)預(yù)先生成的深度圖進(jìn)行校正，以使其更適當(dāng)。因此，可以在基于深度圖所生成的立體圖像中獲得與使用最初生成的深度圖所獲得的深度感相比增強(qiáng)的深度感。另外，由于深度圖被記錄在記錄有內(nèi)容的記錄介質(zhì)上，因此，不是在生成深度圖時(shí)實(shí)時(shí)執(zhí)行深度圖的校正，而是從記錄介質(zhì)讀取深度圖來(lái)校正深度圖。另外，不需要用于保存內(nèi)容幀的幀存儲(chǔ)器。因此，能夠沒(méi)有處理延遲地且以更小的電路改進(jìn)立體圖像的深度感。通過(guò)重復(fù)上述深度圖優(yōu)化處理進(jìn)一步優(yōu)化深度圖。當(dāng)根據(jù)現(xiàn)有技術(shù)生成各幀的深度圖時(shí)，在一些情況下由于噪聲等的影響生成錯(cuò)誤的深度圖。在這種情況下，在現(xiàn)有技術(shù)中，使用無(wú)限脈沖響應(yīng)(IIR)濾波器等來(lái)執(zhí)行時(shí)間平滑，以對(duì)錯(cuò)誤的深度圖進(jìn)行校正。圖6是示出對(duì)深度圖的時(shí)間平滑的示例的圖。在圖6中，在最上部分中示出運(yùn)動(dòng)圖像的第一幀至第N幀，并且在從上側(cè)數(shù)第二部分中示出線L的各幀的理想深度圖。然而，如從圖6的上側(cè)數(shù)第三部分所示，對(duì)于實(shí)際深度 圖，由于噪聲等的影響，在第二幀的深度圖中可能出現(xiàn)錯(cuò)誤。因此，可以通過(guò)對(duì)深度圖執(zhí)行時(shí)間平滑來(lái)對(duì)第二幀的深度圖的錯(cuò)誤進(jìn)行校正，如圖6的最下部分所示。然而，當(dāng)對(duì)深度圖執(zhí)行時(shí)間平滑時(shí)，可能出現(xiàn)與時(shí)間平滑的處理時(shí)間對(duì)應(yīng)的延遲，因此，在實(shí)時(shí)輸入的圖像與深度圖之間可能出現(xiàn)時(shí)間偏差。圖7是示出深度圖的時(shí)間平滑的另ー示例的圖。在圖7中，在最上部分中示出運(yùn)動(dòng)圖像的第一幀至第N幀，并且在從上側(cè)數(shù)第二部分中示出線L的幀的深度圖。在圖7的最下部分中，示出經(jīng)過(guò)時(shí)間平滑的深度圖。當(dāng)執(zhí)行時(shí)間平滑時(shí)，如圖7所示，在深度圖中出現(xiàn)延遲。因此，不立即反映時(shí)間平滑的結(jié)果，并且深度圖的變化延遲。具體地，在圖7的示例中，第N幀中的場(chǎng)景變化，因此，對(duì)象從幀的左側(cè)上的人A變?yōu)閹挠覀?cè)上的人B。然而，即使當(dāng)場(chǎng)景被替換時(shí)，經(jīng)過(guò)時(shí)間平滑的深度圖也不會(huì)跟隨。另ー方面，根據(jù)本技術(shù)的實(shí)施例，內(nèi)容和深度圖被記錄在記錄介質(zhì)上。因此，通過(guò)整體內(nèi)容已知幀的變化和深度圖的變化。因此，例如，即使在第二幀中生成了錯(cuò)誤的深度圖，如圖8所示，也可以使用基于緊前一幀和緊后ー幀(第一幀和第三幀)的深度圖而適當(dāng)校正的深度圖而不使用錯(cuò)誤的深度圖。另外，可以使得不發(fā)生時(shí)間偏差(延遲)。<3.深度圖優(yōu)化處理的第一具體示例>下文中，將描述如上所述的、用于獲得沒(méi)有時(shí)間偏差的穩(wěn)定的深度圖的具體配置和具體處理。在具體示例中，假設(shè)生成表示幀間像素亮度值變化的信息和表示幀間深度圖變化的信息作為附加信息。附加信息生成單元的具體配置的示例首先，將參照?qǐng)D9描述附加信息生成單元的具體配置的示例。圖9中的附加信息生成單元121包括濾波計(jì)算和核心(coring)處理單元131、差分計(jì)算單元132、計(jì)數(shù)處理單元133、亮度變化度信息生成単元134、濾波計(jì)算和核心處理單元141、差分計(jì)算單元142、計(jì)數(shù)處理單元143和深度圖變化度信息生成単元144。濾波計(jì)算和核心處理單元131對(duì)由讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容的連續(xù)幀的像素的亮度值執(zhí)行預(yù)定的濾波計(jì)算或核心處理，以提取特定成分或去除噪聲，然后將結(jié)果提供給差分計(jì)算單元132。差分計(jì)算單元132計(jì)算來(lái)自濾波計(jì)算和核心處理單元131的連續(xù)幀的像素的亮度值之間的差分(幀差分)，然后將幀差分提供給計(jì)數(shù)處理單元133。計(jì)數(shù)處理單元133對(duì)來(lái)自差分計(jì)算單元132的、像素的幀差分值當(dāng)中大于預(yù)定閾值的幀差分值的數(shù)量進(jìn)行計(jì)數(shù)，然后將計(jì)數(shù)值提供給亮度變化度信息生成単元134。亮度變化度信息生成単元134根據(jù)來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值生成亮度變化度信息Yc，其表示連續(xù)幀之間的亮度值的變化度。具體地，當(dāng)連續(xù)幀之間的亮度值的變化相當(dāng)大時(shí)，亮度變化度信息生成単元134生成表示“Yc=2”的亮度變化度信息。當(dāng)連續(xù)幀之間的亮度值的變化微小吋，亮度變化度信息生成単元134生成表示“Yc=l”的亮度變化度信息。當(dāng)連續(xù)幀之間的亮度值的變化可忽略時(shí)，亮度變化度信息生成単元134生成表示“Yc=0”的亮度變化度信息。讀寫單元33將所生成的亮度變化度信息作為附加信息的一部分寫入記錄介質(zhì)34上。濾波計(jì)算和核心處理單元141從深度圖生成単元31獲取關(guān)于連續(xù)幀的深度圖，對(duì) 深度圖的深度值執(zhí)行預(yù)定濾波計(jì)算或核心處理，以提取特定成分或去除噪聲，然后將結(jié)果提供給差分計(jì)算單元142。差分計(jì)算單元142計(jì)算來(lái)自濾波計(jì)算和核心處理單元141的連續(xù)深度圖的像素的深度值之間的差分(幀差分)，并且將幀差分提供給計(jì)數(shù)處理單元143。計(jì)數(shù)處理單元143對(duì)來(lái)自差分計(jì)算單元142的、像素的幀差分值當(dāng)中大于預(yù)定閾值的幀差分值的數(shù)量進(jìn)行計(jì)數(shù)，然后將計(jì)數(shù)值提供給深度圖變化度信息生成単元144。深度圖變化度信息生成単元144根據(jù)來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值生成深度圖變化度信息Dc，深度圖變化度信息表示連續(xù)幀之間的深度圖的變化度。具體地，當(dāng)連續(xù)幀之間的深度圖的變化相當(dāng)大時(shí)，深度圖變化度信息生成単元144生成表示“Dc=2”的深度圖變化度信息。當(dāng)連續(xù)幀之間的深度圖的變化微小時(shí)，深度圖變化度信息生成単元144生成表示“Dc=I”的深度圖變化度信息。當(dāng)連續(xù)幀之間的深度圖的變化可忽略時(shí)，深度圖變化度信息生成単元144生成表示“Dc=0”的深度圖變化度信息。讀寫單元33將所生成的深度圖變化度信息作為附加信息的一部分寫入記錄介質(zhì)34上。用于生成亮度變化度信息的處理接下來(lái)，將參照?qǐng)D10的流程圖描述附加信息生成単元121的用于生成亮度變化度信息的處理。對(duì)從記錄介質(zhì)34讀取的內(nèi)容的兩個(gè)連續(xù)幀執(zhí)行圖10所示的用于生成亮度變化度信息的處理。具體地，對(duì)從記錄介質(zhì)34讀取的內(nèi)容的幀當(dāng)中的關(guān)注幀和時(shí)間上在關(guān)注幀之前的幀執(zhí)行該處理。在步驟Slll中，濾波計(jì)算和核心處理單元131對(duì)關(guān)注幀和前ー幀中的每幀的亮度信號(hào)(亮度值)執(zhí)行預(yù)定濾波處理或核心處理，然后將結(jié)果提供給差分計(jì)算單元132。在步驟SI 12中，差分計(jì)算單元132計(jì)算來(lái)自濾波計(jì)算和核心處理單元131的關(guān)注幀和前一幀的像素的亮度值之間的差分(幀差分)，然后將幀差分提供給計(jì)數(shù)處理單元133。在步驟S113中，計(jì)數(shù)處理單元133對(duì)來(lái)自差分計(jì)算單元132的、像素的幀差分值當(dāng)中大于預(yù)定閾值的幀差分值的數(shù)量進(jìn)行計(jì)數(shù)，然后將計(jì)數(shù)值提供給亮度變化度信息生成單元134。在步驟SI 14中，亮度變化度信息生成單元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值是否大于第一閾值th_l。當(dāng)在步驟SI 14中亮度變化度信息生成單元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值大于第一閾值th_l吋，處理進(jìn)入步驟S115，并且亮度變化度信息生成単元134設(shè)置亮度變化度信息“ Yc=2”。另ー方面，當(dāng)在步驟S114中亮度變化度信息生成単元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值不大于第一閾值th_l吋，處理進(jìn)入步驟S116。然后，亮度變化度信息生成單元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值是否大于第二閾值th_2，該第二閾值th_2小于第一閾值th_l。當(dāng)在步驟SI 16中亮度變化度信息生成単元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值大于第二閾值th_2吋，處理進(jìn)入步驟S117，并且亮度變化度信息生成単元134設(shè)置亮度變化度信息“ Yc=l”。另ー方面，當(dāng)在步驟SI 16中亮度變化度信息生成單元134確定來(lái)自計(jì)數(shù)處理單元133的計(jì)數(shù)值不大于第二閾值th_2吋，處理進(jìn)入步驟S118，并且亮度變化度信息生成単元 134設(shè)置亮度變化度信息“Yc=0”。當(dāng)將記錄在記錄介質(zhì)34上的內(nèi)容的每ー幀作為關(guān)注幀對(duì)其執(zhí)行上述處理時(shí)，讀寫単元33將記錄介質(zhì)34上所記錄的內(nèi)容的各幀的亮度變化度信息作為附加信息的一部分寫入記錄介質(zhì)34上。用于生成深度圖變化度信息的處理接下來(lái)，將參照?qǐng)D11的流程圖描述附加信息生成単元121的用于生成深度圖變化度信息的處理。對(duì)深度圖生成単元31獲取的關(guān)注幀的深度圖和前ー幀的深度圖執(zhí)行圖11的用于生成深度圖變化度信息的處理。在步驟S131中，濾波計(jì)算和核心處理單元141對(duì)關(guān)注幀的深度圖的深度值和前一幀的深度圖的深度值執(zhí)行預(yù)定濾波計(jì)算或核心處理，然后將結(jié)果提供給差分計(jì)算單元142。在步驟S132中，差分計(jì)算單元142計(jì)算來(lái)自濾波計(jì)算和核心處理單元141的關(guān)注幀和前ー幀的深度圖的像素的深度值之間的差分(幀差分)，然后將幀差分提供給計(jì)數(shù)處理單元143。在步驟S133中，計(jì)數(shù)處理單元143對(duì)來(lái)自差分計(jì)算單元142的、像素的幀差分值當(dāng)中大于預(yù)定閾值的幀差分值的數(shù)量進(jìn)行計(jì)數(shù)，然后將計(jì)數(shù)值提供給深度圖變化度信息生成單元144。在步驟S134中，深度圖變化度信息生成單元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值是否大于第一閾值th_l。當(dāng)在步驟S134中深度圖變化度信息生成單元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值大于第一閾值th_l吋，處理進(jìn)入步驟S135，并且深度圖變化度信息生成単元144設(shè)置深度圖變化度信息“Dc=2”。另ー方面，當(dāng)在步驟S134中深度圖變化度信息生成單元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值不大于第一閾值th_l吋，處理進(jìn)入步驟S136。然后，深度圖變化度信息生成単元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值是否大于第二閾值th_2，該第二閾值th_2小于第一閾值th I。當(dāng)在步驟S136中深度圖變化度信息生成單元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值大于第二閾值th_2吋，處理進(jìn)入步驟S137，并且深度圖變化度信息生成単元144設(shè)置深度圖變化度信息“Dc=l ”。
另ー方面，當(dāng)在步驟S136中深度圖變化度信息生成単元144確定來(lái)自計(jì)數(shù)處理單元143的計(jì)數(shù)值不大于第二閾值th_2吋，處理進(jìn)入步驟S138，并且深度圖變化度信息生成単元144設(shè)置深度圖變化度信息“Dc=0”。當(dāng)將記錄在記錄介質(zhì)34上的內(nèi)容的每ー幀作為關(guān)注幀對(duì)其執(zhí)行上述處理時(shí)，讀寫単元33將記錄介質(zhì)34上所記錄的內(nèi)容的各幀的深度圖變化度信息作為附加信息的一部分寫入記錄介質(zhì)34上。深度圖優(yōu)化處理的具體示例接下來(lái)，將參照?qǐng)D12的流程圖描述如下情況下圖像處理設(shè)備11的深度圖優(yōu)化處理的具體示例在該情況下，將通過(guò)上述用于生成亮度變化度信息的處理所獲得的亮度變化度信息和通過(guò)用于生成深度圖變化度信息的處理所獲得的深度圖變化度信息設(shè)置為附加信息。下文中，將內(nèi)容的第O幀到第N幀當(dāng)中的關(guān)注幀稱為第η幀。在步驟S151中，圖像處理設(shè)備設(shè)置“η=1”，使得第一幀成為關(guān)注幀。 在步驟S152中，讀寫單元33從記錄介質(zhì)34讀取第(η-i)幀的深度圖和第η幀的深度圖、第η幀的亮度變化度信息Yc以及第η幀的深度圖變化度信息Dc，然后將它們提供給深度圖優(yōu)化單元35。在步驟S153中，深度圖校正単元51確定亮度變化度信息Yc是否等于2。當(dāng)深度圖校正単元51確定亮度變化度信息Yc不等于2吋，處理進(jìn)入步驟S154。在步驟S154中，深度圖校正単元51確定深度圖變化度信息Dc是否等于2。當(dāng)深度圖校正単元51確定深度圖變化度信息Dc不等于2吋，處理進(jìn)入步驟S155。在步驟S155中，深度圖校正単元51在第(n_l)幀的深度圖和第η幀的深度圖之間選擇第η幀的深度圖，并將第η幀的深度圖提供給讀寫単元33。在步驟S156中，讀寫單元33將來(lái)自深度圖校正単元51的第η幀的深度圖作為關(guān)注幀的深度圖重寫入記錄介質(zhì)34上，然后，處理進(jìn)入步驟S160。S卩，當(dāng)關(guān)注幀與前ー幀之間的亮度值變化小且深度圖的變化度小時(shí)，不認(rèn)為關(guān)注幀的深度圖錯(cuò)誤，因而，不對(duì)關(guān)注幀進(jìn)行校正。另ー方面，當(dāng)在步驟S154中深度圖校正単元51確定深度圖變化度信息Dc等于2時(shí)，處理進(jìn)入步驟S157。在步驟S157中，深度圖校正単元51在第(η_1)幀的深度圖和第η幀的深度圖之間選擇第(η-i)幀的深度圖，并且將第(η-i)幀的深度圖提供給讀寫単元33。在步驟S158中，附加信息更新単元52將第η幀的深度圖變化度信息“Dc=2”更新為深度圖變化度信息“Dc=0”，并且將深度圖變化度信息“Dc=0”提供給讀寫単元33。在步驟S159中，讀寫單元33將深度圖校正単元51選擇的第(η-i)幀的深度圖和經(jīng)附加信息更新単元52更新后的深度圖變化度信息Dc分別作為關(guān)注幀的深度圖和深度圖變化度信息重寫入記錄介質(zhì)34上，然后，處理進(jìn)入步驟S160。S卩，當(dāng)關(guān)注幀與前ー幀之間的亮度值變化小但深度圖的變化度大時(shí)，認(rèn)為關(guān)注幀的深度圖錯(cuò)誤，因而，以前ー幀的深度圖替代關(guān)注幀的深度圖。另外，更新深度圖變化度信息，使得深度圖的變化度小。另外，當(dāng)在步驟S153中深度圖校正単元51確定亮度變化度信息Yc等于2時(shí)，跳過(guò)步驟S154，并且處理進(jìn)入步驟S155。
S卩，當(dāng)關(guān)注幀與前一幀之間的亮度值變化度大時(shí)，不管深度圖的變化度如何，不認(rèn)為關(guān)注幀的深度圖錯(cuò)誤，并且因而，不對(duì)關(guān)注幀進(jìn)行校正。在步驟S160中，圖像處理設(shè)備11確定是否n=N，S卩，關(guān)注幀是否為最終幀。當(dāng)圖像處理設(shè)備11確定η尹N時(shí)，在步驟S161中，圖像處理設(shè)備11設(shè)置“η=η+1”，并且處理返回至步驟S152。即，將關(guān)注幀的后ー幀設(shè)置為關(guān)注幀，并且重復(fù)步驟S152到步驟S160的處理。另ー方面，當(dāng)在步驟S160中圖像處理設(shè)備11確定η=Ν時(shí)，深度圖優(yōu)化處理結(jié)束。在上述處理中，當(dāng)關(guān)注幀與前ー幀之間的亮度值變化小但深度圖的變化度大時(shí)，認(rèn)為關(guān)注幀的深度圖錯(cuò)誤，并且因而，用前ー幀的深度圖替代關(guān)注幀的深度圖。因此，不便用錯(cuò)誤的深度圖并可以使用適當(dāng)?shù)纳疃葓D。另外，由于內(nèi)容和深度圖被記錄在記錄介質(zhì)上，因此，在整個(gè)內(nèi)容上，已知幀的變化和深度圖的變化。由于不需要執(zhí)行時(shí)間平滑，因此，可以沒(méi)有時(shí)間偏差地獲得穩(wěn)定的深度圖。 在上述處理中，用前ー幀的深度圖替代被認(rèn)為是錯(cuò)誤的關(guān)注幀的深度圖。然而，由于全部幀的深度圖都記錄在記錄介質(zhì)上，因此，可以用時(shí)間上在后的幀的深度圖替代關(guān)注幀的深度圖。上述描述適于如下情況認(rèn)為關(guān)注幀的深度圖錯(cuò)誤，并且用與關(guān)注幀相鄰(前后)的幀的深度圖替代關(guān)注幀的深度圖。然而，當(dāng)在關(guān)注幀與相鄰幀之間變換場(chǎng)景(場(chǎng)景變化)時(shí)，相應(yīng)幀的深度圖的變化小或大。例如，如圖13的上部所示，當(dāng)場(chǎng)景從人A在前面而人B在后面的場(chǎng)景I的幀變化為人A在后面而人B在前面的場(chǎng)景2的幀時(shí)，幀的深度圖變化，如圖13的中間部分所示。因此，在本技術(shù)的實(shí)施例中，如圖13的下部所示，在場(chǎng)景改變?yōu)橛商摼€表示的深度圖dl或由單點(diǎn)劃線表示的深度圖d2之后，通過(guò)改變幀場(chǎng)景2的深度圖來(lái)使得在場(chǎng)景改變前后的深度圖的變化變小或變大。<4.深度圖優(yōu)化處理的第二具體示例〉下文中，將描述如上所述使得場(chǎng)景改變前后的深度圖的變化變小或變大的具體配置和具體處理。在具體示例中，生成表示幀間構(gòu)圖變化的信息和表示幀間深度圖變化的信息作為附加信息。附加信息生成單元的具體配置的示例首先，將參照?qǐng)D14描述附加信息生成單元的具體配置的示例。在圖14中的附加信息生成單元211中，給出了與圖9的附加信息生成單元121的功能配置中的名稱和附圖標(biāo)記相同的名稱和附圖標(biāo)記，并且將適當(dāng)?shù)夭恢貜?fù)對(duì)其的描述。g卩，圖14中的附加信息生成單元211與圖9中的附加信息生成單元121的不同之處在于，設(shè)置了物體檢測(cè)單元231、物體選擇單元232、構(gòu)圖分析単元233和構(gòu)圖變化信息生成単元234來(lái)替代第一計(jì)算和核心處理單元131、差分計(jì)算單元132、計(jì)數(shù)處理單元133和亮度變化度信息生成単元134。物體檢測(cè)單元231在讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容的幀中檢測(cè)物體作為對(duì)象，并且將關(guān)于該幀中的物體的位置或大小的信息提供給物體選擇單元232。物體選擇單元232基于來(lái)自物體檢測(cè)單元231的關(guān)于物體的位置或大小的信息選擇幀中的關(guān)注物體，然后將關(guān)于關(guān)注物體的信息提供給構(gòu)圖分析単元233。
構(gòu)圖分析単元233基于來(lái)自物體選擇單元232的信息對(duì)幀的構(gòu)圖進(jìn)行分析，然后將表示分析結(jié)果的構(gòu)圖信息提供給構(gòu)圖變化信息生成単元234。構(gòu)圖變化信息生成単元234通過(guò)利用從構(gòu)圖分析単元233以每幀提供的構(gòu)圖信息計(jì)算兩個(gè)連續(xù)幀之間的差分，來(lái)生成構(gòu)圖變化信息。讀寫單元33將所生成的構(gòu)圖變化信息作為附加信息的一部分寫入記錄介質(zhì)34上。用于生成構(gòu)圖變化信息的處理接下來(lái)，將參照?qǐng)D15的流程圖描述附加信息生成単元211的用于生成構(gòu)圖變化信息的處理。對(duì)從記錄介質(zhì)34讀取的內(nèi)容的各幀執(zhí)行圖15中的構(gòu)圖變化信息生成處理。在步驟S211中，物體檢測(cè)單元231在由讀寫單元33從記錄介質(zhì)34讀取的內(nèi)容的關(guān)注幀中檢測(cè)物體，然后將關(guān)于關(guān)注幀中的物體的位置或大小的信息提供給物體選擇單元232。 在步驟S212中，物體選擇單元232基于來(lái)自物體檢測(cè)單元231的信息而在關(guān)注幀中選擇關(guān)注物體，然后將關(guān)于關(guān)注物體的信息提供給構(gòu)圖分析単元233。例如，如圖16的左側(cè)部分所示，當(dāng)物體檢測(cè)單元231檢測(cè)到五個(gè)物體A、B、01、02和03時(shí)，物體選擇單元232選擇幀中具有最大占據(jù)面積的物體A和具有第二大占據(jù)面積的物體B，如圖16的右側(cè)部分所示。在步驟S213中，構(gòu)圖分析單元233基于來(lái)自物體選擇單元232的信息對(duì)幀的構(gòu)圖及進(jìn)行分析，然后將構(gòu)圖信息作為分析結(jié)果提供給構(gòu)圖變化信息生成単元234。例如，構(gòu)圖分析單元233將要分析的幀的構(gòu)圖與如下多個(gè)構(gòu)案進(jìn)行比較，然后將與分析結(jié)果的幀的構(gòu)圖最相似的構(gòu)案的索引提供給構(gòu)圖變化信息生成単元234，其中，該多個(gè)構(gòu)案是預(yù)先準(zhǔn)備的，并且構(gòu)圖越相似，其索引值越接近。例如，構(gòu)圖分析単元233將分析結(jié)果的幀劃分成多個(gè)區(qū)域，并將表示每個(gè)所劃分的區(qū)域中是否存在關(guān)注物體的信息作為構(gòu)圖信息提供給構(gòu)圖變化信息生成単元234。在步驟S214中，構(gòu)圖變化信息生成單元234生成來(lái)自構(gòu)圖分析單元233的關(guān)注幀的構(gòu)圖信息與前一幀的構(gòu)圖信息之間的差分，作為構(gòu)圖變化信息Ce。例如，當(dāng)構(gòu)圖信息是構(gòu)案的索引時(shí)，將關(guān)注幀的索引值與前ー幀的索引值之間的差分的絕對(duì)值當(dāng)作構(gòu)圖變化信息Ce。另外，當(dāng)構(gòu)圖信息是表示從幀劃分得到的每個(gè)區(qū)域中是否存在關(guān)注物體的信息時(shí)，將在關(guān)注幀與前ー幀之間關(guān)注物體的存在或不存在一致的區(qū)域的數(shù)量當(dāng)作構(gòu)圖變化信息Ce οS卩，構(gòu)圖變化信息Ce的值越大，則關(guān)注幀與前一幀之間的構(gòu)圖變化就越大。當(dāng)將記錄在記錄介質(zhì)34上的內(nèi)容的每ー幀作為關(guān)注幀對(duì)其執(zhí)行上述處理時(shí)，讀寫単元33將記錄介質(zhì)34上所記錄的內(nèi)容的各幀的構(gòu)圖變化信息作為附加信息的一部分寫入記錄介質(zhì)34上。用于生成深度圖變化度信息的處理由于附加信息生成單元211的用于生成深度圖變化度信息的處理與參照?qǐng)D11的流程圖所述的附加信息生成単元121的用于生成深度圖變化度信息的處理相同，因此，將不重復(fù)對(duì)其的描述。S卩，當(dāng)將記錄在記錄介質(zhì)34上的內(nèi)容的每ー幀作為關(guān)注幀對(duì)其執(zhí)行附加信息生成単元211的用于生成深度圖變化度信息的處理吋，讀寫單元33將記錄介質(zhì)34上所記錄的內(nèi)容的各幀的深度圖變化度信息作為附加信息的一部分寫入記錄介質(zhì)34上。深度圖優(yōu)化處理的具體示例接下來(lái)，將參照?qǐng)D17的流程圖描述如下情況下圖像處理設(shè)備11執(zhí)行的深度圖優(yōu)化處理的具體示例在該情況下，將通過(guò)上述用于生成構(gòu)圖變化信息的處理所獲得的構(gòu)圖變化信息和通過(guò)用于生成深度圖變化度信息的處理所獲得的深度圖變化度信息設(shè)置為附加信息。下文中，將內(nèi)容的第O幀到第N幀當(dāng)中的關(guān)注幀稱為第η幀。在步驟S231中，圖像處理設(shè)備11設(shè)置“ η=1”，使得第一幀成為關(guān)注幀。在步驟S232中，讀寫單元33從記錄介質(zhì)34讀取第(η_1)幀的深度圖和第η幀的深度圖、第η幀的構(gòu)圖變化信息Ce、以及第η幀的深度圖變化度信息Dc，然后將它們提供給深度圖優(yōu)化單元35。 在步驟S233中，深度圖校正単元51確定構(gòu)圖變化信息Ce是否大于預(yù)定閾值Cth。當(dāng)深度圖校正単元51確定構(gòu)圖變化信息Ce不大于預(yù)定閾值Cth吋，處理進(jìn)入步驟S234。在步驟S234中，深度圖校正単元51確定深度圖變化度信息Dc是否等于2。當(dāng)深度圖校正単元51確定深度圖變化度信息Dc不等于2吋，處理進(jìn)入步驟S235。在步驟S235中，深度圖校正単元51在第(n_l)幀的深度圖與第η幀的深度圖之間選擇第η幀的深度圖，并且將第η幀的深度圖提供給讀寫単元33。在步驟S236中，讀寫單元33將來(lái)自深度圖校正単元51的第η幀的深度圖作為關(guān)注幀的深度圖重寫入記錄介質(zhì)34上，然后，處理進(jìn)入步驟S243。即，當(dāng)關(guān)注幀與前一幀之間的構(gòu)圖變化小且深度圖的變化度小時(shí)，不對(duì)關(guān)注幀的深度圖進(jìn)行校正。另ー方面，當(dāng)在步驟S234中深度圖校正単元51確定深度圖變化度信息Dc等于2時(shí)，處理進(jìn)入步驟S237。在步驟S237中，深度圖校正単元51計(jì)算第(η_1)幀的深度圖和第η幀的深度圖的加權(quán)平均，并且將該加權(quán)平均設(shè)置為第η幀的深度圖。具體地，深度圖校正単元51使用第(η-i)幀的深度圖的深度值Pic d(n_l)和第η幀的深度圖的深度值Pic d(n)，對(duì)每個(gè)像素執(zhí)行以下等式(I)的計(jì)算Pic_d(n) X a +Pic_d (η-1) X (I- α )…(I)。在該等式中，α是設(shè)置在“ O ( α ( I”范圍內(nèi)的值，并且此處被設(shè)置為接近O的值。因此，等式(I)中給出的深度值的加權(quán)平均在從深度值Pic_d(n_l)到深度值Pic_d(n)的范圍內(nèi)，并且是更接近深度值Pic_d(n-1)的值。所獲得的第η幀的深度圖被提供給讀寫單元33。在步驟S238中，附加信息更新單元52基于第(η-i)幀的深度圖和新計(jì)算出的第η幀的深度圖來(lái)更新第η幀的深度圖變化度信息Dc。具體地，附加信息更新単元52向讀寫単元33提供深度圖變化度信息，其中，該深度圖變化度信息是通過(guò)對(duì)第(η-i)幀的深度圖和新計(jì)算出的第η幀的深度圖執(zhí)行與參照?qǐng)D11的流程圖所述的用于生成深度圖變化度信息的處理相同的處理而作為第η幀的深度圖變化度信息Dc所獲得的。在步驟S239中，讀寫單元33將深度圖校正単元51計(jì)算出的第η幀的深度圖和經(jīng)附加信息更新単元52更新后的深度圖變化度信息Dc分別作為關(guān)注幀的深度圖和深度圖變化度信息重寫入記錄介質(zhì)34上，然后，處理進(jìn)入步驟S243。即，當(dāng)在關(guān)注幀與前一幀之間的構(gòu)圖變化小且深度圖的變化度大時(shí)，將關(guān)注幀的深度圖校正為如下深度圖該深度圖在從前ー幀的深度圖到關(guān)注幀的深度圖的范圍內(nèi)，且接近前ー幀的深度圖。另外，根據(jù)校正后的關(guān)注幀的深度圖更新深度圖變化度信息。當(dāng)在步驟S233中深度圖校正単元51確定構(gòu)圖變化信息Ce大于預(yù)定閾值Cth吋，處理進(jìn)入步驟S240。在步驟S240中，深度圖校正単元51計(jì)算第(n_l)幀的深度圖和第η幀的深度圖的加權(quán)平均，并且將該加權(quán)平均設(shè)置為第η幀的深度圖。具體地，深度圖校正単元51使用第(η-i)幀的深度圖的深度值Pic_d(n_l)和第
η幀的深度圖的深度值Pic_d(n)來(lái)對(duì)每個(gè)像素執(zhí)行上述等式(I)的計(jì)算。在該等式中，此處，α是被設(shè)置為值接近I的值。因此，等式(I)中給出的深度值的加權(quán)平均在從深度值Pic_d(n_l)到深度值Pic_d(n)的范圍內(nèi)，并且是更接近深度值Pic_d(η)的值。所獲得的第η幀的深度圖被提供給讀寫單元33。在步驟S241中，附加信息更新単元52基于第(η_1)幀的深度圖和新計(jì)算出的第η幀的深度圖來(lái)更新第η幀的深度圖變化度信息Dc。具體地，附加信息更新単元52向讀寫単元33提供深度圖變化度信息，其中，該深度圖變化度信息是通過(guò)對(duì)第(η-i)幀的深度圖和新計(jì)算出的第η幀的深度圖執(zhí)行與參照?qǐng)D11的流程圖所述的用于生成深度圖變化度信息的處理相同的處理而作為第η幀的深度圖變化度信息Dc所獲得的。在步驟S242中，讀寫單元33將深度圖校正単元51計(jì)算出的第η幀的深度圖和經(jīng)附加信息更新単元52更新后的深度圖變化度信息Dc分別作為關(guān)注幀的深度圖和深度圖變化度信息重寫入記錄介質(zhì)34上，然后，處理進(jìn)入步驟S243。即，當(dāng)關(guān)注幀與前一幀之間的構(gòu)圖變化大時(shí)，將關(guān)注幀的深度圖校正為如下深度圖該深度圖在從前ー幀的深度圖到關(guān)注幀的深度圖的范圍內(nèi)，且更接近關(guān)注幀的深度圖。另外，根據(jù)校正后的關(guān)注幀的深度圖更新深度圖變化度信息。在步驟S243中，圖像處理設(shè)備11確定是否η=Ν，即，關(guān)注幀是否是最終幀。當(dāng)圖像處理設(shè)備11確定η尹N時(shí)，在步驟S244中，圖像處理設(shè)備11設(shè)置“η=η+1”，并且處理返回至步驟S232。即，將關(guān)注幀的后ー幀設(shè)置為關(guān)注幀，并且重復(fù)步驟S232至步驟S243的處理。另ー方面，當(dāng)在步驟S243中圖像處理設(shè)備11確定η=Ν時(shí)，深度圖優(yōu)化處理結(jié)束。在上述處理中，當(dāng)關(guān)注幀與前ー幀之間的構(gòu)圖值變化小且深度圖的變化度大時(shí)，將關(guān)注幀的深度圖校正為如下深度圖該深度圖在前ー幀的深度圖與關(guān)注幀的深度圖的范圍內(nèi)，且更接近前ー幀的深度圖。另外，當(dāng)關(guān)注幀與前ー幀之間的構(gòu)圖值變化大時(shí)，將關(guān)注幀的深度圖校正為如下深度圖該深度圖在前ー幀的深度圖與關(guān)注幀的深度圖的范圍內(nèi)，且更接近關(guān)注幀的深度圖。因此，當(dāng)場(chǎng)景在關(guān)注幀與前ー幀之間發(fā)生改變時(shí)，相應(yīng)幀的深度圖的變化小，因而能夠降低對(duì)觀看基于深度圖所生成的立體圖像的用戶的眼睛的負(fù)擔(dān)。以上描述適于當(dāng)在關(guān)注幀與前一幀之間改變場(chǎng)景時(shí)相應(yīng)幀的深度圖的變化小的情況。然而，可以使相應(yīng)幀的深度圖的變化大。
具體地，當(dāng)在圖17的流程圖的步驟S233中確定構(gòu)圖變化信息Ce大于預(yù)定閾值Cth或者在步驟S234中確定深度圖變化度信息Dc不等于2 (深度圖的變化不大)時(shí)，可將深度圖的深度值校正為大。然后，當(dāng)場(chǎng)景在關(guān)注幀與前一幀之間改變時(shí)，相應(yīng)幀的深度圖的變化大。在這種情況下，當(dāng)在步驟S234中確定深度圖變化度信息Dc等于2(深度圖的變化大)時(shí)，不對(duì)關(guān)注幀的深度圖進(jìn)行校正。以上描述適于前一幀與關(guān)注幀之間的深度圖變化小或大的情況。然而，由于全部幀的深度圖被記錄在記錄介質(zhì)上，因此，關(guān)注幀與時(shí)間上在后的幀之間的深度圖變化可以為小或大。
另外，以上描述適于記錄介質(zhì)34安裝在圖像處理設(shè)備11中的情況。然而，記錄介質(zhì)可安裝在圖像處理設(shè)備的外部。〈5.根據(jù)本技術(shù)的實(shí)施例的圖像處理設(shè)備的另ー配置〉圖18是示出根據(jù)本技術(shù)的另一實(shí)施例的圖像處理設(shè)備的配置的圖。記錄介質(zhì)312安裝在圖18中的圖像處理設(shè)備311的外部。在圖18的圖像處理設(shè)備311中，給出了與圖I的附加信息生成單元11的功能配置的名稱和附圖標(biāo)記相同的名稱和附圖標(biāo)記，并且將適當(dāng)?shù)夭恢貜?fù)對(duì)其的描述。S卩，圖18中的圖像處理設(shè)備311與圖I中的圖像處理設(shè)備11的不同之處在于不包括記錄介質(zhì)34。記錄介質(zhì)312由例如通用串行總線(USB)存儲(chǔ)器、數(shù)字通用盤(DVD)或藍(lán)光盤(BD(注冊(cè)商標(biāo)))構(gòu)成。記錄介質(zhì)312記錄內(nèi)容312a、深度圖312b和附加信息312c。內(nèi)容312a是預(yù)先記錄的并由讀寫単元33從記錄介質(zhì)312適當(dāng)?shù)刈x取。另外，讀寫單元33將深度圖312b和附加信息312c適當(dāng)?shù)貙懭胗涗浗橘|(zhì)312上或者從記錄介質(zhì)312適當(dāng)?shù)刈x取深度圖312b和附加信息312c。在圖18的圖像處理設(shè)備311中，能夠獲得與圖I中的圖像處理設(shè)備11相同的優(yōu)點(diǎn)。另外，由于圖18中的圖像處理設(shè)備311的深度圖生成處理和深度圖優(yōu)化處理基本上與參照?qǐng)D4和圖5的流程圖所描述的圖I的圖像處理設(shè)備11的處理相同，因此，將不重復(fù)對(duì)其的描述。上述系列處理可以由硬件或軟件執(zhí)行。當(dāng)由軟件執(zhí)行該系列處理時(shí),用于軟件的程序安裝在例如嵌入有專用硬件的計(jì)算機(jī)上或者能夠通過(guò)安裝來(lái)自程序記錄介質(zhì)的各種程序執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)上。圖19是示出通過(guò)程序執(zhí)行上述系列處理的計(jì)算機(jī)的硬件構(gòu)成的示例的框圖。在該計(jì)算機(jī)中，中央處理單元(CPU)901、只讀存儲(chǔ)器(R0M)902和隨機(jī)存取存儲(chǔ)器(RAM) 903經(jīng)由總線904彼此連接。輸入/輸出接ロ 905連接至總線904。輸入/輸出接ロ 905連接有由鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入單元906 ;由顯示器、揚(yáng)聲器等構(gòu)成的輸出單元907 ;由硬盤、非易失性存儲(chǔ)器等構(gòu)成的存儲(chǔ)單元908 ;由網(wǎng)絡(luò)接ロ等構(gòu)成的通信単元909以及驅(qū)動(dòng)可移動(dòng)介質(zhì)911(諸如，磁盤、光盤、磁光盤或半導(dǎo)體存儲(chǔ)器)的驅(qū)動(dòng)器910。在具有上述配置的計(jì)算機(jī)中，CPU 901例如通過(guò)經(jīng)由輸入/輸出接ロ 905和總線904將存儲(chǔ)在存儲(chǔ)單元908中的程序裝載到RAM 903上并執(zhí)行該程序，從而執(zhí)行上述系列處理。例如，為了供應(yīng)而將由計(jì)算機(jī)(CPU 901)執(zhí)行的程序記錄在作為封裝介質(zhì)(諸如，磁盤(包括軟盤)、光盤(包括緊湊盤只讀存儲(chǔ)器(⑶-ROM)和數(shù)字通用盤(DVD))、磁光盤或半導(dǎo)體存儲(chǔ)器)的可移動(dòng)介質(zhì)911中。另外，可以經(jīng)由諸如局域網(wǎng)、因特網(wǎng)或數(shù)字衛(wèi)星廣播的有線或無(wú)線傳輸介質(zhì)提供程序。可以通過(guò)將可移動(dòng)介質(zhì)911安裝在驅(qū)動(dòng)器910上來(lái)經(jīng)由輸入/輸出接ロ 905將程序安裝在存儲(chǔ)單元908上。另外，通信単元909可以經(jīng)由有線或無(wú)線傳輸介質(zhì)接收程序并且將程序安裝在存儲(chǔ)單元908上。另外，可以將程序預(yù)先安裝在ROM 902或存儲(chǔ)單元908上。由計(jì)算機(jī)執(zhí)行的程序可以是以說(shuō)明書中所述的順序按時(shí)間順序處理的程序或者當(dāng)調(diào)用時(shí)并行處理或在必要的時(shí)刻處理的程序。
本技術(shù)的實(shí)施例并不限于上述實(shí)施例，而可以在不背離本技術(shù)的精神和實(shí)質(zhì)的情況下以各種方式進(jìn)行修改。本技術(shù)可如下進(jìn)行配置。(I) ー種圖像處理設(shè)備，包括讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)以及從所述記錄介質(zhì)讀取所述深度信息和所述變化信息，其中，所述深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，所述變化信息表示連續(xù)幀之間的變化；以及深度信息校正単元，其基于所述讀寫單元讀取的變化信息對(duì)所述讀寫單元讀取的深度信息進(jìn)行校正，其中，所述讀寫單元將經(jīng)所述深度信息校正単元校正后的深度信息重寫入所述記錄介質(zhì)上。(2)根據(jù)(I)所述的圖像處理設(shè)備，還包括深度信息生成単元，其基于所述記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成深度信息；以及變化信息生成単元，其基于所述記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成變化信息，其中，所述讀寫単元將所述深度信息生成単元生成的深度信息和所述變化信息生成単元生成的變化信息寫入所述記錄介質(zhì)上。(3)根據(jù)(2)所述的圖像處理設(shè)備，其中，所述變化信息生成単元生成關(guān)于關(guān)注幀和與所述關(guān)注幀相鄰的相鄰幀之間的變化的變化信息，以及其中，所述深度信息校正単元基于所述讀寫單元讀取的變化信息對(duì)所述關(guān)注幀的深度信息校正。(4)根據(jù)(3)所述的圖像處理設(shè)備，其中，所述變化信息生成単元生成像素值變化信息和深度信息變化信息，其中所述像素值變化信息表示所述關(guān)注幀與所述相鄰幀之間的像素的像素值變化，所述深度信息變化信息表示所述關(guān)注幀與所述相鄰幀之間的深度信息變化，以及其中，當(dāng)由所述像素值變化信息表達(dá)的像素值變化小且由所述深度信息變化信息表達(dá)的深度信息變化大時(shí)，所述深度信息校正単元用所述相鄰幀的深度信息替代所述關(guān)注幀的深度信息。(5)根據(jù)(3)所述的圖像處理設(shè)備，其中，所述變化信息生成単元生成構(gòu)圖變化信息和深度信息變化信息，其中所述構(gòu)圖變化信息表示所述關(guān)注幀與所述相鄰幀之間的構(gòu)圖變化，所述深度信息變化信息表示所述關(guān)注幀與所述相鄰幀之間的深度信息變化，以及其中，所述深度信息校正単元根據(jù)由所述構(gòu)圖變化信息表達(dá)的構(gòu)圖變化和由所述深度信息變化信息表達(dá)的深度信息變化，將所述關(guān)注幀的深度信息與所述相鄰幀的深度信息的加權(quán)平均設(shè)置為所述關(guān)注幀的深度信息。(6)根據(jù)(3)所述的圖像處理設(shè)備，其中，所述變化信息生成単元生成場(chǎng)景變化信息，所述場(chǎng)景變化信息表示所述關(guān)注幀與所述相鄰幀之間的場(chǎng)景變化，以及 其中，所述深度信息校正単元根據(jù)由所述場(chǎng)景變化信息表達(dá)的場(chǎng)景變化對(duì)所述關(guān)注幀的深度信息進(jìn)行校正。(7)根據(jù)(3)所述的圖像處理設(shè)備，其中，所述變化信息生成単元基于所述關(guān)注幀和所述相鄰幀生成運(yùn)動(dòng)矢量作為所述變化信息，以及其中，所述深度信息校正単元基于所述運(yùn)動(dòng)矢量來(lái)對(duì)所述關(guān)注幀的深度信息執(zhí)行運(yùn)動(dòng)補(bǔ)償。(8)根據(jù)(I)至(7)中任一項(xiàng)所述的圖像處理設(shè)備，還包括所述記錄介質(zhì)。(9)根據(jù)(I )至(7)中任一項(xiàng)所述的圖像處理設(shè)備，其中，所述記錄介質(zhì)安裝在所述圖像處理設(shè)備的外部。(10)根據(jù)(I)至(8)中任一項(xiàng)所述的圖像處理設(shè)備，還包括變化信息更新単元，其對(duì)與由所述深度信息校正単元校正后的深度信息對(duì)應(yīng)的變化信息進(jìn)行更新，其中，所述讀寫單元將由所述變化信息更新単元更新后的變化信息重寫入所述記錄介質(zhì)上。(11) 一種圖像處理設(shè)備的圖像處理方法，其中，所述圖像處理設(shè)備包括讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)以及從所述記錄介質(zhì)讀取所述深度信息和所述變化信息，其中，所述深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，所述變化信息表示連續(xù)幀之間的變化；以及深度信息校正単元，其基于所述讀寫單元讀取的所述變化信息對(duì)所述讀寫單元讀取的深度信息進(jìn)行校正，所述圖像處理方法包括通過(guò)所述圖像處理設(shè)備進(jìn)行如下處理從記錄介質(zhì)讀取表示所述運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示所述連續(xù)幀之間的變化的變化信息；基于所讀取的變化信息對(duì)所讀取的深度信息進(jìn)行校正；以及將校正后的深度信息重寫入所述記錄介質(zhì)上。(12) ー種程序，用于使計(jì)算機(jī)執(zhí)行包括以下步驟的處理從記錄介質(zhì)讀取表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示連續(xù)幀之間的變化的變化信息；基于通過(guò)讀取步驟的處理所讀取的變化信息對(duì)通過(guò)所述讀取步驟的處理所讀取的深度信息進(jìn)行校正；以及將通過(guò)校正步驟的處理校正后的深度信息重寫入所述記錄介質(zhì)上。本公開(kāi)內(nèi)容包含與2011年6月6日向日本專利局提交的日本優(yōu)先權(quán)專利申請(qǐng)JP2011-126027中公開(kāi)的主題內(nèi)容相關(guān)的主題內(nèi)容，其全部?jī)?nèi)容在此通 過(guò)引用而合并于此。
權(quán)利要求
1.一種圖像處理設(shè)備，包括 讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)以及從所述記錄介質(zhì)讀取所述深度信息和所述變化信息，其中，所述深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，所述變化信息表示連續(xù)幀之間的變化；以及 深度信息校正單元，其基于所述讀寫單元讀取的變化信息對(duì)所述讀寫單元讀取的深度信息進(jìn)行校正， 其中，所述讀寫單元將經(jīng)所述深度信息校正單元校正后的深度信息重寫入所述記錄介質(zhì)上。
2.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括 深度信息生成單元，其基于所述記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成深度信息；以及 變化信息生成單元，其基于所述記錄介質(zhì)上所記錄的運(yùn)動(dòng)圖像生成變化信息， 其中，所述讀寫單元將所述深度信息生成單元生成的深度信息和所述變化信息生成單元生成的變化信息寫入記錄介質(zhì)上。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備， 其中，所述變化信息生成單元生成關(guān)于關(guān)注幀和與所述關(guān)注幀相鄰的相鄰幀之間的變化的變化信息，以及 其中，所述深度信息校正單元基于所述讀寫單元讀取的變化信息對(duì)所述關(guān)注幀的深度信息進(jìn)行校正。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，所述變化信息生成單元生成像素值變化信息和深度信息變化信息，其中所述像素值變化信息表示所述關(guān)注幀與所述相鄰幀之間像素的像素值變化，所述深度信息變化信息表示所述關(guān)注幀與所述相鄰幀之間的深度信息變化，以及 其中，當(dāng)由所述像素值變化信息表達(dá)的像素值變化小且由所述深度信息變化信息表達(dá)的深度信息變化大時(shí)，所述深度信息校正單元用所述相鄰幀的深度信息替代所述關(guān)注幀的深度信息。
5.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，所述變化信息生成單元生成構(gòu)圖變化信息和深度信息變化信息，其中所述構(gòu)圖變化信息表示所述關(guān)注幀與所述相鄰幀之間的構(gòu)圖變化，所述深度信息變化信息表示所述關(guān)注幀與所述相鄰幀之間的深度信息變化，以及 其中，所述深度信息校正單元根據(jù)由所述構(gòu)圖變化信息表達(dá)的構(gòu)圖變化和由所述深度信息變化信息表達(dá)的深度信息變化，將所述關(guān)注幀的深度信息與所述相鄰幀的深度信息的加權(quán)平均設(shè)置為所述關(guān)注幀的深度信息。
6.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，所述變化信息生成單元生成場(chǎng)景變化信息，所述場(chǎng)景變化信息表示所述關(guān)注幀與所述相鄰幀之間場(chǎng)景的變化，以及 其中，所述深度信息校正單元根據(jù)由所述場(chǎng)景變化信息表達(dá)的場(chǎng)景變化對(duì)所述關(guān)注幀的深度信息進(jìn)行校正。
7.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備， 其中，所述變化信息生成單元基于所述關(guān)注幀和所述相鄰幀生成運(yùn)動(dòng)矢量作為所述變化信息，以及 其中，所述深度信息校正單元基于所述運(yùn)動(dòng)矢量對(duì)所述關(guān)注幀的深度信息執(zhí)行運(yùn)動(dòng)補(bǔ)
8.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括所述記錄介質(zhì)。
9.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，其中，所述記錄介質(zhì)被安裝在所述圖像處理設(shè)備的外部。
10.根據(jù)權(quán)利要求I所述的圖像處理設(shè)備，還包括 變化信息更新單元，其對(duì)與經(jīng)所述深度信息校正單元校正后的深度信息對(duì)應(yīng)的變化信息進(jìn)行更新， 其中，所述讀寫單元將經(jīng)所述變化信息更新單元更新后的變化信息重寫入所述記錄介質(zhì)上。
11.一種圖像處理設(shè)備的圖像處理方法，其中，所述圖像處理設(shè)備包括讀寫單元，其將深度信息和變化信息寫入記錄介質(zhì)以及從所述記錄介質(zhì)讀取所述深度信息和所述變化信息，其中，所述深度信息表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度，所述變化信息表示連續(xù)幀之間的變化；以及深度信息校正單元，其基于所述讀寫單元讀取的變化信息對(duì)所述讀寫單元讀取的深度信息進(jìn)行校正，所述圖像處理方法包括通過(guò)所述圖像處理設(shè)備進(jìn)行如下處理 從記錄介質(zhì)讀取表示所述運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示所述連續(xù)幀之間的變化的變化信息； 基于所讀取的變化信息對(duì)所讀取的深度信息進(jìn)行校正；以及 將校正后的深度信息重寫入所述記錄介質(zhì)上。
12.—種程序，用于使計(jì)算機(jī)執(zhí)行包括以下步驟的處理 從記錄介質(zhì)讀取表示運(yùn)動(dòng)圖像的幀中的對(duì)象的深度的深度信息和表示連續(xù)幀之間的變化的變化信息； 基于通過(guò)讀取步驟的處理所讀取的變化信息對(duì)通過(guò)所述讀取步驟的處理所讀取的深度信息進(jìn)行校正；以及 將通過(guò)校正步驟的處理校正后的深度信息重寫入所述記錄介質(zhì)上。
全文摘要
本發(fā)明提供了圖像處理設(shè)備、圖像處理方法和程序。在圖像處理設(shè)備中，深度圖生成單元生成表示運(yùn)動(dòng)圖像的幀的每個(gè)像素中的對(duì)象的深度的深度信息。附加信息生成單元生成關(guān)于連續(xù)幀之間的變化的附加信息。讀寫單元將深度圖和附加信息寫入記錄介質(zhì)上并且從記錄介質(zhì)讀取深度圖和附加信息。深度圖校正單元基于讀寫單元讀取的附加信息校正讀寫單元讀取的深度圖。讀寫單元將經(jīng)深度圖校正單元校正后的深度圖重寫入記錄介質(zhì)上。本技術(shù)可應(yīng)用于生成表示立體圖像的深度感的深度信息的圖像處理設(shè)備。
文檔編號(hào)H04N5/445GK102821289SQ201210175060
公開(kāi)日2012年12月12日 申請(qǐng)日期2012年5月30日 優(yōu)先權(quán)日2011年6月6日
發(fā)明者松戶正春 申請(qǐng)人:索尼公司