專利名稱：圖像處理設(shè)備、圖像處理方法和程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法和程序，具體地說，涉 及用于獲取指示攝影被攝體的運動序列的靜止圖像或運動圖像的圖 像處理設(shè)備、圖像處理方法和程序。
背景技術(shù)：
在曰本專利No. 3449993 、曰本未審專利申請公開No. 2004-180259 (對應(yīng)于美國專利No. 7123275)、日本未審專利申請公 開No. 2007-259477 (日本未審專利申請公開No. 2004-180259的分案 申請)和日本未審專利申請公開No. 2002-359777 (對應(yīng)于美國專利 No. 7146022)中描述了現(xiàn)有技術(shù)。如圖32所示，在例如運動訓(xùn)練中使用"運動序列圖像"。 通過在預(yù)定特征時間(關(guān)鍵幀時間)獲取運動的人或被攝體(運 動被攝體)的圖像并隨后在空間中布置這些圖像來產(chǎn)生運動序列圖 像。因此，可以容易地識別運動序列。這樣產(chǎn)生運動序列圖像，使得 即使運動被攝體在空間上沒有運動時，也在空間上布置運動被攝體的 圖像。通常，通過繪畫圖片來產(chǎn)生運動序列圖像。然而，在一些情況 中，通過從每一個照片手動地剪切圖像的部分并布置該部分圖像，也 可以產(chǎn)生運動序列圖像。發(fā)明內(nèi)容為了使用現(xiàn)有方法自動產(chǎn)生這種運動序列圖像，從由攝像機獲得 或者通過由靜止照相機執(zhí)行的連續(xù)拍攝獲得的多個幀的圖像中，提取 表示要處理的關(guān)鍵幀的圖像。隨后，從每一個關(guān)鍵幀提取目標(biāo)被攝體 的圖像，并且，布置提取的圖像。然而，在現(xiàn)有的運動序列圖像中，難以在保持對運動的充分表示 的同時擴展示出的運動的范圍。例如，圖32示出使用從由攝像機捕獲的高爾夫揮桿(golf swing) 的運動圖像數(shù)據(jù)提取的關(guān)鍵幀F(xiàn)K1至FK20產(chǎn)生的運動序列圖像的例 子。如果如圖32所示使用多個關(guān)鍵幀產(chǎn)生一個合成圖像，則在布置 關(guān)鍵幀圖像時一個幀的提取寬度wa變窄。因此，對于一個合成圖像， 難以覆蓋運動被攝體的整個運動范圍，從而目標(biāo)運動被攝體的圖像的 一部分消失。例如，如由圖32所示的圖像所指示的那樣，在揮桿運 動期間，高爾夫球棒(golf club)的頂部的圖像有時消失。這在視覺 上是不期望的。另外，合成圖像不會滿足合成圖像的期望使用，例如， 對形態(tài)(form)的檢查。為了防止運動被攝體(例如，揮動高爾夫球棒的人和高爾夫球棒) 的圖像的部分從圖像中消失，有必要增加每一個提取圖像的寬度。圖33示出一個例子，其中，從關(guān)鍵幀圖像中提取的圖像的寬度 wb增加了。在這種情況下，在一個圖像中布置的關(guān)鍵幀的數(shù)量減少 了。例如，在圖33中示出的運動序列圖像是通過從圖32中示出的20 個關(guān)鍵幀F(xiàn)K1到FK20中選擇八個關(guān)鍵幀F(xiàn)K1、 FK4、 FK7、 FKIO、 FKll、 FK14、 FK17和FK20生成的。在這種情況下，當(dāng)注視每一個關(guān)鍵幀時，運動被攝體(例如，揮 動高爾夫球棒的人和高爾夫球棒)的一部分不會消失。但是，由于可 布置在一個圖像中的關(guān)鍵幀的數(shù)量減少，所以運動的平滑度從運動序 列圖像消失。也就是說，運動序列圖像不能充分地指示關(guān)于例如對形 態(tài)的檢查的運動的細節(jié)。如圖32和圖33中示出的例子所示，如果為了覆蓋運動被攝體的 整個運動范圍而增加提取圖像寬度，那么在最終生成的圖像中存在的 關(guān)鍵幀的數(shù)量減少。因此，該運動序列沒有被充分地視覺化 (visualized)。相反地，如果提取圖像寬度減少，那么可以增加關(guān)鍵 幀的數(shù)量。因此，可以更詳細地視覺化該運動序列。但是，很難使圖9像覆蓋運動被攝體的整個運動范圍，因此，運動被攝體的圖像的部分 可能會不利地消失。這樣的現(xiàn)有的運動序列圖像是通過簡單布置和合成多個關(guān)鍵幀 以便視覺化運動序列而生成的靜止圖像，但是，目前，出現(xiàn)了對更加 直觀有效的運動序列圖像的需求。因此，本發(fā)明提供一種運動序列圖像，該運動序列圖像通過使用 多個幀圖像充分地視覺化運動的細節(jié)并覆蓋運動被攝體的適當(dāng)?shù)倪\ 動范圍。此外，本發(fā)明提供以具有充分的視覺效果的運動圖像的形式 的運動序列圖像。根據(jù)本發(fā)明的實施例， 一種圖像處理設(shè)備包括層分離單元和合成 處理單元，該層分離單元被配置為將輸入幀圖像數(shù)據(jù)項分離成運動被 攝體層和背景層，該合成處理單元被配置為通過使用輸入幀圖像數(shù)據(jù) 項執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項。在圖像合成處理中，最 高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體，第二優(yōu)先 級被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項的運動被攝 體，并且對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層圖像合成處理。該圖像處理設(shè)備還可以包括圖像輸出單元，該圖像輸出單元被配 置為以運動序列靜止圖像數(shù)據(jù)項的形式輸出通過由合成處理單元對 預(yù)定數(shù)量的幀圖像數(shù)據(jù)項執(zhí)行的圖像合成處理而獲得的合成圖像數(shù) 據(jù)項。該圖像處理設(shè)備還可以包括輸入圖像選擇單元，該輸入圖像選擇 單元被配置為從輸入幀圖像數(shù)據(jù)項中選擇用于生成合成圖像數(shù)據(jù)項 的關(guān)鍵幀。該合成處理單元可以根據(jù)被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項執(zhí) 行圖像合成處理，以便生成運動序列靜止圖像數(shù)據(jù)項。該圖像處理設(shè)備還可以包括合成圖像保持單元，該合成圖像保持 單元被配置為將合成圖像數(shù)據(jù)項保持作為用于下一個圖像合成處理 的已有的合成圖像數(shù)據(jù)項。該圖像處理設(shè)備還可以包括圖像輸出單元，該圖像輸出單元被配 置為以運動序列運動圖像數(shù)據(jù)項的形式連續(xù)地輸出每當(dāng)生成合成圖10像數(shù)據(jù)項時由合成處理單元生成的合成圖像數(shù)據(jù)項。
在這種情況下，該圖像處理設(shè)備還可以包括輸入圖像選擇單元和 合成圖像保持單元，該輸入圖像選擇單元被配置為選擇用于從每一個 輸入幀圖像數(shù)據(jù)項生成合成圖像的關(guān)鍵幀，該合成圖像保持單元被配 置為將通過由合成處理單元根據(jù)關(guān)鍵幀執(zhí)行的合成處理而生成的合 成圖像數(shù)據(jù)項保持作為用于下一個圖像合成處理的已有的合成圖像 數(shù)據(jù)項。
在不管輸入幀圖像數(shù)據(jù)項是否被選作關(guān)鍵幀的情況下，該合成處 理單元可以通過生成合成圖像數(shù)據(jù)項來生成運動序列運動圖像數(shù)據(jù) 項，其中通過根據(jù)每個輸入幀圖像數(shù)據(jù)項執(zhí)行的圖像合成處理來生成 該合成圖像數(shù)據(jù)項。
另外，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動 被攝體層，將第二優(yōu)先級賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀 圖像數(shù)據(jù)項的運動被攝體層，將第三優(yōu)先級賦予給最新的輸入幀圖像 數(shù)據(jù)項的背景層，并且將第四優(yōu)先級賦予給與緊鄰以前執(zhí)行的合成處 理相關(guān)的幀圖像數(shù)據(jù)項的背景層，該合成處理單元可以對已有的合成 圖像數(shù)據(jù)項的預(yù)定區(qū)域執(zhí)行圖像合成處理。
此外， 一旦執(zhí)行將最新的輸入幀圖像數(shù)據(jù)項與已有的合成圖像數(shù) 據(jù)項的預(yù)定區(qū)域合成的圖像合成處理，合成處理單元可以根據(jù)要處理
的像素的位置選擇性地執(zhí)行下述處理之一從最新的輸入幀圖像數(shù)據(jù)
項提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；從最新的輸入幀圖像數(shù)據(jù)項 的運動被攝體層提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；從以前生成的 合成圖像數(shù)據(jù)項之一提取的像素被應(yīng)用到預(yù)定區(qū)域的處理；以及使用 以前生成的合成圖像數(shù)據(jù)項之一和最新的輸入幀圖像數(shù)據(jù)項的層圖 像合成處理。
在這種情況下，在該層圖像合成處理中，最高優(yōu)先級可以被賦予 給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層的像素，第二優(yōu)先級可以 被賦予給與以前執(zhí)行的合成處理之一相關(guān)的幀圖像數(shù)據(jù)項的運動被 攝體層的像素，并且第三優(yōu)先級可以被賦予給最新的輸入幀圖像數(shù)據(jù)項的背景層的像素。
或者，可以通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的
運動被攝體的像素，將第二到第n優(yōu)先級賦予給與多個以前處理的合 成圖像數(shù)據(jù)項相關(guān)的幀圖像數(shù)據(jù)項的像素，將第(n+l)優(yōu)先級賦予 給最新的輸入幀圖像數(shù)據(jù)項的背景層的像素，來執(zhí)行層圖像合成處 理。
根據(jù)本發(fā)明的另 一個實施例， 一種圖像處理設(shè)備包括層分離單元 和合成處理單元，該層分離單元被配置為將輸入幀圖像數(shù)據(jù)項分離成 運動被攝體層和背景層，該合成處理單元被配置為通過使用輸入幀圖 像數(shù)據(jù)項執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項。在圖像合成處理 中，對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層圖像合成處理，以便 使最高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層，第 二優(yōu)先級被賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀圖像數(shù)據(jù)項 的運動被攝體層，并顯示這些層。
根據(jù)本發(fā)明的另 一個實施例， 一種圖像處理設(shè)備包括合成處理單 元，該合成處理單元被配置為通過每當(dāng)輸入幀圖像數(shù)據(jù)項時執(zhí)行圖像 合成處理來生成并輸出合成圖像數(shù)據(jù)項，以便顯示這樣的運動圖像， 在該運動圖像中，幀圖像數(shù)據(jù)項中的運動被攝體圖像沿預(yù)定方向順序 地布置。在該運動圖像中，被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項的運動被攝 體圖像被連續(xù)地顯示，并且沒有被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項的運動 被攝體圖像被臨時顯示。
根據(jù)本發(fā)明的另一個實施例，提供一種處理圖像的方法。該方法 包括將輸入圖像數(shù)據(jù)項分離成運動被攝體層和背景層、以及使用輸入 幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖4象合成處理的步驟。通過 將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層并將 第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項的運 動被攝體層，來對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行該層圖像合 成處理。
根據(jù)本發(fā)明的另一個實施例，提供一種處理圖像的方法。該方法
12包括將輸入圖像數(shù)據(jù)項分離成運動被攝體層和背景層、以及使用輸入 幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖像合成處理的步驟。通過 將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層并將 第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀圖像數(shù)據(jù)項 的運動被攝體層，對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層圖像合 成處理，并顯示這些層。
根據(jù)本發(fā)明的另一個實施例，提供一種處理圖像的方法。該方法 包括通過每當(dāng)輸入幀圖像數(shù)據(jù)項時執(zhí)行圖像合成處理來生成合成圖 像數(shù)據(jù)項、以及通過重復(fù)生成合成圖像數(shù)據(jù)項來顯示運動圖像的步 驟，在該運動圖像中，幀圖像數(shù)據(jù)項中的運動被攝體圖像沿預(yù)定方向 順序地布置。在生成合成圖像數(shù)據(jù)項的過程中，執(zhí)行圖像合成處理， 使得被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項的運動被攝體圖像被連續(xù)地顯示， 并且沒有被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項的運動被攝體圖像被臨時顯 示。
根據(jù)本發(fā)明的另 一個實施例，提供一種使算術(shù)處理設(shè)備執(zhí)行用于 處理圖像的這些方法的程序。
也就是說，根據(jù)本發(fā)明，通過在多個輸入幀圖像數(shù)據(jù)項上執(zhí)行圖 像合成處理來生成運動序列圖像。請注意，術(shù)語"幀圖像數(shù)據(jù)項"是 指運動圖像的幀之一或者通過例如連續(xù)拍攝獲得的靜止圖像之一 。也 就是說，術(shù)語"幀圖像數(shù)據(jù)項"廣泛地是指形成每個獨立圖像的圖像 數(shù)據(jù)項。
根據(jù)本發(fā)明，當(dāng)通過對多個輸入幀圖像數(shù)據(jù)項執(zhí)行圖像合成處理 來生成運動序列圖像時，該幀圖像數(shù)據(jù)項被分離成圖像的運動被攝體 層和背景層。隨后，每當(dāng)輸入幀圖像數(shù)據(jù)項時，將最新的輸入幀圖像 數(shù)據(jù)項與在輸入該幀圖像數(shù)據(jù)項時已有的合成圖像數(shù)據(jù)項合成。此 時，通過減小幀的寬度，可以布置大量的運動被攝體圖像。但是，在 這種情況下，生成這樣的部分，在該部分中，最新的幀圖像數(shù)據(jù)項中 的運動被攝體的圖像與前一個幀圖像數(shù)據(jù)項中的運動被攝體的圖像 重疊。因此，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運
13動被攝體層并將第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的幀 圖像數(shù)據(jù)項的運動被攝體層，來執(zhí)行層圖像合成處理。以這種方式， 可以生成合成圖像，在該合成圖像中運動被攝體圖像的部分與前一個 幀中的運動被攝體圖像重疊。
另外，該方法也可以應(yīng)用于運動圖像。在運動圖像的情況下，對 每一個順序地輸入的幀圖像數(shù)據(jù)項執(zhí)行圖像合成處理，并且每一次的 合成處理的結(jié)果都可以作為運動圖像數(shù)據(jù)(運動序列運動圖像)輸出。
根據(jù)上述實施例，當(dāng)自動生成運動序列圖像時，運動被攝體的整 個圖像可以通過擴展運動范圍來表示。另外，在時間方向上的運動序 列的精確表示可以通過布置該運動被攝體的大量圖像來實現(xiàn)。
此外，通過以運動序列運動圖像的方式在不同的時間點輸出合成 圖像數(shù)據(jù)項，可以生成具有高視覺效果并提供便于用戶理解的運動序 列的運動圖像。


圖l是根據(jù)本發(fā)明實施例的圖像處理設(shè)備的框圖； 圖2是示出根據(jù)本實施例的運動序列靜止圖像的視圖； 圖3A到圖3C是根據(jù)本實施例的運動序列靜止圖像生成處理的 示意圖4A和圖4B是根據(jù)本實施例的層分離處理的示意圖5A、圖5B和圖5C示出根據(jù)本實施例的輸入圖像的區(qū)域設(shè)定
的例子；
圖6A到圖6C示出根據(jù)本實施例的運動序列有效區(qū)和其余的背
景區(qū)；
圖7A和圖7B示出根據(jù)本實施例的四個層的示例性層合成處理；
圖8示出根據(jù)本實施例的生成處理的第一例中的合成處理；
圖9是根據(jù)本實施例的生成處理的第一例中的合成處理的流程
圖10是根據(jù)本實施例的生成處理的第一例中的層分離處理的流
14程圖11示出根據(jù)本實施例的運動序列運動圖像；
圖12示出根據(jù)本實施例的運動序列運動圖像；
圖13示出根據(jù)本實施例的運動序列運動圖像；
圖14示出根據(jù)本實施例的運動序列運動圖像；
圖15示出根據(jù)本實施例的運動序列運動圖像；
圖16示出根據(jù)本實施例的運動序列運動圖像；
圖17示出根據(jù)本實施例的運動序列運動圖像；
圖18示出根據(jù)本實施例的生成處理的第二例中的運動序列運動 圖像和合成處理；
圖19示出根據(jù)本實施例的運動序列運動圖像和下部復(fù)制處理；
圖20示出根據(jù)本實施例的運動序列運動圖像和最終幀；
圖21是根據(jù)本實施例的生成處理的第二例的流程圖22是示出根據(jù)本實施例的生成處理的第二例中執(zhí)行的處理確 定的流程圖23A到圖23C示出根據(jù)本實施例的生成處理的第二例中在合 成處理中使用的圖像數(shù)據(jù)；
圖24A和圖24B示出根據(jù)本實施例的生成處理的第二例中選擇 的處理P2和P3;
圖25示出根據(jù)本實施例的生成處理的第二例中選擇的處理P4;
圖26A到圖26C示出根據(jù)本實施例的生成處理的第二例中選擇 的處理P5;
圖27A到圖27D示出根據(jù)本實施例的生成處理的第二例中選擇 的處理P6;
圖28A和圖28B示出使用二進制值表示的運動被攝體信息和使 用多進制值(multi-level value)表示的運動被j聶體信息；
圖29A和圖29B示出使用二進制值表示的運動被攝體信息和使 用多進制值表示的運動被攝體信息；
圖30是當(dāng)生成處理的第一例應(yīng)用到運動序列運動圖像時執(zhí)行的處理的流程圖31是當(dāng)生成處理的第二例應(yīng)用到運動序列靜止圖像時執(zhí)行的 處理的流程圖32示出現(xiàn)有的合成圖像；并且 圖33示出現(xiàn)有的合成圖像。
具體實施例方式
下面將在以下的各部分中描述本發(fā)明的示例性實施例
1. 圖像處理設(shè)備的配置
2. 用于生成運動序列圖像的處理的第一例
3. 用于生成運動序列圖像的處理的第二例
4. 運動被攝體信息
5. 對運動圖像的處理的第一例的應(yīng)用
6. 對運動圖像的處理的第二例的應(yīng)用
7. 程序
1.圖像處理設(shè)備的配置
圖1示出根據(jù)本示例性實施例的圖像處理設(shè)備1的示例性配置。 如圖1所示，圖像處理設(shè)備l包括輸入圖像選擇單元2、層處理 單元3、圖像輸出單元4、合成圖像更新保持單元5、圖像輸入單元 10、運動被攝體信息生成單元11、運動被攝體信息輸入單元12和輸 出裝置40。
這些單元和裝置不必包括在一個主體中。特別是，圖像輸入單元 10、運動被攝體信息生成單元11、運動被攝體信息輸入單元12和輸 出裝置40可以包含在不同的主體中。另外，只有運動被攝體信息生 成單元ll和運動被攝體信息輸入單元12中的一個可以設(shè)置在圖像處 理設(shè)備1中。
輸入圖像選擇單元2、層處理單元3、圖像輸出單元4和合成圖 像更新保持單元5中的每一個都可以配置為硬件塊。但是，輸入圖像
16選擇單元2、層處理單元3、圖像輸出單元4和合成圖像更新保持單 元5中的每一個都可以配置為通過在諸如微型計算機的算術(shù)處理單元 中運行的軟件程序?qū)崿F(xiàn)的功能塊。
圖像處理設(shè)備1可以被合并在例如圖像拾取設(shè)備(例如，攝像機) 或視頻重放設(shè)備(video playback apparatus)中?；蛘?，圖像處理設(shè) 備l可以配置為專用圖像處理設(shè)備。此外，或者，圖像處理設(shè)備l可 以配置為具有通過在例如個人計算機中的軟件和硬件的協(xié)作實現(xiàn)的 圖像處理功能的設(shè)備。
圖像輸入單元10接收用于生成運動序列圖像(靜止圖像或運動 圖像)的幀圖像數(shù)據(jù)組。
術(shù)語"幀圖像數(shù)據(jù)項"是指運動圖像的幀之一或者通過例如連續(xù) 拍攝獲得的靜止圖像之一。也就是說，術(shù)語"幀圖像數(shù)據(jù)項"廣泛地 是指形成每個獨立圖像的圖像數(shù)據(jù)項。
當(dāng)圖像處理設(shè)備1被合并在圖像拾取設(shè)備中時，圖像輸入單元 10對應(yīng)于透鏡系統(tǒng)、光接收元件和通過圖像信號處理獲取捕獲的圖像 信號的圖像捕獲系統(tǒng)。
當(dāng)輸入由外部圖像捕獲設(shè)備獲取的捕獲圖像信號時，圖像輸入單 元10可以是用于接收和處理從外部圖像拾取設(shè)備傳輸或下栽的圖像 信號的系統(tǒng)。例如，圖像輸入單元10可以是外部設(shè)備接口單元，例 如廣播調(diào)諧器單元、通用串行總線(USB)接口或者用于無線通信或 有線通信的網(wǎng)絡(luò)通信單元。
或者，當(dāng)諸如捕獲的圖像數(shù)據(jù)的圖像信號存儲在諸如存儲卡(固 態(tài)存儲器)或光盤的記錄介質(zhì)中時，圖像輸入單元10以用于再現(xiàn)存 儲在記錄介質(zhì)中的圖像信號的再現(xiàn)單元或再現(xiàn)程序的形式實現(xiàn)。
圖像輸入單元10接收運動圖像的每一個幀的圖像數(shù)據(jù)或者通過 連續(xù)拍攝捕獲的多個幀的靜止圖像數(shù)據(jù)。然后圖像輸入單元10將這 樣的幀圖像數(shù)據(jù)提供給輸入圖像選擇單元2和運動被攝體信息生成單 元11。
請注意，圖像輸入單元10可以執(zhí)行預(yù)處理。 一旦接收到運動圖像文件，圖像輸入單元10可以對該運動圖像文件執(zhí)行適當(dāng)?shù)霓D(zhuǎn)換。 例如，圖像輸入單元10可以從該運動圖像文件生成幀。另外， 一旦 接收到隔行掃描圖像(interlace image )，圖像輸入單元10可以將該 隔行掃描圖像轉(zhuǎn)換為逐行掃描圖像(progressive image)。此外，圖 像輸入單元IO還可以放大或縮小圖像的尺寸。
運動被攝體信息生成單元ll使用從圖像輸入單元IO接收到的原
始圖像組(幀圖像數(shù)據(jù)組)和附加信息(例如，深度信息)生成運動 被攝體信息。
術(shù)語"運動被攝體信息，，是指至少指示輸入幀圖像數(shù)據(jù)項的哪個 部分對應(yīng)于運動被攝體以及哪個部分對應(yīng)于背景的信息。
運動被攝體信息生成單元11生成對應(yīng)于每個輸入幀圖像數(shù)據(jù)項 的運動被攝體信息。隨后，運動被攝體信息生成單元11將生成的運 動被攝體信息提供給輸入圖像選擇單元2。
該運動被攝體信息可以被表示為運動被攝體圖像。在這種情況 下，每個像素對應(yīng)于運動被攝體還是對應(yīng)于背景由像素值指示。另夕卜，
指示被攝體的位置的信息可以使用數(shù)學(xué)表達式或者矢量表達。
運動被攝體信息生成單元11將運動被攝體與背景分離。另外， 當(dāng)存在多個運動被攝體時，運動被攝體信息生成單元11可以針對每 一個深度將運動被攝體彼此分離。在這種情況下，為了使用圖像表示 運動被攝體信息，該圖像被表示為指示每一個像素位于哪個深度的多 進制值圖像(或者多通道圖像)，而不是將圖像表示為指示該圖像對 應(yīng)于運動被攝體還是對應(yīng)于背景的二進制圖像。在下面參考圖28和 圖29對本處理進行更詳細的描述。
運動被攝體信息不必一定在圖像處理設(shè)備l中生成。相反地，圖
像處理設(shè)備1可以接收由不同的設(shè)備或不同的程序生成的運動被攝體 信息。運動被攝體信息輸入單元12從外部接收與輸入到圖像輸入單 元10的每一個幀圖像數(shù)據(jù)項相關(guān)的運動被攝體信息。然后，運動被 攝體信息輸入單元12將接收到的運動被攝體信息提供給輸入圖像選 擇單元2。
18因此，運動被攝體信息生成單元11和運動被才聶體信息輸入單元
12中的至少一個是必要的。但是，由運動被攝體信息生成單元11生 成的運動被攝體信息和由運動被攝體信息輸入單元12接收的運動被 攝體信息可以同時被使用。在這種情況下，提供運動被攝體信息生成 單元11和運動被攝體信息輸入單元12。
輸入圖像選擇單元2執(zhí)行用于從由圖像輸入單元10順序地提供 的幀圖像數(shù)據(jù)項生成運動序列圖像的處理。也就是說，輸入圖像選擇 單元2選擇對于由層處理單元3執(zhí)行的合成處理所必需的圖像數(shù)據(jù) 項。然后，輸入圖像選擇單元2將一組合適的圖像輸出到層處理單元 3。另外，輸入圖像選擇單元2向?qū)犹幚韱卧?輸出與要被輸出到層 處理單元3的幀圖像數(shù)據(jù)項相對應(yīng)的運動被攝體信息和諸如坐標(biāo)信息 的合成處理所必需的信息。
如圖1所示，輸入圖像選擇單元2包括關(guān)鍵幀確定子單元21和 坐標(biāo)計算子單元22。關(guān)鍵幀確定子單元21執(zhí)行關(guān)鍵幀確定處理并基 于關(guān)鍵幀確定處理選擇要被輸出到層處理單元3的幀圖像數(shù)據(jù)項。坐 標(biāo)計算子單元22計算合成處理所必需的坐標(biāo)。
如在本文中所使用的，術(shù)語"關(guān)鍵幀"是指充當(dāng)運動序列的軌跡 并在時間軸上的不同時間點保留在最終的輸出圖像(在運動圖像的情 況中，最終的幀圖像)中的多個不同的圖像。例如，通常，從時間上 連續(xù)的幀圖像數(shù)據(jù)項中，在適當(dāng)?shù)膯挝粫r間期間以均勻間隔捕獲的幀 被選作關(guān)鍵幀。但是，關(guān)鍵幀不限于以均勻間隔捕獲的關(guān)鍵幀。例如， 可以使用適用于將目標(biāo)被攝體的運動序列視覺化的以不均勻間隔捕 獲的關(guān)鍵幀。
關(guān)鍵幀確定子單元21從由圖像輸入單元10順序地提供的幀圖像 數(shù)據(jù)項中選擇充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項。如下面更詳細地描述的那 樣，當(dāng)生成運動序列靜止圖像時，關(guān)鍵幀確定子單元21只將所選擇 的關(guān)鍵幀提供給層處理單元3。相反地，當(dāng)生成運動序列運動圖像時， 關(guān)鍵幀確定子單元21將所有的輸入幀圖像數(shù)據(jù)項提供給層處理單元 3。在這種情況下，層處理單元3根據(jù)輸入幀圖像數(shù)據(jù)項是否是關(guān)鍵幀來改變對合成圖像的處理。
層處理單元3包括層分離子單元31、層處理子單元32和層合成子單元33。層處理單元3生成運動序列圖像。
層分離子單元31使用運動被攝體信息將輸入幀圖像數(shù)據(jù)項分離成各層。根據(jù)本實施例，每一個幀圖像數(shù)據(jù)項被分離成兩個層運動被攝體層和背景層。例如，層分離子單元31使用運動被攝體信息將輸入圖像和前一個關(guān)鍵幀圖像分離成背景圖像和運動被攝體圖像，以便生成對應(yīng)層中的圖像。當(dāng)存在多個運動被攝體圖像時，并且，如果指示了運動被攝體圖像的深度，則運動被攝體圖像被分離成每一個層都對應(yīng)于一個深度的各層。
例如，層處理子單元32切割每個層上的圖像的部分、放大或縮小每個層上的圖像，或者移動圖像的坐標(biāo)。也就是說，層處理子單元32對每個分離層中的圖像執(zhí)行各種處理，以便使圖像可以被合成。通常，層處理子單元32執(zhí)行幾何計算，例如放大/縮小處理、旋轉(zhuǎn)處理和平移處理。但是，層處理子單元32可以執(zhí)行諸如對運動部分的圖像增強的圖像處理。基于關(guān)鍵幀的數(shù)量和輸出圖像尺寸執(zhí)行放大/縮小處理。
層合成子單元33使用處理層和以前合成的圖像執(zhí)行圖像合成處理。也就是說，層合成子單元33通過使用由層處理子單元32處理的圖像、以前合成的圖像和運動被攝體信息來生成要被輸出的合成圖像。在這一合成處理中，層合成子單元33基于運動被攝體信息確定哪個層包含要被包含在輸出圖像中的像素，并生成輸出圖像。層合成子單元33選擇一個層，并輸出該層中的像素?；蛘?，層合成子單元33可以選擇多個層，合成這些層中的像素，并輸出合成的像素。由層處理單元3執(zhí)行的處理將在下面進行更詳細的描述。
圖像輸出單元4向輸出裝置40輸出由層處理單元3生成的合成圖像。輸出裝置40的例子包括可以接收運動序列圖像的各種單元，例如監(jiān)控器單元或存儲單元。根據(jù)系統(tǒng)的類型，從圖像輸出裝置40輸出的運動序列圖像可以被顯示，被載入存儲器，或者被寫入外部存
20儲介質(zhì)，例如硬盤、閃存或網(wǎng)絡(luò)上的另一個設(shè)備。
為了生成運動序列靜止圖像，圖像輸出單元4向輸出裝置40輸出當(dāng)對預(yù)定數(shù)量的關(guān)鍵幀的幀圖像數(shù)據(jù)項的合成處理完成時作為運動序列靜止圖像生成的一幀圖像數(shù)據(jù)。
相反地，為了生成運動序列運動圖像，圖像輸出單元4向輸出裝置40輸出通過每當(dāng)幀圖像數(shù)據(jù)項作為運動圖像的一幀圖像數(shù)據(jù)輸入時順序地執(zhí)行的合成處理而生成的合成圖像。
當(dāng)生成其中要被合成的所有的幀圖像數(shù)據(jù)項都是關(guān)鍵幀的運動序列靜止圖像時，圖像輸出單元4將當(dāng)前的合成圖像數(shù)據(jù)項輸出到合成圖像更新保持單元5，使得合成圖像更新保持單元5更新并存儲該合成圖像，以便在執(zhí)行下一個處理時將當(dāng)前的合成圖像數(shù)據(jù)項作為前一個合成圖像數(shù)據(jù)項使用。
相反地，當(dāng)生成運動序列運動圖像時，并且，如果當(dāng)前處理的幀圖像數(shù)據(jù)是關(guān)鍵幀，則圖像輸出單元4將當(dāng)前的合成圖像數(shù)據(jù)項輸出到合成圖像更新保持單元5，使得合成圖像更新保持單元5更新并存儲該合成圖像，以便在執(zhí)行下一個處理時將當(dāng)前的合成圖像數(shù)據(jù)項作為前一個合成圖像數(shù)據(jù)項使用。
當(dāng)運動序列靜止圖像正生成時，合成圖像更新保持單元5保持在每個圖像數(shù)據(jù)項被輸入時獲得的合成圖像數(shù)據(jù)項。
例如，為了生成運動序列靜止圖像，每當(dāng)圖像輸出單元4輸出合成圖像時，合成圖像更新保持單元5更新合成圖像。然后，合成圖像更新保持單元5保持更新的合成圖像。例如，在合成處理期間，合成圖像更新保持單元5更新前一個合成圖像數(shù)據(jù)項并將更新的合成圖像數(shù)據(jù)項保持為前一個合成圖像數(shù)據(jù)項或者最后一個之前的合成圖像數(shù)據(jù)項。另外，合成圖像更新保持單元5保持在生成每一個合成圖像時獲得的關(guān)鍵幀信息和關(guān)于關(guān)鍵幀的運動被攝體信息。
相反地，當(dāng)正生成運動序列運動圖像時，合成圖像更新保持單元5更新通過關(guān)鍵幀合成處理生成的合成圖像數(shù)據(jù)項并保持該合成圖像數(shù)據(jù)項。與生成運動序列靜止圖像的情況中一樣，合成圖像更新保持單元5保持在生成每一個合成圖像時獲得的關(guān)鍵幀信息和關(guān)于關(guān)鍵幀的運動被攝體信息。
2.用于生成運動序列圖像的處理的第一例
下面描述主要由輸入圖像選擇單元2、層處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的用于生成運動序列圖像的處理的第一例。
在本例中，生成如圖2所示的運動序列靜止圖像。參考圖2到圖8描述用于生成運動序列靜止圖像的處理的第一例的概要。參考圖9和圖IO描述處理的具體例子。
首先參考圖2描述由根據(jù)本實施例的圖像處理設(shè)備1生成的運動序列靜止圖像。
例如，如圖2所示的運動序列靜止圖像由通過捕獲人揮動高爾夫球棒的視頻圖像或連續(xù)拍攝的靜止圖像而獲得的多個幀圖像數(shù)據(jù)項生成。
如圖32中示出的圖像一樣，圖2中示出的運動序列靜止圖像是使用相對較大數(shù)量的幀圖像數(shù)據(jù)項生成的，從而包含在連續(xù)高爾夫揮桿期間的多個時間捕獲的圖像。但是，與圖32所示的圖像不同的是，例如，高爾夫球棒的頂部的圖像沒有消失。盡管右邊和左邊的圖像部分地重疊，但是在每一幀中的整個運動被攝體(人和高爾夫球棒)都顯示了。也就是說，運動序列圖像可以使用多個幀圖像充分地表示運動并適當(dāng)?shù)乇硎具\動被攝體的運動范圍。這樣的運動序列圖像可以通過下面的處理生成。
圖3A到圖3C是運動序列靜止圖像生成處理的示意圖。
圖3A是輸入到輸入圖像選擇單元2的圖像數(shù)據(jù)項的示意圖。例如，該圖像數(shù)據(jù)項為運動圖像數(shù)據(jù)項。每一個圖像數(shù)據(jù)項Fl、 F2、F3……表示幀圖像數(shù)據(jù)。
輸入圖像選擇單元2從運動圖像的這樣的時間系列幀中選擇關(guān)鍵幀。例如，假定每五幀是關(guān)鍵幀。于是，均由圓圏(o)表示的幀F(xiàn)l、 F6、 Fll、 F16、 F21……都是關(guān)鍵幀。圖3B表示在這些幀中包
22含的圖像。
如下面更詳細地描述的那樣，當(dāng)生成運動序列運動圖像時，除了
關(guān)鍵幀以外的幀圖像數(shù)據(jù)項(例如，幀F(xiàn)2和幀F(xiàn)3)也用于合成處理。但是，當(dāng)生成運動序列靜止圖像時，只有關(guān)鍵幀用于合成處理。
在這種情況下，輸入圖像選擇單元2只提取關(guān)鍵幀并將提取的關(guān)鍵幀提供給層處理單元3。
如下面更詳細地描述的那樣，每當(dāng)層處理單元3從輸入圖像選擇單元2順序地接收關(guān)鍵幀F(xiàn)l、 F6、 Fll、 F16、 F21……時，層處理單元3順序地執(zhí)行合成處理。以這種方式，如圖3C所示，最終生成運動序列靜止圖像。此時，執(zhí)行層合成處理，以便使包含在要被合成的當(dāng)前關(guān)鍵幀中的運動被攝體的圖像與以前合成的圖像重疊。
將在下面描述由以這種方式合成圖像的層處理單元3執(zhí)行的處理。
層分離子單元31使用運動被攝體信息將輸入圖像和前一個關(guān)鍵幀圖像中的每一個分離成背景圖像和經(jīng)過層合成處理的范圍內(nèi)的運動被攝體的圖像。因此，層分離子單元31生成每一個層中的圖像。
圖4A示出輸入圖像(幀圖像數(shù)據(jù)項之一)和關(guān)于幀圖像數(shù)據(jù)項的運動被攝體信息。
如前所述，輸入圖像選擇單元2從由圖像輸入單元10順序地提供的幀圖像數(shù)據(jù)項Fl、 F2、 F3……中選擇充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項(例如，幀圖像數(shù)據(jù)項F1)。然后，輸入圖像選擇單元2將選擇的幀圖像數(shù)據(jù)項輸出到層處理單元3。
另外，輸入圖像選擇單元2接收與從運動被攝體信息生成單元11或運動被攝體信息輸入單元12提供的每一個幀圖像數(shù)據(jù)項相對應(yīng)的運動被攝體信息。當(dāng)將充當(dāng)關(guān)鍵幀的幀圖像數(shù)據(jù)項提供給層處理單元3時，輸入圖像選擇單元2進一步將對應(yīng)于幀圖像數(shù)據(jù)項的運動被攝體信息提供給層處理單元3。
在圖4A的上部示出提供給層處理單元3的這樣的幀圖像數(shù)據(jù)項，并且在圖4A的下部示出運動被攝體信息。在本例中，運動被攝體信息使用二進制值表示。也就是說，運動被攝體的圖像的像素表示
為'T，，背景圖像的像素表示為"0"。在圖4A的下部中，白色部分的每一個像素表示為'T，。也就是說，該像素表示運動被攝體。黑色部分的每一個像素表示為"0"。也就是說，該像素表示背景。
層分離子單元31使用這樣的運動被攝體信息將輸入幀圖像數(shù)據(jù)分離成各層。
圖4B示出通過分離輸入幀圖像數(shù)據(jù)而生成的運動被攝體層和背景層。在圖4B的上部中示出的運動被攝體層包含通過從圖4A所示的輸入圖像中只提取運動被攝體部分(即，僅僅具有'T，的運動被攝體信息的像素)而獲得的圖像。
另外，在圖4B的下部中示出的背景層包含通過從如圖4A所示的輸入圖像中只提取背景部分(即，僅僅具有"0"的運動被攝體信息的像素)而獲得的圖像。
請注意，可以出現(xiàn)多個運動被攝體。因此，可以使用表示三個值或更多個值的多進制值的運動被攝體信息。這將在下面參考圖28和圖29進行更詳細的描述。在運動被j聶體信息生成單元11或運動,皮才聶體信息輸入單元12中，根據(jù)多個運動被攝體的深度(圖像中的前景/背景關(guān)系)生成(或獲取)表示不同值的運動被攝體信息。
在這種情況下，層分離子單元31可以將圖像分離成每一個層都對應(yīng)于一個深度的各層。
如上所述，層處理子單元32對每一個分離層執(zhí)行各種處理以使其成為可以被合成的形式。
通常，運動序列圖像不是從輸入幀圖像數(shù)據(jù)項的整個區(qū)域生成的，而是從輸入幀圖像數(shù)據(jù)項的提取區(qū)域生成的。
另外，運動被攝體有效區(qū)與保留在最終圖像中的背景的區(qū)域不同。
假設(shè)(Wimg, Himg)表示代表輸入幀圖像數(shù)據(jù)的圖像的寬度和高度。假設(shè)(Wmov， Hmov)表示運動序列有效區(qū)的寬度和高度，并且，假設(shè)(Wback， Hback)表示其余的背景區(qū)的寬度和高度。于是，
24例如，如圖5A、圖5B或圖5C所示，暗示(suggesting)這些區(qū)域之間的關(guān)系的三種情況之一出現(xiàn)。請注意，圖5A、圖5B或圖5C只是例子。這些情況并不限于此。
在圖5A、圖5B和圖5C中，運動被攝體有效區(qū)是從其提取主要運動被攝體的圖像的區(qū)域。其余的背景區(qū)是在合成處理中用作背景圖像的區(qū)域。
對于運動序列有效區(qū)的值(Wmov, Hmov)和其余的背景區(qū)的值(Wback， Hback)，根據(jù)衫L攝體運動方向，即，當(dāng)生成運動序列圖像時圖像在時間上移動的方向，寬度的值或者高度的值可以相同。
通常，期望的是，當(dāng)如圖2中示出的運動序列圖像所指示的那樣運動序列有效區(qū)布置在水平方向時，如圖5B所示，高度Hmov和Hback中的每一個都與原始幀圖像數(shù)據(jù)的高度(Himg)相同。
相反地，通常，期望的是，當(dāng)運動序列有效區(qū)布置在垂直方向時，如圖5C所示，寬度Wmov和Wback中的每一個都與原始幀圖像數(shù)據(jù)的寬度(Wimg)相同。
在檢查運動中的形態(tài)的情況下，當(dāng)目標(biāo)是站立的人時，經(jīng)常使用水平運動序列。相反地，當(dāng)目標(biāo)是躺著的人時，如同柔道的基本動作的情況一樣，經(jīng)常使用垂直運動序列。如上所述，運動序列方向和每個圖像的尺寸大大地依賴于要捕獲的圖像。
圖6A到圖6C示出使用圖5B中所示出的例子設(shè)定實際幀圖像數(shù)據(jù)的運動序列有效區(qū)和其余的背景區(qū)的例子。
圖6A示出輸入原始幀圖像數(shù)據(jù)。例如，幀圖像數(shù)據(jù)的尺寸是VGA尺寸(640 x480)。運動序列有效區(qū)的中心和其余的背景區(qū)的中心與輸入原始幀圖像數(shù)據(jù)的中心一致。
如圖6B所示，運動序列有效區(qū)具有下述尺寸寬度Wmov-320并且高度Hmov-480。
如圖6C所示，其余的背景區(qū)具有下述尺寸寬度Wback=160并且高度Hback-480。
請注意，這些值只是例子。實際上，可以根據(jù)被攝體的尺寸和被
25攝體的運動設(shè)置適當(dāng)?shù)闹?，從而提取用于合成處理的圖像。
例如，層合成子單元33將經(jīng)過由層處理子單元32執(zhí)行的處理的輸入圖像(充當(dāng)當(dāng)前關(guān)鍵幀的幀圖像數(shù)據(jù))、前一個關(guān)鍵幀圖像、運動被攝體信息，以及此時已有的合成圖像數(shù)據(jù)項合成，以便生成要被輸出的圖像。
請注意，前一個關(guān)鍵幀圖像是從輸入圖像選擇單元2輸入的，并以前被用于合成處理。前一個關(guān)鍵幀圖像可以存儲在層處理單元3中，直到當(dāng)前處理開始。或者，前一個關(guān)鍵幀圖像可以存儲在合成圖像更新保持單元5中，并且當(dāng)合成處理開始時該前一個關(guān)鍵幀圖像和前一個合成圖像數(shù)據(jù)項可以一同從合成圖像更新保持單元5被讀取。
下面參考圖7A和圖7B描述輸入圖像(當(dāng)前關(guān)鍵幀)和前一個關(guān)鍵幀的合成處理的概念。
當(dāng)前輸入關(guān)鍵幀通過由層分離子單元31執(zhí)行的上述處理已經(jīng)被分離成運動被攝體層和其余的背景層。
另外，前一個關(guān)鍵幀已經(jīng)被分離成運動被攝體層和其余的背景層。
圖7A和圖7B示出這四個層的合成處理。
如圖7A所示，最新的輸入幀圖像數(shù)據(jù)(當(dāng)前關(guān)鍵幀)的運動被攝體層具有最高優(yōu)先級。
另外，通過前一個合成處理生成的幀圖像數(shù)據(jù)(前一個關(guān)鍵幀)的運動被攝體層具有第二優(yōu)先級。
另外，最新的輸入幀圖像數(shù)據(jù)(當(dāng)前關(guān)鍵幀)的其余的背景層具有第三優(yōu)先級。
另外，通過前一個合成處理生成的幀圖像數(shù)據(jù)(前一個關(guān)鍵幀)
的其余的背景層具有第四優(yōu)先級。
隨后，這四個層圖像基于優(yōu)先級被合成，從而獲得如圖7B中所
示的合成圖像。
通過將這樣的合成圖像與已有的合成圖像數(shù)據(jù)項的預(yù)定區(qū)域合成，新的運動被攝體圖像被加入到包含多個以前的關(guān)鍵幀的已有的合成圖像中。
例如，圖8示出在運動序列靜止圖像最終生成之前在某個時間的 合成狀態(tài)。也就是說，示出了當(dāng)對當(dāng)前輸入關(guān)鍵幀F(xiàn)x執(zhí)行合成處理 時的合成狀態(tài)。
在圖8中示出當(dāng)前輸入關(guān)鍵幀F(xiàn)x的運動序列范圍和已有的合成 圖像數(shù)據(jù)項的區(qū)域。
為了通過合成處理添加當(dāng)前輸入關(guān)鍵幀F(xiàn)x的圖像，當(dāng)前輸入關(guān) 鍵幀F(xiàn)x的運動序列有效區(qū)的像素可以直接被復(fù)制到圖8中示出的新 的合成圖像數(shù)據(jù)項中的區(qū)域B中。
另外，已有的合成圖像數(shù)據(jù)項的像素，即，在前一個關(guān)鍵幀的合 成處理完成時獲得的合成圖像數(shù)據(jù)項的像素可以被復(fù)制到新的合成 圖像數(shù)據(jù)項中的區(qū)域C中。
在這種情況下，區(qū)域A出現(xiàn)了問題。也就是說，在區(qū)域A中， 在當(dāng)前關(guān)鍵幀F(xiàn)x中的運動被攝體FxD的圖像與在前一個關(guān)鍵幀中的 運動被攝體F(x-l)D的圖像部分地重疊。因此，對于區(qū)域A，使用如 圖7A所示的優(yōu)先級合成這些層。
也就是說，對于區(qū)域A，如圖7所示，層合成子單元33使用當(dāng) 前關(guān)鍵幀F(xiàn)x和前一個關(guān)鍵幀合成圖像以便生成合成圖像。對于區(qū)域 B，直接使用對應(yīng)于區(qū)域B的當(dāng)前關(guān)鍵幀F(xiàn)x的圖像。以這種方式， 從當(dāng)前關(guān)鍵幀圖像和前一個關(guān)鍵幀圖像獲得對于區(qū)域(A+B)的合成 圖像。隨后，層合成子單元33將區(qū)域A和區(qū)域B的合成圖像與從合 成圖像更新保持單元5讀取的已有的合成圖像數(shù)據(jù)項合成。也就是說， 層合成子單元33將當(dāng)前生成的區(qū)域(A+B)拼接到已有的合成圖像 數(shù)據(jù)項的區(qū)域C。
以這種方式，可以獲得圖8中示出的合成圖像數(shù)據(jù)項。
所獲得的合成圖像數(shù)據(jù)項被存儲在合成圖像更新保持單元5中， 并以相似方式用于對下一個關(guān)鍵幀F(xiàn) (x+l)的下一個合成處理中。
以這種方式，對于在合成處理中圖像重疊的區(qū)域A，執(zhí)行在圖 7A和圖7B中示出的層合成處理。因此，在不失去運動被攝體FxD
27的圖像的任何部分的情況下，將當(dāng)前關(guān)鍵幀加入到已有的合成圖像數(shù)
據(jù)項。作為結(jié)果，如圖2所示，即使在使用多個關(guān)鍵幀時，也可以生 成最佳地表示運動被攝體的運動的運動序列圖像。
下面參考圖9和圖10描述由圖像處理設(shè)備1執(zhí)行的處理的具體例子。
圖9是為了生成運動序列靜止圖像而由輸入圖像選擇單元2、層 處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的處理 的流程圖。
在步驟F101到步驟F104中的處理由輸入圖像選擇單元2執(zhí)行。 如前所述，輸入圖像選擇單元2從圖像輸入單元10接收時間系 列幀圖像數(shù)據(jù)項。每當(dāng)輸入圖像選擇單元2接收幀圖像數(shù)據(jù)項之一時， 輸入圖像選擇單元2在步驟F102中進一步從運動被攝體信息生成單 元11 (或者運動被攝體信息輸入單元12)接收對應(yīng)于接收到的幀圖 像數(shù)據(jù)項的運動被攝體信息。
請注意，在步驟F101中，確定形成運動序列靜止圖像的所有的 一系列幀圖像數(shù)據(jù)項是否都已經(jīng)被接收到，也就是說，確定從圖像輸 入單元10提供幀圖像數(shù)據(jù)項是否完成。也就是說，本處理從步驟F101 前進到步驟F102，直到輸入了用于生成運動序列靜止圖像的預(yù)定數(shù)量 的關(guān)鍵幀。
在輸入圖像選擇單元2在步驟F102中接收對應(yīng)于該幀圖像數(shù)據(jù) 項的被攝體圖像信息和幀圖像數(shù)據(jù)項后，輸入圖像選擇單元2在步驟 F103中確定該幀圖像數(shù)據(jù)項是否被選作關(guān)鍵幀。例如，當(dāng)如圖3所示 的那樣選擇關(guān)鍵幀時，每五幀(第一幀、第六幀、第十一幀……)被 選作關(guān)鍵幀。
如果輸入的幀圖像數(shù)據(jù)項被選作關(guān)鍵幀，那么由輸入圖像選擇單 元2執(zhí)行的處理前進到步驟F104。然而，如果輸入幀圖像數(shù)據(jù)項沒有 被選作關(guān)鍵幀，那么處理返回到步驟FIOI,其中，輸入圖像選擇單元 2接收下一個幀圖像數(shù)據(jù)項。也就是說，在運動序列靜止圖像的生成 處理中，除了關(guān)鍵幀以外的幀圖像數(shù)據(jù)項不用于合成處理。如果在步驟F102中接收到的幀圖像數(shù)據(jù)項被選作關(guān)鍵幀，那么 輸入圖像選擇單元2執(zhí)行處理，從而使接收到的幀圖像數(shù)據(jù)項可以用 于合成處理。因此，在步驟F104中，輸入圖像選擇單元2執(zhí)行坐標(biāo) 計算。在坐標(biāo)計算中，計算在當(dāng)前幀圖像數(shù)據(jù)項與合成圖像合成時使 用的當(dāng)前幀圖像數(shù)據(jù)項的像素的位置。也就是說，計算當(dāng)前幀圖像數(shù) 據(jù)要被合成到其中的最終合成圖像的尺寸(運動序列靜止圖像的尺 寸)內(nèi)的像素范圍。
輸入圖像選擇單元2將在步驟F104計算得到的坐標(biāo)與當(dāng)前幀圖 像數(shù)據(jù)項(當(dāng)前關(guān)鍵幀)和運動被攝體信息一同輸出到層處理單元3。
在步驟F105中，層處理單元3的層分離子單元31使用接收到 的幀圖像數(shù)據(jù)項(當(dāng)前關(guān)鍵幀)、接收到的運動被攝體信息、前一個 關(guān)鍵幀圖像和關(guān)于前一個關(guān)鍵幀圖像的運動被攝體信息生成四個層。 也就是說，如圖4A和圖4B所示，層分離子單元31將輸入幀圖像數(shù) 據(jù)項分離成運動被攝體層和背景層。隨后，如圖7A所示，層分離子 單元31生成當(dāng)前關(guān)鍵幀的運動被攝體層、前一個關(guān)鍵幀的運動被攝 體層、當(dāng)前關(guān)鍵幀的背景層和前一個關(guān)鍵幀的背景層。
請注意，被存儲并在輸入前一個關(guān)鍵幀時在步驟F105中執(zhí)行的 層分離處理中生成的運動被攝體層和背景層可以用于當(dāng)前處理。
當(dāng)生成四個層時，在圖7A中示出的層圖像可以被生成并被存儲 在存儲器區(qū)域中。但是，在本例中，這四個層是通過生成"層分離信 息"而生成的。
該層分離信息指示哪一個層最終被選作前一個關(guān)鍵幀圖像和當(dāng) 前關(guān)鍵幀圖像的運動序列有效區(qū)的重疊部分，也就是說，被選作在圖 8中示出的要被合成的區(qū)域的像素。
本處理在圖10中示出。在圖10中示出的處理中，在當(dāng)前關(guān)鍵幀 中的運動序列有效區(qū)的所有像素中的每一個都成為確定處理的目標(biāo)。
在步驟F200中，層處理單元3選擇當(dāng)前關(guān)鍵幀的運動序列有效 區(qū)的第一像素作為確定目標(biāo)。隨后，對該目標(biāo)像素執(zhí)行在步驟F201 至步驟F210中的確定處理。
29直到在步驟F211中對于當(dāng)前關(guān)鍵幀中的運動序列有效區(qū)的所有 像素都完成了確定處理，當(dāng)在步驟F212中選擇下一個目標(biāo)像素作為理。
在步驟F201中，層處理單元3確定目標(biāo)像素是否是在其中圖像 要被合成的區(qū)域中的像素。
如果目標(biāo)像素不是在其中圖像要被合成的區(qū)域中的像素，那么本 處理前進到步驟F202，其中，層處理單元3選擇當(dāng)前關(guān)鍵幀中的運動 序列有效區(qū)的目標(biāo)像素作為要復(fù)制到合成的結(jié)果圖像(層合成圖像) 中的像素。例如，"0"的像素值存儲在于目標(biāo)像素的層分離信息中。 隨后，本處理前進到步驟F211。
例如，對于對應(yīng)于在圖8中示出的區(qū)域B的像素，本處理從步 驟F201前進到步驟F202。
然而，如果目標(biāo)像素是要被合成的區(qū)域中的像素，那么本處理前 進到步驟F203，其中，層處理單元3確定該目標(biāo)像素是否是在當(dāng)前關(guān) 鍵幀的運動被攝體區(qū)域中的像素。如果該目標(biāo)像素是在當(dāng)前關(guān)鍵幀的 運動被攝體區(qū)域中的像素，那么本處理前進到步驟F204,其中，層處 理單元3將'T，的像素值存儲在該目標(biāo)像素的層分離信息中。隨后， 本處理前進到步驟F211。如圖7A所示，像素值"1"表示"最高優(yōu) 先級"。
例如，對于當(dāng)前關(guān)鍵幀的運動被攝體區(qū)域中的像素，即，在圖8 中示出的區(qū)域A(要被合成的范圍)中的像素(例如，高爾夫球棒的 頂部的像素)，本處理從步驟F203前進到步驟F204。
然而，如果在步驟F203中確定目標(biāo)像素不是在當(dāng)前關(guān)鍵幀的運 動被攝體區(qū)域中的像素，那么本處理前進到步驟F205，其中，層處理 單元3確定該目標(biāo)像素是否對應(yīng)于前一個關(guān)鍵幀的運動被攝體區(qū)域。 如果該目標(biāo)像素對應(yīng)于前一個關(guān)鍵幀的運動被攝體區(qū)域，那么本處理 前進到步驟F206，其中，層處理單元3將"2"的像素值存儲在該目 標(biāo)像素的層分離信息中。隨后，本處理前進到步驟F211。如圖7A所
30示，像素值"2"表示"第二優(yōu)先級，，。
例如，對于前一個關(guān)鍵幀的運動被攝體區(qū)域中的像素，即，在圖 8中示出的區(qū)域A (要被合成的范圍)中的像素(例如，形成運動被 攝體F(x-l)D的像素)，本處理從步驟F205前進到步驟F206。
然而，如果在步驟F205中確定目標(biāo)像素不是在前一個關(guān)鍵幀的 運動被攝體區(qū)域中的像素，那么本處理前進到步驟F207,其中，層處 理單元3確定該目標(biāo)像素是否對應(yīng)于當(dāng)前關(guān)鍵幀的背景區(qū)域。如果該 目標(biāo)像素對應(yīng)于當(dāng)前關(guān)鍵幀的背景區(qū)域，那么本處理前進到步驟 F208，其中，層處理單元3將"3"的像素值存儲在該目標(biāo)像素的層 分離信息中。隨后，本處理前進到步驟F211。如圖7A所示，像素值 "3"表示"第三優(yōu)先級"。
然而，如果在步驟F207中確定目標(biāo)像素不是在當(dāng)前關(guān)鍵幀的背 景區(qū)域中的像素，那么本處理前進到步驟F209，其中，層處理單元3 確定該目標(biāo)像素是否是前一個關(guān)鍵幀的背景區(qū)域中的像素。如果該目 標(biāo)像素是前一個關(guān)鍵幀的背景區(qū)域中的像素，那么本處理前進到步驟 F210，其中，層處理單元3將"4"的像素值存儲在該目標(biāo)像素的層 分離信息中。隨后，本處理前進到步驟F211。如圖7A所示，像素值 "4"表示"第四優(yōu)先級"。
執(zhí)行上述處理，直到在步驟F211中確定對當(dāng)前關(guān)鍵幀的運動序 列有效區(qū)的所有像素所進行的確定都完成了 。
如圖7A所示，要被合成的該區(qū)域的四個層從底部起是"具有第 四優(yōu)先級的前一個關(guān)鍵幀圖像的背景層"、"具有第三優(yōu)先級的當(dāng)前 關(guān)鍵幀圖像的其余的背景層，，、"具有第二優(yōu)先級的前一個關(guān)鍵幀圖 像的運動被攝體層"和"具有最高優(yōu)先級的當(dāng)前關(guān)鍵幀圖像的運動被 攝體層，，。這些層從底部起順序地層疊，并從頂部觀看。以這種方式， 生成輸出圖像。也就是說，上層具有優(yōu)先級。因此，當(dāng)有效像素包含 在兩層的上層中時，不管下層的像素是否有效或者下層的像素是否具 有任何像素值，下層都無效。
通過在圖10中示出的處理，對于要被合成的區(qū)域中的每一個像素，層分離信息包含有效層編號。
例如，當(dāng)層分離信息中的像素的像素值為"1"時，從具有最高 優(yōu)先級的當(dāng)前關(guān)鍵幀圖像的運動被攝體層提取的像素被置于所得到 的圖像中的該像素的位置處。
另外，例如，當(dāng)層分離信息中的像素的像素值為"2"時，從具 有第二優(yōu)先級的前一個關(guān)鍵幀圖像的運動被攝體層提取的像素被置 于該像素的位置處。
也就是說，根據(jù)層分離信息表示在圖7A中示出的每一層。
隨后，在圖9中示出的步驟F106中，層處理單元3的層處理子 單元32處理該圖像。也就是說，層處理子單元32執(zhí)行對層進行合成 所必需的處理。處理的例子包括根據(jù)輸入圖像的尺寸和從合成圖像中 的輸入圖像生成的圖像的尺寸放大或縮小該圖像，以及旋轉(zhuǎn)該圖像。 如果輸入圖像的像素直接包含在合成圖像中，那么放大或縮小操作、 或者旋轉(zhuǎn)操作可能是不必要的。
在步驟F107中，層處理單元3合成這些層。在本處理中，當(dāng)前 關(guān)鍵幀和前一個關(guān)鍵幀被合成，從而生成層合成圖像。如在本文使用 的，術(shù)語"層合成圖像"是指在圖8中示出的區(qū)域(A+B)中的圖像。
對于在圖10中示出的步驟F202中選擇的具有"0"的像素值的 像素，即，在圖8中示出的區(qū)域B中的像素，從當(dāng)前關(guān)鍵幀提取的像 素被復(fù)制到層合成圖像中。
對要被合成的區(qū)域(即，區(qū)域A)中的每一個像素執(zhí)行層合成操作。
在這種情況下，針對每一個像素，參考層分離信息。對于具有"1" 的像素值的像素的位置，對應(yīng)的像素從當(dāng)前關(guān)鍵幀提取并在這些位置 處被復(fù)制到層合成圖像。對于具有"2"的像素值的像素的位置，對 應(yīng)的像素從前一個關(guān)鍵幀提取并在這些位置處被復(fù)制到層合成圖像。
對于具有"3"的像素值的像素的位置，對應(yīng)的像素從當(dāng)前關(guān)鍵 幀提取并在這些位置處被復(fù)制到層合成圖像。另外，對于具有"4" 的像素值的像素的位置，對應(yīng)的像素從前一個關(guān)鍵幀提取并在這些位
32置處被復(fù)制到層合成圖像。
如上所述，層分離信息包括指示選擇四個層中的哪一個層的信 息，并且被選層中的像素用于每個像素位置。因此，對于每個位置， 根據(jù)層分離信息中的像素值從當(dāng)前關(guān)鍵幀或前一個關(guān)鍵幀提取像素，
并且將提取的像素置于該位置處。以這種方式，對于在圖8中示出的 要被合成的范圍，根據(jù)在圖7A和圖7B中示出的優(yōu)先級執(zhí)行合成處理。
通過上述處理，生成對應(yīng)于在圖8中的區(qū)域(A+B)的層合成圖 像。如圖8所示，在該層合成圖像中，當(dāng)前關(guān)鍵幀F(xiàn)x的運動被攝體 FxD與前一個關(guān)鍵幀的運動被攝體F(x-l)D部分地重疊，并且當(dāng)前關(guān) 鍵幀F(xiàn)x的運動被攝體FxD沒有失去任何圖像地被表示。
請注意，在層合成處理中，最高優(yōu)先級被賦予給當(dāng)前關(guān)鍵幀的運 動被攝體層。因此，在當(dāng)前運動被攝體圖像和前一個運動被攝體圖像 的重疊部分，最高優(yōu)先級總是被賦予給當(dāng)前運動被攝體圖像(即，在 最新幀中的運動祐^聶體圖像)。
在步驟F108中，層處理單元3將層合成圖像與已有的前一個合 成圖像合成。已有的前一個合成圖像數(shù)據(jù)項存儲在合成圖像更新保持 單元5中。因此，層處理單元3從合成圖像更新保持單元5讀取已有 的前一個合成圖像數(shù)據(jù)項，并將在步驟F107中生成的層合成圖像與
已有的前一個合成圖像數(shù)據(jù)項合成。
例如，如圖8所示，此時，已有的前一個合成圖像數(shù)據(jù)項包含一 起合成的區(qū)域C和區(qū)域A中的關(guān)鍵幀。隨后，在區(qū)域A和區(qū)域B中 的層合成圖像被復(fù)制到這樣合成的圖像數(shù)據(jù)項。因此，在區(qū)域A中的 圖像被層合成圖像所蓋寫。以這種方式，生成如圖8所示的合成圖像 數(shù)據(jù)項。
在步驟F109中，生成的合成圖像數(shù)據(jù)從層處理單元3傳輸?shù)綀D 像輸出單元4。 一旦接收到該合成圖像數(shù)據(jù)，圖像輸出單元4就將接 收到的合成圖像數(shù)據(jù)提供給合成圖像更新保持單元5。
在步驟F110中，合成圖像更新保持單元5存儲所提供的合成圖 像數(shù)據(jù)，該合成圖像數(shù)據(jù)在下一次合成處理中將被用作已有的合成圖像數(shù)據(jù)項。也就是說，合成圖像更新保持單元5使用當(dāng)前生成的合成 圖像數(shù)據(jù)項替換已有的合成圖像數(shù)據(jù)項。
其后，本處理返回到步驟F101,其中，開始對下一個幀圖像數(shù) 據(jù)的處理。
在圖9中示出的例子中，在步驟F107中合成這些層。隨后，在 步驟F108中層合成圖像與已有的合成圖像數(shù)據(jù)項合成。請注意，在 輸入第一關(guān)鍵幀時執(zhí)行的處理中，合成處理不是必要的。此時，沒有 發(fā)現(xiàn)已有的合成圖像數(shù)據(jù)項。
在這種情況下，在步驟F107和步驟F108中，在第一關(guān)鍵幀中 的圖像的像素被復(fù)制到具有如圖8所示的尺寸的合成圖像數(shù)據(jù)項的右 上區(qū)域中，從而生成第一合成圖像數(shù)據(jù)項。在步驟F110中，生成的 合成圖像數(shù)據(jù)項存儲在合成圖像更新保持單元5中。
在輸入第二關(guān)鍵幀后，發(fā)現(xiàn)了前一個關(guān)鍵幀和已有的合成圖像。
因此，可以執(zhí)行上述處理。
為了生成合成圖像數(shù)據(jù)項，可以執(zhí)行除了在步驟F107和步驟 F108中示出的處理以外的各種操作。例如，對于區(qū)域B中的4象素， 這些像素可以首先被復(fù)制到已有的合成圖像數(shù)據(jù)項中。隨后，可以生 成區(qū)域A的層合成圖像，并且生成的合成圖像可以被復(fù)制到(蓋寫) 已有的合成圖像數(shù)據(jù)項的區(qū)域A。
通過每當(dāng)輸入關(guān)鍵幀時重復(fù)在步驟F101到步驟F110中執(zhí)行的 上述處理，可以獲得如圖2所示的最終的合成圖像數(shù)據(jù)項。
此時，在步驟F101中，確定是否輸入了所有的幀。因此，本處 理前進到步驟Flll，其中，圖像輸出單元4將當(dāng)前存儲的合成圖像數(shù) 據(jù)項(即，如圖2所示的合成圖像數(shù)據(jù)項)以運動序列靜止圖像數(shù)據(jù) 的形式輸出到輸出裝置40。
以這種方式，根據(jù)本實施例的圖像處理設(shè)備1生成一個運動序列 靜止圖像數(shù)據(jù)項并輸出該運動序列靜止圖像數(shù)據(jù)項。
如上所述，根據(jù)本實施例，當(dāng)自動生成運動序列靜止圖像時，可 以實現(xiàn)由于可移動范圍的擴展而引起的對運動被攝體的最佳表示和
34由于運動被攝體的大量圖像的布置而引起的對時間系列運動序列的 精確表示。
特別是，通過合成這些層，每一個運動被攝體圖像都可以在不失 去例如高爾夫球棒的頂部的圖像的情況下最佳地表示。另外，由于可 以布置運動被攝體的大量圖像，因此可以表示較短時間間隔的運動序 列。
因此，例如，可以輕易地獲得進行運動的人的形態(tài)、野生動物的 復(fù)雜運動或者在實驗室中發(fā)生的自然現(xiàn)象。另外，由于不需要諸如對 圖像數(shù)據(jù)的剪切粘貼操作的手動操作，因此可以有利地減少用戶的負 擔(dān)。
此夕卜，可以通過使用圖像拾取設(shè)備捕獲圖像而獲取多個幀圖像數(shù) 據(jù)項并且可以捕獲連續(xù)的靜止圖像或者運動圖像的任何圖像處理設(shè) 備都可以用作圖像處理設(shè)備1。例如，圖像處理設(shè)備1可以被合并到 圖像拾取設(shè)備或用于再現(xiàn)多個捕獲的幀圖像數(shù)據(jù)的再現(xiàn)設(shè)備中?；?者，圖像處理設(shè)備1可以被合并到接收多個傳輸?shù)牟东@的幀圖像數(shù)據(jù) 的設(shè)備中。
因此，例如，圖像處理設(shè)備l可以廣泛地應(yīng)用于蜂窩電話、個人
數(shù)字助理(PDA)、個人計算機、視頻重放設(shè)備或者視頻編輯設(shè)備。 3.用于生成運動序列圖像的處理的第二例
下面描述主要由輸入圖像選擇單元2、層處理單元3、圖像輸出 單元4和合成圖像更新保持單元5執(zhí)行的用于生成運動序列圖像的處 理的第二例。
在本例中，生成如圖ll到圖20所示的運動序列運動圖像。參考 圖21到圖27描述具體的處理例子。
請注意，只有在下面描述的第二例的示例性生成處理中使用的合 成方法與第一例的合成方法不同。生成的運動序列圖像可以是靜止圖 像或者運動圖像。
如圖30和圖31所示，可以使用生成處理的第一例生成運動序列運動圖像。另外，可以使用下面描述的生成處理的第二例生成運動序 列靜止圖像。
接下來描述通過在本例中使用的圖像處理設(shè)備1生成的運動序 列運動圖像。
在上述的靜止圖像的情況下，只使用關(guān)鍵幀。但是，在運動圖像 的情況下，也使用了除了關(guān)鍵幀以外的幀。請注意，關(guān)鍵幀被包含在 最終的合成圖像中，并且除了關(guān)鍵幀以外的幀被臨時地包含在輸出圖
像(運動圖像)中。此外，請注意，關(guān)鍵幀是從如圖3所示的幀圖像 數(shù)據(jù)項中選擇的。
圖ll示出當(dāng)輸入第一幀圖像數(shù)據(jù)項(例如，關(guān)鍵幀)F1時的合 成圖像數(shù)據(jù)項。在圖11到圖17中，關(guān)鍵幀由附圖標(biāo)記"(k)"表 示。
圖12示出當(dāng)輸入不是關(guān)鍵幀的第二幀圖像數(shù)據(jù)項F2(在下文中 稱為"非關(guān)鍵幀")時的合成圖像數(shù)據(jù)項。在這種情況下，非關(guān)鍵幀 F2被合成到從關(guān)鍵幀F(xiàn)l移動預(yù)定距離的像素范圍中。如果運動被攝 體部分地重疊，則最高優(yōu)先級總是被賦予給最新的幀，與上述生成處 理的第一例中一樣。
在圖像合成處理中，輸入幀圖像數(shù)據(jù)項與已有的合成圖像數(shù)據(jù)項 合成。當(dāng)合成非關(guān)鍵幀F(xiàn)2時，已有的合成圖像數(shù)據(jù)項是如圖11所示 的合成圖像數(shù)據(jù)項。
圖13示出當(dāng)輸入第三非關(guān)鍵幀F(xiàn)3時的合成圖像數(shù)據(jù)項。在這 種情況下，非關(guān)鍵幀F(xiàn)3被合成到從圖12中示出的非關(guān)鍵幀F(xiàn)2移動 預(yù)定距離的像素范圍中。
如上所述，在圖像合成處理中，輸入幀圖像數(shù)據(jù)項與已有的合成 圖像數(shù)據(jù)項合成。但是，當(dāng)輸入非關(guān)鍵幀時，此時的合成圖像數(shù)據(jù)項 并不用作已有的合成圖像數(shù)據(jù)項。
因此，當(dāng)輸入非關(guān)鍵幀F(xiàn)3時，已有的合成圖像數(shù)據(jù)項仍然是在 圖11中示出的合成圖像數(shù)據(jù)項。
也就是說，前一個非關(guān)鍵幀F(xiàn)2沒有用于合成處理，并且非關(guān)鍵
36幀F(xiàn)3與此時已有的合成圖像數(shù)據(jù)項合成。因此，如圖13所示，在幀 圖像數(shù)據(jù)項Fl和F3中的運動被攝體出現(xiàn)在圖像中。
盡管沒有示出，但是，當(dāng)輸入第四非關(guān)鍵幀F(xiàn)4時，以相似的方 式生成關(guān)鍵幀F(xiàn)1與非關(guān)鍵幀F(xiàn)4的合成圖像數(shù)據(jù)項。此外，當(dāng)輸入第 五非關(guān)鍵幀F(xiàn)5時，以相似的方式生成關(guān)鍵幀F(xiàn)l與非關(guān)鍵幀F(xiàn)5的合 成圖像數(shù)據(jù)項。也就是說，在任一情況中，輸入幀圖像數(shù)據(jù)與此時已 有的合成圖像數(shù)據(jù)項合成。
類似地，當(dāng)輸入關(guān)鍵幀F(xiàn)6時，關(guān)鍵幀F(xiàn)6與已有的合成圖像數(shù) 據(jù)項合成。
圖14示出當(dāng)輸入第二關(guān)鍵幀F(xiàn)6時生成的合成圖像數(shù)據(jù)項。關(guān) 鍵幀F(xiàn)6與已有的合成圖像數(shù)據(jù)項(在這種情況下，只有關(guān)鍵幀F(xiàn)1) 合成。
但是，此時，在圖14中示出的合成圖像數(shù)據(jù)項作為已有的圖像 數(shù)據(jù)項存儲。
除了在輸入緊鄰的前一個關(guān)鍵幀時生成的合成圖像數(shù)據(jù)項(即， 前一個合成圖像數(shù)據(jù)項)外，還可以使用當(dāng)輸入在緊鄰的前一個關(guān)鍵 幀之前的關(guān)鍵幀時生成的合成圖像數(shù)據(jù)項。
例如，在下面的具體處理例子中，使用前一個合成圖像數(shù)據(jù)項和 最后一個之前的合成圖像數(shù)據(jù)項。因此，在本例中，也使用前一個合 成圖像數(shù)據(jù)項和最后一個之前的合成圖像數(shù)據(jù)項。
請注意，為了在給每個像素分配優(yōu)先級時執(zhí)行合成處理，使用已 有的合成圖像。因此，可以根據(jù)運動被攝體的重疊程度確定使用多少 個以前合成的圖像數(shù)據(jù)項。例如，可以在合成處理中使用最后一個之 前的第二合成圖像數(shù)據(jù)項和最后一個之前的第三合成圖像數(shù)據(jù)項。
在生成圖14所示的合成圖像數(shù)據(jù)項后，將前一個合成圖像數(shù)據(jù) 項(在圖14中示出的合成圖像數(shù)據(jù)項)和最后一個之前的合成圖像 數(shù)據(jù)項(在圖11中示出的合成圖像數(shù)據(jù)項)存儲，以便用于后面的 合成處理.
圖15示出當(dāng)輸入非關(guān)鍵幀F(xiàn)7時的合成圖像數(shù)據(jù)項。與在上述
37情況中一樣，在這種情況下，非關(guān)鍵幀F(xiàn)7的圖像與已有的合成圖像 數(shù)據(jù)項合成，從而生成關(guān)鍵幀F(xiàn)l和F6中的圖像與非關(guān)鍵幀F(xiàn)7中的 圖像的合成圖像。
圖16示出當(dāng)進一步輸入非關(guān)鍵幀F(xiàn)8時的合成圖像數(shù)據(jù)項。與 在上述情況中一樣，在這種情況下，非關(guān)鍵幀F(xiàn)8的圖像與已有的合 成圖像數(shù)據(jù)項合成，從而生成關(guān)鍵幀F(xiàn)l和F6中的圖像與非關(guān)鍵幀 F8中的圖像的合成圖像。
隨后，當(dāng)輸入非關(guān)鍵幀F(xiàn)9和F10時，執(zhí)行相似的操作。
圖17示出當(dāng)輸入第三關(guān)鍵幀F(xiàn)ll時的合成圖像數(shù)據(jù)項。此時， 關(guān)鍵幀F(xiàn)6與已有的合成圖像數(shù)據(jù)項合成。
但是，此時，在圖17中示出的合成圖像數(shù)據(jù)項也作為已有的合 成圖像數(shù)據(jù)項存儲。另外，此時，前一個合成圖像數(shù)據(jù)項被更新為在 圖17中示出的合成圖像項，作為已有的合成圖像數(shù)據(jù)項，并且在前 一個合成圖像數(shù)據(jù)項之前緊鄰的合成圖像數(shù)據(jù)項被更新為在圖14中 示出的合成圖像，作為已有的合成圖像數(shù)據(jù)項。存儲這些更新的合成 圖像。
如圖11到圖17所示，每當(dāng)順序地輸入幀數(shù)據(jù)(關(guān)鍵幀和非關(guān)鍵 幀)時執(zhí)行合成處理。結(jié)果，在每一個時間，獲得在圖11到圖17之 一中示出的合成圖像數(shù)據(jù)項。例如，每一個合成圖像數(shù)據(jù)項以運動圖 像的幀的形式輸出。另外，隨后，每當(dāng)輸入幀圖像數(shù)據(jù)項時，以相似 的方式生成合成圖像數(shù)據(jù)項。以這種方式，輸出該運動圖像，如圖18 到圖20所示。
也就是說，在每一幀(關(guān)鍵幀或非關(guān)鍵幀)中的被攝體圖像被順 序地合成，從而仍然保留以前幀中的被攝體圖像。每當(dāng)生成該幀的合 成圖像數(shù)據(jù)項時，輸出該合成圖像數(shù)據(jù)項。
以這種方式，輸出表示例如高爾夫揮桿的運動序列的運動序列的 運動圖像，即運動序列運動圖像。
接下來，參考圖21到圖27描述基于上述處理生成運動序列運動 圖像的具體的第二例。
38圖21是為了生成運動序列運動圖像而由輸入圖像選擇單元2、 層處理單元3、圖像輸出單元4和合成圖像更新保持單元5執(zhí)行的示 例性處理的流程圖。
在步驟F301到步驟F305中的處理由輸入圖像選擇單元2執(zhí)行。
如上所述，輸入圖像選擇單元2從圖像輸入單元10接收時間系 列幀圖像數(shù)據(jù)項。每當(dāng)輸入圖像選擇單元2接收幀圖像數(shù)據(jù)項之一時， 輸入圖像選擇單元2在步驟F302中進一步從運動被攝體信息生成單 元11 (或者運動被攝體信息輸入單元12)檢索對應(yīng)于接收到的幀圖 像數(shù)據(jù)項的運動被攝體信息。
請注意，在步驟F301中確定是否接收了形成運動序列靜止圖像 的所有的一系列幀圖像數(shù)據(jù)項，也就是說，確定從圖像輸入單元10 提供幀圖像數(shù)據(jù)項是否完成。也就是說，本處理從步驟F301前進到 步驟F302,直到輸入了用于生成運動序列靜止圖像的預(yù)定數(shù)量的關(guān)鍵 幀。
在輸入圖像選擇單元2在步驟F302中接收幀圖像數(shù)據(jù)項和對應(yīng) 于該幀圖像數(shù)據(jù)項的被攝體圖像信息之后，輸入圖像選擇單元2在步 驟F303中確定該幀圖像數(shù)據(jù)項是否要被選作關(guān)鍵幀。例如，當(dāng)如圖3 所示的那樣選擇關(guān)鍵幀時，每五幀(第一幀、第六幀、第十一幀……) 被選作關(guān)鍵幀。
在確定輸入幀圖像數(shù)據(jù)項是否要被選作關(guān)鍵幀之后，本處理前進 到步驟F304，其中，輸入圖像選擇單元2從合成圖像更新保持單元5 檢索已有的前一個合成圖像數(shù)據(jù)項和在已有的前一個合成圖像數(shù)據(jù) 項之前的合成圖像數(shù)據(jù)項。
請注意，在對形成第一關(guān)鍵幀的幀圖像數(shù)據(jù)項執(zhí)行合成處理之 前，不存在前一個合成圖像數(shù)據(jù)項和在前一個合成圖像數(shù)據(jù)項之前的 合成圖像數(shù)據(jù)項。另外，在對形成第二關(guān)鍵幀的幀圖像數(shù)據(jù)項執(zhí)行合 成處理之前，沒有發(fā)現(xiàn)在前一個合成圖像數(shù)據(jù)項之前的合成困像數(shù)據(jù) 項。因此，在步驟F304中，如果前一個合成圖像數(shù)據(jù)項和在前一個 合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項此時存儲在合成圖像更新保持單元5中，那么輸入圖像選擇單元2檢索前一個合成圖像數(shù)據(jù)項和 在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項。
在步驟F305中，輸入圖像選擇單元2執(zhí)行坐標(biāo)計算。在坐標(biāo)計 算中，計算在當(dāng)前幀圖像數(shù)據(jù)項與合成圖像合成時使用的當(dāng)前幀圖像 數(shù)據(jù)項(關(guān)鍵幀或非關(guān)鍵幀)的像素的位置。也就是說，計算當(dāng)前幀 圖像數(shù)據(jù)已經(jīng)被合成到其中的最終合成圖像的尺寸(運動序列運動圖 像的屏幕尺寸)內(nèi)的像素范圍。
輸入圖像選擇單元2將在步驟F305中計算的坐標(biāo)與當(dāng)前幀圖像 數(shù)據(jù)項、關(guān)于當(dāng)前幀圖像數(shù)據(jù)項的運動被攝體信息、已有的前一個合 成圖像數(shù)據(jù)項和在已有的前一個合成圖l象數(shù)據(jù)項之前的合成圖像數(shù) 據(jù)項一起輸出到層處理單元3。
在步驟F306中，層處理單元3執(zhí)行處理確定。
在處理確定中，為了執(zhí)行有效的合成處理，確定要對經(jīng)過合成處 理的像素范圍內(nèi)的每一個像素、每一個像素列以及每一個像素行上執(zhí) 行哪種合成處理。
請注意，當(dāng)如圖11到圖20所示生成其中時間系列被攝體圖像沿 水平方向布置的運動序列運動圖像時，可以針對每一個像素或每一個 像素列進行處理確定。相反地，盡管沒有示出，但是，當(dāng)生成其中時 間系列被攝體圖像沿垂直方向布置的運動序列運動圖像時，可以針對 每一個像素或每一個像素行進行處理確定?；卺槍γ總€像素列進行 的處理確定來進行以下描述，以便與圖11到圖20中示出的例子相對 應(yīng)。
圖22是示出在步驟F306中執(zhí)行的處理選擇的流程圖。 在本例中，在合成處理中使用當(dāng)前幀圖像數(shù)據(jù)項、前一個合成圖 像數(shù)據(jù)項和在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項。當(dāng)使用 兩個已有的合成圖像數(shù)據(jù)項時，要從其中選擇一個的處理的數(shù)量是六 (處理P1到處理P6)。如果使用的合成圖像數(shù)據(jù)項的數(shù)量增加(例 如，如果也被使用最后一個之前的第二合成圖像數(shù)據(jù)項)，那么處理 的數(shù)量也增加。
40另外，在合成處理中，使用關(guān)于前一個關(guān)鍵幀的范圍的信息和包 含在前一個合成圖像數(shù)據(jù)項中的運動被攝體信息、以及關(guān)于前一個關(guān) 鍵幀之前的關(guān)鍵幀的范圍的信息和包含在前一個合成圖像數(shù)據(jù)項之 前的合成圖像數(shù)據(jù)項中的運動被攝體信息。這些信息項可以與前一個 合成圖像數(shù)據(jù)項和在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項
一起被存儲在合成圖像更新保持單元5中并可以在步驟F302中被讀 取。
針對每一個像素列(關(guān)注的像素列)，進行在圖22中示出的處 理選擇。例如，在圖18中，經(jīng)過處理選擇的像素列是在區(qū)域A1到區(qū) 域A7中的像素列。這些區(qū)域中的每一個像素列(在圖18中的合成圖 像數(shù)據(jù)項的上部中的像素列)被選作關(guān)注的像素列，并針對關(guān)注的像 素列進行處理選擇。
在步驟F401中，層處理單元3選擇像素列之一作為關(guān)注的像素 列，并獲取該像素列的像素位置(在該合成圖像數(shù)據(jù)項中的像素的坐 標(biāo))。
在步驟F402中，確定關(guān)注的像素列的位置是否在前一個合成圖 像數(shù)據(jù)項的范圍內(nèi)。在本例中，前一個合成圖像數(shù)據(jù)項的范圍是在圖 18中示出的區(qū)域A3到區(qū)域A7的范圍中。
如果關(guān)注的像素列不在前一個合成圖像數(shù)據(jù)項的范圍內(nèi)，那么本 處理前進到步驟F403，其中，層處理單元3確定關(guān)注的像素列是否在 當(dāng)前運動序列有效區(qū)內(nèi)。該當(dāng)前運動序列有效區(qū)是當(dāng)前輸入的幀圖像 數(shù)據(jù)(關(guān)鍵幀或非關(guān)鍵幀)的運動序列有效區(qū)(參見圖6B),也就 是說，在圖18中示出的區(qū)域A2到區(qū)域A5的范圍。
如果在步驟F403中層處理單元3確定關(guān)注的像素列不在當(dāng)前運 動序列有效區(qū)內(nèi)，那么層處理單元3確定對關(guān)注的像素列應(yīng)用處理 Pl。也就是說，確定的是，如果關(guān)注的像素列位于圖18中示出的區(qū) 域A1內(nèi)，那么對關(guān)注的^f象素列應(yīng)用處理Pl。
然而，如果在步驟F403中層處理單元3確定關(guān)注的像素列在當(dāng) 前運動序列有效區(qū)內(nèi)，那么層處理單元3確定對關(guān)注的像素列應(yīng)用處
41理P2。也就是說，確定的是，如果關(guān)注的像素列位于圖18中示出的 區(qū)域A2內(nèi)，那么對關(guān)注的像素列應(yīng)用處理P2。
然而，如果在步驟F402中確定關(guān)注的像素列的位置在前一個合 成圖像數(shù)據(jù)項的范圍內(nèi)，那么本處理前進到步驟F404，其中，層處理 單元3確定關(guān)注的像素列是否在當(dāng)前運動序列有效區(qū)內(nèi)。如果在步驟 F404中層處理單元3確定關(guān)注的像素列不在當(dāng)前運動序列有效區(qū)內(nèi)， 那么層處理單元3確定對關(guān)注的像素列應(yīng)用處理P3。也就是說，確定 的是，如果關(guān)注的像素列位于圖18中示出的區(qū)域A6和區(qū)域A7所限 定的范圍內(nèi)，那么對關(guān)注的像素列應(yīng)用處理P3。
然而，如果在步驟F404中層處理單元3確定關(guān)注的像素列在當(dāng) 前運動序列有效區(qū)內(nèi)，那么本處理前進到步驟F405，其中，層處理單 元3確定關(guān)注的像素列是否位于后區(qū)域的范圍內(nèi)。如在本文中使用的， 術(shù)語"后區(qū)域"是指如圖6B所示的在運動序列方向A (在運行序列 從左向右表示的情況下)上的運動序列有效區(qū)中的后區(qū)域。另外，后 區(qū)域不包含在圖6C中示出的其余的背景區(qū)中。請注意，在運動序列 從右向左表示的情況下，后區(qū)域是運動序列有效區(qū)的左側(cè)部分。此外， 在運動序列向下表示的情況下，后區(qū)域是運動序列有效區(qū)的上側(cè)部 分。
在圖18中示出的例子中，確定在區(qū)域A5中的像素列在后區(qū)域內(nèi)。
如果在步驟F405中層處理單元3確定關(guān)注的像素列位于后區(qū)域 內(nèi)，那么層處理單元3確定對關(guān)注的像素列應(yīng)用處理P4。也就是說， 確定的是，如果關(guān)注的像素列位于圖18中示出的區(qū)域A5內(nèi)，那么對 關(guān)注的像素列應(yīng)用處理P4。
然而，如果在步驟F405中層處理單元3確定關(guān)注的像素列位于 后區(qū)域內(nèi)，那么本處理前進到步驟F406，其中，層處理單元3確定關(guān) 注的像素列是否在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項的 范圍內(nèi)。在圖18中，前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項 的范圍由圖18中示出的區(qū)域A4到區(qū)域A7所限定的范圍。如果層處理單元3確定關(guān)注的像素列是否在前一個合成圖像數(shù) 據(jù)項之前的合成圖像數(shù)據(jù)項的范圍內(nèi)，那么層處理單元3確定對關(guān)注 的像素列應(yīng)用處理P5。也就是說，確定的是，如果關(guān)注的像素列位于 圖18中示出的區(qū)域A3所限定的范圍內(nèi)，那么對關(guān)注的像素列應(yīng)用處 理P5。
然而，如果在步驟F406中層處理單元3確定關(guān)注的像素列在前 一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項的范圍內(nèi)，那么層處理單 元3確定對關(guān)注的像素列應(yīng)用處理P6。也就是說，確定的是，如果關(guān) 注的像素列位于圖18中示出的區(qū)域A6所限定的范圍內(nèi)，那么對關(guān)注 的《象素列應(yīng)用處理P6。
每當(dāng)層處理單元3在圖21中示出的步驟F306中對關(guān)注的像素 列執(zhí)行如圖22所示的上述處理確定時，層處理單元3在步驟F307中 也執(zhí)行合成處理。在步驟F307中，關(guān)注的像素列中的像素被合成， 以便生成合成圖像。另外，如果需要的話，執(zhí)行層分離處理、層加工 處理或?qū)雍铣商幚怼?br> 隨后，重復(fù)步驟F306到步驟F309，直到在步驟F310中確定對 當(dāng)前輸入的幀圖像數(shù)據(jù)的處理完成(步驟F306到步驟F309在下面描 述)。也就是說，當(dāng)對每一個像素列執(zhí)行處理確定時，重復(fù)處理確定 和合成處理，直到所有的像素列都被處理。
接下來描述根據(jù)處理確定對關(guān)注的像素執(zhí)行的合成處理。
圖23A到圖23C示出在合成處理中使用的圖像數(shù)據(jù)。
圖23A示出在步驟F302中輸入的當(dāng)前輸入圖像(幀圖像數(shù)據(jù)) 的運動序列有效區(qū)。
圖23B示出此時的前一個合成圖像數(shù)據(jù)項。
圖23C示出此時的在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項。
請注意，在圖18中示出的輸入圖像、前一個合成圖像數(shù)據(jù)項和 在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項被用作這些數(shù)據(jù)項。 在處理P1中，沒有執(zhí)行描繪(rendering)。因此，當(dāng)對關(guān)注的
43像素應(yīng)用處理P1時，在步驟F307中像素沒有與合成圖像合成。
由于對圖18中示出的區(qū)域Al中的像素列應(yīng)用處理P1，所以在
區(qū)域A1中沒有進行任何描繪。
在處理P2中，在當(dāng)前幀圖像數(shù)據(jù)中的運動序列有效區(qū)中的像素
數(shù)據(jù)被復(fù)制。
由于對圖18中示出的區(qū)域A2中的像素列應(yīng)用處理P2，所以區(qū) 域A2充當(dāng)沒有與前一個合成圖像數(shù)據(jù)項(以及前一個合成圖像數(shù)據(jù) 項之前的合成圖像數(shù)據(jù)項)重疊的區(qū)域。因此，可以直接使用當(dāng)前輸 入圖像中的像素。
如圖24A所示，在區(qū)域A2中的像素是輸入圖像的運動序列有效 區(qū)的陰影部分中的像素列的像素。
該像素列的像素直接應(yīng)用到圖18中示出的區(qū)域A2。
在處理P3中，從前一個合成圖像數(shù)據(jù)項復(fù)制像素數(shù)據(jù)。
對其應(yīng)用處理3的像素列是圖18中示出的區(qū)域A6和區(qū)域A7的 像素列。區(qū)域A6和區(qū)域A7沒有與當(dāng)前輸入的幀圖像數(shù)據(jù)的運動序 列有效區(qū)重疊。因此，可以直接使用前一個合成圖像數(shù)據(jù)項的像素。
如圖24B所示，區(qū)域A6和區(qū)域A7中的像素是前一個合成圖像 數(shù)據(jù)項的陰影部分中的像素列的像素。
合成圖像數(shù)據(jù)項的像素列的像素直接被復(fù)制到圖18中示出的區(qū) 域A6和區(qū)域A7中的像素。
在處理P4中，當(dāng)前幀圖像數(shù)據(jù)的運動被攝體圖像(運動被攝體 層)的像素數(shù)據(jù)被復(fù)制到前一個合成圖像數(shù)據(jù)項上。
對其應(yīng)用處理P4的像素列是圖18中示出的區(qū)域A5的像素列。 區(qū)域A5是當(dāng)前輸入的幀圖像數(shù)據(jù)的后區(qū)域。在該區(qū)域中，只有在當(dāng) 前幀圖像數(shù)據(jù)中的運動被攝體與前一個合成圖像數(shù)據(jù)重疊并被顯示。
輸入圖像中的運動被攝體圖像在圖25的上部示出。該部分充當(dāng) 通過將輸入幀圖像數(shù)據(jù)分離成圖4中示出的各層而獲取的運動被攝體 層。也就是說，層處理單元3使用層分離子單元31將當(dāng)前輸入的幀 圖像數(shù)據(jù)分離成各層，并生成如圖4所示的只包含運動被攝體的圖像的圖像(沒有其背景圖像)。
在圖25中，運動被^[體圖像的陰影部分對應(yīng)于后區(qū)域。在后區(qū) 域的像素列的像素中，只有形成運動被攝體圖像的像素被復(fù)制到與前 一個合成圖像數(shù)據(jù)項的區(qū)域A5相對應(yīng)的部分(陰影部分)。
以這種方式，在當(dāng)前幀圖像數(shù)據(jù)的后區(qū)域中的運動被攝體圖像的 被復(fù)制的像素被用作在圖18中示出的區(qū)域A5中的合成圖像數(shù)據(jù)項。
在處理P5中，下述三個層被合成當(dāng)前輸入的幀圖像數(shù)據(jù)的運 動被攝體圖像、前一個關(guān)鍵幀中的運動被攝體圖像、以及當(dāng)前輸入的 幀圖像數(shù)據(jù)的背景圖像。
例如，對圖18中示出的區(qū)域A3的每一個Y象素列應(yīng)用處理P5。 區(qū)域A3是當(dāng)前輸入的幀圖像數(shù)據(jù)的運動序列有效區(qū)與前一個合成圖 像數(shù)據(jù)項重疊的區(qū)域。因此，根據(jù)圖26A到圖26C示出的優(yōu)先級合 成這三個層。
圖26A示出輸入圖像的運動被攝體圖像(運動被攝體層)。圖 26C示出輸入圖像的背景圖像(其余的背景層)。
與處理P4—樣，如圖4所示，層處理單元3使用層分離子單元 31將當(dāng)前輸入的幀圖像數(shù)據(jù)分離成各層，以便獲取運動被攝體圖像和 背景圖像。
圖26B示出當(dāng)生成前一個合成圖像數(shù)據(jù)項的關(guān)鍵幀(即，前一 個關(guān)鍵幀)時的運動被攝體圖像(運動被攝體層)。請注意，前一個 關(guān)鍵幀圖像包含在前一個合成圖像數(shù)據(jù)項中。但是，可以使用關(guān)于前 一個關(guān)鍵幀的運動被攝體圖像來提取前一個關(guān)鍵幀的運動被攝體圖 像。
在圖26A、圖26B和圖26C中，與圖18中的合成圖4象的區(qū)域 A3相對應(yīng)的部分由陰影表示。
在處理P5中執(zhí)行的合成處理中，在將最高優(yōu)先級分配給輸入圖 像中的運動被攝體圖像，將第二優(yōu)先級分配給前一個關(guān)鍵幀中的運動 被攝體圖像，并將第三優(yōu)先級分配給輸入圖像中的背景圖像時，對圖 26A、圖26B和圖26C中的陰影部分的像素列的像素進行層合成。
45也就是說，最高優(yōu)先級被賦予給形成圖26A的陰影部分中的運 動被攝體的像素。如果在圖26B的陰影部分中發(fā)現(xiàn)形成運動被攝體的 像素，那么這些像素被置于除了形成圖26A的陰影部分中的運動被攝 體的像素以外的像素的位置。形成圖26C中示出的背景圖1象的^象素被 置于圖26A的其它像素部分。
這三個層中的這些像素被用作圖18中示出的區(qū)域A3的合成圖 像數(shù)據(jù)項。
在處理P6中，下述四個層被合成當(dāng)前輸入的幀圖像數(shù)據(jù)的運 動被攝體圖像、前一個關(guān)鍵幀中的運動被攝體圖像、前一個合成圖像 數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項中的運動被攝體圖像、以及當(dāng)前輸入的 幀圖像數(shù)據(jù)的背景圖像。
對其應(yīng)用處理P6的像素列是圖18中示出的區(qū)域A4的像素列。 區(qū)域A4是這樣的區(qū)域其中，當(dāng)前輸入的幀圖像數(shù)據(jù)的運動序列有 效區(qū)與前一個合成圖像數(shù)據(jù)項和在前一個合成圖像數(shù)據(jù)項之前的合 成圖像數(shù)據(jù)項重疊。因此，根據(jù)如圖27A到圖27D中示出的優(yōu)先級 合成這四個層。
圖27A示出輸入圖像的運動被攝體圖像(運動被攝體層)。圖 27D示出輸入圖像的背景圖像(其余的背景層)。
圖27B示出當(dāng)生成前一個合成圖像數(shù)據(jù)項時的關(guān)鍵幀(即，前 一個關(guān)鍵幀)的運動被攝體圖像(運動被攝體層)。
圖27C示出當(dāng)生成前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù) 項時的關(guān)鍵幀(即，前一個關(guān)鍵幀)的運動被攝體圖像(運動被攝體 層)。
與處理P4—樣，如圖4所示，層處理單元3使用層分離子單元 31將輸入幀圖像數(shù)據(jù)分離成各層，以便獲得運動被攝體圖像和背景圖 像。另外，層處理單元3使用運動被攝體信息從前一個合成圖像數(shù)據(jù) 項提取前一個關(guān)鍵幀中的運動被攝體圖像。此外，層處理單元3使用 運動被攝體信息從前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù)據(jù)項提 取在前一個關(guān)鍵幀之前的關(guān)鍵幀中的運動被攝體圖像。
46在圖27A、圖27B、圖27C和圖27D中，與在圖18中示出的合 成圖像的區(qū)域A4相對應(yīng)的區(qū)域由陰影表示。
如圖27A、圖27B、圖27C和圖27D所示，在處理P6的合成處 理中，通過將最高優(yōu)先級分配給輸入圖像中的運動被攝體圖像，將第 二優(yōu)先級分配給前一個關(guān)鍵幀中的運動被攝體圖像、將第三優(yōu)先級賦 予給前一個關(guān)鍵幀之前的關(guān)鍵幀、并將第四優(yōu)先級分配給輸入圖像中 的背景圖像，對在圖27A、圖27B、圖27C和圖27D中示出的由陰影 表示的列中的像素進行層合成。
也就是說，最高優(yōu)先級賦予給了形成在圖27A中具有陰影的區(qū) 域中的運動被攝體圖像的像素。如果發(fā)現(xiàn)形成在圖27A中具有陰影的 區(qū)域中的運動被攝體圖像的像素，那么這些像素被用于除了形成在圖 27A中具有陰影的區(qū)域中的運動被攝體圖像的像素以外的像素。另夕卜， 如果在圖27A和圖27B中沒有發(fā)現(xiàn)形成運動被攝體圖像的像素并且在 圖27C中發(fā)現(xiàn)形成運動被攝體圖像的像素，則使用這些像素。形成在 圖27D中的背景圖像的像素被用于其它像素區(qū)域。
在這四個層中的這些像素被用作圖18所示的區(qū)域A4的合成圖 像數(shù)據(jù)項。
在處理Pl到處理P6中，如下所述的那樣執(zhí)行合成處理。
在圖21中示出的步驟F307中，根據(jù)步驟F306的處理選擇結(jié)果 對關(guān)注的像素執(zhí)行上述Pl到P6之一。
請注意，從步驟F306到步驟F309的處理可以逐個像素地重復(fù)， 而不是逐個列地重復(fù)。
當(dāng)對所有列(所有像素)執(zhí)行處理Pl到處理P6之一時，生成 合成罔像數(shù)據(jù)項(例如，在圖18中示出的合成圖像數(shù)據(jù)項)。
此時，本處理從步驟F310前進到步驟F311。
在步驟F311中，層處理單元3將合成圖像數(shù)據(jù)項提供給圖像輸 出單元4。圖像輸出單元4將提供的合成圖像以形成運動序列運動圖 像的幀的形式輸出到輸出裝置40。
請注意，根據(jù)合成處理所必需的時間，來自圖像輸入單元10的
47幀圖像數(shù)據(jù)項的輸入間隔，或者，為了生成其中運動序列被緩慢表示
的運動圖像，圖像輸入單元4可以將一個合成圖像數(shù)據(jù)項以形成運動 序列運動圖像的多個幀的形式連續(xù)地輸出。
在步驟F312中，根據(jù)當(dāng)前處理的幀圖像數(shù)據(jù)是否充當(dāng)關(guān)鍵幀來 對本處理進行分流。也就是說，根據(jù)步驟F303的確定結(jié)果對處理進 行分流。
如果當(dāng)前輸入的幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀，那么為了在后續(xù)的處理 中將存儲的合成圖像數(shù)據(jù)項作為前一個合成圖像數(shù)據(jù)項使用，在步驟 F313中將當(dāng)前生成的合成圖像數(shù)據(jù)項存儲在合成圖像更新保持單元5 中。
合成圖像更新保持單元5將當(dāng)前存儲的前一個合成圖像數(shù)據(jù)項 改變?yōu)榍耙粋€合成圖像數(shù)據(jù)項之前的合成圖《象數(shù)據(jù)項。另外，合成圖 像更新保持單元5將當(dāng)前從圖像輸出單元4提供的合成圖像數(shù)據(jù)項存 儲作為前一個合成圖像數(shù)據(jù)項。請注意，同時存儲關(guān)鍵幀的運動被攝 體信息。
隨后，本處理返回到步驟F301，從步驟F301開始對下一個幀圖 像數(shù)據(jù)項的處理。
在每當(dāng)輸入幀圖像數(shù)據(jù)時執(zhí)行從步驟F301到步驟F313的處理 時，生成如圖11到圖20所示的運動序列運動圖像。
也就是說，每當(dāng)輸入幀圖像數(shù)據(jù)并執(zhí)行圖像合成處理時，在步驟 F311中將合成圖像數(shù)據(jù)項輸出作為形成運動圖像的幀。以這種方式， 如果輸出裝置40充當(dāng)監(jiān)視器顯示設(shè)備，那么在輸出裝置40上顯示運 動序列運動圖像。
或者，如果輸出裝置40充當(dāng)圖像記錄設(shè)備，那么形成運動序列 運動圖像的每一幀都以運動圖像數(shù)據(jù)的形式被記錄在輸出裝置40上。
如果在步驟F301中確定所有的幀都被輸入，那么本處理前進到 步驟F314，其中完成合成處理。另外，圖像輸出單元4停止輸出合成 圖像數(shù)據(jù)項。或者，如果輸出裝置40充當(dāng)監(jiān)視器顯示設(shè)備，那么輸 出裝置40連續(xù)地輸出最終幀的合成閨像數(shù)據(jù)項(例如，圖20中所示的)。在這種情況下，在圖11到圖20中示出的運動序列運動圖像被 顯示在監(jiān)視器顯示設(shè)備上之后，連續(xù)地顯示在圖20中示出的最終圖 像。
如上所述，根據(jù)本實施例，可以生成并輸出運動序列運動圖像。 由于每一個時間的合成圖像數(shù)據(jù)項都以運動圖像的形式輸出，因此這
一運動序列運動圖像可以具有高的視覺效果，并且用戶可以輕易地識 別運動序列。
特別是，在生成處理的第二例中，基于上述處理選擇執(zhí)行合成處 理。因此，實現(xiàn)有效的處理。也就是說，合成第三層和第四層的合成 處理P5和P6的處理負擔(dān)相對較重。但是，只對所必需的像素區(qū)域執(zhí) 行這些處理。對于不需要層合成處理的像素區(qū)域，諸如處理P1、處理 P2或處理P3的簡化復(fù)制處理就足夠了。因此，可以提高處理效率， 并且可以減少處理負擔(dān)。
請注意，與生成處理的第一例中的運動序列靜止圖像一樣，在生 成處理的第二例中，運動被攝體可以通過擴展被攝體的運動序列有效 區(qū)來被準(zhǔn)確地表示。另外，運動序列可以通過布置多個被攝體圖像來 在時間方向上被細微地表示。例如，在不失去高爾夫球棒的頂部的圖 像的情況下，可以精確地顯示高爾夫球棒的頂部。另外，由于可以布 置多個運動被攝體圖像，因此可以以較短的時間間隔表示運動序列。
此外，與生成處理的第一例一樣，生成并輸出這樣的運動序列運 動圖像的圖像處理設(shè)備1可以廣泛地應(yīng)用于各種設(shè)備。
接下來描述在圖21中示出的步驟F308和步驟F309中執(zhí)行的處理。
在步驟F309中執(zhí)行的復(fù)制處理中，如圖19所示，例如，在上 部中的最后一個運動被攝體的圖像被復(fù)制為下部中的第一個運動被 攝體。
如圖19所示，在上部的右端處的合成圖像數(shù)據(jù)項的預(yù)定區(qū)域(在 被攝體圖像從左向右運動的情況下)被定義為下部復(fù)制區(qū)域。
在步驟F308中，層處理單元3執(zhí)行處理選擇并確定合成圖像數(shù)
49據(jù)項的每一個像素列(或像素)是否對應(yīng)于下部復(fù)制區(qū)域(即，在右 端處的上部的區(qū)域)。如果像素列(或像素)對應(yīng)于下部復(fù)制區(qū)域，
那么層處理單元3在步驟F309中將該列中的每一個像素都復(fù)制到下 部中的對應(yīng)位置。
通過執(zhí)行這些處理，當(dāng)如圖19所示生成上部的下部復(fù)制區(qū)域中 的圖像時，同一圖像同時被合成在下部中。
當(dāng)顯示運動序列運動圖像時，對于圖19的上部的右側(cè)的被攝體 區(qū)域中的運動被攝體圖像和在圖19的下部的左側(cè)的被攝體區(qū)域中的 運動被攝體圖像，同時出現(xiàn)相同的圖像。
通過執(zhí)行這些處理，甚至在下部復(fù)制區(qū)域中的運動被攝體圖像都 可以在不失去圖像的部分的情況下被精確地表示。也就是說，即使當(dāng) 在上部的右側(cè)的被攝體圖像沒有被顯示時，該被攝體圖像也可以在下 部中被精確地顯示。另外，用戶可以輕易地觀察到從上部中的運動序 列到下部中的運動序列的變化。
4.運動被攝體信息
如上所述，在生成處理的第一例和第二例的層分離處理中，幀圖 像數(shù)據(jù)被分離成運動被攝體層和其余的背景層。當(dāng)執(zhí)行層分離處理 時，使用從運動被攝體信息生成單元11或運動被攝體信息輸入單元 12接收到的運動被攝體信息。
在每一個上述例子中，如圖4A所示，使用二進制值表示運動被 攝體信息。但是，對于運動被攝體信息，可以使用表示三個值或更多 值的多進制值。
例如，運動被纟聶體信息生成單元11或運動被4聶體信息輸入單元 12可以根據(jù)多個運動被攝體的深度(圖像中的前景/背景關(guān)系)生成 (或獲取)表示不同值的運動被攝體信息。
在這種情況下，層分離子單元31可以將該圖像分離成數(shù)量等于 運動被攝體的數(shù)量和背景的數(shù)量之和的層。
例如，圖28A和圖28B示出在幀圖像數(shù)據(jù)中存在兩個人的圖像(兩個運動被攝體圖像)的情況。
在圖28A中，使用二進制值表示運動被攝體信息。在圖28B中， 使用多進制值(例如，三進制值)表示運動被攝體信息。
在圖28A中，背景由"0"表示，并且運動被攝體由'T，表示。 在這種情況下，兩個被攝體都由"1"表示。
相反地，當(dāng)如圖28B所示使用多進制值時，背景可以由"0"表 示，兩個運動被攝體中的一個可以由"1"表示，并且另一個運動被 攝體可以由"2"表示。
圖29A和圖29B示出其中兩個運動被攝體以前景/背景關(guān)系在屏 幕中重疊的情況。
如圖29A所示，當(dāng)對于運動被攝體信息使用二進制時，難以區(qū) 分兩個運動被攝體的深度。
但是，如圖29B所示，當(dāng)對于運動被攝體信息使用多進制值時， 可以區(qū)分多個運動被攝體的前景/背景關(guān)系。
如上所述，如果對于運動被攝體信息使用多進制值，那么可以對 多個運動被攝體圖像中的每一個執(zhí)行層分離。因此，例如，可以給一 個運動被攝體和另一個運動被攝體賦予不同的優(yōu)先級，并且，將這些 圖像合成。另外，只可以提取一個運動被攝體的圖像，并且可以生成 運動序列圖像。
5.對運動圖像的處理的第一例的應(yīng)用
如前所述，甚至可以使用生成處理的第一例生成如圖11到圖20 所示的運動序列運動圖像。
圖30示出當(dāng)通過圖9中示出的生成處理的第一例生成并輸出運 動序列運動圖像時執(zhí)行的處理的例子。
請注意，在描述圖30中的處理所使用的編號方式與上面描述圖 9中所使用的編號方式相同，對其描述將不再贅述。在圖30中，由帶 有后綴"A"的附圖標(biāo)記(即，步驟F103A、步驟F109A、步驟F110A、 步驟F111A和步驟F112A)表示的步驟中的處理與在圖9中示出的處
51理不同。
下面將描述與圖9中示出的處理不同之處。
在圖9中示出的處理的步驟F103中，輸入圖像選擇單元2只選 擇關(guān)鍵幀并將選擇的關(guān)鍵幀用于圖像合成處理。但是，如上所述，在 生成處理的第二例中，為了生成運動序列運動圖像，輸入圖像選擇單 元2使用關(guān)鍵幀和非關(guān)鍵幀用于圖像合成處理。因此，在步驟F103A 中，確定輸入幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀還是非關(guān)鍵幀(即，執(zhí)行與圖21 中示出的步驟F303中執(zhí)行的處理相似的處理)。
在圖30中示出的步驟F109A到步驟F108中，對輸入幀圖像數(shù) 據(jù)進行合成處理。在步驟F109A中，圖像輸出單元4以形成運動序列 運動圖像的一幀數(shù)據(jù)的形式向輸出裝置40輸出生成的合成圖像數(shù)據(jù) 項(即，執(zhí)行與圖21中示出的步驟F311中執(zhí)行的處理相似的處理)。
另外，在步驟F112A和步驟F110A中，更新前一個合成圖像數(shù) 據(jù)項。也就是說，這一處理與在圖21中示出的步驟F312和步驟F313 中執(zhí)行的處理相似。如果當(dāng)前輸入的幀圖像數(shù)據(jù)充當(dāng)關(guān)鍵幀，那么更 新在合成圖像更新保持單元5中存儲的前一個合成圖像數(shù)據(jù)項。
以這種方式，每當(dāng)輸入幀圖像數(shù)據(jù)項時，執(zhí)行在步驟F301到步 驟F110中的處理。在處理期間，每當(dāng)執(zhí)行圖像合成處理時，以在步 驟F109A中形成運動圖像的幀的形式輸出合成圖像數(shù)據(jù)項。以這種方 式，例如，如圖ll到圖20所示的運動序列運動圖像輸出到輸出裝置 40。
例如，如果輸出裝置40充當(dāng)監(jiān)視器顯示單元，那么顯示運動序 列運動圖像?；蛘?，如果輸出裝置40充當(dāng)圖像記錄單元，那么形成 運動序列運動圖像的每一幀被連續(xù)地記錄為運動圖像數(shù)據(jù)。
如果在步驟FIOI中確定所有幀的輸入都完成，那么本處理前進 到步驟F111A，在步驟F111A中完成合成處理。另外，圖像輸出單元 4停止輸出合成圖像數(shù)據(jù)項。或者，當(dāng)輸出裝置40充當(dāng)監(jiān)視器顯示單 元時，輸出裝置40連續(xù)地輸出最終幀的合成圖像數(shù)據(jù)項(例如，圖 20中所示的)。根據(jù)在圖30中示出的上述處理，使用生成處理的第一例生成運 動序列運動圖像并將其輸出。
6.對運動圖像的處理的第二例的應(yīng)用
可以使用生成處理的第二例生成運動序列靜止圖像并將其輸出。
圖31示出使用在圖21中示出的生成處理的第二例生成運動序列 靜止圖像的處理的例子。
請注意，在描述圖31中的處理所使用的編號方式與上面描述圖 21中所使用的編號方式相同，對其描述將不再贅述。在圖31中，由 帶有后綴"A"的附圖標(biāo)記(即，步驟F303A、步驟F311A、步驟F313A 和步驟F314A)表示的步驟中的處理與在圖21中示出的處理不同。
下面將描述與在圖21中示出的處理不同之處。
當(dāng)如圖21所示生成運動序列運動圖像時，如上所述，關(guān)鍵幀和 非關(guān)鍵幀被用于合成處理。但是，如上所述，在生成處理的第一例中， 為了生成運動序列靜止圖像，對于圖像合成處理，輸入圖像選擇單元 2只使用關(guān)鍵幀。
因此，在圖31的步驟F303A中，輸入圖像選擇單元2只選擇關(guān) 鍵幀并將選擇的關(guān)鍵幀提供給層處理單元3 (即，執(zhí)行與圖9中示出 的步驟F103中執(zhí)行的處理相似的處理)。
隨后，在步驟F304到步驟F310中，執(zhí)行在圖21中示出的合成處理。
在步驟F311A中，圖像輸出單元4保持生成的合成圖像數(shù)據(jù)項 (即，執(zhí)行與圖9中示出的步驟F109中執(zhí)行的處理相似的處理)。
隨后，在步驟F313A中，圖像輸出單元4將合成圖像數(shù)據(jù)項提 供給合成圖像更新保持單元5,并且合成圖像更新保持單元5更新前 一個合成圖像數(shù)據(jù)項和在前一個合成圖像數(shù)據(jù)項之前的合成圖像數(shù) 據(jù)項(即，執(zhí)行與圖9中示出的步驟F110中執(zhí)行的處理相似的處理)。
以這種方式，每當(dāng)輸入關(guān)鍵幀時，執(zhí)行在步驟F301到步驟F313A 中的處理。最終，可以獲得如圖2所示的合成圖像數(shù)據(jù)項。
53此時，處理從步驟F301前進到步驟F314A，其中，圖像輸出單 元4將當(dāng)前保持的合成圖像數(shù)據(jù)項(即，如圖2所示的合成圖像數(shù)據(jù) 項)作為運動序列靜止圖像數(shù)據(jù)輸出到輸出裝置40。
通過在圖31中示出的這樣處理，生成并輸出一個運動序列靜止 圖像數(shù)據(jù)項。
7.程序
就圖像處理設(shè)備l已經(jīng)描述了本實施例。除了充當(dāng)用于生成運動 序列圖像的專用設(shè)備外，本實施例的圖像處理設(shè)備1還可以應(yīng)用于執(zhí) 行圖像處理的各種設(shè)備。例如，圖像處理設(shè)備l可以應(yīng)用于圖像再現(xiàn) 設(shè)備、圖像拾取設(shè)備、通信設(shè)備、圖像記錄設(shè)備、游戲機(game console ) 以及視頻編輯設(shè)備。
另外，圖像處理設(shè)備l可以使用通用個人計算機或者不同于個人 計算機的信息處理設(shè)備來實現(xiàn)。
例如，通過提供使算術(shù)處理單元以圖像處理應(yīng)用程序軟件的形式 執(zhí)行處理塊的操作(在圖9、圖10、圖21、圖22、圖30和圖31中 的步驟)，可以在例如個人計算機中執(zhí)行適當(dāng)?shù)膱D像處理。
也就是說，實現(xiàn)由圖像處理設(shè)備1所執(zhí)行的圖像處理的程序是使 得算術(shù)處理單元執(zhí)行下述層分離步驟和合成處理步驟的程序。
在層分離步驟中，當(dāng)輸入幀圖像數(shù)據(jù)時，對已有的合成圖像數(shù)據(jù) 項的局部區(qū)域執(zhí)行包括層圖像合成處理的圖像合成處理。在層圖像合 成處理中，最高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝 體層，第二優(yōu)先級被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù) 項的運動被攝體層。
通過使用這樣的程序，根據(jù)本實施例的圖像處理可以在個人計算 機、蜂窩電話、個人數(shù)字助理(PDA)和使用圖像數(shù)據(jù)的其它各種圖 像處理設(shè)備中執(zhí)行。
請注意，程序可以預(yù)先被記錄在例如充當(dāng)包含在諸如個人計算機 的設(shè)備中的記錄介質(zhì)的硬盤驅(qū)動器(HDD)、包含中央處理單元(CPU)的微型計算機中的只讀存儲器(ROM)、或閃存中。
或者，程序可以臨時或永久性地存儲(記錄)在諸如軟盤、壓縮 盤只讀存儲器(CD-ROM)、磁光(MO)盤、數(shù)字通用盤(DVD)、 藍光盤、磁盤、半導(dǎo)體存儲器、或存儲卡的可移動介質(zhì)中。這樣的可
移動介質(zhì)可以以所謂的封裝軟件的形式提供。
此外，例如，程序可以從可移動記錄介質(zhì)安裝在個人計算機中。 此外，程序可以通過諸如局域網(wǎng)(LAN)或互聯(lián)網(wǎng)的網(wǎng)絡(luò)從下載站點 下載。
本申請包含與于2008年8月18日在日本專利局遞交的日本在先 專利申請JP 2008-209931中公開的主題相關(guān)的主題，該專利申請的全 部內(nèi)容以引用的方式并入本文。
本領(lǐng)域技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計要求和其它因素可以進行各 種變形、組合、子組合和替換，只要它們在本發(fā)明的范圍內(nèi)即可。
權(quán)利要求
1.一種圖像處理設(shè)備，包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項；其中，在圖像合成處理中，最高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層，第二優(yōu)先級被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項的運動被攝體層，并且對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層圖像合成處理。
2. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括圖像輸出單元，被配置為以運動序列靜止圖像數(shù)據(jù)項的形式將通 過由合成處理單元對預(yù)定數(shù)量的幀圖像數(shù)據(jù)項執(zhí)行的圖像合成處理 而獲得的合成圖像數(shù)據(jù)項輸出。
3. 根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括輸入圖像選擇單元，被配置為從輸入幀圖像數(shù)據(jù)項中選擇用于生 成合成圖像數(shù)據(jù)項的關(guān)鍵幀；其中，合成處理單元根據(jù)被選作關(guān)鍵幀的幀圖像數(shù)據(jù)項執(zhí)行圖像 合成處理，以便生成運動序列靜止圖像數(shù)據(jù)項。
4. 根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，還包括合成圖像保持單元，被配置為將合成圖像數(shù)據(jù)項保持作為用于下 一個圖像合成處理的已有的合成圖像數(shù)據(jù)項。
5. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括 圖像輸出單元，被配置為每當(dāng)生成合成圖像數(shù)據(jù)時以運動序列運動圖像數(shù)據(jù)項的形式連續(xù)地輸出由合成處理單元生成的合成圖像數(shù) 據(jù)項。
6. 根據(jù)權(quán)利要求5所述的圖像處理設(shè)備，還包括輸入圖像選擇單元，被配置為從輸入幀圖像數(shù)據(jù)項中選擇用于生 成合成圖像的關(guān)鍵幀；以及合成圖像保持單元，被配置為將通過由合成處理單元根據(jù)關(guān)鍵幀 執(zhí)行的合成處理而生成的合成圖像數(shù)據(jù)項保持作為用于下一個圖像 合成處理的已有的合成圖像數(shù)據(jù)項。
7. 根據(jù)權(quán)利要求6所述的圖像處理設(shè)備，其中，在不管輸入幀 圖像數(shù)據(jù)項是否被選作關(guān)鍵幀的情況下，合成處理單元通過生成合成 圖像數(shù)據(jù)項來生成運動序列運動圖像數(shù)據(jù)項，其中通過根據(jù)每一個輸 入幀圖像數(shù)據(jù)項執(zhí)行的圖像合成處理來生成合成圖像數(shù)據(jù)項。
8. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，通過將最高優(yōu) 先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層，將第二優(yōu)先級 賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項的運動被攝 體層，將第三優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的背景層，并且 將第四優(yōu)先級賦予給與緊鄰以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù) 項的背景層，合成處理單元對已有的合成圖像數(shù)據(jù)項的預(yù)定區(qū)域執(zhí)行 圖像合成處理。
9. 根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，在執(zhí)行最新的 輸入幀圖像數(shù)據(jù)項與已有的合成圖像數(shù)據(jù)項的預(yù)定區(qū)域合成的圖像 合成處理時，合成處理單元根據(jù)要處理的像素的位置選擇性地執(zhí)行下 述處理之一 從最新的輸入幀圖像數(shù)據(jù)項提取的像素被應(yīng)用到所述預(yù) 定區(qū)域的處理；從最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層提取的像 素被應(yīng)用到所述預(yù)定區(qū)域的處理；從以前生成的合成圖像數(shù)據(jù)項之一提取的像素被應(yīng)用到所述預(yù)定區(qū)域的處理；以及，使用以前生成的合 成圖像數(shù)據(jù)項之一和最新的輸入幀圖像數(shù)據(jù)項的層圖像合成處理。
10. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，在層圖像合成 處理中，最高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體 層的像素，第二優(yōu)先級被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項的運動被攝體層的像素，并且第三優(yōu)先級被賦予給最新的輸入 幀圖像數(shù)據(jù)項的背景層的像素。
11. 根據(jù)權(quán)利要求9所述的圖像處理設(shè)備，其中，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層的像素，將第二到第n優(yōu)先級賦予給與多個以前處理的合成圖像數(shù)據(jù)項相關(guān)的幀圖像 數(shù)據(jù)項的像素，將第(n+l)優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項 的背景層的像素，來執(zhí)行層圖像合成處理。
12. —種圖像處理設(shè)備，包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層 和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項執(zhí)行圖像合 成處理來生成合成圖像數(shù)據(jù)項；其中，在圖像合成處理中，對已有的合成圖像數(shù)據(jù)項的局部區(qū)域 執(zhí)行層圖像合成處理，以便使最高優(yōu)先級被賦予給最新的輸入幀圖像 數(shù)據(jù)項的運動被攝體層，第二優(yōu)先級被賦予給與以前執(zhí)行的合成處理 相關(guān)的輸入幀圖像數(shù)據(jù)項的運動被攝體層，并且顯示所述層。
13. —種圖像處理設(shè)備，包括合成處理單元，被配置為通過每當(dāng)輸入幀圖像數(shù)據(jù)項時執(zhí)行圖像 合成處理來生成合成圖像數(shù)據(jù)項并將其輸出，以便顯示運動圖像，在 該運動圖像中，所述幀圖像數(shù)據(jù)項中的運動被攝體圖像沿預(yù)定方向順序地布置；其中，在所述運動圖像中，被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項的 所述運動被攝體圖像被連續(xù)地顯示，并且沒有被選作關(guān)鍵幀的所述幀 圖像數(shù)據(jù)項的所述運動被攝體圖像被臨時地顯示。
14. 一種用于處理圖像的方法，包括下述步驟 將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層；以及 使用輸入幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖像合成處理；其中，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動 被攝體層，將第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項的運動被攝體層，對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層 圖像合成處理。
15. —種用于處理圖像的方法，包括下述步驟 將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層；以及 使用輸入幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖像合成處理；其中，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動 被攝體層，將第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀 圖像數(shù)據(jù)項的運動被攝體層，來對已有的合成圖像數(shù)據(jù)項的局部區(qū)域 執(zhí)行層圖像合成處理，并顯示所述層。
16. —種用于處理圖像的方法，包括下述步驟通過每當(dāng)輸入幀圖像數(shù)據(jù)項時執(zhí)行圖像合成處理來生成合成圖 像數(shù)據(jù)項；并且通過重復(fù)生成合成圖像數(shù)據(jù)項來顯示運動圖像，在該運動圖像 中，所述幀圖像數(shù)據(jù)項中的運動被攝體圖像沿預(yù)定方向順序地布置；其中，在生成合成圖像數(shù)據(jù)項的過程中，執(zhí)行所述圖像合成處理，使得被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項的運動被攝體圖像被連續(xù)地 顯示，并且沒有被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項的所述運動被攝體 圖像被臨時地顯示。
17. —種程序，包括用于使得計算機執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層； 以及使用輸入幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖像合成處 理；其中，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動 被攝體層，將第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像 數(shù)據(jù)項的運動被攝體層，來對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行 層圖像合成處理。
18. —種程序，包括用于使得計算機執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層； 以及使用輸入幀圖像數(shù)據(jù)項執(zhí)行包括層圖像合成處理的圖像合成處 理；其中，通過將最高優(yōu)先級賦予給最新的輸入幀圖像數(shù)據(jù)項的運動 被攝體層，將第二優(yōu)先級賦予給與以前執(zhí)行的合成處理相關(guān)的輸入幀 圖像數(shù)據(jù)項的運動被攝體層，來對已有的合成圖像數(shù)據(jù)項的局部區(qū)域 執(zhí)行層圖像合成處理，并顯示所述層。
19. 一種程序，包括用于使得計算機執(zhí)行用于處理圖像的方法的程序代碼，所述方法 包括下述步驟通過每當(dāng)輸入幀圖像數(shù)據(jù)項時執(zhí)行圖像合成處理來生 成合成圖像數(shù)據(jù)項；以及通過重復(fù)生成合成圖像數(shù)據(jù)項來顯示運動圖 像，在該運動圖像中，所述幀圖像數(shù)據(jù)項中的運動被攝體圖像沿預(yù)定方向順序地布置；其中，在生成合成圖像數(shù)據(jù)項的過程中，執(zhí)行圖像合成處理，使 得被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項的運動被攝體圖像被連續(xù)地顯 示，并且沒有被選作關(guān)鍵幀的所述幀圖像數(shù)據(jù)項的運動被攝體圖像被 臨時地顯示。
全文摘要
本發(fā)明提供一種圖像處理設(shè)備、圖像處理方法和程序。該圖像處理設(shè)備包括層分離單元，被配置為將輸入幀圖像數(shù)據(jù)項分離成運動被攝體層和背景層；以及合成處理單元，被配置為通過使用輸入幀圖像數(shù)據(jù)項執(zhí)行圖像合成處理來生成合成圖像數(shù)據(jù)項。在圖像合成處理中，最高優(yōu)先級被賦予給最新的輸入幀圖像數(shù)據(jù)項的運動被攝體層，第二優(yōu)先級被賦予給與以前執(zhí)行的合成處理相關(guān)的幀圖像數(shù)據(jù)項的運動被攝體層，并且對已有的合成圖像數(shù)據(jù)項的局部區(qū)域執(zhí)行層圖像合成處理。
文檔編號G06T1/00GK101655991SQ20091016578
公開日2010年2月24日 申請日期2009年8月13日 優(yōu)先權(quán)日2008年8月18日
發(fā)明者中尾大輔 申請人:索尼株式會社