專(zhuān)利名稱(chēng)：通信裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種通信系統(tǒng)及其方法，特別涉及一種用于將圖像處理分布到網(wǎng)絡(luò)上的多個(gè)服務(wù)器以執(zhí)行用戶(hù)所需的單獨(dú)或獨(dú)立圖像處理的通信系統(tǒng)和方法，其中，該通信系統(tǒng)和方法允許以較低費(fèi)用在網(wǎng)絡(luò)平臺(tái)上提高圖像處理速度。
背景技術(shù)：
一般，在網(wǎng)絡(luò)上合成用戶(hù)所需圖像的技術(shù)是眾所周知的。
合成圖像通常通過(guò)疊加和加入多個(gè)預(yù)先存在的圖像如已經(jīng)存儲(chǔ)在通過(guò)網(wǎng)絡(luò)連接的服務(wù)器上的圖像或者從數(shù)字靜止攝像機(jī)獲得的圖像來(lái)生成。在某些情況下，合成圖像可以通過(guò)紋理映射來(lái)生成。
然而，所存在的問(wèn)題是通過(guò)使用上述傳統(tǒng)方法生成的合成圖像導(dǎo)致運(yùn)動(dòng)模糊的出現(xiàn)。例如，移動(dòng)物體一般都發(fā)生運(yùn)動(dòng)模糊，從而不能準(zhǔn)確地并入合成圖像。因此，合成處理是以低準(zhǔn)確性執(zhí)行的，并且在合成圖像中經(jīng)常產(chǎn)生不自然的現(xiàn)象。
另外，如果一個(gè)服務(wù)器執(zhí)行大批任務(wù)的合成處理，則該處理需要非常長(zhǎng)的時(shí)間。例如，即使是疊加相同背景圖像，疊加處理的重復(fù)次數(shù)也為所需圖像數(shù)。這就給用戶(hù)帶來(lái)一個(gè)問(wèn)題是當(dāng)處理服務(wù)按時(shí)間收費(fèi)時(shí)，費(fèi)用將是相當(dāng)大的負(fù)擔(dān)。

發(fā)明內(nèi)容
鑒于上述情況，本發(fā)明的一個(gè)目的是提供一種用于分布圖像處理的通信系統(tǒng)和方法，其特征在于將多個(gè)任務(wù)分布到網(wǎng)絡(luò)上的多個(gè)服務(wù)器，以執(zhí)行用戶(hù)所需的單獨(dú)或獨(dú)立圖像處理，其中，該通信系統(tǒng)和方法允許以較低費(fèi)用在網(wǎng)絡(luò)平臺(tái)上提高圖像處理速度。
本發(fā)明的第一通信裝置，包括分離部件，用于將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；以及編碼數(shù)據(jù)輸出部件，用于輸出當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
還可以包括收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信系統(tǒng)ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后完成收費(fèi)處理的用戶(hù)才可獲得的方式輸出編碼數(shù)據(jù)。
除用戶(hù)請(qǐng)求信息之外，請(qǐng)求信息輸入部件還可以輸入預(yù)定圖像數(shù)據(jù)。編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后完成收費(fèi)處理的用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和預(yù)定圖像數(shù)據(jù)將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的有效信息，輸出編碼數(shù)據(jù)。
還可以包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域。有效信息可以包括區(qū)域信息，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和預(yù)定圖像數(shù)據(jù)將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的區(qū)域信息，輸出編碼數(shù)據(jù)。
還可以包括混合比率生成部件，用于生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率。有效信息可以包括混合比率，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和預(yù)定圖像數(shù)據(jù)將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的混合比率，輸出編碼數(shù)據(jù)。
分離部件可以根據(jù)區(qū)域信息和混合比率將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成預(yù)定圖像的光量確定的像素值組成。有效信息可以包括前景成分圖像和背景成分圖像，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，輸出由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息，并且作為當(dāng)分離部件將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的前景成分圖像和背景成分圖像，輸出編碼數(shù)據(jù)。
除用戶(hù)請(qǐng)求信息之外，請(qǐng)求信息輸入部件還可以輸入用于辨別預(yù)定圖像數(shù)據(jù)的圖像數(shù)據(jù)ID，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的有效信息，輸出編碼數(shù)據(jù)。
還可以包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域。有效信息可以包括區(qū)域信息，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的區(qū)域信息，輸出編碼數(shù)據(jù)。
還可以包括混合比率生成部件，用于生成對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)中混合區(qū)域的混合比率。有效信息可以包括混合比率，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，作為當(dāng)分離部件根據(jù)請(qǐng)求信息輸入部件所輸入的請(qǐng)求信息和對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的混合比率，輸出編碼數(shù)據(jù)。
分離部件可以根據(jù)區(qū)域信息和混合比率將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成預(yù)定圖像的光量確定的像素值組成。有效信息可以包括前景成分圖像和背景成分圖像，并且編碼數(shù)據(jù)輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式，輸出由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息，并且作為當(dāng)分離部件將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的前景成分圖像和背景成分圖像，輸出編碼數(shù)據(jù)。
本發(fā)明的第一通信方法，包括分離步驟，將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；以及編碼數(shù)據(jù)輸出步驟，輸出當(dāng)在分離步驟根據(jù)在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
本發(fā)明的第一記錄介質(zhì)的程序，包括分離控制步驟，控制將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；以及編碼數(shù)據(jù)輸出控制步驟，控制輸出當(dāng)在分離控制步驟根據(jù)在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
本發(fā)明的第一程序使計(jì)算機(jī)執(zhí)行如下步驟分離控制步驟，控制將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；以及編碼數(shù)據(jù)輸出控制步驟，控制輸出當(dāng)在分離控制步驟根據(jù)在所述請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
在第一通信系統(tǒng)及其方法和第一程序中，將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；輸入用戶(hù)請(qǐng)求信息；以及輸出當(dāng)根據(jù)所輸入的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
附圖簡(jiǎn)述

圖1是應(yīng)用本發(fā)明的圖像處理系統(tǒng)的一個(gè)實(shí)施例的結(jié)構(gòu)圖；圖2是圖1的分離服務(wù)器的結(jié)構(gòu)圖；圖3是圖1的攝像機(jī)終端單元的結(jié)構(gòu)圖；圖4是圖1的分離服務(wù)器的功能圖；圖5是圖1的分離服務(wù)器的另一功能圖；圖6是圖1的運(yùn)動(dòng)檢測(cè)服務(wù)器的功能圖；圖7是圖1的運(yùn)動(dòng)檢測(cè)服務(wù)器的另一功能圖；圖8是圖1的區(qū)域指定服務(wù)器的功能圖；圖9是圖1的區(qū)域指定服務(wù)器的另一功能圖；圖10是圖1的混合比率計(jì)算服務(wù)器的功能圖；圖11是圖1的混合比率計(jì)算服務(wù)器的另一功能圖；圖12是圖1的前景/背景圖像分離服務(wù)器的功能圖；圖13是圖1的前景/背景圖像分離服務(wù)器的另一功能圖；圖14是圖1的運(yùn)動(dòng)模糊調(diào)整服務(wù)器的功能圖；圖15是圖1的運(yùn)動(dòng)模糊調(diào)整服務(wù)器的另一功能圖；圖16是圖1的編碼服務(wù)器的功能圖；圖17是圖1的編碼服務(wù)器的另一功能圖；圖18是圖1的存儲(chǔ)服務(wù)器的功能圖；圖19是圖1的存儲(chǔ)服務(wù)器的另一功能圖；圖20是圖1的合成服務(wù)器的功能圖；圖21是圖1的合成服務(wù)器的另一功能圖；
圖22是圖1的校正服務(wù)器的功能圖；圖23是圖1的校正服務(wù)器的另一功能圖；圖24是圖1的購(gòu)買(mǎi)服務(wù)器的功能圖；圖25是圖1的出售服務(wù)器的功能圖；圖26是圖1的檢索服務(wù)器的功能圖；圖27是示出分離服務(wù)器的方框圖；圖28是示出傳感器的圖像拍攝的圖；圖29是示出像素排列的圖；圖30是示出檢測(cè)元件操作的圖；圖31A是示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像的圖；圖31B是示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像的另一圖；圖32是示出背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域以及非覆蓋背景區(qū)域的圖；圖33是在拍攝對(duì)應(yīng)于靜止前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象的圖像中沿著時(shí)間方向擴(kuò)展連續(xù)排列在一行中的像素的像素值的模型圖；圖34是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖35是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖36是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖37是提取前景區(qū)域、背景區(qū)域以及混合區(qū)域中的像素的示例圖；圖38是示出像素之間的關(guān)系以及沿著時(shí)間方向擴(kuò)展像素值的模型的圖；圖39是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖40是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖41是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；
圖42是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖43是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖44是示出運(yùn)動(dòng)模糊量調(diào)整過(guò)程的流程圖；圖45是區(qū)域指定單元103的結(jié)構(gòu)示例方框圖；圖46是示出當(dāng)對(duì)應(yīng)于前景的對(duì)象正在移動(dòng)時(shí)的圖像的圖；圖47是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖48是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖49是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖50是示出區(qū)域判定條件的圖；圖51A是區(qū)域指定單元103中的區(qū)域指定結(jié)果的示例圖；圖51B是區(qū)域指定單元103中的區(qū)域指定結(jié)果的示例圖；圖51C是區(qū)域指定單元103中的區(qū)域指定結(jié)果的示例圖；圖51D是區(qū)域指定單元103中的區(qū)域指定結(jié)果的示例圖；圖52是區(qū)域指定單元103中的區(qū)域指定結(jié)果的示例圖；圖53是示出區(qū)域指定處理的流程圖；圖54是區(qū)域指定單元103的另一結(jié)構(gòu)示例方框圖；圖55是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖56是背景圖像的示例圖；圖57是二值對(duì)象圖像提取部分302的結(jié)構(gòu)方框圖；圖58A是示出相關(guān)值計(jì)算的圖；圖58B是示出相關(guān)值計(jì)算的圖；圖59A是示出相關(guān)值計(jì)算的圖；圖59B是示出相關(guān)值計(jì)算的圖；圖60是二值對(duì)象圖像的示例圖；圖61是時(shí)間變化檢測(cè)器303的結(jié)構(gòu)方框圖；
圖62是示出區(qū)域判定部分342的判定的圖；圖63是時(shí)間變化檢測(cè)器303的判定的示例圖；圖64是示出區(qū)域指定單元103的區(qū)域指定處理的流程圖；圖65是示出區(qū)域指定處理詳細(xì)信息的流程圖；圖66是區(qū)域指定單元103的另一結(jié)構(gòu)方框圖；圖67是魯棒處理部分361的結(jié)構(gòu)方框圖；圖68是示出運(yùn)動(dòng)補(bǔ)償器381的運(yùn)動(dòng)補(bǔ)償?shù)膱D；圖69是示出運(yùn)動(dòng)補(bǔ)償器381的運(yùn)動(dòng)補(bǔ)償?shù)膱D；圖70是示出區(qū)域指定處理的流程圖；圖71是示出魯棒處理詳細(xì)信息的流程圖；圖72是混合比率計(jì)算單元104的結(jié)構(gòu)示例方框圖；圖73是理想混合比率α的示例圖；圖74是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖75是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖76是示出使用前景成分相關(guān)性進(jìn)行近似的圖；圖77是示出C、N和P之間的關(guān)系的圖；圖78是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖；圖79是估計(jì)混合比率的示例圖；圖80是混合比率計(jì)算器104的另一結(jié)構(gòu)方框圖；圖81是示出混合比率計(jì)算處理的流程圖；圖82是示出估計(jì)混合比率計(jì)算處理的流程圖；圖83是示出混合比率α的直線(xiàn)近似的圖；圖84是示出混合比率α的平面近似的圖；圖85是示出當(dāng)計(jì)算混合比率α?xí)r多個(gè)幀內(nèi)像素之間的對(duì)應(yīng)關(guān)系的圖；圖86是估計(jì)混合比率處理器401的另一結(jié)構(gòu)方框圖；圖87是估計(jì)混合比率的示例圖；圖88是示出通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型執(zhí)行混合比率估計(jì)處理的流程圖；圖89是前景/背景分離器105的結(jié)構(gòu)示例方框圖；
圖90A是示出輸入圖像、前景成分圖像和背景成分圖像的圖；圖90B是示出輸入圖像、前景成分圖像和背景成分圖像的圖；圖91是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖92是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖93是沿著時(shí)間方向擴(kuò)展像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖94是分離部分601的結(jié)構(gòu)示例方框圖；圖95A是分離出的前景成分圖像和背景成分圖像的示例圖；圖95B是分離出的前景成分圖像和背景成分圖像的示例圖；圖96是示出前景/背景分離處理的流程圖；圖97是運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)示例方框圖；圖98是示出處理單元的圖；圖99是沿著時(shí)間方向擴(kuò)展前景成分圖像像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖100是沿著時(shí)間方向擴(kuò)展前景成分圖像像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖101是沿著時(shí)間方向擴(kuò)展前景成分圖像像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖102是沿著時(shí)間方向擴(kuò)展前景成分圖像像素值并且將快門(mén)時(shí)間劃分為時(shí)間區(qū)間的模型圖；圖103是運(yùn)動(dòng)模糊調(diào)整單元106的另一結(jié)構(gòu)圖；圖104是示出在運(yùn)動(dòng)模糊調(diào)整單元106中對(duì)包含在前景成分圖像中的運(yùn)動(dòng)模糊量進(jìn)行調(diào)整的過(guò)程的流程圖；圖105是運(yùn)動(dòng)模糊調(diào)整單元106的另一結(jié)構(gòu)示例方框圖；圖106是指定像素值與前景成分的關(guān)系的模型示例圖；圖107是示出前景成分計(jì)算的圖；圖108是示出前景成分計(jì)算的圖；圖109是示出前景運(yùn)動(dòng)模糊消除處理的流程圖；圖110是分離服務(wù)器的另一功能結(jié)構(gòu)方框圖；
圖111是合成器1001的結(jié)構(gòu)圖；圖112是分離服務(wù)器的另一功能結(jié)構(gòu)方框圖；圖113是混合比率計(jì)算器1101的結(jié)構(gòu)方框圖；圖114是前景/背景分離器1102的結(jié)構(gòu)方框圖。
圖115是分離服務(wù)器的另一功能結(jié)構(gòu)方框圖；圖116是合成器1201的結(jié)構(gòu)圖；圖117是示出分離服務(wù)的流程圖；圖118是示出收費(fèi)處理的流程圖；圖119是示出收費(fèi)處理的流程圖；圖120是收費(fèi)處理的另一示例流程圖；圖121是示出運(yùn)動(dòng)檢測(cè)服務(wù)的流程圖；圖122是示出區(qū)域指定服務(wù)的流程圖；圖123是示出混合比率計(jì)算服務(wù)的流程圖；圖124是示出前景/背景分離服務(wù)的流程圖；圖125是示出運(yùn)動(dòng)模糊調(diào)整服務(wù)的流程圖；圖126是示出編碼服務(wù)器的圖；圖127是示出編碼服務(wù)的流程圖；圖128是示出通過(guò)編碼處理的壓縮能力的圖；圖129是示出編碼服務(wù)器的另一示例圖；圖130是示出合成服務(wù)的流程圖；圖131是示出加密運(yùn)動(dòng)模糊加入單元的圖；圖132是示出加密運(yùn)動(dòng)模糊消除單元的圖；圖133是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖134是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖135是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖136是示出加密處理的流程圖；圖137是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖138是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖139是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖140是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖141是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；
圖142是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖143是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖144是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖145是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖146是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖147是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖148是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖149是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖150是示出加密運(yùn)動(dòng)模糊加入過(guò)程的圖；圖151是示出加密服務(wù)的流程圖；圖152是示出校正服務(wù)器的圖；圖153A是示出調(diào)整過(guò)程的圖；圖153B是示出調(diào)整過(guò)程的圖；圖153C是示出調(diào)整過(guò)程的圖；圖153D是示出調(diào)整過(guò)程的圖；圖154是示出調(diào)整過(guò)程的流程圖；圖155是示出購(gòu)買(mǎi)服務(wù)的流程圖；圖156是示出出售服務(wù)的流程圖；圖157是示出收費(fèi)服務(wù)的流程圖；圖158是示出檢索服務(wù)器的圖；圖159是示出檢索服務(wù)的流程圖；以及圖160是示出檢索服務(wù)的圖。
最佳實(shí)施方式圖1是示出本發(fā)明的圖像處理系統(tǒng)的一個(gè)實(shí)施例的圖。
本發(fā)明的圖像處理系統(tǒng)構(gòu)造為，分離服務(wù)器11、運(yùn)動(dòng)檢測(cè)服務(wù)器12、區(qū)域指定服務(wù)器13、混合比率計(jì)算服務(wù)器14、前景/背景圖像分離服務(wù)器15、運(yùn)動(dòng)模糊調(diào)整服務(wù)器16、編碼服務(wù)器17、存儲(chǔ)服務(wù)器18-1、18-2、合成服務(wù)器19、校正服務(wù)器20、購(gòu)買(mǎi)服務(wù)器21、出售服務(wù)器22、檢索服務(wù)器23、帳戶(hù)收費(fèi)服務(wù)器24、金融交易服務(wù)器(針對(duì)顧客)25、金融交易服務(wù)器(針對(duì)提供商)26、客戶(hù)計(jì)算機(jī)27和攝像機(jī)終端單元28-1～28-n通過(guò)網(wǎng)絡(luò)1如因特網(wǎng)連接以相互交換數(shù)據(jù)。分離服務(wù)器11、運(yùn)動(dòng)檢測(cè)服務(wù)器12、區(qū)域指定服務(wù)器13、混合比率計(jì)算服務(wù)器14、前景/背景圖像分離服務(wù)器15、運(yùn)動(dòng)模糊調(diào)整服務(wù)器16、編碼服務(wù)器17、合成服務(wù)器19、校正服務(wù)器20、購(gòu)買(mǎi)服務(wù)器21、出售服務(wù)器22、檢索服務(wù)器23、帳戶(hù)收費(fèi)服務(wù)器24和金融交易服務(wù)器(針對(duì)顧客和提供商)25、26分別由提供分離服務(wù)、運(yùn)動(dòng)檢測(cè)服務(wù)、區(qū)域指定服務(wù)、混合比率計(jì)算服務(wù)、前景/背景分離服務(wù)、運(yùn)動(dòng)模糊調(diào)整服務(wù)、編碼服務(wù)、合成服務(wù)、校正服務(wù)、購(gòu)買(mǎi)服務(wù)、出售服務(wù)、檢索服務(wù)、收費(fèi)服務(wù)和金融交易服務(wù)(針對(duì)顧客和提供商)的提供商進(jìn)行管理或負(fù)責(zé)。而且，在下面描述中，存儲(chǔ)服務(wù)器18-1、18-2或攝像機(jī)終端單元28-1～28-n在不需要區(qū)別它們時(shí)簡(jiǎn)單地稱(chēng)作存儲(chǔ)服務(wù)器18或攝像機(jī)終端單元28。而且，對(duì)于其他服務(wù)器和單元，也是這樣。
圖2是本發(fā)明的分離服務(wù)器11的結(jié)構(gòu)圖。
CPU(Central Processing Unit，中央處理單元)41根據(jù)存儲(chǔ)在ROM(ReadOnly Memory，只讀存儲(chǔ)器)42或者存儲(chǔ)單元48中的程序，執(zhí)行各種處理。數(shù)據(jù)或由CPU41執(zhí)行的程序根據(jù)需要存儲(chǔ)在RAM(Random Access Memory，隨機(jī)訪(fǎng)問(wèn)存儲(chǔ)器)43中。CPU41、ROM42和RAM43通過(guò)總線(xiàn)44相互連接。
輸入/輸出接口45通過(guò)總線(xiàn)44連接到CPU41。包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等的輸入單元46以及包括顯示器、揚(yáng)聲器等的輸出單元47連接到輸入/輸出接口45。CPU41根據(jù)從輸入單元46輸入的指令執(zhí)行各種處理。CPU41將通過(guò)處理獲得的圖像、語(yǔ)音等輸出到輸出單元47。
連接到輸入/輸出接口45的存儲(chǔ)單元48包括例如硬盤(pán)，并且存儲(chǔ)由CPU41執(zhí)行的程序或各種數(shù)據(jù)。通信單元49通過(guò)因特網(wǎng)或其它網(wǎng)絡(luò)與外部設(shè)備進(jìn)行通信。
而且，程序還可以通過(guò)通信單元49進(jìn)行獲取，并且存儲(chǔ)在存儲(chǔ)單元48中。
當(dāng)裝載磁盤(pán)61、光盤(pán)62、光磁盤(pán)63、半導(dǎo)體存儲(chǔ)器等時(shí)，連接到輸入/輸出接口45的驅(qū)動(dòng)器30對(duì)它們進(jìn)行驅(qū)動(dòng)，以獲取存儲(chǔ)在其中的程序或數(shù)據(jù)。所獲取的程序或數(shù)據(jù)根據(jù)需要傳輸?shù)酱鎯?chǔ)單元48，并且存儲(chǔ)在其中。
而且，由于運(yùn)動(dòng)檢測(cè)服務(wù)器12、區(qū)域指定服務(wù)器13、混合比率計(jì)算服務(wù)器14、前景/背景圖像分離服務(wù)器15、運(yùn)動(dòng)模糊調(diào)整服務(wù)器16、編碼服務(wù)器17、存儲(chǔ)服務(wù)器18-1、18-2、合成服務(wù)器19、校正服務(wù)器20、購(gòu)買(mǎi)服務(wù)器21、出售服務(wù)器22、檢索服務(wù)器23、帳戶(hù)收費(fèi)服務(wù)器24、金融交易服務(wù)器(針對(duì)顧客)25、金融交易服務(wù)器(針對(duì)提供商)26和客戶(hù)計(jì)算機(jī)27的基本結(jié)構(gòu)與分離服務(wù)器11相同，因此略去不述。
圖3是本發(fā)明的攝像機(jī)終端單元28的結(jié)構(gòu)圖。攝像機(jī)終端單元28構(gòu)造為，在輸入單元76中提供傳感器76a和GPS(Global Positioning System，全球定位系統(tǒng))76b，在輸出單元77中提供LCD(Liquid Crystal Display，液晶顯示器)77a，并且其他結(jié)構(gòu)與分離服務(wù)器11相同。也就是，攝像機(jī)終端單元28的CPU71、ROM72、RAM73、總線(xiàn)74、輸入/輸出接口75、輸入單元76、輸出單元77、存儲(chǔ)單元78、通信單元79、驅(qū)動(dòng)器80、磁盤(pán)91、光盤(pán)92、光磁盤(pán)93和半導(dǎo)體存儲(chǔ)器94分別對(duì)應(yīng)于分離服務(wù)器11的CPU41、ROM42、RAM43、總線(xiàn)44、輸入/輸出接口45、輸入單元46、輸出單元47、存儲(chǔ)單元48、通信單元49、驅(qū)動(dòng)器50、磁盤(pán)61、光盤(pán)62、光磁盤(pán)63和半導(dǎo)體存儲(chǔ)器64。
傳感器76a是圖像拍攝元件，并且將所拍攝的圖像輸出到輸入單元76。GPS76b根據(jù)從同步衛(wèi)星(未示出)傳輸?shù)男盘?hào)檢測(cè)地球位置信息(經(jīng)度和緯度)，并且將所檢測(cè)的位置信息輸出到輸入單元76。LCD77a顯示從輸出單元77輸出的圖像。
下一步，將參照?qǐng)D4和5描述分離服務(wù)器11。
如圖4所示，分離服務(wù)器11通過(guò)后面將要提及的方法將例如通過(guò)網(wǎng)絡(luò)1從客戶(hù)計(jì)算機(jī)27輸入的圖像分離為前景成分圖像和背景成分圖像，為輸入圖像、前景成分圖像和背景成分圖像生成ID，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將它們存儲(chǔ)在它自己的存儲(chǔ)單元中，通過(guò)網(wǎng)絡(luò)1將它們輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)，或者將它們輸出到網(wǎng)絡(luò)上的其他服務(wù)器以進(jìn)行存儲(chǔ)。在此，前景成分圖像是指由輸入圖像的移動(dòng)成分組成的圖像，并且背景成分圖像是指不包含移動(dòng)成分的靜止部分圖像。此時(shí)，收費(fèi)處理器11a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)分離處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖5所示，如果輸入指定圖像的圖像ID而不是圖像，則分離服務(wù)器11訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以讀取對(duì)應(yīng)于輸入圖像ID的圖像數(shù)據(jù)，并且將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像。然后，分離服務(wù)器11為存儲(chǔ)在其自己存儲(chǔ)單元中的每個(gè)圖像生成ID，或者將它們輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。
而且，在下面描述中，圖像ID作為圖像指定信息的例子來(lái)說(shuō)明。然而，也可以使用能夠指定圖像的任何其他信息，例如，后面將要描述的圖像位置信息作為圖像指定信息。
下一步，參照?qǐng)D6和7，將說(shuō)明運(yùn)動(dòng)檢測(cè)服務(wù)器12。
如圖6所示，運(yùn)動(dòng)檢測(cè)服務(wù)器12的對(duì)象提取單元12a提取例如從客戶(hù)計(jì)算機(jī)27等輸入的圖像中的圖像對(duì)象，并且將它們輸出到運(yùn)動(dòng)檢測(cè)器12b。運(yùn)動(dòng)檢測(cè)器12b檢測(cè)輸入圖像對(duì)象的運(yùn)動(dòng)向量和位置信息，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將它們存儲(chǔ)到它自己的存儲(chǔ)單元中或者將它們輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器12c通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)檢測(cè)每個(gè)圖像對(duì)象的運(yùn)動(dòng)向量和位置信息的費(fèi)用執(zhí)行收費(fèi)處理。在本說(shuō)明書(shū)中，作為圖像拍攝目標(biāo)且對(duì)應(yīng)于真實(shí)世界對(duì)象的圖像稱(chēng)作對(duì)象。
另外，如圖7所示，如果輸入指定圖像的圖像ID而不是圖像，則運(yùn)動(dòng)檢測(cè)服務(wù)器12訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以讀取對(duì)應(yīng)于輸入圖像ID的圖像數(shù)據(jù)，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D8和9，將說(shuō)明區(qū)域指定服務(wù)器13。
如圖8所示，區(qū)域指定服務(wù)器13根據(jù)通過(guò)網(wǎng)絡(luò)1從客戶(hù)計(jì)算機(jī)27輸入的圖像和指定輸入圖像對(duì)象的對(duì)象指定信息，對(duì)輸入圖像的每個(gè)像素指定前景區(qū)域、背景區(qū)域、混合區(qū)域，生成指定前景區(qū)域、背景區(qū)域和混合區(qū)域包括哪些像素的信息(以下稱(chēng)作區(qū)域信息)，然后將其輸出到客戶(hù)計(jì)算機(jī)27，將其存儲(chǔ)到它自己的存儲(chǔ)單元中或者將其輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器13a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)區(qū)域指定處理的費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖9所示，如果輸入指定圖像的圖像ID而不是圖像，則區(qū)域指定服務(wù)器13訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像ID的圖像，然后輸出與圖像的對(duì)象指定信息相對(duì)應(yīng)的區(qū)域信息。
下一步，參照?qǐng)D10和11，將說(shuō)明混合比率計(jì)算服務(wù)器14。
如圖10所示，混合比率計(jì)算服務(wù)器14根據(jù)通過(guò)網(wǎng)絡(luò)1從客戶(hù)計(jì)算機(jī)27等輸入的圖像、指定圖像對(duì)象的對(duì)象指定信息和區(qū)域信息，計(jì)算包括在混合區(qū)域中的像素所對(duì)應(yīng)的混合比率(以下稱(chēng)作混合比率α)，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將它們存儲(chǔ)到它自己的存儲(chǔ)單元中或者通過(guò)網(wǎng)絡(luò)1輸出到其他服務(wù)器，以通過(guò)網(wǎng)絡(luò)1執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器14a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)混合比率計(jì)算處理的費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖11所示，如果輸入指定圖像的圖像ID而不是圖像，則混合比率計(jì)算服務(wù)器14訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像ID的圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D12和13，將說(shuō)明前景/背景圖像分離服務(wù)器15。
如圖12所示，前景/背景圖像分離服務(wù)器15根據(jù)從客戶(hù)計(jì)算機(jī)27等輸入的圖像、指定圖像對(duì)象的對(duì)象指定信息、區(qū)域信息和混合比率α，將輸入圖像分離為僅包括對(duì)應(yīng)于前景對(duì)象的圖像成分(以下稱(chēng)作前景成分)的前景成分圖像和僅包括背景成分(以下稱(chēng)作背景成分)的背景成分圖像，為每個(gè)圖像生成ID，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將它們存儲(chǔ)到它自己的存儲(chǔ)單元中或者通過(guò)網(wǎng)絡(luò)1將它們輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器15a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)前景/背景分離處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖13所示，如果輸入指定圖像的圖像ID而不是圖像，則前景/背景圖像分離服務(wù)器15訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像ID的圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D14和15，將說(shuō)明運(yùn)動(dòng)模糊調(diào)整服務(wù)器16。
如圖14所示，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16根據(jù)從客戶(hù)計(jì)算機(jī)27等輸入的前景成分圖像、運(yùn)動(dòng)向量和運(yùn)動(dòng)模糊量，通過(guò)消除前景圖像成分中的運(yùn)動(dòng)模糊并且減小或增大前景成分圖像中的運(yùn)動(dòng)模糊量，調(diào)整前景圖像成分中的運(yùn)動(dòng)模糊量，從而生成經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像，并且為每個(gè)圖像生成ID，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將它們存儲(chǔ)到它自己的存儲(chǔ)單元中或者將它們輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器16a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)運(yùn)動(dòng)模糊調(diào)整處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖15所示，如果輸入指定前景成分圖像的前景成分圖像ID而不是前景成分圖像，則運(yùn)動(dòng)模糊調(diào)整服務(wù)器16訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入前景成分圖像ID的前景成分圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D16和17，將說(shuō)明編碼服務(wù)器17。
如圖16所示，編碼服務(wù)器17將從客戶(hù)計(jì)算機(jī)27等輸入的圖像分離為前景成分圖像和背景成分圖像，為每個(gè)圖像生成ID，將它們存儲(chǔ)到它自己的存儲(chǔ)單元中或者將它們輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，生成具有表示服務(wù)器在網(wǎng)絡(luò)1上的位置的代碼的前景成分圖像的位置信息和背景成分圖像的位置信息，如前景成分圖像和背景成分圖像所輸出的服務(wù)器的URL(UniversalResource Locator，全球資源定位符)，然后通過(guò)網(wǎng)絡(luò)1將它們與包括圖像的運(yùn)動(dòng)向量、位置信息和混合比率的信息一起輸出。而且，從編碼服務(wù)器輸出的信息可以是編碼信息、圖像和編碼信息、或者圖像本身，并且可以根據(jù)需要改變。此時(shí)，收費(fèi)處理器17a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)編碼處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖17所示，如果輸入指定圖像的圖像ID而不是圖像，則編碼服務(wù)器17訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像ID的圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D18和19，將說(shuō)明存儲(chǔ)服務(wù)器18。
如圖18所示，存儲(chǔ)服務(wù)器18通過(guò)網(wǎng)絡(luò)1連接，存儲(chǔ)從各種服務(wù)器傳輸?shù)膱D像，并且與圖像ID一起輸出對(duì)應(yīng)于存儲(chǔ)圖像的圖像位置信息。例如，客戶(hù)計(jì)算機(jī)27可以使用圖像位置信息通過(guò)網(wǎng)絡(luò)1訪(fǎng)問(wèn)并且調(diào)出所需圖像。也就是，如圖19所示，例如，客戶(hù)計(jì)算機(jī)27可以根據(jù)圖像位置信息訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的存儲(chǔ)服務(wù)器18，并且通過(guò)指定對(duì)應(yīng)于所需圖像的圖像ID，讀出所需圖像。而且，圖像位置信息和圖像ID在本說(shuō)明書(shū)中是分開(kāi)說(shuō)明的，但是圖像位置信息可以是圖像ID的一部分。在這種情況下，可以從圖像ID識(shí)別圖像位置信息和其中存儲(chǔ)(保存或處理)圖像位置信息的網(wǎng)絡(luò)1上的服務(wù)器。而且，存儲(chǔ)服務(wù)器18可以存儲(chǔ)運(yùn)動(dòng)向量、位置信息、混合比率和運(yùn)動(dòng)模糊量以及圖像數(shù)據(jù)。
下一步，參照?qǐng)D20和21，將說(shuō)明合成服務(wù)器19。
如圖20所示，合成服務(wù)器19通過(guò)使用從例如客戶(hù)計(jì)算機(jī)27等輸入的兩個(gè)圖像A、B、運(yùn)動(dòng)向量、位置信息、混合比率和運(yùn)動(dòng)模糊量，合成圖像A和B，以生成合成圖像A+B，然后將它們輸出到客戶(hù)計(jì)算機(jī)27，將其存儲(chǔ)到它自己的存儲(chǔ)單元中或者通過(guò)網(wǎng)絡(luò)1將其輸出到網(wǎng)絡(luò)1上的其他服務(wù)器，以執(zhí)行它們各自的處理。在這種情況下，圖像A、B是通過(guò)將其中一個(gè)圖像看作前景成分圖像并且將另一個(gè)圖像看作背景成分圖像來(lái)合成的。此時(shí)，收費(fèi)處理器19a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)合成處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖21所示，如果輸入指定圖像A和B的圖像AID和圖像BID而不是圖像A和B，則合成服務(wù)器19訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像AID和圖像BID的圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D22和23，將說(shuō)明校正服務(wù)器20。
如圖22所示，校正服務(wù)器20根據(jù)運(yùn)動(dòng)向量、位置信息、混合比率和運(yùn)動(dòng)模糊量，對(duì)從例如客戶(hù)計(jì)算機(jī)27等輸入的圖像進(jìn)行校正，生成校正圖像，并將其輸出到客戶(hù)計(jì)算機(jī)27，存儲(chǔ)到它自己的存儲(chǔ)單元中，或者網(wǎng)絡(luò)1上的其他服務(wù)器以執(zhí)行它們各自的處理。此時(shí)，收費(fèi)處理器20a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)校正處理費(fèi)用執(zhí)行收費(fèi)處理。而且，如圖23所示，如果輸入指定圖像的圖像ID而不是圖像，則校正服務(wù)器20訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的后面將要描述的檢索服務(wù)器23或存儲(chǔ)服務(wù)器18，或者檢索它自己的存儲(chǔ)單元(例如，圖3的存儲(chǔ)單元78)，以調(diào)出對(duì)應(yīng)于輸入圖像ID的圖像，然后執(zhí)行與上述相同的處理。
下一步，參照?qǐng)D24，將說(shuō)明購(gòu)買(mǎi)服務(wù)器21。
如圖24所示，如果想要購(gòu)買(mǎi)圖像的用戶(hù)從例如客戶(hù)計(jì)算機(jī)27等輸入一個(gè)圖像ID來(lái)指定想要購(gòu)買(mǎi)的圖像，則購(gòu)買(mǎi)服務(wù)器21訪(fǎng)問(wèn)網(wǎng)絡(luò)1上的分離服務(wù)器11、存儲(chǔ)服務(wù)器18、合成服務(wù)器19或校正服務(wù)器20，以調(diào)出相應(yīng)圖像，并且通過(guò)網(wǎng)絡(luò)將該圖像輸出到例如客戶(hù)計(jì)算機(jī)27。此時(shí)，收費(fèi)處理器21a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)購(gòu)買(mǎi)處理費(fèi)用執(zhí)行收費(fèi)處理。
下一步，參照?qǐng)D25，將說(shuō)明出售服務(wù)器22。
如圖25所示，如果想要出售圖像的用戶(hù)通過(guò)網(wǎng)絡(luò)1輸入一個(gè)圖像，其中，該圖像可以是例如通過(guò)分離服務(wù)器11、合成服務(wù)器19或校正服務(wù)器20生成的分離圖像、合成圖像或校正圖像，則出售服務(wù)器22將該圖像存儲(chǔ)在網(wǎng)絡(luò)1上的分離服務(wù)器11、存儲(chǔ)服務(wù)器18、合成服務(wù)器19或校正服務(wù)器20中，并且收費(fèi)處理器22a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)出售圖像費(fèi)用執(zhí)行收費(fèi)處理(在這種情況下，處理出售服務(wù)的提供商使想要出售的用戶(hù)根據(jù)對(duì)應(yīng)于出售圖像的處理費(fèi)用執(zhí)行支付處理)。
下一步，參照?qǐng)D26，將說(shuō)明檢索服務(wù)器23。
檢索服務(wù)器23根據(jù)來(lái)自客戶(hù)計(jì)算機(jī)27的指定用戶(hù)所需圖像的特征的信息和攝像機(jī)終端單元28-1到28-n的物理位置信息，檢索正由或已由攝像機(jī)終端單元28-1到28-n拍攝的圖像，以將它作為請(qǐng)求圖像輸出到例如客戶(hù)計(jì)算機(jī)27。此時(shí)，收費(fèi)處理器23a通過(guò)網(wǎng)絡(luò)1使帳戶(hù)收費(fèi)服務(wù)器24根據(jù)檢索處理費(fèi)用執(zhí)行收費(fèi)處理。
而且，在本說(shuō)明書(shū)中，編碼是指將圖像數(shù)據(jù)轉(zhuǎn)換為前景成分圖像、背景成分圖像、運(yùn)動(dòng)向量、位置信息、運(yùn)動(dòng)模糊量和混合比率信息的數(shù)據(jù)，并且其數(shù)據(jù)稱(chēng)作編碼數(shù)據(jù)。
圖27是示出分離服務(wù)器11的方框圖。
而且，分離服務(wù)器11的各功能是用硬件還是用軟件實(shí)現(xiàn)無(wú)關(guān)緊要。也就是，本發(fā)明的各方框圖可以視作硬件方框圖或軟件功能方框圖。
提供給分離服務(wù)器11的輸入圖像提供給對(duì)象提取單元101、區(qū)域指定單元103、混合比率計(jì)算器104和前景/背景分離器105。
對(duì)象提取單元101粗略提取輸入圖像的前景對(duì)象所對(duì)應(yīng)的圖像對(duì)象，并且將所提取的圖像對(duì)象提供給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101例如檢測(cè)輸入圖像的前景圖像所對(duì)應(yīng)的圖像對(duì)象的輪廓，并且粗略提取對(duì)應(yīng)于前景對(duì)象的圖像對(duì)象。
對(duì)象提取單元101粗略提取輸入圖像的背景對(duì)象所對(duì)應(yīng)的圖像對(duì)象，并且將所提取的圖像對(duì)象提供給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101根據(jù)例如輸入圖像與所提取的前景對(duì)象所對(duì)應(yīng)的圖像對(duì)象之間的差異，粗略提取對(duì)應(yīng)于背景對(duì)象的圖像對(duì)象。
而且，例如，對(duì)象提取單元101可以根據(jù)存儲(chǔ)在內(nèi)置背景存儲(chǔ)器中的背景圖像與輸入圖像之間的差異，粗略提取對(duì)應(yīng)于前景對(duì)象的圖像對(duì)象和對(duì)應(yīng)于背景對(duì)象的圖像對(duì)象。
運(yùn)動(dòng)檢測(cè)器102通過(guò)例如分塊匹配法、均分方、相位相關(guān)法或像素遞歸法的技術(shù)，計(jì)算粗略提取的對(duì)應(yīng)于前景對(duì)象的圖像對(duì)象的運(yùn)動(dòng)向量，以將算出的運(yùn)動(dòng)向量及其位置信息(指定對(duì)應(yīng)于運(yùn)動(dòng)向量的像素位置的信息)提供給區(qū)域指定單元103和運(yùn)動(dòng)模糊調(diào)整單元106。從運(yùn)動(dòng)檢測(cè)器102輸出的運(yùn)動(dòng)向量包含對(duì)應(yīng)于移動(dòng)量v的信息。
而且，例如，運(yùn)動(dòng)檢測(cè)器102可以將每個(gè)圖像對(duì)象的運(yùn)動(dòng)向量與指定圖像對(duì)象像素的像素位置信息一起輸出到運(yùn)動(dòng)模糊調(diào)整單元106。
表示對(duì)應(yīng)于移動(dòng)對(duì)象的圖像的位置變化的移動(dòng)量v以像素間距為單位表達(dá)。例如，如果對(duì)應(yīng)于前景的對(duì)象圖像發(fā)生移動(dòng)，并且相對(duì)于基準(zhǔn)幀在其下一幀中顯示在偏離四個(gè)像素的位置上，則對(duì)應(yīng)于前景的對(duì)象的移動(dòng)量v為4。
而且，調(diào)整對(duì)應(yīng)于移動(dòng)對(duì)象的運(yùn)動(dòng)模糊量，需要對(duì)象提取單元101和運(yùn)動(dòng)檢測(cè)器102。
區(qū)域指定單元103為輸入圖像的每個(gè)像素指定前景區(qū)域、背景區(qū)域或混合區(qū)域，并且將表示每個(gè)像素的前景區(qū)域、背景區(qū)域或混合區(qū)域的信息提供給混合比率計(jì)算單元104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106。
混合比率計(jì)算器104根據(jù)輸入圖像以及從區(qū)域指定單元103提供的區(qū)域信息，計(jì)算混合區(qū)域中的像素所對(duì)應(yīng)的混合比率，并且將算出的混合比率提供給前景/背景分離器105。
混合比率α是表示對(duì)應(yīng)于背景對(duì)象的圖像成分(以下稱(chēng)作“背景成分”)在像素值中所占比率的值，如下述方程(3)所示。
前景/背景分離器105根據(jù)從區(qū)域指定單元103提供的區(qū)域信息和從混合比率計(jì)算器104提供的混合比率α，將輸入圖像分離為僅包括對(duì)應(yīng)于前景對(duì)象的圖像成分(以下稱(chēng)作“前景成分”)的前景成分圖像和僅包括背景成分的背景成分圖像，以將前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。此外，可以考慮分離出的前景成分圖像為最終輸出。與僅指定并分離前景和背景而不考慮混合區(qū)域的傳統(tǒng)方法相比，可以獲得更準(zhǔn)確的前景和背景。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從運(yùn)動(dòng)向量得知的移動(dòng)量v以及區(qū)域信息，確定指定前景成分圖像中的一個(gè)或多個(gè)像素的處理單元。處理單元是指定作為運(yùn)動(dòng)模糊量調(diào)整處理目標(biāo)的一組像素的數(shù)據(jù)。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)輸入到分離服務(wù)器11的運(yùn)動(dòng)模糊量、從前景/背景分離器105提供的前景成分圖像、從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息、以及處理單元，通過(guò)消除前景成分圖像中的運(yùn)動(dòng)模糊，減小運(yùn)動(dòng)模糊量，增加運(yùn)動(dòng)模糊量等，調(diào)整前景成分圖像中的運(yùn)動(dòng)模糊量，并且將經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像輸出到選擇器107。可以不使用運(yùn)動(dòng)向量及其位置信息。
在此，運(yùn)動(dòng)模糊是指由于作為拍攝目標(biāo)的真實(shí)世界對(duì)象的移動(dòng)和傳感器的拍攝特性而產(chǎn)生的包含在對(duì)應(yīng)于移動(dòng)對(duì)象的圖像中的失真。
選擇器107根據(jù)例如對(duì)應(yīng)于用戶(hù)所作選擇的選擇信號(hào)，選擇從前景/背景分離器105提供的前景成分圖像或從運(yùn)動(dòng)模糊調(diào)整單元106提供的經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像，然后輸出所選前景成分圖像。
下一步，將參照?qǐng)D28到43對(duì)提供給分離服務(wù)器11的輸入圖像進(jìn)行描述。
圖28是示出由傳感器76a拍攝的圖像的圖。傳感器76a例如包括具有作為固態(tài)圖像拍攝設(shè)備的CCD(Charge Coupled Device，電荷耦合器件)區(qū)域傳感器的CCD視頻攝像機(jī)等。在圖中，與真實(shí)世界中的前景相對(duì)應(yīng)的對(duì)象112例如在傳感器和與真實(shí)世界中的背景相對(duì)應(yīng)的對(duì)象111之間從左向右水平移動(dòng)。
傳感器76a拍攝對(duì)應(yīng)于前景的對(duì)象112的圖像以及對(duì)應(yīng)于背景的對(duì)象111的圖像。傳感器76a以幀為單位輸出拍攝圖像。例如，傳感器76a輸出每秒30幀的圖像。傳感器76a的曝光時(shí)間設(shè)為1/30秒。曝光時(shí)間是指從開(kāi)始將輸入光轉(zhuǎn)化為電荷到完成將輸入光轉(zhuǎn)化為電荷的時(shí)間區(qū)間。以下，曝光時(shí)間也稱(chēng)作“快門(mén)時(shí)間”。
圖29是示出像素排列的圖。在圖29中，‘A’到‘I’表示各個(gè)像素。這些像素排列在對(duì)應(yīng)于圖像的平面上。與各個(gè)像素一一相對(duì)應(yīng)的檢測(cè)元件排列在傳感器76a上。當(dāng)傳感器76a拍攝圖像時(shí)，檢測(cè)元件輸出組成圖像的一個(gè)像素所對(duì)應(yīng)的像素值。例如，檢測(cè)元件在X方向上的位置對(duì)應(yīng)于圖像的水平位置，而檢測(cè)元件在Y方向上的位置對(duì)應(yīng)于圖像的垂直位置。
例如，如圖30所示，CCD檢測(cè)元件在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)將輸入光轉(zhuǎn)化為電荷，并且存儲(chǔ)所轉(zhuǎn)化的電荷。電荷量與輸入光的強(qiáng)度和輸入光的時(shí)間區(qū)間大致成正比。檢測(cè)元件在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)將從輸入光轉(zhuǎn)化的電荷添加到已存儲(chǔ)的電荷。也就是，檢測(cè)元件在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)累積輸入光，以存儲(chǔ)對(duì)應(yīng)于累積光的電荷量。檢測(cè)元件可以說(shuō)是具有時(shí)間累積效應(yīng)。
在檢測(cè)元件中存儲(chǔ)的電荷通過(guò)未示出的電路轉(zhuǎn)換為電壓值，并且該電壓值轉(zhuǎn)換為像素值如數(shù)字?jǐn)?shù)據(jù)等，以進(jìn)行輸出。因此，從傳感器76a輸出的各個(gè)像素值是通過(guò)在快門(mén)時(shí)間內(nèi)累積對(duì)應(yīng)于前景或背景的對(duì)象的某三維空間部分而投影到一維空間上的值。
分離服務(wù)器11通過(guò)該傳感器76a的存儲(chǔ)操作，提取隱藏在輸出信號(hào)中的任何有效信息，例如混合比率α。分離服務(wù)器11調(diào)整因前景圖像對(duì)象自身的混合而產(chǎn)生的失真量，例如運(yùn)動(dòng)模糊量。此外，分離服務(wù)器11還調(diào)整因前景圖像對(duì)象與背景圖像對(duì)象的混合而產(chǎn)生的失真量。
圖31A到31D是示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像的圖。圖31A示出通過(guò)拍攝對(duì)應(yīng)于移動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像。在圖31A所示的例子中，對(duì)應(yīng)于前景的對(duì)象相對(duì)于屏幕從左向右水平移動(dòng)。
圖31B是沿著時(shí)間方向擴(kuò)展圖31A所示圖像的一行所對(duì)應(yīng)的像素值的模型圖。圖31B的水平方向?qū)?yīng)于圖31A的空間方向X。
背景區(qū)域像素的像素值只由背景成分，即對(duì)應(yīng)于背景對(duì)象的圖像成分構(gòu)成。前景區(qū)域像素的像素值只由前景成分，即對(duì)應(yīng)于前景的圖像成分構(gòu)成。
混合區(qū)域像素的像素值由背景和前景成分構(gòu)成。由于混合區(qū)域像素的像素值由背景成分和前景成分構(gòu)成，因此混合區(qū)域可以稱(chēng)作“失真區(qū)域”。此外，混合區(qū)域分為覆蓋背景區(qū)域和非覆蓋背景區(qū)域。
覆蓋背景區(qū)域是相對(duì)于前景區(qū)域在前景對(duì)象的移動(dòng)方向上的前端部分所對(duì)應(yīng)的混合區(qū)域，其中，背景成分隨著時(shí)間逐漸被前景覆蓋。
另一方面，未覆蓋背景區(qū)域是相對(duì)于前景區(qū)域在前景對(duì)象的移動(dòng)方向上的后端部分所對(duì)應(yīng)的混合區(qū)域，其中，背景成分隨著時(shí)間逐漸顯現(xiàn)。
這樣，包括前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域的圖像作為輸入圖像輸入到區(qū)域指定單元103、混合比率計(jì)算器104和前景/背景分離器105。
圖32是用于說(shuō)明上述背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋背景區(qū)域以及非覆蓋背景區(qū)域的圖。當(dāng)一個(gè)圖像對(duì)應(yīng)于圖31A和圖31B所示的圖像時(shí)，背景區(qū)域是靜止部分，前景區(qū)域是移動(dòng)部分，混合區(qū)域的覆蓋背景區(qū)域是從背景變成前景的部分，并且混合區(qū)域的非覆蓋背景區(qū)域是從前景變成背景的部分。
圖33是沿著時(shí)間方向擴(kuò)展通過(guò)拍攝對(duì)應(yīng)于靜止前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的圖像中連續(xù)排列在一行上的像素的像素值的模型圖。例如，可以選擇連續(xù)排列在屏幕的一行上的像素作為連續(xù)排列在一行上的像素。
圖33所示的像素值F01到F04是對(duì)應(yīng)于靜止前景對(duì)象的像素值。圖33所示的像素值B01到B04是對(duì)應(yīng)于靜止背景對(duì)象的像素值。
圖33的垂直方向?qū)?yīng)于時(shí)間，并且時(shí)間方向?yàn)閳D中從上到下的方向。圖33中矩形上邊位置對(duì)應(yīng)于傳感器76a開(kāi)始將輸入光轉(zhuǎn)化為電荷的時(shí)間，并且圖33中矩形下邊位置對(duì)應(yīng)于傳感器76a完成將輸入光轉(zhuǎn)化為電荷的時(shí)間。也就是，圖33中矩形上邊到下邊的距離對(duì)應(yīng)于快門(mén)時(shí)間。
現(xiàn)在，將以快門(mén)時(shí)間等于幀間距的情況為例進(jìn)行說(shuō)明。
圖33中的水平方向?qū)?yīng)于圖31A所示的空間方向X。更具體地說(shuō)，在圖33所示的例子中，圖33中從以“F01”表示的矩形的左邊到以“B04”表示的矩形的右邊的距離是8倍像素間距，也就是，8個(gè)連續(xù)像素的間距。
當(dāng)前景對(duì)象和背景對(duì)象為靜止時(shí)，輸入到傳感器76a的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)沒(méi)有變化。
在此，對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間劃分為兩個(gè)或多個(gè)相等長(zhǎng)度。例如，如果虛擬劃分?jǐn)?shù)目為4，圖33所示的模型圖可以表示為圖34的模型圖。虛擬劃分?jǐn)?shù)目根據(jù)對(duì)應(yīng)于前景的對(duì)象在快門(mén)時(shí)間內(nèi)的的移動(dòng)量v來(lái)建立。例如，如果移動(dòng)量v定義為4，則虛擬劃分?jǐn)?shù)目設(shè)為4，并且對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間劃分為四個(gè)區(qū)間。
圖中的最上一行對(duì)應(yīng)于打開(kāi)快門(mén)之后的第一劃分時(shí)間區(qū)間。圖中的上起第二行對(duì)應(yīng)于打開(kāi)快門(mén)之后的第二劃分時(shí)間區(qū)間。圖中的上起第三行對(duì)應(yīng)于打開(kāi)快門(mén)之后的第三劃分時(shí)間區(qū)間。圖中的上起第四行對(duì)應(yīng)于打開(kāi)快門(mén)之后的第四劃分時(shí)間區(qū)間。
現(xiàn)在，根據(jù)移動(dòng)量v劃分快門(mén)時(shí)間的時(shí)間區(qū)間稱(chēng)作“快門(mén)時(shí)間/v”。
當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，由于輸入到傳感器76a的光不發(fā)生變化，因此，前景成分F01/v等于像素值F01除以虛擬劃分?jǐn)?shù)目而獲得的值。類(lèi)似地，當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，前景成分F02/v等于像素值F02除以虛擬劃分?jǐn)?shù)目而獲得的值，前景成分F03/v等于像素值F03除以虛擬劃分?jǐn)?shù)目而獲得的值，并且前景成分F04/v等于像素值F04除以虛擬劃分?jǐn)?shù)目而獲得的值。
當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，輸入到傳感器76a的光不發(fā)生變化，因此，背景成分B01/v等于像素值B01除以虛擬劃分?jǐn)?shù)目而獲得的值。類(lèi)似地，當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，背景成分B02/v等于像素值B02除以虛擬劃分?jǐn)?shù)目而獲得的值，背景成分B03/v等于像素值B03除以虛擬劃分?jǐn)?shù)目而獲得的值，并且背景成分B04/v等于像素值B04除以虛擬劃分?jǐn)?shù)目而獲得的值。
也就是，當(dāng)對(duì)應(yīng)于前景的對(duì)象為靜止時(shí)，由于輸入到傳感器76a的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)不發(fā)生變化，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的前景成分F01/v、與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的前景成分F01/v、與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的前景成分F01/v、以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的前景成分F01/v都具有相同的值。F02/v到F04/v也具有與F01/v相同的關(guān)系。
當(dāng)對(duì)應(yīng)于背景的對(duì)象為靜止時(shí)，由于輸入到傳感器76a的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)不發(fā)生變化，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的背景成分B01/v、與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的背景成分B01/v、與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的背景成分B01/v、以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的背景成分B01/v都具有相同的值。B02/v到B04/v具有與B01/v相同的關(guān)系。
下一步，將說(shuō)明對(duì)應(yīng)于前景的對(duì)象為移動(dòng)并且對(duì)應(yīng)于背景的對(duì)象為靜止的情況。
圖35是在對(duì)應(yīng)于前景的對(duì)象如圖所示向右移動(dòng)情況下的模型圖，其中，沿著時(shí)間方向擴(kuò)展包括覆蓋背景區(qū)域的一行上的像素的像素值。在圖35中，前景的移動(dòng)量v為4。由于一幀的時(shí)間很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。在圖35中，對(duì)應(yīng)于前景的對(duì)象圖像在下一幀中向右移動(dòng)四個(gè)像素。
在圖35中，最左像素到左起第四像素屬于前景區(qū)域。在圖35中，左起第五像素到第七像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。在圖35中，最右像素屬于背景區(qū)域。
由于對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)，從而隨著時(shí)間逐漸覆蓋對(duì)應(yīng)于背景的對(duì)象，因此包含在屬于覆蓋背景區(qū)域的像素的像素值中的成分在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)的某個(gè)時(shí)間點(diǎn)從背景成分變成前景成分。
例如，用方程(1)表示圖35中粗框所示的像素值MM＝B02/v+B02/v+F07/v+F06/v (1)例如，由于左起第五像素包含對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第五像素的混合比率α為1/4。由于左起第六像素包含對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第六像素的混合比率α為1/2。由于左起第七像素包含對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第七像素的混合比率α為3/4。
因?yàn)榭梢约俣▽?duì)應(yīng)于前景的對(duì)象為剛體，并且前景圖像勻速移動(dòng)從而在下一幀中顯示在向右偏離四個(gè)像素的位置上，所以，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第四像素的前景成分F07/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第五像素的前景成分。類(lèi)似地，前景成分F07/v等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第六像素的前景成分，以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第七像素的前景成分。
因?yàn)榭梢约俣▽?duì)應(yīng)于前景的對(duì)象為剛體，并且前景圖像勻速移動(dòng)從而在下一幀中顯示在向右偏離四個(gè)像素的位置上，所以，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第三像素的前景成分F06/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第四像素的前景成分。類(lèi)似地，前景成分F06/v分別等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第五像素的前景成分，以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第六像素的前景成分。
因?yàn)榭梢约俣▽?duì)應(yīng)于前景的對(duì)象為剛體，并且前景圖像勻速移動(dòng)從而在下一幀中顯示在向右偏離四個(gè)像素的位置上，所以，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第二像素的前景成分F05/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第三像素的前景成分。類(lèi)似地，前景成分F05/v分別等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第四像素的前景成分，以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第五像素的前景成分。
因?yàn)榭梢约俣▽?duì)應(yīng)于前景的對(duì)象為剛體，并且前景圖像勻速移動(dòng)從而在下一幀中顯示在向右偏離四個(gè)像素的位置上，所以，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第一像素的前景成分F04/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第二像素的前景成分。類(lèi)似地，前景成分F04/v分別等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第三像素的前景成分，以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖35中左起第四像素的前景成分。
由于對(duì)應(yīng)于移動(dòng)對(duì)象的前景區(qū)域如上所述包含運(yùn)動(dòng)模糊，因此它可以視作“失真區(qū)域”。
圖36是前景如圖所示向右移動(dòng)時(shí)的模型圖，其中，沿著時(shí)間方向擴(kuò)展包括非覆蓋背景區(qū)域的一行上的像素的像素值。在圖36中，前景的移動(dòng)量v為4。由于一幀的時(shí)間很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。在圖36中，對(duì)應(yīng)于前景的對(duì)象圖像在下一幀中向右移動(dòng)四個(gè)像素。
在圖36中，最左像素到左起第四像素屬于背景區(qū)域。在圖36中，左起第五到第七像素屬于作為非覆蓋背景的混合區(qū)域。在圖36中，最右像素屬于前景區(qū)域。
由于覆蓋對(duì)應(yīng)于背景的對(duì)象的對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)并且隨著時(shí)間逐漸偏離被覆蓋的對(duì)應(yīng)于背景的對(duì)象，因此包含在屬于非覆蓋背景區(qū)域的像素的像素值中的成分在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)的某時(shí)間點(diǎn)從前景成分變成背景成分。
例如，用方程(2)表示圖36中粗框所示的像素值M′M′＝F02/v+F01/v+B26/v+B26/v(2)例如，由于左起第五像素包含對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第五像素的混合比率α為3/4。由于左起第六像素包含對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于兩個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第六像素的混合比率α為1/2。由于左起第七像素包含對(duì)應(yīng)于一個(gè)快門(mén)時(shí)間/v的背景成分和對(duì)應(yīng)于三個(gè)快門(mén)時(shí)間/v的前景成分，因此左起第七像素的混合比率α為1/4。
采用方程(1)和(2)的推廣形式，可以用方程(3)表示像素值MM=α·B+ΣiFi/v---(3)]]>其中α是混合比率，B是背景像素值，而Fi/v是前景成分。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體并且移動(dòng)量v為4，因此，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第五像素的前景成分F01/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第六像素的前景成分。類(lèi)似地，前景成分F01/v分別等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第七像素的前景成分，以及與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第八像素的前景成分。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體并且虛擬劃分?jǐn)?shù)目為4，因此，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第六像素的前景成分F02/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第七像素的前景成分。類(lèi)似地，前景成分F02/v等于與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第八像素的前景成分。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體并且移動(dòng)量v為4，因此，例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第七像素的前景成分F03/v等于與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖36中左起第八像素的前景成分。
在圖34到36的說(shuō)明中，對(duì)虛擬劃分?jǐn)?shù)目為4的情況進(jìn)行了說(shuō)明，但是虛擬劃分?jǐn)?shù)目對(duì)應(yīng)于移動(dòng)量v。移動(dòng)量v通常對(duì)應(yīng)于前景對(duì)象的移動(dòng)速度。例如，如果對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)并且相對(duì)于基準(zhǔn)幀在其下一幀中顯示在向右偏離四個(gè)像素的位置上，則移動(dòng)量v定義為4。根據(jù)移動(dòng)量v，虛擬劃分?jǐn)?shù)目設(shè)為4。類(lèi)似地，例如，如果對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)并且相對(duì)于基準(zhǔn)幀在其下一幀中顯示在向右偏離六個(gè)像素的位置上，則移動(dòng)量v定義為6，并且虛擬劃分?jǐn)?shù)目設(shè)為6。
圖37和38示出前景區(qū)域、背景區(qū)域、包括覆蓋背景區(qū)域和非覆蓋背景區(qū)域的混合區(qū)域與對(duì)應(yīng)于劃分快門(mén)時(shí)間的前景成分或背景成分之間的關(guān)系。
圖37示出從包含在靜止背景之前移動(dòng)的對(duì)象所對(duì)應(yīng)的前景的圖像中提取前景區(qū)域、背景區(qū)域和混合區(qū)域的像素的例子。在圖37所示的例子中，對(duì)應(yīng)于前景的對(duì)象A相對(duì)于屏幕水平移動(dòng)。
幀#n+1是幀#n的下一幀，并且?guī)?n+2是幀#n+1的下一幀。
圖38示出一個(gè)模型，其中，前景區(qū)域、背景區(qū)域和混合區(qū)域的像素是從幀#n到幀#n+2之一中提取的，并且在移動(dòng)量v為4的情況下沿著時(shí)間方向擴(kuò)展所提取像素的像素值。
由于對(duì)應(yīng)于前景的對(duì)象A移動(dòng)，因此前景區(qū)域的像素值包括與快門(mén)時(shí)間/v的區(qū)間相對(duì)應(yīng)的四個(gè)不同前景成分。例如，圖38所示前景區(qū)域的最左像素包括F01/v、F02/v、F03/v和F04/v。也就是，前景區(qū)域的像素包含運(yùn)動(dòng)模糊。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此輸入到傳感器76a的對(duì)應(yīng)于背景的光在對(duì)應(yīng)于快門(mén)時(shí)間的時(shí)間區(qū)間內(nèi)不發(fā)生變化。在這種情況下，背景區(qū)域的像素值不包含運(yùn)動(dòng)模糊。
屬于包含覆蓋背景區(qū)域或非覆蓋背景區(qū)域的混合區(qū)域的像素的像素值由前景成分和背景成分構(gòu)成。
下一步，將說(shuō)明一個(gè)模型，其中，在對(duì)應(yīng)于對(duì)象的圖像移動(dòng)的情況下，沿著時(shí)間方向擴(kuò)展多個(gè)幀中連續(xù)排列在一行上且位于相同位置的像素的像素值。例如，當(dāng)對(duì)應(yīng)于對(duì)象的圖像相對(duì)于屏幕水平移動(dòng)時(shí)，可以選擇位于屏幕的一行上的像素作為連續(xù)排列在一行上的像素。
圖39是沿著時(shí)間方向擴(kuò)展三個(gè)圖像幀中連續(xù)排列在一行上且位于相同位置的像素的像素值的模型圖，其中，三個(gè)圖像幀是通過(guò)拍攝對(duì)應(yīng)于靜止背景的對(duì)象而獲得的。幀#n是幀#n-1的下一幀，并且?guī)?n+1是幀#n的下一幀。其它幀以相同的方式表示。
圖39所示的像素值B01到B12是對(duì)應(yīng)于靜止背景對(duì)象的像素值。由于對(duì)應(yīng)于背景的對(duì)象靜止，因此幀#n-1到幀#n+1中對(duì)應(yīng)像素的像素值不發(fā)生變化。例如，所在位置與幀#n-1中具有像素值B05的像素相對(duì)應(yīng)的幀#n像素和幀#n+1像素分別具有相同像素值B05。
圖40是沿著時(shí)間方向擴(kuò)展三個(gè)圖像幀中連續(xù)排列在一行上且位于相同位置的像素的像素值的模型圖，其中，三個(gè)圖像幀是通過(guò)拍攝與圖中向右移動(dòng)的前景相對(duì)應(yīng)的對(duì)象以及與靜止背景相對(duì)應(yīng)的對(duì)象而獲得的。圖40所示的模型包含覆蓋背景區(qū)域。
在圖40中，由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且前景圖像在下一幀中向右偏離顯示四個(gè)像素，因此，前景的移動(dòng)量v定義為4，并且虛擬劃分?jǐn)?shù)目設(shè)為4。
例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的最左像素的前景成分為F12/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第二像素的前景成分也為F12/v。類(lèi)似地，與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第三像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第四像素的前景成分為F12/v。
與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的最左像素的前景成分為F11/v，并且與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第二像素的前景成分也為F11/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第三像素的前景成分為F11/v。
與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的最左像素的前景成分為F10/v，并且與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第二像素的前景成分也為F10/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的最左像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的左起第二像素的背景成分為B01/v。與打開(kāi)快門(mén)之后的第一和第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的左起第三像素的背景成分為B02/v。與打開(kāi)快門(mén)之后的第一到第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n-1的左起第四像素的背景成分為B03/v。
在圖40的幀#n-1中，最左像素屬于前景區(qū)域，而左起第二到第四像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖40中幀#n-1的左起第五到第十二像素屬于背景區(qū)域，并且其像素值分別為B04到B11。
圖40中幀#n的左起第一到第五像素屬于前景區(qū)域。在幀#n的前景區(qū)域中，快門(mén)時(shí)間/v的前景成分是F05/v到F12/v中的一個(gè)。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且前景圖像在下一幀中向右偏離顯示四個(gè)像素，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第五像素的前景成分為F12/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第六像素的前景成分也為F12/v。類(lèi)似地，與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第七像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第八像素的前景成分為F12/v。
與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第五像素的前景成分為F11/v，并且與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第六像素的前景成分也為F11/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第七像素的前景成分為F11/v。
與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第五像素的前景成分為F10/v，并且與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第六像素的前景成分也為F10/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第五像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第六像素的背景成分為B05/v。與打開(kāi)快門(mén)之后的第一和第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第七像素的背景成分為B06/v。與打開(kāi)快門(mén)之后的第一到第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n的左起第八像素的背景成分為B07/v。
在圖40的幀#n中，左起第六到第八像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖40中的幀#n的左起第九到第十二像素屬于背景區(qū)域，并且其像素值分別為B08到B11。
圖40中的幀#n+1的左起第一到第九像素屬于前景區(qū)域。在幀#n+1的前景區(qū)域中，對(duì)應(yīng)于快門(mén)時(shí)間/v的前景成分是F01/v到F12/v中的一個(gè)。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且前景圖像在下一幀中向右偏離顯示四個(gè)像素，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第九像素的前景成分為F12/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十像素的前景成分也為F12/v。與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十一像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十二像素的前景成分為F12/v。
與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第九像素的前景成分為F11/v，并且與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十像素的前景成分也為F11/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十一像素的前景成分為F11/v。
與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第九像素的前景成分為F10/v，并且與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中左起第十像素的前景成分也為F10/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第九像素的前景成分為F09/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第十像素的背景成分為B09/v。與打開(kāi)快門(mén)之后的第一和第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第十一像素的背景成分為B10/v。與打開(kāi)快門(mén)之后的第一到第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖40中幀#n+1的左起第十二像素的背景成分為B11/v。
在圖40的幀#n+1中，左起第十到第十二像素屬于作為覆蓋背景區(qū)域的混合區(qū)域。
圖41是通過(guò)從圖40所示的像素值中提取前景成分而獲得的圖像的模型圖。
圖42是沿著時(shí)間方向擴(kuò)展三個(gè)圖像幀中連續(xù)排列在一行上且位于相同位置的像素的像素值的模型圖，其中，三個(gè)圖像幀是通過(guò)拍攝與圖中向右移動(dòng)的前景以及靜止背景相對(duì)應(yīng)的對(duì)象的圖像而獲得的。在圖42中，包含非覆蓋背景區(qū)域。
在圖42中，可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。由于對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)并且在下一幀中向右偏離顯示四個(gè)像素，因此前景的移動(dòng)量v定義為4。
例如，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n-1的最左像素的前景成分為F13/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第二像素的前景成分也為F13/v。與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第三像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第四像素的前景成分為F13/v。
與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n-1的左起第二像素的前景成分為F14/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第三像素的前景成分也為F14/v。與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第三像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第二到第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n-1的最左像素的背景成分為B25/v。與打開(kāi)快門(mén)之后的第三和第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n-1的左起第二像素的背景成分為B26/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n-1的左起第三像素的背景成分為B27/v。
在圖42的幀#n-1中，左起第一、第二和第三像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖42的幀#n-1中左起第四到第十二像素屬于前景區(qū)域，該幀的前景成分是F13/v到F24/v中的一個(gè)。
圖42的幀#n中左起第一、第二、第三和第四像素屬于背景區(qū)域，并且其像素值分別為B25到B28。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且前景圖像在下一幀中向右偏離顯示四個(gè)像素，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n的左起第五像素的前景成分為F13/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第六像素的前景成分也為F13/v。與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第七像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第八像素的前景成分為F13/v。
與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n的左起第六像素的前景成分為F14/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第七像素的前景成分也為F14/v。與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第八像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第二到第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n的左起第五像素的背景成分為B29/v。與打開(kāi)快門(mén)之后的第三和第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n的左起第六像素的背景成分為B30/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n的左起第七像素的背景成分為B31/v。
在圖42的幀#n中，左起第五像素到第七像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖42的幀#n中左起第八到第十二像素屬于前景區(qū)域。在幀#n的前景區(qū)域中，對(duì)應(yīng)于快門(mén)時(shí)間/v的值是F13/v到F20/v中的一個(gè)。
圖42的幀#n+1中最左像素到左起第八像素屬于背景區(qū)域，并且其像素值分別為B25到B32。
由于可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體，并且前景圖像在下一幀中向右偏離顯示四個(gè)像素，因此，與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n+1的左起第九像素的前景成分為F13/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第十像素的前景成分也為F13/v。與打開(kāi)快門(mén)之后的第三快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第十一像素的前景成分，和與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第十二像素的前景成分為F13/v。
與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n+1的左起第十像素的前景成分為F14/v，并且與打開(kāi)快門(mén)之后的第二快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第十一像素的前景成分也為F14/v。與打開(kāi)快門(mén)之后的第一快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中左起第十二像素的前景成分為F15/v。
由于對(duì)應(yīng)于背景的對(duì)象靜止，因此，與打開(kāi)快門(mén)之后的第二到第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n+1的左起第九像素的背景成分為B33/v。與打開(kāi)快門(mén)之后的第三和第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n+1的左起第十像素的背景成分為B34/v。與打開(kāi)快門(mén)之后的第四快門(mén)時(shí)間/v相對(duì)應(yīng)的圖42中幀#n+1的左起第十一像素的背景成分為B35/v。
在圖42的幀#n+1中，左起第九像素到第十一像素屬于作為非覆蓋背景區(qū)域的混合區(qū)域。
圖42的幀#n+1中左起第十二像素屬于前景區(qū)域。在幀#n+1的前景區(qū)域中，對(duì)應(yīng)于快門(mén)時(shí)間/v的前景成分是F13/v到F16/v中的一個(gè)。
圖43是通過(guò)從圖42所示的像素值中提取前景成分而獲得的圖像的模型圖。
回到圖27，區(qū)域指定單元103通過(guò)使用多個(gè)像素值，生成表示各個(gè)像素對(duì)應(yīng)于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的標(biāo)志，并且將它們作為區(qū)域信息提供給混合比率計(jì)算器104和運(yùn)動(dòng)模糊調(diào)整單元106。
混合比率計(jì)算器104根據(jù)多個(gè)幀的像素值以及區(qū)域信息，為包含在混合區(qū)域中的每個(gè)像素計(jì)算混合比率α，并且將算出的混合比率α提供給前景/背景分離器105。
前景/背景分離器105根據(jù)多個(gè)幀的像素值、區(qū)域信息和混合比率α，提取只包括前景成分的前景成分圖像，并且將它提供給運(yùn)動(dòng)模糊調(diào)整單元106。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從前景/背景分離器105提供的前景成分圖像、從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量以及從區(qū)域指定單元103提供的區(qū)域信息，調(diào)整包含在前景成分圖像中的運(yùn)動(dòng)模糊量，然后輸出經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像。
下面將參照?qǐng)D44的流程圖對(duì)通過(guò)分離服務(wù)器11調(diào)整運(yùn)動(dòng)模糊量的處理進(jìn)行描述。在步驟S11，區(qū)域指定單元103根據(jù)輸入圖像執(zhí)行區(qū)域指定處理，以生成表示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域和非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息。區(qū)域指定處理的詳細(xì)信息將在后面說(shuō)明。區(qū)域指定單元103將所生成的區(qū)域信息提供給混合比率計(jì)算器104。
此外，在步驟S11，區(qū)域指定單元103可以根據(jù)輸入圖像生成表示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域和混合區(qū)域(不區(qū)分覆蓋背景區(qū)域和非覆蓋背景區(qū)域)中的哪個(gè)區(qū)域的區(qū)域信息。在這種情況下，前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)向量的方向判定混合區(qū)域是覆蓋背景區(qū)域還是非覆蓋背景區(qū)域。例如，當(dāng)沿著運(yùn)動(dòng)向量的方向以前景區(qū)域、混合區(qū)域和背景區(qū)域這種次序排列這些區(qū)域時(shí)，判定混合區(qū)域?yàn)楦采w背景區(qū)域。當(dāng)沿著運(yùn)動(dòng)向量的方向以背景區(qū)域、混合區(qū)域和前景區(qū)域這種次序排列這些區(qū)域時(shí)，判定混合區(qū)域?yàn)榉歉采w背景區(qū)域。
在步驟S12，混合比率計(jì)算器104根據(jù)輸入圖像和區(qū)域信息，為包含在混合區(qū)域中的每個(gè)像素計(jì)算混合比率α?；旌媳嚷视?jì)算處理的詳細(xì)信息將在后面給出?；旌媳嚷视?jì)算器104將算出的混合比率α提供給前景/背景分離器105。
在步驟S13，前景/背景分離器105根據(jù)區(qū)域信息和混合比率α從輸入圖像中提取前景成分，然后將它們作為前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106。
在步驟S14，運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)向量和區(qū)域信息，生成處理單元，并且調(diào)整包含在對(duì)應(yīng)于處理單元的前景成分中的運(yùn)動(dòng)模糊量，其中，處理單元指定在移動(dòng)方向上連續(xù)排列且對(duì)應(yīng)于非覆蓋背景區(qū)域、前景區(qū)域和覆蓋背景區(qū)域中的任一區(qū)域的像素的圖像位置。運(yùn)動(dòng)模糊量調(diào)整處理的詳細(xì)信息將在后面說(shuō)明。
在步驟S15，分離服務(wù)器11判定是否完成對(duì)整個(gè)屏幕的處理。如果判定尚未完成對(duì)整個(gè)屏幕的處理，則過(guò)程回到步驟S14，重復(fù)為對(duì)應(yīng)于處理單元的前景成分調(diào)整運(yùn)動(dòng)模糊量的處理。
在步驟S15，如果判定已完成對(duì)整個(gè)屏幕的處理，處理結(jié)束。
這樣，分離服務(wù)器11能夠分離前景和背景，并且調(diào)整包含在前景中的運(yùn)動(dòng)模糊量。也就是，分離服務(wù)器11能夠調(diào)整包含在作為前景像素的像素值的樣本數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
現(xiàn)在，將分別描述區(qū)域指定單元103、混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)。
圖45是區(qū)域指定單元103的結(jié)構(gòu)示例方框圖。具有圖45所示結(jié)構(gòu)的區(qū)域指定單元103不使用運(yùn)動(dòng)向量。幀存儲(chǔ)器201以幀為單位存儲(chǔ)輸入圖像。當(dāng)處理目標(biāo)為幀#n時(shí)，幀存儲(chǔ)器201存儲(chǔ)比幀#n早2個(gè)幀的幀#n-2、比幀#n早1個(gè)幀的幀#n-1、幀#n、比幀#n晚1個(gè)幀的幀#n+1、和比幀#n晚2個(gè)幀的幀#n+2。
靜止/移動(dòng)判定部分202-1從幀存儲(chǔ)器201讀出幀#n+2中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，以及幀#n+1中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，然后計(jì)算所讀出像素值之間的差值絕對(duì)值。靜止/移動(dòng)判定部分202-1判定幀#n+2的像素值與幀#n+1的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閾值Th，并且如果判定該差值絕對(duì)值大于閾值Th，將表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-1。如果判定幀#n+2的像素值與幀#n+1的像素值之間的差值絕對(duì)值不大于閾值Th，靜止/移動(dòng)判定部分202-1將表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-1。
靜止/移動(dòng)判定部分202-2從幀存儲(chǔ)器201讀出幀#n+1中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，以及幀#n中作為區(qū)域指定目標(biāo)的像素的像素值，然后計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)判定部分202-2判定幀#n+1的像素值與幀#n的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閾值Th，并且如果判定像素值之間的差值絕對(duì)值大于閾值Th，將表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-1和區(qū)域判定部分203-2。如果判定幀#n+1像素的像素值與幀#n像素的像素值之間的差值絕對(duì)值不大于閾值Th，靜止/移動(dòng)判定部分202-2將表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-1和區(qū)域判定部分203-2。
靜止/移動(dòng)判定部分202-3從幀存儲(chǔ)器201讀出幀#n中作為區(qū)域指定目標(biāo)的像素的像素值，以及幀#n-1中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，然后計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)判定部分202-3判定幀#n的像素值與幀#n-1的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閾值Th，并且如果判定像素值之間的差值絕對(duì)值大于閾值Th，將表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-2和區(qū)域判定部分203-3。如果判定幀#n像素的像素值與幀#n-1像素的像素值之間的差值絕對(duì)值不大于閾值Th，靜止/移動(dòng)判定部分202-3將表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-2和區(qū)域判定部分203-3。
靜止/移動(dòng)判定部分202-4讀出幀#n-1中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，以及幀#n-2中所在位置與幀#n中作為區(qū)域指定目標(biāo)的像素相同的像素的像素值，然后計(jì)算這些像素值之間的差值絕對(duì)值。靜止/移動(dòng)判定部分202-4判定幀#n-1的像素值與幀#n-2的像素值之間的差值絕對(duì)值是否大于預(yù)設(shè)閾值Th，并且如果判定像素值之間的差值絕對(duì)值大于閾值Th，將表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-3。如果判定幀#n-1像素的像素值與幀#n-2像素的像素值之間的差值絕對(duì)值不大于閾值Th，靜止/移動(dòng)判定部分202-4將表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果提供給區(qū)域判定部分203-3。
當(dāng)從靜止/移動(dòng)判定部分202-1提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)，并且從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)時(shí)，區(qū)域判定部分203-1判定幀#n中作為區(qū)域指定目標(biāo)的像素屬于非覆蓋背景區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的非覆蓋背景區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于非覆蓋背景區(qū)域。
當(dāng)從靜止/移動(dòng)判定部分202-1提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)，或者從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)時(shí)，區(qū)域判定部分203-1判定幀#n中作為區(qū)域指定目標(biāo)的像素不屬于非覆蓋背景區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的非覆蓋背景區(qū)域判定標(biāo)志設(shè)為“0”，表示該像素不屬于非覆蓋背景區(qū)域。
區(qū)域判定部分203-1將如上所述設(shè)為“1”或“0”的非覆蓋背景區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)，并且從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)時(shí)，區(qū)域判定部分203-2判定幀#n中作為區(qū)域指定目標(biāo)的像素屬于靜止區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的靜止區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于靜止區(qū)域。
當(dāng)從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)，或者從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)時(shí)，區(qū)域判定部分203-2判定幀#n中作為區(qū)域指定目標(biāo)的像素不屬于靜止區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的靜止區(qū)域判定標(biāo)志設(shè)為“0”，表示該像素不屬于靜止區(qū)域。
區(qū)域判定部分203-2將如上所述設(shè)為“1”或“0”的靜止區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)，并且從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)時(shí)，區(qū)域判定部分203-2判定幀#n中作為區(qū)域指定目標(biāo)的像素屬于移動(dòng)區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的移動(dòng)區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于移動(dòng)區(qū)域。
當(dāng)從靜止/移動(dòng)判定部分202-2提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)，或者從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)時(shí)，區(qū)域判定部分203-2判定幀#n中作為區(qū)域指定目標(biāo)的像素不屬于移動(dòng)區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的移動(dòng)區(qū)域判定標(biāo)志設(shè)為“0”，表示該像素不屬于移動(dòng)區(qū)域。
區(qū)域判定部分203-2將如上所述設(shè)為“1”或“0”的移動(dòng)區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
當(dāng)從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)，并且從靜止/移動(dòng)判定部分202-4提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)時(shí)，區(qū)域判定部分203-3判定幀#n中作為區(qū)域指定目標(biāo)的像素屬于覆蓋背景區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的覆蓋背景區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于覆蓋背景區(qū)域。
當(dāng)從靜止/移動(dòng)判定部分202-3提供的靜止/移動(dòng)判定結(jié)果表示“靜止”狀態(tài)，或者從靜止/移動(dòng)判定部分202-4提供的靜止/移動(dòng)判定結(jié)果表示“運(yùn)動(dòng)”狀態(tài)時(shí)，區(qū)域判定部分203-3判定幀#n中作為區(qū)域指定目標(biāo)的像素不屬于覆蓋背景區(qū)域，并且將與判定區(qū)域的像素相對(duì)應(yīng)的覆蓋背景區(qū)域判定標(biāo)志設(shè)為“0”，表示該像素不屬于覆蓋背景區(qū)域。
區(qū)域判定部分203-3將如上所述設(shè)為“1”或“0”的覆蓋背景區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204。
判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204分別存儲(chǔ)從區(qū)域判定部分203-1提供的非覆蓋背景區(qū)域判定標(biāo)志、從區(qū)域判定部分203-2提供的靜止區(qū)域判定標(biāo)志、從區(qū)域判定部分203-2提供的移動(dòng)區(qū)域判定標(biāo)志以及從區(qū)域判定部分203-3提供的覆蓋背景區(qū)域判定標(biāo)志。
判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204將存儲(chǔ)在其中的非覆蓋背景區(qū)域判定標(biāo)志、靜止區(qū)域判定標(biāo)志、移動(dòng)區(qū)域判定標(biāo)志以及覆蓋背景區(qū)域判定標(biāo)志提供給合成器205。合成器205根據(jù)從判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204提供的非覆蓋背景區(qū)域判定標(biāo)志、靜止區(qū)域判定標(biāo)志、移動(dòng)區(qū)域判定標(biāo)志以及覆蓋背景區(qū)域判定標(biāo)志，生成表示每個(gè)像素屬于非覆蓋背景區(qū)域、靜止區(qū)域、移動(dòng)區(qū)域或覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息，并且將其提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206。
判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206存儲(chǔ)從合成器205提供的區(qū)域信息，并且輸出所存儲(chǔ)的區(qū)域信息。
下一步將參照?qǐng)D46到50說(shuō)明由區(qū)域指定單元103執(zhí)行的處理的例子。
當(dāng)對(duì)應(yīng)于前景的對(duì)象發(fā)生移動(dòng)時(shí)，對(duì)應(yīng)于該對(duì)象的圖像在屏幕上的位置在每一幀中都發(fā)生變化。如圖46所示，幀#n中位于用Yn(x，y)表示的位置的對(duì)應(yīng)于該對(duì)象的圖像在幀#n+1中位于Yn+1(x，y)。
圖47是沿著時(shí)間方向擴(kuò)展在對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向上連續(xù)排列在一行上的像素的像素值的模型圖。例如，當(dāng)對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向是屏幕上的水平方向時(shí)，圖47的模型圖示出沿著時(shí)間方向擴(kuò)展連續(xù)排列在一行上的像素的像素值。
在圖47中，幀#n中的行與幀#n+1中的行相同。
與包含在幀#n的左起第二像素到第十三像素中的對(duì)象相對(duì)應(yīng)的前景成分包含在幀#n+1的左起第六像素到第十七像素中。
在幀#n中，屬于覆蓋背景區(qū)域的像素為左起第十一到第十三像素，并且屬于非覆蓋背景區(qū)域的像素為左起第二到第四像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素，并且屬于非覆蓋背景區(qū)域的像素為左起第六到第八像素。
在圖47所示的例子中，由于包含在幀#n中的前景成分在幀#n+1中移動(dòng)四個(gè)像素，因此移動(dòng)量v定義為4。虛擬劃分?jǐn)?shù)目對(duì)應(yīng)于移動(dòng)量v設(shè)為4。
下一步，將說(shuō)明在給定幀之前和之后屬于混合區(qū)域的像素的像素值變化。
在圖48所示的幀#n中，背景保持靜止并且前景的移動(dòng)量v為4，屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素。由于移動(dòng)量v為4，因此早一幀的幀#n-1中左起第十五到第十七像素只包含背景成分，并且屬于背景區(qū)域。此外，早兩幀的幀#n-2中左起第十五到第十七像素只包含背景成分，并且屬于背景區(qū)域。
在此，由于對(duì)應(yīng)于背景的對(duì)象靜止，因此幀#n-1中左起第十五像素的像素值與幀#n-2中左起第十五像素的像素值相比沒(méi)有變化。類(lèi)似地，幀#n-1中左起第十六像素的像素值與幀#n-2中左起第十六像素的像素值相比沒(méi)有變化，并且?guī)?n-1中左起第十七像素的像素值與幀#n-2中左起第十七像素的像素值相比沒(méi)有變化。
也就是，因?yàn)榕c幀#n中屬于覆蓋背景區(qū)域的像素相對(duì)應(yīng)的幀#n-1和幀#n-2中的像素只包括背景成分，并且其像素值不發(fā)生變化，所以其差值絕對(duì)值幾乎為0。因此，靜止/移動(dòng)判定部分202-4對(duì)與幀#n中屬于混合區(qū)域的像素相對(duì)應(yīng)的幀#n-1和幀#n-2中的像素作出的靜止/移動(dòng)判定結(jié)果為“靜止”。
因?yàn)閹?n中屬于覆蓋背景區(qū)域的像素包含前景成分，所以其像素值不同于在幀#n-1中只包含背景成分的情況。因此，靜止/移動(dòng)判定部分202-3對(duì)幀#n中屬于混合區(qū)域的像素與對(duì)應(yīng)幀#n-1中的像素作出的靜止/移動(dòng)判定結(jié)果為“移動(dòng)”。
如上所述，當(dāng)從靜止/移動(dòng)判定部分202-3提供表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果，并且從靜止/移動(dòng)判定部分202-4提供表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果時(shí)，區(qū)域判定部分203-3判定相應(yīng)像素屬于覆蓋背景區(qū)域。
在圖49所示的幀#n中，背景保持靜止并且前景的移動(dòng)量v為4，屬于非覆蓋背景區(qū)域的像素為左起第二到第四像素。由于移動(dòng)量v為4，因此晚一幀的幀#n+1中左起第二到第四像素只包含背景成分，并且屬于背景區(qū)域。而且，晚兩幀的幀#n+2中左起第二到第四像素只包含背景成分，并且屬于背景區(qū)域。
在此，由于對(duì)應(yīng)于背景的對(duì)象保持靜止，因此幀#n+2中左起第二像素的像素值與幀#n+1中左起第二像素的像素值相比沒(méi)有變化。類(lèi)似地，幀#n+2中左起第三像素的像素值與幀#n+1中左起第三像素的像素值相比沒(méi)有變化，并且?guī)?n+2中左起第四像素的像素值與幀#n+1中左起第四像素的像素值相比沒(méi)有變化。
也就是，因?yàn)榕c幀#n中屬于非覆蓋背景區(qū)域的像素相對(duì)應(yīng)的幀#n+1和幀#n+2中的像素只包括背景成分，并且其像素值不發(fā)生變化，所以其差值絕對(duì)值幾乎為0。因此，靜止/移動(dòng)判定部分202-1對(duì)與幀#n中屬于混合區(qū)域的像素相對(duì)應(yīng)的幀#n+1和幀#n+2中的像素作出的靜止/移動(dòng)判定結(jié)果為“靜止”。
因?yàn)閹?n中屬于非覆蓋背景區(qū)域的像素包含前景成分，所以其像素值不同于幀#n+1中只包含背景成分的情況。因此，靜止/移動(dòng)判定部分202-2對(duì)幀#n中屬于混合區(qū)域的像素與幀#n+1中的對(duì)應(yīng)像素作出的靜止/移動(dòng)判定結(jié)果為“移動(dòng)”。
如上所述，當(dāng)從靜止/移動(dòng)判定部分202-2提供表示“運(yùn)動(dòng)”狀態(tài)的靜止/移動(dòng)判定結(jié)果，并且從靜止/移動(dòng)判定部分202-1提供表示“靜止”狀態(tài)的靜止/移動(dòng)判定結(jié)果時(shí)，區(qū)域判定部分203-1判定相應(yīng)像素屬于非覆蓋背景區(qū)域。
圖50示出區(qū)域指定單元103對(duì)幀#n進(jìn)行判定的條件。當(dāng)對(duì)幀#n-2中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素以及幀#n-1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素的判定結(jié)果為靜止，并且對(duì)幀#n-1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素以及幀#n中的像素的判定結(jié)果為移動(dòng)時(shí)，區(qū)域指定單元103判定幀#n中作為判定目標(biāo)的像素屬于覆蓋背景區(qū)域。
當(dāng)對(duì)幀#n-1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素以及幀#n中的像素的判定結(jié)果為靜止，并且對(duì)幀#n中的像素以及幀#n+1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素的判定結(jié)果為靜止時(shí)，區(qū)域指定單元103判定幀#n中作為判定目標(biāo)的像素屬于靜止區(qū)域。
當(dāng)對(duì)幀#n-1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素以及幀#n中的像素的判定結(jié)果為移動(dòng)，并且對(duì)幀#n中的像素以及幀#n+1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素的判定結(jié)果為移動(dòng)時(shí)，區(qū)域指定單元103判定幀#n中作為判定目標(biāo)的像素屬于移動(dòng)區(qū)域。
當(dāng)對(duì)幀#n中的像素以及幀#n+1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素的判定結(jié)果為移動(dòng)，并且對(duì)幀#n+1中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素以及幀#n+2中與幀#n中作為判定目標(biāo)的像素處于相同圖像位置的像素的判定結(jié)果為靜止時(shí)，區(qū)域指定單元103判定幀#n中作為判定目標(biāo)的像素屬于非覆蓋背景區(qū)域。
圖51A到51D示出區(qū)域指定單元103的區(qū)域指定結(jié)果的例子。在圖51A中，判定為屬于覆蓋背景區(qū)域的像素用白色顯示。在圖51B中，判定為屬于非覆蓋背景區(qū)域的像素用白色顯示。
在圖51C中，判定為屬于移動(dòng)區(qū)域的像素用白色顯示。在圖51D中，判定為屬于靜止區(qū)域的像素用白色顯示。
圖52示出根據(jù)從判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206輸出的區(qū)域信息的表示混合區(qū)域的區(qū)域信息的圖像。在圖52中，判定為屬于覆蓋背景區(qū)域或非覆蓋背景區(qū)域的像素，即判定為屬于混合區(qū)域的像素用白色顯示。從判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206輸出的表示混合區(qū)域的區(qū)域信息是指混合區(qū)域和前景區(qū)域中被不帶紋理的部分包圍的帶紋理部分。
下一步，將參照?qǐng)D53的流程圖對(duì)區(qū)域指定單元103的區(qū)域指定處理進(jìn)行說(shuō)明。在步驟S201，幀存儲(chǔ)器201獲取包括作為判定目標(biāo)的幀#n的幀#n-2到幀#n+2。
在步驟S202，靜止/移動(dòng)判定部分202-3判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素是否為靜止，并且如果判定為靜止，過(guò)程進(jìn)入步驟S203。靜止/移動(dòng)判定部分202-2判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素是否為靜止。
在步驟S203，當(dāng)判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素為靜止時(shí)，過(guò)程進(jìn)入步驟S204，并且區(qū)域判定部分203-2將與要判定區(qū)域的像素相對(duì)應(yīng)的靜止區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于靜止區(qū)域。區(qū)域判定部分203-2將靜止區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且過(guò)程進(jìn)入步驟S205。
當(dāng)在步驟S202判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素為移動(dòng)時(shí)，或者當(dāng)在步驟S203判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素為移動(dòng)時(shí)，由于幀#n像素不屬于靜止區(qū)域，因此跳過(guò)步驟S204的處理并且過(guò)程進(jìn)入步驟S205。
在步驟S205，靜止/移動(dòng)判定部分202-3判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素是否為移動(dòng)，并且如果判定為移動(dòng)，過(guò)程進(jìn)入步驟S206。靜止/移動(dòng)判定部分202-2判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素是否為移動(dòng)。
在步驟S206，當(dāng)判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素為移動(dòng)時(shí)，過(guò)程進(jìn)入步驟S207，并且區(qū)域判定部分203-2將與要判定區(qū)域的像素相對(duì)應(yīng)的移動(dòng)區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于移動(dòng)區(qū)域。區(qū)域判定部分203-2將移動(dòng)區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且過(guò)程進(jìn)入步驟S208。
當(dāng)在步驟S205判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素為靜止時(shí)，或者當(dāng)在步驟S206判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素為靜止時(shí)，由于幀#n像素不屬于移動(dòng)區(qū)域，因此跳過(guò)步驟S207的處理并且過(guò)程進(jìn)入步驟S208。
在步驟S208，靜止/移動(dòng)判定部分202-4判定對(duì)于處于相同位置的幀#n-2像素和幀#n-1像素是否為靜止，并且如果判定為靜止，過(guò)程進(jìn)入步驟S209。靜止/移動(dòng)判定部分202-3判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素是否為移動(dòng)。
在步驟S209，當(dāng)判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素為移動(dòng)時(shí)，過(guò)程進(jìn)入步驟S210，并且區(qū)域判定部分203-3將與要判定區(qū)域的像素相對(duì)應(yīng)的覆蓋背景區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于覆蓋背景區(qū)域。區(qū)域判定部分203-3將覆蓋背景區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且過(guò)程進(jìn)入步驟S211。
當(dāng)在步驟S208判定對(duì)于處于相同位置的幀#n-2像素和幀#n-1像素為移動(dòng)時(shí)，或者當(dāng)在步驟S209判定對(duì)于處于相同位置的幀#n-1像素和幀#n像素為靜止時(shí)，由于幀#n像素不屬于覆蓋背景區(qū)域，因此跳過(guò)步驟S210的處理并且過(guò)程進(jìn)入步驟S211。
在步驟S211，靜止/移動(dòng)判定部分202-2判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素是否為移動(dòng)，并且如果判定為移動(dòng)，過(guò)程進(jìn)入步驟S212。靜止/移動(dòng)判定部分202-1判定對(duì)于處于相同位置的幀#n+1像素和幀#n+2像素是否為靜止。
在步驟S212，當(dāng)判定對(duì)于處于相同位置的幀#n+1像素和幀#n+2像素為靜止時(shí)，過(guò)程進(jìn)入步驟S213，并且區(qū)域判定部分203-1將與要判定區(qū)域的像素相對(duì)應(yīng)的非覆蓋背景區(qū)域判定標(biāo)志設(shè)為“1”，表示該像素屬于非覆蓋背景區(qū)域。區(qū)域判定部分203-1將非覆蓋背景區(qū)域判定標(biāo)志提供給判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204，并且過(guò)程進(jìn)入步驟S214。
當(dāng)在步驟S211判定對(duì)于處于相同位置的幀#n像素和幀#n+1像素為靜止時(shí)，或者當(dāng)在步驟S212判定對(duì)于處于相同位置的幀#n+1像素和幀#n+2像素為移動(dòng)時(shí)，由于幀#n像素不屬于非覆蓋背景區(qū)域，因此跳過(guò)步驟S213的處理并且過(guò)程進(jìn)入步驟S214。
在步驟S214，區(qū)域指定單元103判定是否執(zhí)行完畢幀#n中所有像素的區(qū)域指定，并且如果判定尚未執(zhí)行幀#n中所有像素的區(qū)域指定，過(guò)程返回到步驟S202，重復(fù)其余像素的區(qū)域指定處理。
在步驟S214，如果判定執(zhí)行完畢幀#n中所有像素的區(qū)域指定，過(guò)程進(jìn)入步驟S215，并且合成器205根據(jù)存儲(chǔ)在判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器204中的非覆蓋背景區(qū)域判定標(biāo)志和覆蓋背景區(qū)域判定標(biāo)志，生成表示混合區(qū)域的區(qū)域信息，生成表示每個(gè)像素屬于非覆蓋背景區(qū)域、靜止區(qū)域、移動(dòng)區(qū)域或覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息，并且在判定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206中設(shè)置所生成的區(qū)域信息。然后，處理結(jié)束。
如上所述，區(qū)域指定單元103能夠生成表示包含在幀中的每個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪一個(gè)區(qū)域的區(qū)域信息。
此外，區(qū)域指定單元103可以通過(guò)對(duì)與非覆蓋背景區(qū)域相對(duì)應(yīng)的區(qū)域信息和與覆蓋背景區(qū)域相對(duì)應(yīng)的區(qū)域信息應(yīng)用邏輯或操作，生成對(duì)應(yīng)于混合區(qū)域的區(qū)域信息，并且可以生成由表示包含在幀中的各個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域或混合區(qū)域中的哪一個(gè)區(qū)域的標(biāo)志組成的區(qū)域信息。
當(dāng)對(duì)應(yīng)于前景的對(duì)象具有紋理時(shí)，區(qū)域指定單元103能夠更準(zhǔn)確地指定移動(dòng)區(qū)域。
區(qū)域指定單元103能夠輸出表示移動(dòng)區(qū)域的區(qū)域信息作為表示前景區(qū)域的區(qū)域信息，并且輸出表示靜止區(qū)域的區(qū)域信息作為表示背景區(qū)域的區(qū)域信息。
此外，雖然所說(shuō)明的是對(duì)應(yīng)于背景的對(duì)象為靜止的情況，但是，即使當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)時(shí)，也可以應(yīng)用上述區(qū)域指定處理。例如，當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像恒定移動(dòng)時(shí)，區(qū)域指定單元103根據(jù)該移動(dòng)偏移整個(gè)圖像，并且以與對(duì)應(yīng)于背景的對(duì)象為靜止的情況類(lèi)似的方式對(duì)其進(jìn)行處理。此外，當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含局部其他移動(dòng)時(shí)，區(qū)域指定單元103選擇對(duì)應(yīng)于移動(dòng)的像素，并且執(zhí)行上述處理。
圖54是區(qū)域指定單元103的另一結(jié)構(gòu)示例方框圖。圖54所示的區(qū)域指定單元103不使用運(yùn)動(dòng)向量。背景圖像生成器301生成對(duì)應(yīng)于輸入圖像的背景圖像，并且將所生成的背景圖像提供給二值對(duì)象圖像提取部分302。背景圖像生成器301提取例如與包含在輸入圖像中的背景對(duì)象相對(duì)應(yīng)的圖像對(duì)象，以生成背景圖像。
沿著時(shí)間方向擴(kuò)展在對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向上連續(xù)排列在一行上的像素的像素值的模型例子如圖55所示。例如，當(dāng)對(duì)應(yīng)于前景對(duì)象的圖像的移動(dòng)方向?yàn)槠聊簧系乃椒较驎r(shí)，圖55所示的模型圖示出沿著時(shí)間方向擴(kuò)展連續(xù)排列在一行上的像素的像素值的模型。
在圖55中，幀#n中的一行與幀#n-1和幀#n+1相同。
在幀#n中，與包含在左起第六到第十七像素中的對(duì)象相對(duì)應(yīng)的前景成分包含在幀#n-1的左起第二到第十三像素中，并且還包含在幀#n+1的左起第十到第二十一像素中。
在幀#n-1中，屬于覆蓋背景區(qū)域的像素為左起第十一到第十三像素，并且屬于非覆蓋背景區(qū)域的像素為左起第二到第四像素。在幀#n中，屬于覆蓋背景區(qū)域的像素為左起第十五到第十七像素，并且屬于非覆蓋背景區(qū)域的像素為左起第六到第八像素。在幀#n+1中，屬于覆蓋背景區(qū)域的像素為左起第十九到第二十一像素，并且屬于非覆蓋背景區(qū)域的像素為左起第十到第十二像素。
在幀#n-1中，屬于背景區(qū)域的像素為左起第一像素以及左起第十四到第二十一像素。在幀#n中，屬于背景區(qū)域的像素為左起第一到第五像素以及左起第十八到第二十一像素。在幀#n+1中，屬于背景區(qū)域的像素為左起第一到第九像素。
從背景圖像生成器301生成的對(duì)應(yīng)于圖55所示例子的背景圖像例子如圖56所示。背景圖像由對(duì)應(yīng)于背景對(duì)象的像素組成，并且不包含對(duì)應(yīng)于前景對(duì)象的圖像成分。
二值對(duì)象圖像提取部分302根據(jù)背景圖像與輸入圖像之間的相關(guān)，生成二值對(duì)象圖像，并且將所生成的二值對(duì)象圖像提供給時(shí)間變化檢測(cè)器303。
圖57是二值對(duì)象圖像提取部分302的結(jié)構(gòu)方框圖。相關(guān)值計(jì)算器321計(jì)算輸入圖像與從背景圖像生成器301提供的背景圖像之間的相關(guān)，生成相關(guān)值，并且將其提供給閾值處理器322。
相關(guān)值計(jì)算器321將方程(4)應(yīng)用于例如圖58A所示的以X4為中心的3×3背景圖像塊，以及例如圖58B所示的對(duì)應(yīng)于該背景圖像塊的以Y4為中心的3×3輸入圖像塊，從而計(jì)算對(duì)應(yīng)于Y4的相關(guān)值。 X‾=Σi=08Xi9---(5)]]>Y‾=Σi=08Yi9---(6)]]>相關(guān)值計(jì)算器321將如上所述為各個(gè)像素計(jì)算的相關(guān)值提供給閾值處理器322。此外，相關(guān)值計(jì)算器321可以將方程(7)應(yīng)用于例如圖59A所示的以X4為中心的3×3背景圖像塊，以及例如圖59B所示的對(duì)應(yīng)于該背景圖像塊的以Y4為中心的3×3輸入圖像塊，從而計(jì)算對(duì)應(yīng)于Y4的差值絕對(duì)值之和。 相關(guān)值計(jì)算器321將通過(guò)上述過(guò)程算出的差值絕對(duì)值作為相關(guān)值提供給閾值處理器322。
閾值處理器322將相關(guān)圖像的像素值與閾值th0進(jìn)行比較，當(dāng)相關(guān)值不大于閾值th0時(shí)，將二值對(duì)象圖像的像素值設(shè)為1，而當(dāng)相關(guān)值大于閾值th0時(shí)，將二值對(duì)象圖像的像素值設(shè)為0，并且輸出其像素值設(shè)為0或1的二值對(duì)象圖像。閾值處理器322可以預(yù)先存儲(chǔ)閾值th0，或者可以使用從外部輸入的閾值th0。
圖60示出對(duì)應(yīng)于圖55所示輸入圖像模型的二值對(duì)象圖像的例子。在二值對(duì)象圖像中，將與背景圖像具有高相關(guān)性的像素的像素值設(shè)為0。
圖61是時(shí)間變化檢測(cè)器303的結(jié)構(gòu)方框圖。當(dāng)為幀#n中的像素執(zhí)行區(qū)域判定時(shí)，幀存儲(chǔ)器341存儲(chǔ)從二值對(duì)象圖像提取部分302提供的幀#n-1、幀#n和幀#n+1的二值對(duì)象圖像。
區(qū)域判定部分342根據(jù)幀#n-1、幀#n和幀#n+1的二值對(duì)象圖像，判定幀#n中每個(gè)像素的區(qū)域以生成并輸出區(qū)域信息。
圖62是示出區(qū)域判定部分342的判定過(guò)程的圖。當(dāng)幀#n的二值對(duì)象圖像中的給定像素為0時(shí)，區(qū)域判定部分342判定幀#n的給定像素屬于背景區(qū)域。
當(dāng)幀#n的二值對(duì)象圖像中的給定像素為1，幀#n-1的二值對(duì)象圖像中的給定像素為1，并且?guī)?n+1的二值對(duì)象圖像中的給定像素為1時(shí)，區(qū)域判定部分342判定幀#n的給定像素屬于前景區(qū)域。
當(dāng)幀#n的二值對(duì)象圖像中的給定像素為1，并且?guī)?n-1的二值對(duì)象圖像中的給定像素為0時(shí)，區(qū)域判定部分342判定幀#n的給定像素屬于覆蓋背景區(qū)域。
當(dāng)幀#n的二值對(duì)象圖像中的給定像素為1，并且?guī)?n+1的二值對(duì)象圖像中的給定像素為0時(shí)，區(qū)域判定部分342判定幀#n的給定像素屬于非覆蓋背景區(qū)域。
圖63示出時(shí)間變化檢測(cè)器303對(duì)與圖55所示的輸入圖像模型相對(duì)應(yīng)的二值對(duì)象圖像執(zhí)行判定過(guò)程的例子。由于幀#n的二值對(duì)象圖像中的像素為0，因此時(shí)間變化檢測(cè)器303判定幀#n中左起第一到第五像素屬于背景區(qū)域。
由于幀#n的二值對(duì)象圖像中的像素為1，并且?guī)?n+1的對(duì)應(yīng)像素為0，因此時(shí)間變化檢測(cè)器303判定左起第六到第九像素屬于非覆蓋背景區(qū)域。
由于幀#n的二值對(duì)象圖像中的像素為1，幀#n-1的對(duì)應(yīng)像素為1，并且?guī)?n+1的對(duì)應(yīng)像素為1，因此時(shí)間變化檢測(cè)器303判定左起第十到第十三像素屬于前景區(qū)域。
由于幀#n的二值對(duì)象圖像中的像素為1，并且?guī)?n-1的對(duì)應(yīng)像素為0，因此時(shí)間變化檢測(cè)器303判定左起第十四到第十七像素屬于覆蓋背景區(qū)域。
由于幀#n的二值對(duì)象圖像中的對(duì)應(yīng)像素為0，因此時(shí)間變化檢測(cè)器303判定左起第十八到第二十一像素屬于背景區(qū)域。
下一步，將參照?qǐng)D64的流程圖對(duì)區(qū)域指定單元103的區(qū)域指定處理進(jìn)行說(shuō)明。在步驟S301，區(qū)域指定單元103的背景圖像生成器301根據(jù)輸入圖像提取例如與包含在輸入圖像中的背景對(duì)象相對(duì)應(yīng)的圖像對(duì)象，以生成背景圖像，并且將所生成的背景圖像提供給二值對(duì)象圖像提取部分302。
在步驟S302，二值對(duì)象圖像提取部分302例如通過(guò)使用參照?qǐng)D58A和58B所述的計(jì)算操作，計(jì)算輸入圖像與從背景圖像生成器301提供的背景圖像之間的相關(guān)值。在步驟S303，二值對(duì)象圖像提取部分302例如通過(guò)比較相關(guān)值與閾值th0，根據(jù)相關(guān)值與閾值th0計(jì)算二值對(duì)象圖像。
在步驟S304，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域判定處理，并且完成處理。
參照?qǐng)D65的流程圖，將說(shuō)明對(duì)應(yīng)于步驟S304的區(qū)域判定處理的詳細(xì)信息。在步驟S321，時(shí)間變化檢測(cè)器303的區(qū)域判定部分342判定存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的給定像素是否為0，并且如果判定幀#n的給定像素為0，過(guò)程進(jìn)入步驟S322。然后，區(qū)域判定部分342判定幀#n的給定像素屬于背景區(qū)域，并且完成處理。
在步驟S321，如果判定幀#n的給定像素為1，過(guò)程進(jìn)入步驟S323。時(shí)間變化檢測(cè)器303的區(qū)域判定部分342判定是否存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的給定像素為1且?guī)?n-1的對(duì)應(yīng)像素為0，并且如果判定幀#n的給定像素為1且?guī)?n-1的對(duì)應(yīng)像素為0，過(guò)程進(jìn)入步驟S324。然后，區(qū)域判定部分342判定幀#n的給定像素屬于覆蓋背景區(qū)域，并且完成處理。
在步驟S323，如果判定幀#n的給定像素為0，或者幀#n-1的對(duì)應(yīng)像素為1，過(guò)程進(jìn)入步驟S325。時(shí)間變化檢測(cè)器303的區(qū)域判定部分342判定是否存儲(chǔ)在幀存儲(chǔ)器341中的幀#n的給定像素為1且?guī)?n+1的對(duì)應(yīng)像素為0，并且如果判定幀#n的給定像素為1且?guī)?n+1的對(duì)應(yīng)像素為0，過(guò)程進(jìn)入步驟S326。然后，區(qū)域判定部分342判定幀#n的給定像素屬于非覆蓋背景區(qū)域，并且完成處理。
在步驟S325，如果判定幀#n的給定像素為0，或者幀#n+1的對(duì)應(yīng)像素為1，過(guò)程進(jìn)入步驟S327。時(shí)間變化檢測(cè)器303的區(qū)域判定部分342判定幀#n的給定像素屬于前景區(qū)域，并且完成處理。
如上所述，區(qū)域指定單元103能夠根據(jù)輸入圖像與對(duì)應(yīng)背景圖像之間的相關(guān)值指定輸入圖像的各個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域和非覆蓋背景區(qū)域中的哪個(gè)區(qū)域，并且生成對(duì)應(yīng)于指定結(jié)果的區(qū)域信息。
圖66是區(qū)域指定單元103的另一結(jié)構(gòu)方框圖。圖66所示的區(qū)域指定單元103使用從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息。與圖54相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
魯棒處理部分361根據(jù)從二值對(duì)象圖像提取部分302提供的N幀二值對(duì)象圖像生成經(jīng)過(guò)魯棒處理的二值對(duì)象圖像，并且將其輸出到時(shí)間變化檢測(cè)器303。
圖67是魯棒處理部分361的結(jié)構(gòu)方框圖。運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息，補(bǔ)償N幀二值對(duì)象圖像的運(yùn)動(dòng)，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩祵?duì)象圖像提供給開(kāi)關(guān)382。
參照?qǐng)D68和69的例子，將對(duì)運(yùn)動(dòng)補(bǔ)償器381的運(yùn)動(dòng)補(bǔ)償過(guò)程進(jìn)行說(shuō)明。例如，當(dāng)判定幀#n的區(qū)域時(shí)，如果輸入例如圖68所示的幀#n-1、幀#n和幀#n+1的二值對(duì)象圖像，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量，例如圖69所示，補(bǔ)償幀#n-1的二值對(duì)象圖像和幀#n+1的二值對(duì)象圖像，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩祵?duì)象圖像提供給開(kāi)關(guān)382。
開(kāi)關(guān)382將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠祵?duì)象圖像輸出到幀存儲(chǔ)器383-1，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙祵?duì)象圖像輸出到幀存儲(chǔ)器383-2。類(lèi)似地，開(kāi)關(guān)382將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二值對(duì)象圖像分別輸出到幀存儲(chǔ)器383-3到383-(N-1)，并且將經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二值對(duì)象圖像輸出到幀存儲(chǔ)器383-N。
幀存儲(chǔ)器383-1存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠祵?duì)象圖像，并且將所存儲(chǔ)的二值對(duì)象圖像輸出到加權(quán)部分384-1。幀存儲(chǔ)器383-2存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙祵?duì)象圖像，并且將所存儲(chǔ)的二值對(duì)象圖像輸出到加權(quán)部分384-2。
類(lèi)似地，幀存儲(chǔ)器383-3到383-(N-1)分別存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二值對(duì)象圖像，并且將所存儲(chǔ)的二值對(duì)象圖像分別輸出到加權(quán)部分384-3到384-(N-1)。幀存儲(chǔ)器383-N存儲(chǔ)經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二值對(duì)象圖像，并且將所存儲(chǔ)的二值對(duì)象圖像輸出到加權(quán)部分384-N。
加權(quán)部分384-1將從幀存儲(chǔ)器383-1提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝粠祵?duì)象圖像與預(yù)定權(quán)值w1進(jìn)行相乘，然后將其提供給累加器385。加權(quán)部分384-2將從幀存儲(chǔ)器383-2提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡诙祵?duì)象圖像與預(yù)定權(quán)值w2進(jìn)行相乘，然后將其提供給累加器385。
同樣地，加權(quán)部分384-3到384-(N-1)分別將從幀存儲(chǔ)器383-3到383-(N-1)提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谌降?N-1)幀二值對(duì)象圖像與預(yù)定權(quán)值w3到w(N-1)進(jìn)行相乘，然后將其提供給累加器385。加權(quán)部分384-N將從幀存儲(chǔ)器383-N提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡贜幀二值對(duì)象圖像與預(yù)定權(quán)值wN進(jìn)行相乘，然后將其提供給累加器385。
累加器385累加分別與權(quán)值w1到wN相乘之后的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)牡谝坏降贜幀二值對(duì)象圖像的像素值，并且將累加出的像素值與預(yù)定閾值th0進(jìn)行比較，從而生成二值對(duì)象圖像。
如上所述，由于魯棒處理部分361從N個(gè)二值對(duì)象圖像生成經(jīng)過(guò)魯棒處理的二值對(duì)象圖像，并且將其提供給時(shí)間變化檢測(cè)器303，因此，即使輸入圖像包含噪聲，具有圖66所示結(jié)構(gòu)的區(qū)域指定單元103也能夠比圖54所示的情況更準(zhǔn)確地執(zhí)行區(qū)域指定。
下一步，將參照?qǐng)D70的流程圖對(duì)具有圖66所示結(jié)構(gòu)的區(qū)域指定單元103的區(qū)域指定過(guò)程進(jìn)行說(shuō)明。步驟S341到步驟S343與步驟S301到步驟S303相同，因此略去不述。
在步驟S344，魯棒處理部分361執(zhí)行魯棒處理。
在步驟S345，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域判定處理，并且完成過(guò)程。由于步驟S345的詳細(xì)過(guò)程類(lèi)似于參照?qǐng)D65的流程圖所述的過(guò)程，因此略去不述。
下一步，將參照?qǐng)D71的流程圖對(duì)與圖70中步驟S344的處理相對(duì)應(yīng)的魯棒處理的詳細(xì)信息進(jìn)行說(shuō)明。在步驟S361，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息，執(zhí)行對(duì)輸入二值對(duì)象圖像的運(yùn)動(dòng)補(bǔ)償處理。在步驟S362，幀存儲(chǔ)器383-1到383-N之一存儲(chǔ)通過(guò)開(kāi)關(guān)382提供的經(jīng)過(guò)運(yùn)動(dòng)補(bǔ)償?shù)亩祵?duì)象圖像。
在步驟S363，魯棒處理部分361判定是否存儲(chǔ)了N個(gè)二值對(duì)象圖像，并且如果判定沒(méi)有存儲(chǔ)N個(gè)二值對(duì)象圖像，過(guò)程返回到步驟S361，重復(fù)二值對(duì)象圖像的運(yùn)動(dòng)補(bǔ)償處理和二值對(duì)象圖像的存儲(chǔ)處理。
在步驟S363，如果判定存儲(chǔ)了N個(gè)二值對(duì)象圖像，過(guò)程進(jìn)入步驟S364。加權(quán)部分384-1到384-N分別將N個(gè)二值對(duì)象圖像與對(duì)應(yīng)權(quán)值w1到wN進(jìn)行相乘，以進(jìn)行加權(quán)。
在步驟S365，累加器385累加經(jīng)過(guò)加權(quán)的N個(gè)二值對(duì)象圖像。
在步驟S366，累加器385例如通過(guò)與預(yù)定閾值th1進(jìn)行比較，根據(jù)累加圖像生成二值對(duì)象圖像，并且完成過(guò)程。
如上所述，具有圖66所示結(jié)構(gòu)的區(qū)域指定單元103能夠根據(jù)經(jīng)過(guò)魯棒處理的二值對(duì)象圖像生成區(qū)域信息。
如上所述，區(qū)域指定單元103能夠生成表示包含在幀中的每個(gè)像素屬于移動(dòng)區(qū)域、靜止區(qū)域、非覆蓋背景區(qū)域或覆蓋背景區(qū)域的區(qū)域信息。
圖72是混合比率計(jì)算器104的結(jié)構(gòu)示例方框圖。估計(jì)混合比率處理器401根據(jù)輸入圖像，通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域模型的計(jì)算，計(jì)算每個(gè)像素的混合比率，并且將算出的估計(jì)混合比率提供給混合比率判定部分403。
估計(jì)混合比率處理器402根據(jù)輸入圖像，通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域模型的計(jì)算，計(jì)算每個(gè)像素的混合比率，并且將算出的估計(jì)混合比率提供給混合比率判定部分403。
由于假定對(duì)應(yīng)于前景的對(duì)象在快門(mén)時(shí)間內(nèi)勻速移動(dòng)，因此屬于混合區(qū)域的像素的混合比率α具有下面特性。也就是，混合比率α根據(jù)像素的位置變化而線(xiàn)性變化。如果像素的位置變化是一維的，則可以用直線(xiàn)表示混合比率α的變化，并且如果像素的位置變化是二維的，則可以用平面表示混合比率α的變化。
此外，由于一幀的時(shí)間區(qū)間很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是勻速移動(dòng)的剛體。
在這種情況下，混合比率α的斜率與前景在快門(mén)時(shí)間內(nèi)的移動(dòng)量v成反比。
理想混合比率α的例子如圖73所示?；旌蠀^(qū)域中理想混合比率α的斜率I可以用移動(dòng)量v的倒數(shù)來(lái)表示。
如圖73所示，理想混合比率α在背景區(qū)域中為1，在前景區(qū)域中為0，并且在混合區(qū)域中大于0且小于1。
在圖74所示的例子中，幀#n中左起第七像素的像素值C06可以通過(guò)使用幀#n-1中左起第七像素的像素值P06，用方程(8)表示。C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v]]>=2/v·P06+Σi=12Fi/v---(8)]]>在方程(8)中，像素值C06用混合區(qū)域像素的像素值M來(lái)表示，而像素值P06用背景區(qū)域像素的像素值B來(lái)表示。也就是，混合區(qū)域像素的像素值M和背景區(qū)域像素的像素值B可以分別用方程(9)和(10)表示。
M＝C06 (9)B＝P06 (10)方程(8)中的2/v對(duì)應(yīng)于混合比率α。由于移動(dòng)量v定義為4，因此幀#n中左起第七像素的混合比率α為0.5。
如上所述，通過(guò)把給定幀n中的像素值C當(dāng)作混合區(qū)域的像素值，而把幀#n之前的幀#n-1中的像素值P當(dāng)作背景區(qū)域的像素值，表示混合比率α的方程(3)可以用方程(11)表示。
C＝α·P+f (11)方程(11)中的f為包含在給定像素中的前景成分之和∑iFi/v。包含在方程(11)中的變量為混合比率α和前景成分之和f。
類(lèi)似地，在非覆蓋背景區(qū)域中，移動(dòng)量v為4并且時(shí)間方向上的虛擬劃分?jǐn)?shù)目為4。沿著時(shí)間方向擴(kuò)展像素值的模型如圖75所示。
在非覆蓋背景區(qū)域中，類(lèi)似于前述覆蓋背景區(qū)域的表示，通過(guò)把給定幀n中像素的像素值C當(dāng)作混合區(qū)域的像素值，而把幀#n之后的幀n+1中的像素值N當(dāng)作背景區(qū)域的像素值，表示混合比率α的方程(3)可以用方程(12)表示。
C＝α·N+f (12)此外，雖然是假定背景對(duì)象保持靜止來(lái)說(shuō)明的，但是，即使當(dāng)背景圖像發(fā)生移動(dòng)時(shí)，通過(guò)使用處于與背景的移動(dòng)量v相對(duì)應(yīng)的位置的像素的像素值，也可以應(yīng)用方程(8)到(12)。例如，在圖74中，當(dāng)對(duì)應(yīng)于背景的對(duì)象的移動(dòng)量v為2，虛擬劃分?jǐn)?shù)目為2，并且對(duì)應(yīng)于背景的對(duì)象如圖所示向右移動(dòng)時(shí)，方程(10)中背景區(qū)域像素的像素值B變成像素值P04。
由于方程(11)和(12)都包含兩個(gè)變量，因此，不能通過(guò)這些方程獲得混合比率α。在此，由于圖像具有強(qiáng)空間相關(guān)性，因此相鄰像素幾乎相等。
因此，由于前景成分具有強(qiáng)空間相關(guān)性，因此對(duì)方程進(jìn)行修改以便從前一幀或后一幀中推導(dǎo)出前景成分之和f，從而獲得混合比率α。
圖76中幀#n的左起第七像素的像素值Mc可以用方程(13)表示Mc=2v·B06+Σi=1112Fi/v---(13)]]>方程(13)右邊的第一項(xiàng)2/v對(duì)應(yīng)于混合比率α。通過(guò)使用后一幀#n+1的像素值，方程(13)右邊的第二項(xiàng)可以用方程(14)表示。Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>在此，通過(guò)使用前景成分的空間相關(guān)性，可以獲得方程(15)。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12 (15)方程(14)利用方程(15)可以修改為方程(16)。Σi=1112Fi/v=2v·F---(16)]]>=β·4v·F]]>
因而，β可以用方程(17)表示。
β＝2/4(17)一般，如果假定如方程(15)所示，對(duì)應(yīng)于混合區(qū)域的前景成分相等，則由于內(nèi)部劃分比率(interior division ratio)的關(guān)系，方程(18)對(duì)于混合區(qū)域中的所有像素均成立。
β＝1-α(18)如果方程(18)成立，則方程(11)可以演變?yōu)榉匠?19)。C=α·P+f]]>=α·P+(1-α)·Σi=γγ+v-1Fi/v---(19)]]>=α·P+(1-α)·N]]>類(lèi)似地，如果方程(18)成立，則方程(12)可以演變?yōu)榉匠?20)。C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v---(20)]]>=α·N+(1-α)·P]]>在方程(19)和(20)中，由于C、N和P是已知像素值，因此，方程(19)和(20)中的變量只是混合比率α。方程(19)和(20)中C、N和P之間的關(guān)系如圖77所示。C是幀#n中計(jì)算混合比率α的給定像素的像素值。N是幀#n+1中空間位置對(duì)應(yīng)于給定像素的像素的像素值。P是幀#n-1中空間位置對(duì)應(yīng)于給定像素的像素的像素值。
因此，由于在方程(19)和(20)中分別包含一個(gè)變量，因此可以使用三個(gè)幀中的像素的像素值，計(jì)算混合比率α。通過(guò)求解方程(19)和(20)來(lái)計(jì)算正確混合比率的條件是，像素的像素值不變，對(duì)應(yīng)于混合區(qū)域的前景成分相等，也就是，在前景對(duì)象靜止時(shí)拍攝的前景圖像對(duì)象中，位于與前景對(duì)象的移動(dòng)方向相對(duì)應(yīng)的圖像對(duì)象邊界上且數(shù)目?jī)杀队谝苿?dòng)量v的像素連續(xù)排列在一行上。
如上所述，通過(guò)方程(21)計(jì)算屬于覆蓋背景區(qū)域的像素的混合比率α，并且通過(guò)方程(22)計(jì)算屬于非覆蓋背景區(qū)域的像素的混合比率α。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)
圖78是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖。幀存儲(chǔ)器421以幀為單位存儲(chǔ)輸入圖像，并且將作為輸入圖像輸入的幀的后一幀提供給幀存儲(chǔ)器422和混合比率計(jì)算器423。
幀存儲(chǔ)器422以幀為單位存儲(chǔ)輸入圖像，并且將從幀存儲(chǔ)器421提供的幀的后一幀提供給混合比率計(jì)算器423。
因此，當(dāng)幀#n+1作為輸入圖像輸入到混合比率計(jì)算器423時(shí)，幀存儲(chǔ)器421將幀#n提供給混合比率計(jì)算器423，并且?guī)鎯?chǔ)器422將幀#n-1提供給混合比率計(jì)算器423。
混合比率計(jì)算器423根據(jù)幀#n中給定像素的像素值C、幀#n+1中空間位置對(duì)應(yīng)于給定像素位置的像素的像素值N以及幀#n-1中空間位置對(duì)應(yīng)于給定像素位置的像素的像素值P，通過(guò)使用方程(21)所示的計(jì)算操作，計(jì)算給定像素的估計(jì)混合比率，并且輸出算出的估計(jì)混合比率。例如，當(dāng)背景靜止時(shí)，混合比率計(jì)算器423根據(jù)幀#n中給定像素的像素值C、幀#n+1中所在位置與給定像素位置相同的像素的像素值N以及幀#n-1中所在位置與給定像素位置相同的像素的像素值P，計(jì)算給定像素的估計(jì)混合比率，并且輸出算出的估計(jì)混合比率。
如上所述，估計(jì)混合比率處理器401根據(jù)輸入圖像計(jì)算估計(jì)混合比率，并且將它提供給混合比率判定部分403。
此外，由于除了估計(jì)混合比率計(jì)算器402通過(guò)使用方程(22)所示的計(jì)算操作來(lái)計(jì)算給定像素的估計(jì)混合比率，而估計(jì)混合比率計(jì)算器401通過(guò)使用方程(21)所示的計(jì)算操作來(lái)計(jì)算給定像素的估計(jì)混合比率之外，估計(jì)混合比率計(jì)算器402在功能上與估計(jì)混合比率計(jì)算器401相同，因此略去不述。
圖79是由估計(jì)混合比率處理器401算出的估計(jì)混合比率的示例圖。圖79所示的估計(jì)混合比率是當(dāng)勻速移動(dòng)的前景對(duì)象的移動(dòng)量v為11時(shí)用一條線(xiàn)表示的結(jié)果。
可以看到，如同圖73的混合區(qū)域所示，估計(jì)混合比率的變化幾乎是線(xiàn)性的。
回到圖72，混合比率判定部分403根據(jù)從區(qū)域指定單元103提供并且表示作為混合比率α計(jì)算目標(biāo)的像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率α。當(dāng)目標(biāo)像素屬于前景區(qū)域時(shí)，混合比率判定部分403將混合比率α設(shè)為0；當(dāng)目標(biāo)像素屬于背景區(qū)域時(shí)，將混合比率α設(shè)為1；當(dāng)目標(biāo)像素屬于覆蓋背景區(qū)域時(shí)，混合比率判定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率；并且當(dāng)目標(biāo)像素屬于非覆蓋背景區(qū)域時(shí)，混合比率判定部分403將混合比率α設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率?；旌媳嚷逝卸ú糠?03輸出根據(jù)區(qū)域信息設(shè)定的混合比率α。
圖80是混合比率計(jì)算器104的另一結(jié)構(gòu)方框圖。選擇器441根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，將屬于覆蓋背景區(qū)域的像素以及前一幀和后一幀的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器442。選擇器441根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，將屬于非覆蓋背景區(qū)域的像素以及前一幀和后一幀的對(duì)應(yīng)像素提供給估計(jì)混合比率處理器443。
估計(jì)混合比率處理器442根據(jù)從選擇器441輸入的像素值，通過(guò)使用方程(21)的計(jì)算操作，計(jì)算屬于覆蓋背景區(qū)域的給定像素的估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給選擇器444。
估計(jì)混合比率處理器443根據(jù)從選擇器441輸入的像素值，通過(guò)使用方程(22)的計(jì)算操作，計(jì)算屬于非覆蓋背景區(qū)域的給定像素的估計(jì)混合比率，并且將算出的估計(jì)混合比率提供給選擇器444。
根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，當(dāng)目標(biāo)像素屬于前景區(qū)域時(shí)，選擇器444選擇估計(jì)混合比率0，并且將它設(shè)為混合比率α，并且當(dāng)目標(biāo)像素屬于背景區(qū)域時(shí)，選擇估計(jì)混合比率1，并且將它設(shè)為混合比率α。當(dāng)目標(biāo)像素屬于覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器442提供的估計(jì)混合比率，并且將它設(shè)為混合比率α。當(dāng)目標(biāo)像素屬于非覆蓋背景區(qū)域時(shí)，選擇器444選擇從估計(jì)混合比率處理器443提供的估計(jì)混合比率，并且將它設(shè)為混合比率α。選擇器444輸出根據(jù)區(qū)域信息所選擇并設(shè)置的混合比率α。
如上所述，具有圖80所示的另一結(jié)構(gòu)的混合比率計(jì)算器104能夠?yàn)榘趫D像中的每個(gè)像素計(jì)算混合比率α，并且輸出算出的混合比率α。
下面將參照?qǐng)D81的流程圖對(duì)具有圖72所示結(jié)構(gòu)的混合比率計(jì)算器104的混合比率α計(jì)算過(guò)程進(jìn)行說(shuō)明。在步驟S401，混合比率計(jì)算器104獲取從區(qū)域指定單元103提供的區(qū)域信息。在步驟S402，估計(jì)混合比率處理器401通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型，執(zhí)行估計(jì)混合比率計(jì)算過(guò)程，并且將算出的估計(jì)混合比率提供給混合比率判定部分403。估計(jì)混合比率計(jì)算過(guò)程的詳細(xì)信息將在后面參照?qǐng)D82的流程圖進(jìn)行說(shuō)明。
在步驟S403，估計(jì)混合比率處理器402通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型，執(zhí)行估計(jì)混合比率計(jì)算過(guò)程，并且將算出的估計(jì)混合比率提供給混合比率判定部分403。
在步驟S404，混合比率計(jì)算器104判定是否估計(jì)完畢整個(gè)幀的混合比率α，并且如果判定尚未估計(jì)整個(gè)幀的混合比率α，過(guò)程返回到步驟S402，為下一像素執(zhí)行混合比率α估計(jì)處理。
在步驟S404，如果判定估計(jì)完畢整個(gè)幀的混合比率α，過(guò)程進(jìn)入步驟S405，并且混合比率判定部分403根據(jù)從區(qū)域指定單元103提供并且表示像素屬于前景區(qū)域、背景區(qū)域、覆蓋背景區(qū)域和非覆蓋背景區(qū)域中的哪個(gè)區(qū)域的區(qū)域信息，設(shè)置混合比率。當(dāng)目標(biāo)像素屬于前景區(qū)域時(shí)，混合比率判定部分403將混合比率α設(shè)為0；當(dāng)目標(biāo)像素屬于背景區(qū)域時(shí)，將混合比率α設(shè)為1；當(dāng)目標(biāo)像素屬于覆蓋背景區(qū)域時(shí)，將混合比率α設(shè)為從估計(jì)混合比率處理器401提供的估計(jì)混合比率；并且當(dāng)目標(biāo)像素屬于非覆蓋背景區(qū)域時(shí)，將混合比率α設(shè)為從估計(jì)混合比率處理器402提供的估計(jì)混合比率。然后，過(guò)程結(jié)束。
如上所述，混合比率計(jì)算器104能夠根據(jù)從區(qū)域指定單元103提供的區(qū)域信息以及輸入圖像，計(jì)算作為對(duì)應(yīng)于每個(gè)像素的特征量的混合比率α。
具有圖80所示結(jié)構(gòu)的混合比率計(jì)算器104的混合比率α計(jì)算處理與參照?qǐng)D81的流程圖所述類(lèi)似，因此略去不述。
下一步，將參照?qǐng)D82的流程圖對(duì)圖81的步驟S402中通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型估計(jì)混合比率的過(guò)程進(jìn)行說(shuō)明。
在步驟S421，混合比率計(jì)算器423從幀存儲(chǔ)器421獲取幀#n給定像素的像素值C。
在步驟S422，混合比率計(jì)算器423從幀存儲(chǔ)器422獲取與給定像素相對(duì)應(yīng)的幀#n-1像素的像素值P。
在步驟S423，混合比率計(jì)算器423獲取與包含在輸入圖像中的給定像素相對(duì)應(yīng)的幀#n+1像素的像素值N。
在步驟S424，混合比率計(jì)算器423根據(jù)幀#n給定像素的像素值C、幀#n-1像素的像素值P以及幀#n+1像素的像素值N，計(jì)算估計(jì)混合比率。
在步驟S425，混合比率計(jì)算器423判定是否完成整個(gè)幀的估計(jì)混合比率計(jì)算處理，并且如果判定尚未完成整個(gè)幀的估計(jì)混合比率計(jì)算處理，過(guò)程返回到步驟S421，為下一像素重復(fù)估計(jì)混合比率計(jì)算處理。
在步驟S425，如果判定完成整個(gè)幀的估計(jì)混合比率計(jì)算處理，則過(guò)程結(jié)束。
如上所述，估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率。
圖81的步驟S403中通過(guò)使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理類(lèi)似于圖82的流程圖所示的通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理，因此略去不述。
此外，由于圖80所示的估計(jì)混合比率處理器442和估計(jì)混合比率處理器443執(zhí)行與圖82的流程圖相同的處理來(lái)計(jì)算估計(jì)混合比率，因此略去不述。
此外，雖然所說(shuō)明的是對(duì)應(yīng)于背景的對(duì)象為靜止的情況，但是，即使當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)時(shí)，也可以應(yīng)用上述混合比率α計(jì)算過(guò)程。例如，當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像恒定移動(dòng)時(shí)，估計(jì)混合比率處理器401根據(jù)背景運(yùn)動(dòng)偏移整個(gè)圖像，并且執(zhí)行與對(duì)應(yīng)于背景的對(duì)象為靜止的情況相同的處理。此外，當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含其他背景局部運(yùn)動(dòng)時(shí)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于背景運(yùn)動(dòng)的像素作為與屬于混合區(qū)域的像素相對(duì)應(yīng)的像素，并且執(zhí)行上述過(guò)程。
此外，混合比率計(jì)算器104可以通過(guò)僅使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型，為所有像素執(zhí)行混合比率估計(jì)處理，并且輸出算出的估計(jì)混合比率作為混合比率α。在這種情況下，混合比率α對(duì)于屬于覆蓋背景區(qū)域的像素表示背景成分比率，并且對(duì)于屬于非覆蓋背景區(qū)域的像素表示前景成分比率。如果對(duì)于屬于非覆蓋背景區(qū)域的像素，將如上所述計(jì)算的混合比率α與1的差值絕對(duì)值設(shè)為混合比率α，則分離服務(wù)器11能夠?yàn)閷儆诜歉采w背景區(qū)域的像素獲得表示背景成分比率的混合比率α。
此外，類(lèi)似地，混合比率計(jì)算器104可以通過(guò)僅使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型，為所有像素執(zhí)行混合比率估計(jì)處理，并且輸出算出的估計(jì)混合比率作為混合比率α。
下一步，將說(shuō)明通過(guò)使用混合比率α線(xiàn)性變化這一特性來(lái)計(jì)算混合比率α的混合比率計(jì)算器104。
如上所述，由于方程(11)和方程(12)均包括兩個(gè)變量，因此不能根據(jù)這些方程獲得混合比率α。
因此，通過(guò)使用根據(jù)對(duì)應(yīng)于前景的對(duì)象在快門(mén)時(shí)間內(nèi)勻速移動(dòng)從而混合比率α隨著像素位置變化而線(xiàn)性變化這一特性，建立在空間方向上近似混合比率α和前景成分之和f的方程。通過(guò)使用屬于混合區(qū)域的像素的像素值和屬于背景區(qū)域的像素的像素值，求解近似混合比率α和前景成分之和f的方程。
如果線(xiàn)性近似混合比率α的變化，混合比率α用方程(23)表示。
α＝il+p (23)在此方程(23)中，i是給定像素的位置為0時(shí)空間方向上的索引。l是混合比率α的直線(xiàn)斜率。p是混合比率α的直線(xiàn)截距，并且是給定像素的混合比率α。在方程(23)中，索引i是已知的，而斜率l和截距p是未知的。
索引i、斜率l和截距p之間的關(guān)系如圖83所示。
通過(guò)用方程(23)近似混合比率α，可以用兩個(gè)變量表示多個(gè)像素的多個(gè)不同混合比率α。在圖83所示的例子中，用斜率l和截距p兩個(gè)變量表示五個(gè)像素的混合比率。此外，在圖83中，給定像素用白圓點(diǎn)表示，并且周?chē)袼赜煤趫A點(diǎn)表示。
如果在圖84所示的平面中近似混合比率α，則通過(guò)考慮對(duì)應(yīng)于兩個(gè)方向的移動(dòng)v，即圖像的水平方向和垂直方向，將方程(23)推廣到平面中，并且用方程(24)表示混合比率α。此外，在圖83中，給定像素用白圓點(diǎn)表示。
α＝j(luò)m+kq+p (24)在方程(24)中，j是給定像素的位置為0時(shí)水平方向上的索引，并且k是垂直方向上的索引。m是混合比率α平面在水平方向上的斜率，并且q是混合比率α平面在垂直方向上的斜率。p是混合比率α平面的截距。
例如，在圖74所示的幀#n中，方程(25)到(27)分別對(duì)于C05到C07成立。
C05＝α05·B05/v+f05(25)C06＝α06·B06/v+f06(26)C07＝α07·B07/v+f07(27)如果位置相近的前景成分相等，即F01到F03相等，并且用Fc替代F01到F03，則可以建立方程(28)。
f(x)＝(1-α(x))·Fc (28)在方程(28)中，x表示空間方向上的位置。
當(dāng)用方程(24)替代α(x)時(shí)，方程(28)可以用方程(29)表示。
f(x)＝(1-(jm+kq+p))·Fc＝j(luò)·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝j(luò)s+kt+u (29)在方程(29)中，如方程(30)到(32)所示對(duì)(-m·Fc)、(-q·Fc)和(1-p)·Fc進(jìn)行替代。
s＝-m·Fc (30)t＝-q·Fc (31)U＝(1-p)·Fc (32)在方程(29)中，j是給定像素的位置為0時(shí)水平方向上的索引，并且k是垂直方向上的索引。
如上所述，由于假定對(duì)應(yīng)于前景的對(duì)象在快門(mén)周期內(nèi)勻速移動(dòng)，并且位置相近的前景成分相同，因此用方程(29)近似前景成分之和。
當(dāng)用直線(xiàn)近似混合比率α?xí)r，可以用方程(33)表示前景成分之和。
f(x)＝is+u(33)如果用方程(24)和(29)替代方程(13)中的混合比率α和前景成分之和，則像素值M用方程(34)表示。
M＝(jm+kq+p)·B+js+kt+u (34)＝j(luò)B·m+kB·q+B·p+j·s+k·t+u在方程(34)中，六個(gè)未知變量為混合比率α平面在水平方向上的斜率m、混合比率α平面在垂直方向上的斜率q以及混合比率α平面的截距p、s、t和u。
根據(jù)鄰近于給定像素的像素替代方程(34)所示正規(guī)方程中的像素值M或像素值B，并且采用最小二乘法求解其中像素值M和像素值B被替代的多個(gè)正規(guī)方程，從而計(jì)算混合比率α。
例如，如果給定像素在水平方向上的索引j為0，垂直方向上的索引k為0，并且用相鄰于給定像素的3×3像素替代方程(34)所示正規(guī)方程中的像素值M或像素值B，則獲得方程(35)到(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1-1·p+(-1)·s+(-1)·t+u (35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(37)
M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (39)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u (41)M0，+1＝(0)·B0，+1·m+(+1)·B0，+1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (43)由于給定像素在水平方向上的索引j為0，并且垂直方向上的索引k為0，因此給定像素的混合比率α等于在方程(24)中j＝0且k＝0時(shí)的值，也就是，截距p。
因此，根據(jù)九個(gè)方程(35)到(43)，通過(guò)使用最小二乘法計(jì)算水平斜率m、垂直斜率q以及截距p、s、t和u的各個(gè)值，然后輸出截距p作為混合比率α。
下一步，將說(shuō)明通過(guò)使用最小二乘法計(jì)算混合比率α的更具體過(guò)程。
如果索引i和索引k用一個(gè)索引x表示，則索引i、索引k和索引x之間的關(guān)系用方程(44)表示。
x＝(j+1)·3+(k+1) (44)水平斜率m、垂直斜率q以及截距p、s、t和u分別用w0、w1、w2、w3、w4和w5表示，并且jB、kB、B、j、k和l分別用a0、a1、a2、a3、a4和a5表示?？紤]到誤差ex，方程(35)到(43)可以修改為方程(45)。Mx=Σy=05ay·wy+ex---(45)]]>在方程(45)中，x是整數(shù)0到8之間的值。
從方程(45)可以得出方程(46)。ex=Mx-Σy=05ay·wy---(46)]]>在此，為使用最小二乘法，誤差平方和E如方程(47)所示進(jìn)行定義。E=Σx=08ex2---(47)]]>為使誤差最小，誤差平方和E對(duì)變量Wv的偏導(dǎo)值應(yīng)為0。在此，v是0到5之間的任一整數(shù)。因此，獲得滿(mǎn)足方程(48)的wy。∂E∂Wv=2·Σx=08ex·∂ex∂Wv---(48)]]>=2·Σx=08ex·av=0]]>如果將方程(46)代入方程(48)，獲得方程(49)。Σx=08(av·Σy=08ay·Wy)=Σx=08av·Mx---(49)]]>例如，對(duì)通過(guò)用0到5之間的一個(gè)整數(shù)替代方程(49)的v而獲得的六個(gè)方程應(yīng)用消元法(Gauss-Jordan消元法)，從而計(jì)算wy。如上所述，w0是水平斜率m，w1是垂直斜率q，w2是截距p，w3是s，w4是t，并且w5是u。
如上所述，通過(guò)對(duì)其中像素值M和像素值B被替代的方程應(yīng)用最小二乘法，可以獲得水平斜率m、垂直斜率q以及截距p、s、t和u。
在方程(35)到(43)的說(shuō)明中，包含在混合區(qū)域中的像素的像素值用M表示，并且包含在背景區(qū)域中的像素的像素值用B表示。然而，需要為給定像素包含在覆蓋背景區(qū)域或非覆蓋背景區(qū)域中的每一種情況分別建立正規(guī)方程。
例如，當(dāng)獲得如圖74所示的包含在幀#n的覆蓋背景區(qū)域中的像素的混合比率α?xí)r，將幀#n像素的像素值C04到C08和幀#n-1像素的像素值P04到P08代入正規(guī)方程。
當(dāng)獲得如圖75所示的包含在幀#n的非覆蓋背景區(qū)域中的像素的混合比率α?xí)r，將幀#n像素的像素值C28到C32和幀#n+1像素的像素值N28到N32代入正規(guī)方程。
此外，例如，當(dāng)計(jì)算如圖85所示的包含在幀#n的覆蓋背景區(qū)域中的像素的混合比率α?xí)r，可以建立方程(50)到(58)。為其計(jì)算混合比率α的像素的像素值為Mc5。而且，在圖85中，白圓點(diǎn)表示背景像素，而黑圓點(diǎn)表示混合區(qū)域像素。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u (50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (51)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u (52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u (54)
Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u (56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u (58)當(dāng)計(jì)算幀#n中包含在覆蓋背景區(qū)域中的像素的混合比率α?xí)r，在方程(50)到(58)中使用對(duì)應(yīng)于幀#n像素的幀#n-1背景區(qū)域像素的像素值Bc1到Bc9。
當(dāng)計(jì)算圖85所示的包含在非覆蓋背景區(qū)域中的像素的混合比率α?xí)r，可以建立方程(59)到(67)。為其計(jì)算混合比率α的像素的像素值為Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u (59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u (61)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u (63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u (65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u (67)當(dāng)計(jì)算幀#n中包含在非覆蓋背景區(qū)域中的像素的混合比率α?xí)r，在方程(59)到(67)中使用對(duì)應(yīng)于幀#n像素的幀#n+1背景區(qū)域像素的像素值Bu1到Bu9。
圖86是估計(jì)混合比率處理器401的結(jié)構(gòu)方框圖。輸入到估計(jì)混合比率處理器401的圖像提供給延遲部分501和加入器502。
延遲電路501對(duì)輸入圖像延遲一幀，并且將它提供給加入器502。當(dāng)幀#n作為輸入圖像提供給加入器502時(shí)，延遲電路501將幀#n-1提供給加入器502。
加入器502在正規(guī)方程中設(shè)置與為其計(jì)算混合比率α的像素相鄰的像素的像素值，以及幀#n-1的像素值。例如，加入器502分別根據(jù)方程(50)到(58)設(shè)置正規(guī)方程中的像素值Mc1到Mc9和像素值Bc1到Bc9。加入器502將其中設(shè)有這些像素值的正規(guī)方程提供給計(jì)算器503。
計(jì)算器503通過(guò)采用消元法等求解從加入器502提供的正規(guī)方程，獲得估計(jì)混合比率，并且輸出所獲得的估計(jì)混合比率。
如上所述，估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率，并且將它提供給混合比率獲得部分403。
此外，由于估計(jì)混合比率處理器402在結(jié)構(gòu)上類(lèi)似于估計(jì)混合比率處理器401，因此略去不述。
圖87示出由估計(jì)混合比率處理器401計(jì)算的估計(jì)混合比率的例子。圖87所示的估計(jì)混合比率表示當(dāng)勻速移動(dòng)的前景對(duì)象的移動(dòng)量v為11時(shí)根據(jù)以7×7像素塊為單位對(duì)一條線(xiàn)生成的方程算出的結(jié)果。
可以看到，估計(jì)混合比率在混合區(qū)域中的變化幾乎是線(xiàn)性的，如圖87所示。
下一步，將參照?qǐng)D88說(shuō)明具有圖86所示結(jié)構(gòu)的估計(jì)混合比率處理器401通過(guò)使用對(duì)應(yīng)于覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理。
在步驟S521，加入器502在對(duì)應(yīng)于覆蓋背景區(qū)域模型的正規(guī)方程中設(shè)置包含在輸入圖像中的像素值以及包含在從延遲電路501提供的圖像中的像素值。
在步驟S522，估計(jì)混合比率處理器401判定是否完成目標(biāo)像素的設(shè)置，并且如果判定尚未完成目標(biāo)像素的設(shè)置，過(guò)程返回到步驟S521，重復(fù)正規(guī)方程中像素值的設(shè)置處理。
在步驟S522，如果判定完成目標(biāo)像素的設(shè)置，過(guò)程進(jìn)入步驟S523，計(jì)算器503根據(jù)其中設(shè)有像素值的正規(guī)方程，計(jì)算估計(jì)混合比率，并且輸出所獲得的估計(jì)混合比率。
如上所述，具有圖86所示結(jié)構(gòu)的估計(jì)混合比率處理器401能夠根據(jù)輸入圖像計(jì)算估計(jì)混合比率。
使用對(duì)應(yīng)于非覆蓋背景區(qū)域的模型而執(zhí)行的混合比率估計(jì)處理類(lèi)似于圖88的流程圖所示的使用對(duì)應(yīng)于覆蓋背景區(qū)域模型的正規(guī)方程而執(zhí)行的處理，因此略去不述。
此外，雖然所說(shuō)明的是對(duì)應(yīng)于背景的對(duì)象為靜止的情況，但是，即使當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)時(shí)，也可以應(yīng)用上述區(qū)域指定處理。例如，當(dāng)對(duì)應(yīng)于背景的圖像恒定移動(dòng)時(shí)，估計(jì)混合比率處理器401可以根據(jù)該移動(dòng)偏移整個(gè)圖像，然后以與對(duì)應(yīng)于背景的對(duì)象為靜止的情況類(lèi)似的方式進(jìn)行處理。此外，當(dāng)對(duì)應(yīng)于背景區(qū)域的圖像包含其他局部運(yùn)動(dòng)時(shí)，估計(jì)混合比率處理器401選擇對(duì)應(yīng)于運(yùn)動(dòng)的像素作為與屬于混合區(qū)域的像素相對(duì)應(yīng)的像素，然后執(zhí)行上述處理。
如上所述，混合比率計(jì)算器104能夠根據(jù)輸入圖像和從區(qū)域指定單元103提供的區(qū)域信息，計(jì)算作為對(duì)應(yīng)于每個(gè)像素的特征量的混合比率α。
通過(guò)使用混合比率α，雖然包含在對(duì)應(yīng)于移動(dòng)對(duì)象的圖像中的運(yùn)動(dòng)模糊信息仍然存在，但是可以分離包含在像素值中的前景成分和背景成分。
此外，如果根據(jù)混合比率α合成圖像，可以生成包含與移動(dòng)對(duì)象速度相適應(yīng)的適量運(yùn)動(dòng)模糊的圖像，以符合真實(shí)世界中的圖像。
下面對(duì)前景/背景分離器105進(jìn)行說(shuō)明。圖89是前景/背景分離器105的結(jié)構(gòu)示例方框圖。提供給前景/背景分離器105的輸入圖像提供給分離部分601、開(kāi)關(guān)602和開(kāi)關(guān)604。從區(qū)域指定單元103提供的表示覆蓋背景區(qū)域的區(qū)域信息和表示非覆蓋背景區(qū)域信息的區(qū)域信息提供給分離部分601。表示前景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)602。表示背景區(qū)域的區(qū)域信息提供給開(kāi)關(guān)604。
從混合比率計(jì)算器104提供的混合比率α提供給分離部分601。
根據(jù)表示覆蓋背景區(qū)域的區(qū)域信息、表示非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α，分離部分601從輸入圖像中分離前景成分，以將分離出的前景成分提供給合成器603，并且從輸入圖像中分離背景成分，以將分離出的背景成分提供給合成器605。
當(dāng)輸入對(duì)應(yīng)于前景的像素時(shí)，根據(jù)表示前景區(qū)域的區(qū)域信息，閉合開(kāi)關(guān)602，并且只將包含在輸入圖像中的對(duì)應(yīng)于前景的像素提供給合成器603。
當(dāng)輸入對(duì)應(yīng)于背景的像素時(shí)，根據(jù)表示背景區(qū)域的區(qū)域信息，閉合開(kāi)關(guān)604，并且只將包含在輸入圖像中的對(duì)應(yīng)于背景的像素提供給合成器605。
合成器603根據(jù)從分離部分601提供的前景成分和從開(kāi)關(guān)602提供的對(duì)應(yīng)于前景的像素，合成前景成分圖像，并且輸出所合成的前景成分圖像。由于前景區(qū)域和混合區(qū)域不重疊，因此合成器603對(duì)前景成分和對(duì)應(yīng)于前景的像素應(yīng)用例如邏輯或操作，從而合成前景成分圖像。
在前景成分圖像合成過(guò)程中首先執(zhí)行的初始過(guò)程中，合成器603在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值全為0的圖像，并且在前景成分圖像合成過(guò)程中，合成器603存儲(chǔ)(覆寫(xiě))前景成分圖像。因此，在從合成器603提供的前景成分圖像中對(duì)應(yīng)于背景區(qū)域的像素存儲(chǔ)0作為像素值。
合成器605根據(jù)從分離部分601提供的背景成分和從開(kāi)關(guān)604提供的對(duì)應(yīng)于背景的像素，合成背景成分圖像，并且輸出所合成的背景成分圖像。由于背景區(qū)域和混合區(qū)域不重疊，因此合成器605對(duì)背景成分和對(duì)應(yīng)于背景的像素應(yīng)用例如邏輯或操作，從而合成背景成分圖像。
在背景成分圖像合成過(guò)程中首先執(zhí)行的初始過(guò)程中，合成器605在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值全為0的圖像，并且在背景成分圖像合成過(guò)程中，合成器605存儲(chǔ)(覆寫(xiě))背景成分圖像。因此，在從合成器605提供的背景成分圖像中對(duì)應(yīng)于前景區(qū)域的像素存儲(chǔ)0作為像素值。
圖90A和90B示出輸入到前景/背景分離器105的輸入圖像以及從前景/背景分離器105輸出的前景成分圖像和背景成分圖像。
圖90A示出所要顯示的圖像的典型圖，并且圖90B示出沿著時(shí)間方向擴(kuò)展對(duì)應(yīng)于圖90A的包括屬于前景區(qū)域的像素、屬于背景區(qū)域的像素和屬于混合區(qū)域的像素的一行像素的模型圖。
如圖90A和90B所示，從前景/背景分離器105輸出的背景成分圖像包括屬于背景區(qū)域的像素和包含在混合區(qū)域像素中的背景成分。
如圖90A和90B所示，從前景/背景分離器105輸出的前景成分圖像包括屬于前景區(qū)域的像素和包含在混合區(qū)域像素中的前景成分。
混合區(qū)域像素的像素值由前景/背景分離器105分離為背景成分和前景成分。分離出的背景成分與屬于背景區(qū)域的像素一起構(gòu)成背景成分圖像。分離出的前景成分與屬于前景區(qū)域的像素一起構(gòu)成前景成分圖像。
如上所述，在前景成分圖像中，對(duì)應(yīng)于背景區(qū)域的像素的像素值為0，并且在對(duì)應(yīng)于前景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置有效像素值。類(lèi)似地，在背景成分圖像中，對(duì)應(yīng)于前景區(qū)域的像素的像素值為0，并且在對(duì)應(yīng)于背景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置有效像素值。
下一步，將對(duì)由分離部分601執(zhí)行的從屬于混合區(qū)域的像素中分離前景成分和背景成分的過(guò)程進(jìn)行說(shuō)明。
圖91是包括與如圖所示從左向右移動(dòng)的對(duì)象相對(duì)應(yīng)的前景且表示兩幀前景成分和背景成分的圖像的模型圖。在圖91所示的圖像模型中，前景的移動(dòng)量v定義為4，并且虛擬劃分?jǐn)?shù)目設(shè)為4。
在幀#n中，最左像素以及左起第十四到第十八像素只包括背景成分，并且屬于背景區(qū)域。在幀#n中，左起第二到四像素包括背景成分和前景成分，并且屬于非覆蓋背景區(qū)域。在幀#n中，左起第十一到第十三像素包括背景成分和前景成分，并且屬于覆蓋背景區(qū)域。在幀#n中，左起第五到第十像素只包括前景成分，并且屬于前景區(qū)域。
在幀#n+1中，左起第一到第五像素以及左起第十八像素只包括背景成分，并且屬于背景區(qū)域。在幀#n+1中，左起第六到八像素包括背景成分和前景成分，并且屬于非覆蓋背景區(qū)域。在幀#n+1中，左起第十五到第十七像素包括背景成分和前景成分，并且屬于覆蓋背景區(qū)域。在幀#n+1中，左起第九到第十四像素只包括前景成分，并且屬于前景區(qū)域。
圖92示出從屬于覆蓋背景區(qū)域的像素中分離前景成分的過(guò)程。在圖92中，α1到α18是對(duì)應(yīng)于幀#n各個(gè)像素的混合比率。在圖92中，左起第十五到第十七像素屬于覆蓋背景區(qū)域。
幀#n中左起第十五像素的像素值C15用方程(68)表示。
C15＝B15/v+F09/v+F08/v+F07/v (68)＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v在此，α15是幀#n中左起第十五像素的混合比率。P15是幀#n-1中左起第十五像素的像素值。
根據(jù)方程(68)，幀#n中左起第十五像素的前景成分之和f15用方程(69)表示。
f15＝F09/v+F08/v+F07/v (69)＝C15-α15·P15類(lèi)似地，幀#n中左起第十六像素的前景成分之和f16用方程(70)表示，并且?guī)?n中左起第十七像素的前景成分之和f17用方程(71)表示。
f16＝C16-α16·P16 (70)f17＝C17-α17·P17 (71)如上所述，包含在屬于覆蓋背景區(qū)域的像素的像素值C中的前景成分fc用方程(72)計(jì)算。
fc＝C-α·P(72)P是前一幀中對(duì)應(yīng)像素的像素值。
圖93示出從屬于非覆蓋背景區(qū)域的像素中分離前景成分的過(guò)程。在圖93中，α1到α18是對(duì)應(yīng)于幀#n各個(gè)像素的混合比率。在圖93中，左起第二到第四像素屬于非覆蓋背景區(qū)域。
幀#n中左起第二像素的像素值C02用方程(73)表示。
C02＝B02/v+B02/v+B02/v+F01/v(73)＝α2·B02+F01/v＝α2·N02+F01/v在此，α2是幀#n中左起第二像素的混合比率。N02是幀#n-1中左起第二像素的像素值。
根據(jù)方程(73)，幀#n中左起第二像素的前景成分之和f02用方程(74)表示。
f02＝F01/v (74)＝C02-α2·N02類(lèi)似地，幀#n中左起第三像素的前景成分之和f03用方程(75)表示，并且?guī)?n中左起第四像素的前景成分之和f04用方程(76)表示。
f03＝C03-α3·N03 (75)f04＝C04-α4·N04 (76)這樣，包含在屬于非覆蓋背景區(qū)域的像素的像素值C中的前景成分fu用方程(77)計(jì)算。
fu＝C-α·N (77)N是后一幀中對(duì)應(yīng)像素的像素值。
如上所述，分離部分601能夠根據(jù)包含在區(qū)域信息中的表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的信息以及每個(gè)像素的混合比率α，從屬于混合區(qū)域的像素中分離前景成分和背景成分。
圖94是用于執(zhí)行上述處理的分離部分601的結(jié)構(gòu)示例方框圖。輸入到分離部分601的圖像提供給幀存儲(chǔ)器621，并且從混合比率計(jì)算器104提供的表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α提供給分離處理塊622。
幀存儲(chǔ)器621以幀為單位存儲(chǔ)輸入圖像。當(dāng)處理目標(biāo)為幀#n時(shí)，幀存儲(chǔ)器621存儲(chǔ)幀#n-1(幀#n的前一幀)、幀#n和幀#n+1(幀#n的后一幀)。
幀存儲(chǔ)器621將對(duì)應(yīng)于幀#n-1、幀#n和幀#n+1的像素提供給分離處理塊622。
分離處理塊622通過(guò)對(duì)從幀存儲(chǔ)器621提供的對(duì)應(yīng)于幀#n-1、幀#n和幀#n+1的像素的像素值應(yīng)用圖92和93所述的計(jì)算操作，根據(jù)表示覆蓋背景區(qū)域和非覆蓋背景區(qū)域的區(qū)域信息以及混合比率α，從屬于幀#n的混合區(qū)域的像素中分離前景成分和背景成分，并且將它們提供給幀存儲(chǔ)器623。
分離處理塊622由非覆蓋區(qū)域處理器631、覆蓋區(qū)域處理器632、合成器633和合成器634組成。
非覆蓋區(qū)域處理器631的乘法器641將從幀存儲(chǔ)器621提供的幀#n+1像素的像素值與混合比率α進(jìn)行相乘，并且將結(jié)果輸出到開(kāi)關(guān)642。當(dāng)從幀存儲(chǔ)器621提供的幀#n像素(對(duì)應(yīng)于幀#n+1像素)屬于非覆蓋背景區(qū)域時(shí)，閉合開(kāi)關(guān)642，并且將從乘法器641提供的通過(guò)相乘像素值與混合比率α而獲得的值提供給計(jì)算器643和合成器634。從開(kāi)關(guān)642輸出的通過(guò)相乘幀#n+1像素的像素值與混合比率α而獲得的值等于對(duì)應(yīng)于幀#n的像素的像素值的背景成分。
計(jì)算器643從由幀存儲(chǔ)器621提供的幀#n像素的像素值中減去從開(kāi)關(guān)642提供的背景成分，從而獲得前景成分，并且將屬于非覆蓋背景區(qū)域的幀#n像素的前景成分提供給合成器633。
覆蓋區(qū)域處理器632的乘法器651將從幀存儲(chǔ)器621提供的幀#n-1像素的像素值與混合比率α進(jìn)行相乘，并且將結(jié)果輸出到開(kāi)關(guān)652。當(dāng)從幀存儲(chǔ)器621提供的幀#n像素(對(duì)應(yīng)于幀#n-1像素)屬于覆蓋背景區(qū)域時(shí)，閉合開(kāi)關(guān)652，并且將從乘法器651提供的通過(guò)相乘像素值與混合比率α而獲得的值提供給計(jì)算器653和合成器634。從開(kāi)關(guān)652輸出的通過(guò)相乘幀#n-1像素的像素值與混合比率α而獲得的值等于對(duì)應(yīng)于幀#n像素的像素值的背景成分。
計(jì)算器653從由幀存儲(chǔ)器621提供的幀#n像素的像素值中減去從開(kāi)關(guān)652提供的背景成分，從而獲得前景成分，并且將屬于覆蓋背景區(qū)域的幀#n像素的前景成分提供給合成器633。
合成器633合成屬于非覆蓋背景區(qū)域且從計(jì)算器643提供的幀#n像素的前景成分與屬于覆蓋背景區(qū)域且從計(jì)算器653提供的幀#n像素的前景成分，然后將結(jié)果提供給幀存儲(chǔ)器623。
合成器634合成屬于非覆蓋背景區(qū)域且從開(kāi)關(guān)642提供的幀#n像素的背景成分與屬于覆蓋背景區(qū)域且從開(kāi)關(guān)652提供的幀#n像素的背景成分，然后將結(jié)果提供給幀存儲(chǔ)器623。
幀存儲(chǔ)器623分別存儲(chǔ)從分離處理塊622提供的幀#n混合區(qū)域像素的前景成分和背景成分。
幀存儲(chǔ)器623輸出所存儲(chǔ)的幀#n混合區(qū)域像素的前景成分和背景成分。
通過(guò)使用作為特征量的混合比率α，可以完美地分離包含在像素值中的前景成分和背景成分。
合成器603合成從分離部分601輸出的幀#n混合區(qū)域像素的前景成分和屬于前景區(qū)域的像素，從而生成前景成分圖像。合成器605合成從分離部分601輸出的幀#n混合區(qū)域像素的背景成分和屬于背景區(qū)域的像素，從而生成背景成分圖像。
圖95A和95B是與圖91的幀#n相對(duì)應(yīng)的前景成分圖像和背景成分圖像的示例圖。
圖95A示出與圖91的幀#n相對(duì)應(yīng)的前景成分圖像的例子。由于在分離前景和背景之前，最左像素和左起第十四像素只包括背景成分，因此它們各自的像素值為0。
在分離前景和背景之前，左起第二到第四像素屬于非覆蓋背景區(qū)域。因此，它們各自的背景成分為0，并且它們各自的前景成分保持不變。在分離前景和背景之前，左起第十一到第十三像素屬于覆蓋背景區(qū)域。因此，它們各自的背景成分為0，并且它們各自的前景成分保持不變。由于左起第五到第十像素只包括前景成分，因此它們各自的像素值保持不變。
圖95B示出與圖91的幀#n相對(duì)應(yīng)的背景成分圖像的例子。在分離前景和背景之前，最左像素以及左起第十四像素只包括背景成分，因此它們各自的背景成分保持不變。
在分離前景和背景之前，左起第二到第四像素屬于非覆蓋背景區(qū)域。因此，它們各自的前景成分為0，并且它們各自的背景成分保持不變。在分離前景和背景之前，左起第十一到第十三像素屬于覆蓋背景區(qū)域。因此，它們各自的前景成分為0，并且它們各自的背景成分保持不變。由于左起第五到第十像素只包括前景成分，因此它們各自的像素值為0。
下一步，將參照?qǐng)D96的流程圖對(duì)前景/背景分離器105的前景和背景分離過(guò)程進(jìn)行說(shuō)明。在步驟S601，分離部分601的幀存儲(chǔ)器621獲取輸入圖像，并且與前一幀#n-1和后一幀#n+1一起存儲(chǔ)為其分離前景和背景的給定幀#n。
在步驟S602，分離部分601的分離處理塊622獲取從混合比率計(jì)算器104提供的區(qū)域信息。在步驟S603，分離部分601的分離處理塊622獲取從混合比率計(jì)算器104提供的混合比率α。
在步驟S604，非覆蓋區(qū)域處理器631根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于非覆蓋背景區(qū)域的像素的像素值中提取背景成分。
在步驟S605，非覆蓋區(qū)域處理器631根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于非覆蓋背景區(qū)域的像素的像素值中提取前景成分。
在步驟S606，覆蓋區(qū)域處理器632根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取背景成分。
在步驟S607，覆蓋區(qū)域處理器632根據(jù)區(qū)域信息和混合比率α，從由幀存儲(chǔ)器621提供的屬于覆蓋背景區(qū)域的像素的像素值中提取前景成分。
在步驟S608，合成器633合成在步驟S605的處理中提取的屬于非覆蓋背景區(qū)域的像素的前景成分與在步驟S607的處理中提取的屬于覆蓋背景區(qū)域的像素的前景成分。所合成的前景成分提供給合成器603。合成器603進(jìn)一步合成通過(guò)開(kāi)關(guān)602提供的屬于前景區(qū)域的像素和從分離部分601提供的前景成分，然后生成前景成分圖像。
在步驟S609，合成器634合成在步驟S604的處理中提取的屬于非覆蓋背景區(qū)域的像素的背景成分與在步驟S606的處理中提取的屬于覆蓋背景區(qū)域的像素的背景成分。所合成的背景成分提供給合成器605。合成器605進(jìn)一步合成通過(guò)開(kāi)關(guān)604提供的屬于背景區(qū)域的像素和從分離部分601提供的背景成分，然后生成背景成分圖像。
在步驟S610，合成器603輸出前景成分圖像。在步驟S611，合成器605輸出背景成分圖像，然后處理結(jié)束。
如上所述，前景/背景分離器105能夠根據(jù)區(qū)域信息和混合比率α從輸入圖像中分離前景成分和背景成分，并且輸出只包括前景成分的前景成分圖像和只包括背景成分的背景成分圖像。
下一步，將說(shuō)明調(diào)整前景成分圖像的運(yùn)動(dòng)模糊量的調(diào)整過(guò)程。
圖97是運(yùn)動(dòng)模糊調(diào)整單元106的結(jié)構(gòu)示例方框圖。從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息提供給處理單元確定部分801、模型形成部分802和計(jì)算器805。從區(qū)域指定單元103提供的區(qū)域信息提供給處理單元確定部分801。從前景/背景分離器105提供的前景成分圖像提供給加入器804。
處理單元確定部分801根據(jù)運(yùn)動(dòng)向量及其位置信息以及區(qū)域信息生成處理單元，然后將所生成的處理單元提供給模型形成部分802和加入器804。
如圖98所示，由處理單元確定部分801生成的處理單元A表示從對(duì)應(yīng)于前景成分圖像的覆蓋背景區(qū)域的像素開(kāi)始直至對(duì)應(yīng)于非覆蓋背景區(qū)域的像素結(jié)束的在移動(dòng)方向上排列成一行的連續(xù)像素，或者表示從對(duì)應(yīng)于非覆蓋背景區(qū)域的像素開(kāi)始直至對(duì)應(yīng)于覆蓋背景區(qū)域的像素結(jié)束的在移動(dòng)方向上排列成一行的連續(xù)像素。例如，處理單元A由左上點(diǎn)(屬于處理單元且位于最左或最上端的像素的圖像位置)數(shù)據(jù)和右下點(diǎn)數(shù)據(jù)構(gòu)成。
模型形成部分802根據(jù)運(yùn)動(dòng)向量和輸入處理單元A執(zhí)行模型形成。更具體地說(shuō)，例如，模型形成部分802根據(jù)包含在處理單元A中的像素?cái)?shù)目、像素值在時(shí)間方向上的虛擬劃分?jǐn)?shù)目以及每個(gè)像素的前景成分?jǐn)?shù)目，預(yù)先存儲(chǔ)多個(gè)模型，然后根據(jù)處理單元A和像素值在時(shí)間方向上的虛擬劃分?jǐn)?shù)目，選擇圖99所示的與像素值和前景成分相對(duì)應(yīng)的指定模型。
例如，如果處理單元A的像素?cái)?shù)目為12，并且快門(mén)時(shí)間內(nèi)的移動(dòng)量v為5，則模型形成部分802選擇總共由八個(gè)前景成分構(gòu)成的模型，其中，虛擬劃分?jǐn)?shù)目為5，最左像素包含一個(gè)前景成分，左起第二像素包含兩個(gè)前景成分，左起第三像素包含三個(gè)前景成分，左起第四像素包含四個(gè)前景成分，左起第五像素包含五個(gè)前景成分，左起第六像素包含五個(gè)前景成分，左起第七像素包含五個(gè)前景成分，左起第八像素包含五個(gè)前景成分，左起第九像素包含四個(gè)前景成分，左起第十像素包含三個(gè)前景成分，左起第十一像素包含兩個(gè)前景成分，并且左起第十二像素包含一個(gè)前景成分。
此外，當(dāng)提供運(yùn)動(dòng)向量和處理單元時(shí)，模型形成部分802可以不從預(yù)先存儲(chǔ)的模型中選擇一個(gè)模型，而可以根據(jù)運(yùn)動(dòng)向量和處理單元生成一個(gè)模型。
模型形成部分802將所選模型提供給方程生成器803。
方程生成器803根據(jù)從模型形成部分802提供的模型生成方程。參照?qǐng)D99的前景成分圖像模型，當(dāng)前景成分?jǐn)?shù)目為8，對(duì)應(yīng)于處理單元A的像素?cái)?shù)目為12，移動(dòng)量v為5并且虛擬劃分?jǐn)?shù)目為5時(shí)，說(shuō)明由方程生成器803生成的下列方程。
當(dāng)對(duì)應(yīng)于快門(mén)時(shí)間/v的包含在前景成分圖像中的前景成分為F01/v到F08/v時(shí)，F(xiàn)01/v到F08/v與像素值C01到C12之間的關(guān)系用方程(78)到(89)表示。
C01＝F01/v (78)C02＝F02/v+F01/v (79)C03＝F03/v+F02/v+F01/v (80)C04＝F04/v+F03/v+F02/v+F01/v (81)
C05＝F05/v+F04/v+F03/v+F02/v+F01/v (82)C06＝F06/v+F05/v+F04/v+F03/v+F02/v (83)C07＝F07/v+F06/v+F05/v+F04/v+F03/v (84)C08＝F08/v+F07/v+F06/v+F05/v+F04/v (85)C09＝F08/v+F07/v+F06/v+F05/v (86)C10＝F08/v+F07/v+F06/v (87)C11＝F08/v+F07/v (88)C12＝F08/v (89)通過(guò)改寫(xiě)所生成的方程，方程生成器803生成另一組方程。由方程生成器803生成的另一組方程用方程(90)到方程(101)表示。
C01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(90)+0·F06/v+0·F07/v+0·F08/vC02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v(91)+0·F06/v+0·F07/v+0·F08/vC03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v(92)+0·F06/v+0·F07/v+0·F08/vC04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v(93)+0·F06/v+0·F07/v+0·F08/vC05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v(94)+0·F06/v+0·F07/v+0·F08/vC06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v(95)+1·F06/v+0·F07/v+0·F08/vC07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v(96)+1·F06/v+1·F07/v+0·F08/vC08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v(97)+1·F06/v+1·F07/v+1·F08/vC09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v(98)+1·F06/v+1·F07/v+1·F08/vC10＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(99)+1·F06/v+1·F07/v+1·F08/vC11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(100)
+0·F06/v+1·F07/v+1·F08/vC12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v(101)+0·F06/v+0·F07/v+1·F08/v方程(90)到(101)可以表示為方程(102)Cj=Σi=0108aij·Fi/v---(102)]]>在方程(102)中，j表示像素的位置。在本例中，j的取值范圍為1到12。此外，i表示前景值的位置。在本例中，i的取值范圍為1到8。aij根據(jù)i和j的值為0或1。
將誤差考慮在內(nèi)，方程(102)表示為方程(103)。Cj=Σi=0108aij·Fi/v+ej---(103)]]>在方程(103)中，ej為包含在給定像素Cj中的誤差。方程(103)可以再次表示為方程(104)。ej=Cj-Σi=0108aij·Fi/v---(104)]]>在此，為應(yīng)用最小二乘法，如方程(105)所示定義誤差平方和E。E=Σj=0112ej2---(105)]]>為使誤差最小，誤差平方和E對(duì)變量Fk的偏導(dǎo)值應(yīng)為0。獲得滿(mǎn)足方程(106)的Fk。∂E∂Fk=2·Σj=0112ej·∂ej∂Fk]]>=2·Σj=0112{(Cj-Σi=0108aij·Fi/v)·(-akj/v)}=0---(106)]]>在方程(106)中，由于移動(dòng)量v為固定值，因此可以推導(dǎo)出方程(107)Σj=0112akj·(cj-Σi=0108aij·Fi/v)=0---(107)]]>通過(guò)將方程(107)展開(kāi)并且進(jìn)行移項(xiàng)，獲得方程(108)Σj=012(akj·Σi=0108aij·Fi)=v·Σj=0112akj·Cj---(108)]]>通過(guò)分別用1到8之間的一個(gè)整數(shù)替代方程(108)中的k，方程(108)展開(kāi)為8個(gè)方程。所獲得的8個(gè)方程可以表示為一個(gè)矩陣方程，并且該方程稱(chēng)作正規(guī)方程(norma1 equation)。
根據(jù)最小二乘法由方程生成器803生成的正規(guī)方程的一個(gè)例子如方程(109)所示 如果方程(109)表示為A·F＝v·C，C、A和v是已知的，而F是未知的。A和v在模型形成的時(shí)候是已知的，而C是在加入操作中通過(guò)輸入像素值而得知的。
通過(guò)使用基于最小二乘法的正規(guī)方程計(jì)算前景成分，可以分散包含在像素C中的誤差。
方程生成器803將如上所述生成的正規(guī)方程提供給加入器804。
根據(jù)從處理單元確定部分801提供的處理單元，加入器804在從方程生成器803提供的矩陣方程中，設(shè)置包含在前景成分圖像中的像素值C。加入器804將其中設(shè)有像素值C的矩陣提供給計(jì)算器805。
計(jì)算器805通過(guò)基于消元法如Gauss-Jordan消元法的處理，計(jì)算消除了運(yùn)動(dòng)模糊的前景成分Fi/v，計(jì)算與消除了運(yùn)動(dòng)模糊的索引為i的前景像素值相對(duì)應(yīng)的Fi，其中，i為0到8之間的整數(shù)，然后將消除了運(yùn)動(dòng)模糊的前景成分圖像與算出的像素值Fi一起輸出到運(yùn)動(dòng)模糊加入器806和選擇器807。
此外，如圖100所示，為使前景成分圖像的位置相對(duì)于屏幕不發(fā)生改變，分別將F01到F08設(shè)到消除了運(yùn)動(dòng)模糊的前景成分圖像中的C03到C10。然而，它可以對(duì)應(yīng)于任意位置。
運(yùn)動(dòng)模糊加入器806可以通過(guò)加入不同于移動(dòng)量v的運(yùn)動(dòng)模糊調(diào)整量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量，例如，運(yùn)動(dòng)模糊調(diào)整量v′是移動(dòng)量v的一半，或者與移動(dòng)量v無(wú)關(guān)。例如，如圖101所示，運(yùn)動(dòng)模糊加入器806將消除了運(yùn)動(dòng)模糊的前景像素值Fi除以運(yùn)動(dòng)模糊調(diào)整量v′，從而計(jì)算前景成分Fi/v′，對(duì)前景成分Fi/v′進(jìn)行求和，然后生成經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的像素值。例如，當(dāng)運(yùn)動(dòng)模糊調(diào)整量為3時(shí)，像素值C02為(F01)/v′，像素值C03為(F01+F02)/v′，像素值C04為(F01+F02+F03)/v′，并且像素值C05為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加入器806將經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像提供給選擇器807。
選擇器807根據(jù)由用戶(hù)選擇的選擇信號(hào)，選擇從計(jì)算器805提供的消除了運(yùn)動(dòng)模糊的前景成分圖像和從運(yùn)動(dòng)模糊加入器806提供的經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像的其中之一，然后輸出所選的前景成分圖像。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠根據(jù)選擇信號(hào)和運(yùn)動(dòng)模糊調(diào)整量v′調(diào)整運(yùn)動(dòng)模糊量。
而且，例如，如圖102所示，當(dāng)對(duì)應(yīng)于處理單元的像素?cái)?shù)目為8，并且移動(dòng)量v為4時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106生成方程(110)所示的矩陣方程。 運(yùn)動(dòng)模糊調(diào)整單元106生成對(duì)應(yīng)于處理單元長(zhǎng)度所需數(shù)目的方程，并且計(jì)算經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的像素值Fi。以相同的方式，當(dāng)包含在處理單元中的像素?cái)?shù)目例如為100時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)包括100個(gè)像素的處理單元，生成相應(yīng)數(shù)目的方程，然后計(jì)算Fi。
圖103是運(yùn)動(dòng)模糊調(diào)整單元106的另一結(jié)構(gòu)圖。與圖97相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
根據(jù)選擇信號(hào)，選擇單元821將輸入運(yùn)動(dòng)向量及其位置信號(hào)按原樣提供給處理單元確定部分801和模型形成部分802，或者將運(yùn)動(dòng)向量的大小替換為運(yùn)動(dòng)模糊調(diào)整量v′，然后將替換量v′及其位置信號(hào)提供給處理單元確定部分801和模型形成部分802。
通過(guò)如此操作，圖103中的運(yùn)動(dòng)模糊調(diào)整單元106的處理單元確定部分801到計(jì)算器805能夠根據(jù)移動(dòng)量v和運(yùn)動(dòng)模糊調(diào)整量v′，調(diào)整運(yùn)動(dòng)模糊量。例如，當(dāng)移動(dòng)量v為5并且運(yùn)動(dòng)模糊調(diào)整量v′為3時(shí)，圖103中的運(yùn)動(dòng)模糊調(diào)整單元106的處理單元確定部分801到計(jì)算器805根據(jù)與等于3的運(yùn)動(dòng)模糊調(diào)整量v′相對(duì)應(yīng)的圖101所示的模型，對(duì)移動(dòng)量v為5的前景成分圖像執(zhí)行計(jì)算，然后計(jì)算包含與(移動(dòng)量v)/(運(yùn)動(dòng)模糊調(diào)整量v′)＝5/3，約等于1.7相對(duì)應(yīng)的運(yùn)動(dòng)模糊的圖像。此外，在這種情況下，由于算出的圖像不包含與等于3的移動(dòng)量v相對(duì)應(yīng)的運(yùn)動(dòng)模糊，因此需要注意，運(yùn)動(dòng)模糊加入器806的結(jié)果不同于移動(dòng)量v與運(yùn)動(dòng)模糊調(diào)整量v′之間的關(guān)系。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)移動(dòng)量v和處理單元生成方程，并且在所生成的方程中設(shè)置前景成分圖像的像素值，然后計(jì)算經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像。
下一步，將參照?qǐng)D104的流程圖對(duì)由運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的調(diào)整包含在前景成分圖像中的運(yùn)動(dòng)模糊量的過(guò)程進(jìn)行說(shuō)明。
在步驟S801，運(yùn)動(dòng)模糊調(diào)整單元106的處理單元確定部分801根據(jù)運(yùn)動(dòng)向量及其位置信息，生成處理單元，并且將所生成的處理單元提供給模型形成部分802。
在步驟S802，運(yùn)動(dòng)模糊調(diào)整單元106的模型形成部分802根據(jù)移動(dòng)量v和處理單元，選擇或生成一個(gè)模型。在步驟S803，方程生成器803根據(jù)所選的模型，生成正規(guī)方程。
在步驟S804，加入器804在所生成的正規(guī)方程中設(shè)置前景成分圖像的像素值。在步驟S805，加入器804判定是否已設(shè)置與處理單元相對(duì)應(yīng)的所有像素的像素值，并且如果判定尚未設(shè)置與處理單元相對(duì)應(yīng)的所有像素的像素值，過(guò)程返回到步驟S804，重復(fù)在正規(guī)方程中設(shè)置像素值的處理。
在步驟S805，如果加入器804判定已設(shè)置與處理單元相對(duì)應(yīng)的所有像素的像素值，過(guò)程進(jìn)入步驟S806，計(jì)算器805根據(jù)其中設(shè)有由加入器804提供的像素值的正規(guī)方程，計(jì)算經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景像素值，并且過(guò)程結(jié)束。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠根據(jù)運(yùn)動(dòng)向量及其位置信息，調(diào)整包含運(yùn)動(dòng)模糊的前景圖像中的運(yùn)動(dòng)模糊量。
也就是，可以調(diào)整包含在作為樣本數(shù)據(jù)的像素值中的運(yùn)動(dòng)模糊量。
圖105是運(yùn)動(dòng)模糊調(diào)整單元106的另一結(jié)構(gòu)示例方框圖。從運(yùn)動(dòng)檢測(cè)器102提供的運(yùn)動(dòng)向量及其位置信息提供給處理單元確定部分901和調(diào)整部分905，并且從區(qū)域指定單元103提供的區(qū)域信息提供給處理單元確定部分901。從前景/背景分離器105提供的前景成分圖像提供給計(jì)算器904。
處理單元確定部分901根據(jù)運(yùn)動(dòng)向量及其位置信息以及區(qū)域信息生成處理單元，然后將所生成的處理單元與運(yùn)動(dòng)向量一起提供給模型形成部分902。
模型形成部分902根據(jù)運(yùn)動(dòng)向量和輸入處理單元執(zhí)行模型形成。更具體地說(shuō)，例如，模型形成部分902根據(jù)包含在處理單元中的像素?cái)?shù)目、像素值在時(shí)間方向上的虛擬劃分?jǐn)?shù)目以及每個(gè)像素的前景成分?jǐn)?shù)目，預(yù)先存儲(chǔ)多個(gè)模型，然后根據(jù)處理單元和像素值在時(shí)間方向上的虛擬劃分?jǐn)?shù)目，選擇圖106所示的與像素值和前景成分相對(duì)應(yīng)的指定模型。
例如，如果對(duì)應(yīng)于處理單元的像素?cái)?shù)目為12，并且移動(dòng)量v為5，則模型形成部分902選擇總共由八個(gè)前景成分構(gòu)成的模型，其中，虛擬劃分?jǐn)?shù)目為5，最左像素包含一個(gè)前景成分，左起第二像素包含兩個(gè)前景成分，左起第三像素包含三個(gè)前景成分，左起第四像素包含四個(gè)前景成分，左起第五像素包含五個(gè)前景成分，左起第六像素包含五個(gè)前景成分，左起第七像素包含五個(gè)前景成分，左起第八像素包含五個(gè)前景成分，左起第九像素包含四個(gè)前景成分，左起第十像素包含三個(gè)前景成分，左起第十一像素包含兩個(gè)前景成分，并且左起第十二像素包含一個(gè)前景成分。
此外，當(dāng)提供運(yùn)動(dòng)向量和處理單元時(shí)，模型形成部分902可以不從預(yù)先存儲(chǔ)的模型中選擇一個(gè)模型，而是根據(jù)運(yùn)動(dòng)向量和處理單元生成一個(gè)模型。
方程生成器903根據(jù)從模型形成部分902提供的模型生成方程。
參照?qǐng)D106到108所示的前景成分圖像模型，當(dāng)前景成分?jǐn)?shù)目為8，對(duì)應(yīng)于處理單元的像素?cái)?shù)目為12并且移動(dòng)量v為5時(shí)，說(shuō)明由方程生成器903生成的方程的例子。
當(dāng)包含在前景成分圖像中的對(duì)應(yīng)于(快門(mén)時(shí)間)/v的前景成分為F01/v到F08/v時(shí)，F(xiàn)01/v到F08/v與像素值C01到C12之間的關(guān)系如前所述用方程(78)到(89)表示。
考慮像素值C12和C11，像素值C12如方程(111)所示，只包括前景成分F08/v，并且像素值C11包括前景成分F08/v與F07/v之和。因此，可以根據(jù)方程(112)得到前景成分F07/v。
F08/v＝C12(111)F07/v＝C11-C12(112)以相同方式，參考包含在像素值C10和C01中的前景成分，可以分別通過(guò)方程(113)到(118)得到前景成分F06/v到F01/v。
F06/v＝C10-C11(113)F05/v＝C09-C10(114)F04/v＝C08-C09(115)F03/v＝C07-C08+C12(116)F02/v＝C06-C07+C11-C12(117)F01/v＝C05-C06+C10-C11(118)方程生成器903通過(guò)使用方程(111)到(118)所示的像素值之間的差值，生成用于計(jì)算前景成分的方程。方程生成器903將所生成的方程提供給計(jì)算器904。
計(jì)算器904根據(jù)其中設(shè)有前景成分圖像的像素值的從方程生成器903提供的方程，計(jì)算前景成分。例如，當(dāng)從方程生成器903提供方程(111)到(118)時(shí)，將像素值C05到C12代入方程(111)到(118)。
計(jì)算器904根據(jù)其中設(shè)有像素值的方程計(jì)算前景成分。例如，如圖107所示，計(jì)算器904根據(jù)基于其中設(shè)有像素值C05到C12的方程(111)到(118)的計(jì)算操作，計(jì)算前景成分F01/v到F08/v。計(jì)算器904將前景成分F01/v到F08/v提供給調(diào)整部分905。
調(diào)整部分905將從計(jì)算器904提供的前景成分與從處理單元確定部分901提供的包含在運(yùn)動(dòng)向量中的移動(dòng)量v進(jìn)行相乘，從而計(jì)算消除了運(yùn)動(dòng)模糊的前景像素值。例如，當(dāng)如圖108所示提供從計(jì)算器904提供的前景成分F01/v到F08/v時(shí)，調(diào)整部分905將每個(gè)前景成分F01/v到F08/v與等于5的移動(dòng)量v進(jìn)行相乘，從而計(jì)算消除了運(yùn)動(dòng)模糊的前景像素值F01到F08，。
調(diào)整部分905將算出的由消除了運(yùn)動(dòng)模糊的前景像素值構(gòu)成的前景成分圖像提供給運(yùn)動(dòng)模糊加入器906和選擇器907。
運(yùn)動(dòng)模糊加入器906可以用運(yùn)動(dòng)模糊調(diào)整量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量，其中，例如，運(yùn)動(dòng)模糊調(diào)整量v′不同于移動(dòng)量v且是移動(dòng)量v值的一半，或者運(yùn)動(dòng)模糊調(diào)整量v′與移動(dòng)量v值無(wú)關(guān)。例如，如圖101所示，運(yùn)動(dòng)模糊加入器906將消除了運(yùn)動(dòng)模糊的前景像素值Fi除以運(yùn)動(dòng)模糊調(diào)整量v′，從而計(jì)算前景成分Fi/v′，計(jì)算前景成分Fi/v′之和，然后生成經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的像素值。例如，當(dāng)運(yùn)動(dòng)模糊調(diào)整量v′為3時(shí)，像素值C02為(F01)/v′，像素值C03為(F01+F02)/v′，像素值C04為(F01+F02+F03)/v′，并且像素值C05為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加入器906將經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像提供給選擇器907。
選擇器907例如根據(jù)對(duì)應(yīng)于用戶(hù)選擇的選擇信號(hào)，選擇從調(diào)整部分905提供的消除了運(yùn)動(dòng)模糊的前景成分圖像和從運(yùn)動(dòng)模糊加入器906提供的經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像的其中之一，然后輸出所選的前景成分圖像。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠根據(jù)選擇信號(hào)和運(yùn)動(dòng)模糊調(diào)整量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量。
下一步，將參照?qǐng)D109的流程圖對(duì)由具有圖105所示結(jié)構(gòu)的運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的調(diào)整前景運(yùn)動(dòng)模糊量的過(guò)程進(jìn)行說(shuō)明。
在步驟S901，運(yùn)動(dòng)模糊調(diào)整單元106的處理單元確定部分901根據(jù)運(yùn)動(dòng)向量和區(qū)域信息生成處理單元，然后將所生成的處理單元提供給模型形成部分902和調(diào)整部分905。
在步驟S902，運(yùn)動(dòng)模糊調(diào)整單元106的模型形成部分902根據(jù)移動(dòng)量v和處理單元，選擇或生成一個(gè)模型。在步驟S903，方程生成器903根據(jù)所選擇或所生成的模型，生成用于根據(jù)前景成分像素值之間的差值計(jì)算前景成分的方程。
在步驟S904，計(jì)算器904在所生成的方程中設(shè)置前景成分圖像的像素值，并且根據(jù)其中設(shè)有像素的方程，通過(guò)使用像素值之間的差值，提取前景成分。在步驟S905，計(jì)算器904確定是否已提取對(duì)應(yīng)于處理單元的所有前景成分，并且如果確定尚未提取對(duì)應(yīng)于處理單元的所有前景成分，過(guò)程返回到步驟S904，重復(fù)前景成分提取處理。
在步驟S905，如果確定已提取對(duì)應(yīng)于處理單元的所有前景成分，過(guò)程進(jìn)入步驟S906，調(diào)整部分905根據(jù)移動(dòng)量v校正從計(jì)算器904提供的每個(gè)前景成分F01/v到F08/v，然后計(jì)算消除了運(yùn)動(dòng)模糊的像素值F01/v到F08/v。
在步驟S907，運(yùn)動(dòng)模糊加入器906計(jì)算經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景像素值，選擇器907選擇消除了運(yùn)動(dòng)模糊的圖像或者經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的圖像，并且輸出所選的圖像，然后過(guò)程完成。
如上所述，具有圖105所示結(jié)構(gòu)的的運(yùn)動(dòng)模糊調(diào)整單元106能夠通過(guò)更簡(jiǎn)單的操作，更快速地調(diào)整包含運(yùn)動(dòng)模糊的前景圖像的運(yùn)動(dòng)模糊。
消除運(yùn)動(dòng)模糊的傳統(tǒng)方法如Wiener濾波器等在理想狀態(tài)下是有效的，但是對(duì)于包含噪聲的量化實(shí)際圖像不起作用。然而，具有圖105所示結(jié)構(gòu)的運(yùn)動(dòng)模糊調(diào)整單元106對(duì)于包含噪聲的量化實(shí)際圖像是足夠有效的，并且可以準(zhǔn)確地消除運(yùn)動(dòng)模糊。
如上所述，具有圖27所示結(jié)構(gòu)的分離服務(wù)器11能夠調(diào)整屬于輸入圖像的運(yùn)動(dòng)模糊量。
圖110是分離服務(wù)器11的另一結(jié)構(gòu)方框圖。
與圖27相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
區(qū)域指定單元103將區(qū)域信息提供給混合比率計(jì)算器104和合成器1001。
混合比率計(jì)算器104將混合比率α提供給前景/背景分離器105和合成器1001。
前景/背景分離器105將前景成分圖像提供給合成器1001。
合成器1001根據(jù)從混合比率計(jì)算器104提供的混合比率α和從區(qū)域指定單元103提供的區(qū)域信息，合成任意背景圖像與從前景/背景分離器105提供的前景成分圖像，然后輸出對(duì)應(yīng)于背景圖像或前景成分圖像的合成圖像。
圖111是合成器1001的結(jié)構(gòu)圖。背景成分生成器1021根據(jù)混合比率α和任意背景圖像生成背景成分圖像，然后將所生成的背景成分圖像提供給混合區(qū)域圖像合成部分1022。
混合區(qū)域圖像合成部分1022合成從背景成分生成器1021提供的背景成分圖像與前景成分圖像，從而生成混合區(qū)域合成圖像，然后將所生成的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成部分1023根據(jù)區(qū)域信息合成前景成分圖像、從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像、以及任意背景圖像，并且輸出合成圖像。
如上所述，合成器1001能夠合成前景成分圖像和任意背景圖像。
通過(guò)根據(jù)作為特征量的混合比率α合成前景成分圖像和任意背景圖像而獲得的圖像與通過(guò)僅合成像素而獲得的圖像相比，看上去更自然。
圖112是用于調(diào)整運(yùn)動(dòng)模糊量的分離服務(wù)器11的另一結(jié)構(gòu)方框圖。圖27所示的分離服務(wù)器11串行執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作，而圖112所示的分離服務(wù)器11并行執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作。
與圖27相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
輸入圖像提供給混合比率計(jì)算器1101、前景/背景分離器1102、區(qū)域指定單元103和對(duì)象提取部分101。
混合比率計(jì)算器1101根據(jù)輸入圖像，為屬于輸入圖像的每個(gè)像素計(jì)算假定像素屬于覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，并且計(jì)算假定像素屬于非覆蓋背景區(qū)域時(shí)的估計(jì)混合比率，然后將假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率和假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率提供給前景/背景分離器1102。
圖113是混合比率計(jì)算器1101的結(jié)構(gòu)示例方框圖。
圖113所示的估計(jì)混合比率處理器401與圖72所示的估計(jì)混合比率處理器401相同。圖113所示的估計(jì)混合比率處理器402與圖72所示的估計(jì)混合比率處理器402相同。
估計(jì)混合比率處理器401根據(jù)輸入圖像使用對(duì)應(yīng)于覆蓋背景區(qū)域模型的計(jì)算操作，為每個(gè)像素計(jì)算估計(jì)混合比率，并且輸出所算出的估計(jì)混合比率。
估計(jì)混合比率處理器402根據(jù)輸入圖像使用對(duì)應(yīng)于非覆蓋背景區(qū)域模型的計(jì)算操作，為每個(gè)像素計(jì)算估計(jì)混合比率，并且輸出所算出的估計(jì)混合比率。
前景/背景分離器1102根據(jù)從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率、假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，從輸入圖像中生成前景成分圖像，并且將所生成的前景成分圖像提供給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。
圖114是前景/背景分離器1102的結(jié)構(gòu)示例方框圖。
與圖89所示的前景/背景分離器105相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
選擇器1121根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，選擇從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率、或者假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率，然后將所選估計(jì)混合比率作為混合比率α提供給分離部分601。
分離部分601根據(jù)從選擇器1121提供的混合比率和區(qū)域信息，從屬于混合區(qū)域的像素的像素值中提取前景成分和背景成分，并且將所提取的前景成分提供給合成器603，并且將所提取的背景成分提供給合成器605。
分離部分601可以具有圖94所示的相同結(jié)構(gòu)。
合成器603合成并輸出前景成分圖像。合成器605合成并輸出背景成分圖像。
圖112所示的運(yùn)動(dòng)模糊調(diào)整單元106可以具有與圖27所示相同的結(jié)構(gòu)，它根據(jù)區(qū)域信息和運(yùn)動(dòng)向量，調(diào)整包含在從前景/背景分離器1102提供的前景成分圖像中的運(yùn)動(dòng)模糊量，然后輸出經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像。
圖112所示的選擇器107根據(jù)對(duì)應(yīng)于用戶(hù)選擇的選擇信號(hào)，選擇從前景/背景分離器1102提供的前景成分圖像或者從運(yùn)動(dòng)模糊調(diào)整單元106提供的經(jīng)過(guò)運(yùn)動(dòng)模糊量調(diào)整的前景成分圖像，然后輸出所選前景成分圖像。
如上所述，具有圖112所示結(jié)構(gòu)的分離服務(wù)器11能夠調(diào)整包含在對(duì)應(yīng)于輸入圖像前景對(duì)象的圖像中的運(yùn)動(dòng)模糊量，并且對(duì)它進(jìn)行輸出。以與第一實(shí)施例相同的方式，具有圖112所示結(jié)構(gòu)的分離服務(wù)器11能夠計(jì)算作為埋藏信息的混合比率α，并且輸出所算出的混合比率α。
圖115是用于合成前景成分圖像和任意背景圖像的分離服務(wù)器11的另一結(jié)構(gòu)方框圖。圖110所示的分離服務(wù)器11串行執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作。但是，圖115所示的分離服務(wù)器11并行執(zhí)行區(qū)域指定操作和混合比率α計(jì)算操作。
與圖112相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
圖115所示的混合比率計(jì)算器1101根據(jù)輸入圖像，為屬于輸入圖像的每個(gè)像素計(jì)算假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率，并且計(jì)算假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率，并且將假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率和假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率提供給前景/背景分離器1102和合成器1201。
圖115所示的前景/背景分離器1102根據(jù)從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率、假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，從輸入圖像中生成前景成分圖像，然后將所生成的前景成分圖像提供給合成器1201。
合成器1201根據(jù)從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率、假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率、以及從區(qū)域指定單元103提供的區(qū)域信息，合成任意背景圖像與從前景/背景分離器1102提供的前景成分圖像，然后輸出對(duì)應(yīng)于背景圖像或前景成分圖像的合成圖像。
圖116是合成器1201的結(jié)構(gòu)圖。與圖111的方框圖相同的部分用相同的標(biāo)號(hào)表示，并且略去不述。
選擇器1221根據(jù)從區(qū)域指定單元103提供的區(qū)域信息，選擇從混合比率計(jì)算器1101提供的假定像素屬于覆蓋背景區(qū)域的情況下的估計(jì)混合比率、或者假定像素屬于非覆蓋背景區(qū)域的情況下的估計(jì)混合比率，然后將所選估計(jì)混合比率作為混合比率α提供給背景成分生成器1021。
圖116所示的背景成分生成器1021根據(jù)從選擇器1221提供的混合比率α和任意背景圖像生成背景成分圖像，然后將所生成的背景成分圖像提供給混合區(qū)域圖像合成部分1022。
圖116所示的混合區(qū)域圖像合成部分1022合成從背景成分生成器1021提供的背景成分圖像與前景成分圖像，從而生成混合區(qū)域合成圖像，然后將所生成的混合區(qū)域合成圖像提供給圖像合成部分1023。
圖像合成部分1023根據(jù)區(qū)域信息合成前景成分圖像、從混合區(qū)域圖像合成部分1022提供的混合區(qū)域合成圖像、以及任意背景圖像，并且輸出合成圖像。
如上所述，合成器1201能夠合成前景成分圖像和任意背景圖像。
此外，混合比率α是作為屬于像素值的背景成分的比率來(lái)說(shuō)明的，但是它可以是屬于像素值的前景成分的比率。
此外，上面是對(duì)前景對(duì)象的移動(dòng)方向?yàn)閺淖蟮接业姆较虻那闆r進(jìn)行了說(shuō)明。但是，當(dāng)然，方向不限于上述方向。
在上面描述中，以通過(guò)使用視頻攝像機(jī)將具有三維空間和時(shí)間軸信息的真實(shí)空間圖像投影到具有二維空間和時(shí)間軸信息的時(shí)空中這一情況為例進(jìn)行了說(shuō)明，但是，本發(fā)明不限于該例子，并且可以應(yīng)用于下面情況當(dāng)?shù)谝痪S的第一信息投影到在數(shù)量上小于第一信息的第二維的第二信息時(shí)，校正因投影而產(chǎn)生的失真，提取有效信息或者更自然地合成圖像。
此外，傳感器76a不限于CCD，并且可以是固態(tài)圖像拍攝元件，例如BBD(Bucket Brigade Device，組桶式器件)、CID(Charge Injection Device，電荷注入器件)、CPD(Charge Priming Device，電荷啟動(dòng)器件)或者CMOS(Complementary Metal Oxide Semiconductor，互補(bǔ)型金屬氧化物半導(dǎo)體)傳感器。并且，傳感器不限于其中檢測(cè)元件排列在矩陣上的傳感器，它可以是其中檢測(cè)器件連續(xù)排列在一行上的傳感器。
上述分離服務(wù)器11的各功能可以通過(guò)將圖像處理分布到圖1所示的網(wǎng)絡(luò)上的各服務(wù)器來(lái)實(shí)現(xiàn)。也就是，對(duì)象提取單元101和運(yùn)動(dòng)檢測(cè)器102可以用作運(yùn)動(dòng)檢測(cè)服務(wù)器12，區(qū)域指定單元103可以用作區(qū)域指定服務(wù)器13，混合比率計(jì)算器104可以用作混合比率計(jì)算服務(wù)器14，前景/背景分離器105可以用作前景/背景圖像分離服務(wù)器15，并且運(yùn)動(dòng)模糊調(diào)整單元106可以用作運(yùn)動(dòng)模糊調(diào)整服務(wù)器16。因此，圖27所示的分離服務(wù)器11的方框圖可以用硬件、軟件或網(wǎng)絡(luò)來(lái)執(zhí)行。此外，以相同的方式，合成服務(wù)器19可以用作合成器1201，并且合成處理的方框圖可以用硬件、軟件或網(wǎng)絡(luò)來(lái)執(zhí)行。
對(duì)象提取單元101、運(yùn)動(dòng)檢測(cè)器102、區(qū)域指定單元103、混合比率計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106的處理可以分別用運(yùn)動(dòng)檢測(cè)服務(wù)器12、區(qū)域指定服務(wù)器13、混合比率計(jì)算服務(wù)器14、前景/背景圖像分離服務(wù)器15和運(yùn)動(dòng)模糊調(diào)整服務(wù)器16的處理來(lái)代替，因此略去不述。
此外，當(dāng)用硬件或軟件執(zhí)行時(shí)，分離服務(wù)器11可以由作為分離處理器包括在連接到圖1所示網(wǎng)絡(luò)的各個(gè)服務(wù)器、客戶(hù)計(jì)算機(jī)27和攝像機(jī)終端單元28中的一部分來(lái)構(gòu)成。因此，在下面說(shuō)明中，當(dāng)分離服務(wù)器11作為具有將輸入圖像分離為前景成分圖像和背景成分圖像的功能的一個(gè)設(shè)備來(lái)說(shuō)明時(shí)，它稱(chēng)作分離處理器11。
下一步，參照?qǐng)D117的流程圖，將說(shuō)明由分離服務(wù)器11執(zhí)行的對(duì)通過(guò)圖1的網(wǎng)絡(luò)1從客戶(hù)計(jì)算機(jī)27輸入的圖像的分離服務(wù)處理。
在步驟S1001，客戶(hù)計(jì)算機(jī)27將圖像指定信息輸出到分離服務(wù)器11。也就是，特定圖像或指定圖像的圖像ID作為用戶(hù)想要分離的圖像的指定信息輸出到分離服務(wù)器11。
在步驟S1011，分離服務(wù)器11獲得指定圖像。也就是，分離服務(wù)器11通過(guò)網(wǎng)絡(luò)1讀出并獲得從客戶(hù)計(jì)算機(jī)27傳輸?shù)膱D像本身，并且當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸指定信息時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1012，分離服務(wù)器11的收費(fèi)處理器11a通過(guò)與帳戶(hù)收費(fèi)服務(wù)器24協(xié)作，通過(guò)網(wǎng)絡(luò)1執(zhí)行收費(fèi)處理。此外，同時(shí)，在步驟S1021，帳戶(hù)收費(fèi)服務(wù)器24通過(guò)與分離服務(wù)器11協(xié)作，執(zhí)行收費(fèi)處理。
在此，將參照?qǐng)D118的流程圖對(duì)前述收費(fèi)處理進(jìn)行說(shuō)明。此外，實(shí)際收費(fèi)處理由分離服務(wù)器11和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行。然而，由于還從客戶(hù)計(jì)算機(jī)27輸出各種處理所需的信息，因此，在此將一起說(shuō)明客戶(hù)計(jì)算機(jī)27的處理。
在步驟S1101，如圖119所示，客戶(hù)計(jì)算機(jī)27選擇服務(wù)，并且通過(guò)網(wǎng)絡(luò)1將相應(yīng)服務(wù)費(fèi)用與用于辨別用戶(hù)(被提供圖像分離服務(wù)的用戶(hù))的ID信息以及驗(yàn)證信息(密碼等)一起傳輸?shù)椒蛛x服務(wù)器11。也就是，此時(shí)，當(dāng)通過(guò)圖117的步驟S1001的處理傳輸圖像指定信息時(shí)，執(zhí)行該步驟S1101的處理。此外，服務(wù)費(fèi)用是指分離服務(wù)費(fèi)用。
在步驟S1111，如圖119所示，分離服務(wù)器11的收費(fèi)處理器11a接收ID信息和驗(yàn)證信息，并且將服務(wù)費(fèi)用和它自己的ID傳輸?shù)綆?hù)收費(fèi)服務(wù)器24。
在步驟S1121，如圖119所示，帳戶(hù)收費(fèi)服務(wù)器24根據(jù)從分離服務(wù)器11傳輸?shù)腎D從由顧客帳戶(hù)的金融機(jī)構(gòu)管理的金融交易服務(wù)器25查詢(xún)驗(yàn)證信息、顧客帳戶(hù)ID和服務(wù)費(fèi)用。
在步驟S1131，如圖119所示，金融交易服務(wù)器(針對(duì)顧客)25根據(jù)顧客帳戶(hù)ID和驗(yàn)證信息，執(zhí)行驗(yàn)證處理，并且將驗(yàn)證結(jié)果和使用授權(quán)信息通知給帳戶(hù)收費(fèi)服務(wù)器24。
在步驟S1122，如圖119所示，帳戶(hù)收費(fèi)服務(wù)器24將驗(yàn)證結(jié)果和使用授權(quán)信息傳輸?shù)椒蛛x服務(wù)器11。此外，在下面描述中，將給出驗(yàn)證結(jié)果有效時(shí)的說(shuō)明。此外，當(dāng)接收驗(yàn)證結(jié)果無(wú)效信息時(shí)，過(guò)程結(jié)束。
在步驟S1112，如圖119所示，當(dāng)驗(yàn)證結(jié)果和金融機(jī)構(gòu)有效時(shí)，分離服務(wù)器11向客戶(hù)計(jì)算機(jī)27提供服務(wù)。在步驟S1102，客戶(hù)計(jì)算機(jī)27接收所提供的服務(wù)。也就是，此時(shí)，在步驟S1112，分離服務(wù)器11將指定圖像分離為前景成分圖像和背景成分圖像，然后輸出到客戶(hù)計(jì)算機(jī)27，并且在步驟S1102，客戶(hù)計(jì)算機(jī)27接收分離出的前景成分圖像和背景成分圖像。
在步驟S1113，分離服務(wù)器11將服務(wù)使用通知傳輸?shù)綆?hù)收費(fèi)服務(wù)器24。在步驟S1123，帳戶(hù)收費(fèi)服務(wù)器24將顧客帳戶(hù)ID、服務(wù)費(fèi)用和提供商帳戶(hù)ID通知給金融交易服務(wù)器(針對(duì)顧客)25。
在步驟S1132，金融交易服務(wù)器(針對(duì)顧客)25將服務(wù)費(fèi)用從顧客帳戶(hù)ID的帳戶(hù)轉(zhuǎn)帳到金融交易服務(wù)器(針對(duì)提供商)26。
在此，回到圖117的流程圖，繼續(xù)說(shuō)明。
在步驟S1012、S1021由分離服務(wù)器11和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理之后，分離服務(wù)器11在步驟S1013執(zhí)行圖像分離操作。也就是，分離服務(wù)器11的區(qū)域指定單元103執(zhí)行參照?qǐng)D53的流程圖所述的區(qū)域指定處理，混合比率計(jì)算器104執(zhí)行參照?qǐng)D81的流程圖所述的混合比率計(jì)算處理，前景/背景分離器105執(zhí)行參照?qǐng)D96的流程圖所述的前景/背景分離處理，并且運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行參照?qǐng)D44的流程圖所述的運(yùn)動(dòng)模糊量調(diào)整處理，以分離指定圖像。此外，由于運(yùn)動(dòng)模糊量調(diào)整處理、區(qū)域指定處理、混合比率計(jì)算處理和前景/背景分離處理與上述類(lèi)似，因此略去不述。
在步驟S1014，分離服務(wù)器11為分離出的前景成分圖像和背景成分圖像生成ID，然后將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。在步驟S1002，客戶(hù)計(jì)算機(jī)27接收從分離服務(wù)器11傳輸?shù)那熬俺煞謭D像、背景成分圖像及其ID，將它們存儲(chǔ)在它自己的存儲(chǔ)單元48(參見(jiàn)圖2)，并且在需要時(shí)打印出它們。此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令，使分離服務(wù)器11將由分離服務(wù)器11分離的前景成分圖像和背景成分圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它們輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
在上面說(shuō)明中，分離過(guò)程是在通過(guò)帳戶(hù)收費(fèi)服務(wù)器24將服務(wù)費(fèi)用支付給金融交易服務(wù)器25、26的情況下描述的。然而，可以通過(guò)在存儲(chǔ)單元48(參見(jiàn)圖2)中存儲(chǔ)表示用戶(hù)先前已向分離服務(wù)提供商支付服務(wù)費(fèi)用的點(diǎn)數(shù)如預(yù)付點(diǎn)數(shù)，并且每次向用戶(hù)提供分離服務(wù)時(shí)扣除相應(yīng)點(diǎn)數(shù)，執(zhí)行收費(fèi)處理。
在此，將參照?qǐng)D120的流程圖說(shuō)明使用預(yù)付點(diǎn)數(shù)的收費(fèi)處理。
在步驟S1201，客戶(hù)計(jì)算機(jī)27指定服務(wù)，并且傳輸ID信息和驗(yàn)證信息。也就是，客戶(hù)計(jì)算機(jī)27執(zhí)行與圖117的步驟S1101相同的處理。
在步驟S1211，分離服務(wù)器11的收費(fèi)處理器11a接收ID信息和驗(yàn)證信息。在步驟S1212，收費(fèi)處理器11a從根據(jù)客戶(hù)計(jì)算機(jī)27的用戶(hù)預(yù)先支付的金額存儲(chǔ)在存儲(chǔ)單元48中的預(yù)付點(diǎn)數(shù)中減去對(duì)應(yīng)于分離處理服務(wù)費(fèi)用的點(diǎn)數(shù)，并且對(duì)它進(jìn)行存儲(chǔ)。在步驟S1213，分離服務(wù)器11提供服務(wù)。也就是，此時(shí)，分離服務(wù)器11執(zhí)行輸入圖像的分離處理，并且將分離出的前景成分圖像和背景成分圖像傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1202，客戶(hù)計(jì)算機(jī)27接收所提供的服務(wù)。也就是，此時(shí)，客戶(hù)計(jì)算機(jī)27接收從分離服務(wù)器11傳輸?shù)那熬俺煞謭D像和背景成分圖像。
此外，在上面說(shuō)明中，描述了分離服務(wù)器11在它自己的存儲(chǔ)單元48(參見(jiàn)圖2)中存儲(chǔ)預(yù)付點(diǎn)數(shù)的情況，但是，例如，當(dāng)使用其中存儲(chǔ)有預(yù)付點(diǎn)數(shù)的卡，即所謂的預(yù)付卡時(shí)，執(zhí)行相同的處理。在這種情況下，需要在步驟S1201客戶(hù)計(jì)算機(jī)27讀出并傳輸存儲(chǔ)在預(yù)付卡中的預(yù)付點(diǎn)數(shù)，分離服務(wù)器11從通過(guò)收費(fèi)處理接收的點(diǎn)數(shù)中減去對(duì)應(yīng)于服務(wù)費(fèi)用的點(diǎn)數(shù)，并且所減去的點(diǎn)數(shù)傳輸?shù)娇蛻?hù)計(jì)算機(jī)以更新預(yù)付卡。
下一步，參照?qǐng)D121的流程圖，將說(shuō)明獲取由客戶(hù)計(jì)算機(jī)27指定的圖像的運(yùn)動(dòng)向量和位置信息的運(yùn)動(dòng)檢測(cè)服務(wù)處理。
在步驟S1301，客戶(hù)計(jì)算機(jī)27將圖像指定信息輸出到運(yùn)動(dòng)檢測(cè)服務(wù)器12。也就是，作為用戶(hù)想要對(duì)其執(zhí)行運(yùn)動(dòng)檢測(cè)處理的圖像的指定信息，特定圖像或指定圖像的圖像ID輸出到運(yùn)動(dòng)檢測(cè)服務(wù)器12。
在步驟S1311，運(yùn)動(dòng)檢測(cè)服務(wù)器12獲得指定圖像。也就是，運(yùn)動(dòng)檢測(cè)服務(wù)器12通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定信息時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1312和步驟S1321，運(yùn)動(dòng)檢測(cè)服務(wù)器12的收費(fèi)處理器12c和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1313，運(yùn)動(dòng)檢測(cè)服務(wù)器12的對(duì)象提取單元12a從所獲得的指定圖像中提取每個(gè)對(duì)象，并且運(yùn)動(dòng)檢測(cè)器12b檢測(cè)位置信息和運(yùn)動(dòng)向量，然后將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1302，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從運(yùn)動(dòng)檢測(cè)服務(wù)器12傳輸?shù)膶?duì)象的位置信息和運(yùn)動(dòng)向量。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將由運(yùn)動(dòng)檢測(cè)服務(wù)器12檢測(cè)的位置信息和運(yùn)動(dòng)向量存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它們輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D122的流程圖，將說(shuō)明由區(qū)域指定服務(wù)器13執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的圖像指定信息和對(duì)象指定信息來(lái)指定區(qū)域的區(qū)域指定服務(wù)處理。
在步驟S1401，客戶(hù)計(jì)算機(jī)27將圖像指定信息和對(duì)象指定信息輸出到區(qū)域指定服務(wù)器13。也就是，對(duì)象指定信息與特定圖像或指定圖像的圖像ID一起輸出到區(qū)域指定服務(wù)器13，其中，特定圖像或圖像ID是指定用戶(hù)想要進(jìn)行區(qū)域指定的圖像的信息。
在步驟S1411，區(qū)域指定服務(wù)器13獲得指定圖像。也就是，區(qū)域指定服務(wù)器13通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1412和步驟S1421，區(qū)域指定服務(wù)器13的收費(fèi)處理器13a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1413，區(qū)域指定服務(wù)器13根據(jù)對(duì)象指定信息執(zhí)行區(qū)域指定處理。此外，區(qū)域指定處理類(lèi)似于參照?qǐng)D53的流程圖所述的處理，因此略去不述。
在步驟S1414，區(qū)域指定服務(wù)器13將通過(guò)步驟S1413的處理獲得的區(qū)域信息傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1402，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從區(qū)域指定服務(wù)器13傳輸?shù)膮^(qū)域信息。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將由區(qū)域指定服務(wù)器13獲得的區(qū)域信息存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D123的流程圖，將說(shuō)明由混合比率計(jì)算服務(wù)器14執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的圖像指定信息、對(duì)象指定信息和區(qū)域信息來(lái)計(jì)算混合比率的混合比率計(jì)算服務(wù)處理。
在步驟S1501，客戶(hù)計(jì)算機(jī)27將圖像指定信息、對(duì)象指定信息和區(qū)域信息輸出到混合比率計(jì)算服務(wù)器14。也就是，特定圖像或指定圖像的圖像ID、對(duì)象指定信息和區(qū)域信息輸出到混合比率計(jì)算服務(wù)器14，其中，特定圖像或指定圖像的圖像ID是指定用戶(hù)想要對(duì)其計(jì)算混合比率的圖像的信息。
在步驟S1511，混合比率計(jì)算服務(wù)器14獲得指定圖像。也就是，混合比率計(jì)算服務(wù)器14通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1512和步驟S1521，混合比率計(jì)算服務(wù)器14的收費(fèi)處理器14a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1513，混合比率計(jì)算服務(wù)器14根據(jù)對(duì)象指定信息和區(qū)域信息執(zhí)行混合比率計(jì)算處理。此外，混合比率計(jì)算處理類(lèi)似于參照?qǐng)D81的流程圖所述的處理，因此略去不述。
在步驟S1514，混合比率計(jì)算服務(wù)器14將通過(guò)步驟S1513的處理獲得的混合比率傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1502，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從混合比率計(jì)算服務(wù)器14傳輸?shù)幕旌媳嚷省?br> 此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將由混合比率計(jì)算服務(wù)器14獲得的混合比率存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D124的流程圖，將說(shuō)明由前景/背景圖像分離服務(wù)器15執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的圖像指定信息、對(duì)象指定信息、區(qū)域信息和混合比率來(lái)分離前景成分圖像和背景成分圖像的服務(wù)處理。
在步驟S1601，客戶(hù)計(jì)算機(jī)27將圖像指定信息、對(duì)象指定信息、區(qū)域信息和混合比率信息輸出到前景/背景圖像分離服務(wù)器15。也就是，具體圖像或指定圖像的圖像ID、對(duì)象指定信息、區(qū)域信息和混合比率信息輸出到前景/背景圖像分離服務(wù)器15，其中，具體圖像或指定圖像的圖像ID是指定用戶(hù)想要將其分離為背景和前景的圖像的信息。
在步驟S1611，前景/背景圖像分離服務(wù)器15獲得指定圖像。也就是，前景/背景圖像分離服務(wù)器15通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1612和步驟S1621，前景/背景圖像分離服務(wù)器15的收費(fèi)處理器15a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1613，前景/背景圖像分離服務(wù)器15根據(jù)對(duì)象指定信息、區(qū)域信息和混合比率執(zhí)行前景/背景分離處理。此外，前景/背景分離處理類(lèi)似于參照?qǐng)D96的流程圖所述的處理，因此略去不述。
在步驟S1614，前景/背景圖像分離服務(wù)器15為通過(guò)步驟S1613的處理獲得的前景成分圖像和背景成分圖像生成ID，并且將它們傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1602，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從前景/背景圖像分離服務(wù)器15傳輸?shù)那熬俺煞謭D像和背景成分圖像。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將從前景/背景圖像分離服務(wù)器15傳輸?shù)那熬俺煞謭D像和背景成分圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D125的流程圖，將說(shuō)明由運(yùn)動(dòng)模糊調(diào)整服務(wù)器16執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的圖像指定信息、運(yùn)動(dòng)向量和運(yùn)動(dòng)模糊調(diào)整量來(lái)調(diào)整指定圖像的運(yùn)動(dòng)模糊的服務(wù)處理。
在步驟S1701，客戶(hù)計(jì)算機(jī)27將圖像指定信息、運(yùn)動(dòng)向量和運(yùn)動(dòng)模糊調(diào)整量輸出到運(yùn)動(dòng)模糊調(diào)整服務(wù)器16。也就是，特定圖像或指定圖像的圖像ID、對(duì)象指定信息、運(yùn)動(dòng)向量和運(yùn)動(dòng)模糊調(diào)整量信息輸出到運(yùn)動(dòng)模糊調(diào)整服務(wù)器16，其中，特定圖像或指定圖像的圖像ID是指定用戶(hù)想要對(duì)其進(jìn)行運(yùn)動(dòng)模糊調(diào)整的圖像的信息。
在步驟S1711，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16獲得指定圖像。也就是，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1712和步驟S1721，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16的收費(fèi)處理器16a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1713，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16根據(jù)運(yùn)動(dòng)向量和運(yùn)動(dòng)模糊調(diào)整量執(zhí)行運(yùn)動(dòng)模糊調(diào)整處理。此外，運(yùn)動(dòng)模糊調(diào)整處理類(lèi)似于參照?qǐng)D104的流程圖所述的處理，因此略去不述。
在步驟S1714，運(yùn)動(dòng)模糊調(diào)整服務(wù)器16為通過(guò)步驟S1713的處理獲得的運(yùn)動(dòng)模糊調(diào)整圖像生成ID，并且將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1702，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從運(yùn)動(dòng)模糊調(diào)整服務(wù)器16傳輸?shù)倪\(yùn)動(dòng)模糊調(diào)整圖像。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將從運(yùn)動(dòng)模糊調(diào)整服務(wù)器16傳輸?shù)倪\(yùn)動(dòng)模糊調(diào)整圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D126，將說(shuō)明編碼服務(wù)器17的詳細(xì)結(jié)構(gòu)。編碼服務(wù)器17的分離處理部分2002將輸入圖像(包括輸入指定圖像的圖像ID且通過(guò)網(wǎng)絡(luò)1從存儲(chǔ)服務(wù)器18讀出的圖像)分離為前景成分圖像和背景成分圖像，并且將它與混合比率、運(yùn)動(dòng)向量和位置信息一起輸出到編碼器2001。分離處理部分2002在結(jié)構(gòu)上類(lèi)似于參照?qǐng)D27所述的分離服務(wù)器(分離器)11，并且其獲取混合比率、運(yùn)動(dòng)向量和位置信息的處理類(lèi)似于分離服務(wù)器11，因此略去不述。
編碼器2001通過(guò)網(wǎng)絡(luò)1將從分離處理部分2002輸入的前景成分圖像和背景成分圖像輸出到存儲(chǔ)服務(wù)器18以對(duì)它們進(jìn)行存儲(chǔ)，并且將它們轉(zhuǎn)換為存儲(chǔ)服務(wù)器18在網(wǎng)絡(luò)上的位置信息，即如URL的信息，并且輸出它作為前景成分圖像的位置信息和背景成分圖像的位置信息。此時(shí)，編碼器2001輸出通過(guò)分離前景成分圖像和背景成分圖像而提取的混合比率、運(yùn)動(dòng)向量和位置信息。
當(dāng)前景成分圖像和背景成分圖像分別由編碼器2001轉(zhuǎn)換為前景成分圖像的位置信息和背景成分圖像的位置信息時(shí)，收費(fèi)處理器17a(參見(jiàn)圖16和圖17)通過(guò)網(wǎng)絡(luò)1與帳戶(hù)收費(fèi)服務(wù)器24一起執(zhí)行收費(fèi)處理。此外，收費(fèi)處理可以如后所述由使用合成服務(wù)的用戶(hù)執(zhí)行，其中，合成服務(wù)使用合成服務(wù)器19生成合成圖像，此外，相反，使用編碼服務(wù)的用戶(hù)可以預(yù)先支付服務(wù)費(fèi)用，從而可以避免用戶(hù)在使用合成服務(wù)的時(shí)候支付服務(wù)費(fèi)用。
下一步，參照?qǐng)D127的流程圖，將說(shuō)明由編碼服務(wù)器17執(zhí)行的對(duì)從客戶(hù)計(jì)算機(jī)27輸入的圖像進(jìn)行編碼的編碼服務(wù)處理。此外，在本說(shuō)明中，將描述編碼服務(wù)用戶(hù)支付服務(wù)費(fèi)用的情況。
在步驟S1801，客戶(hù)計(jì)算機(jī)27將圖像指定信息輸出到編碼服務(wù)器17。也就是，特定圖像或指定圖像的圖像ID和對(duì)象指定信息輸出到編碼服務(wù)器17，其中，特定圖像或指定圖像的圖像ID是指定用戶(hù)想要對(duì)其進(jìn)行編碼的圖像的信息。
在步驟S1811，編碼服務(wù)器17獲得指定圖像。也就是，編碼服務(wù)器17通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1812和步驟S1821，編碼服務(wù)器17的收費(fèi)處理器17a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S1813，編碼服務(wù)器17的分離部分2002執(zhí)行圖像分離處理。此外，該圖像分離處理類(lèi)似于參照?qǐng)D117的流程圖的步驟S1013所述的處理，因此略去不述。
在步驟S1814，編碼服務(wù)器17將通過(guò)步驟S1813的處理獲得的前景成分圖像和背景成分圖像輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。在步驟S1814，存儲(chǔ)服務(wù)器18存儲(chǔ)所傳輸?shù)那熬俺煞謭D像和背景成分圖像。
在步驟S1815，編碼服務(wù)器17將運(yùn)動(dòng)向量和位置信息加入到通過(guò)編碼處理生成的前景成分圖像的位置信息和背景成分圖像的位置信息，并且將它們傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1802，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從編碼服務(wù)器17傳輸?shù)那熬俺煞謭D像的位置信息、背景成分圖像的位置信息、運(yùn)動(dòng)向量和位置信息。
此外，在對(duì)輸入圖像進(jìn)行分離和編碼的情況下，當(dāng)對(duì)與預(yù)先編碼的圖像類(lèi)似的圖像進(jìn)行編碼時(shí)，編碼器2001可以?xún)H將對(duì)應(yīng)于差異的數(shù)據(jù)加入到已經(jīng)編碼的圖像的代碼(圖像的位置信息)，以進(jìn)行輸出。例如，在合成圖128所示圖像的情況下，當(dāng)合成包括前景成分圖像1、前景成分圖像2和混合比率1的編碼信息的第一圖像編碼信息和包括前景成分圖像1、前景成分圖像3和混合比率2的編碼信息的第二圖像編碼信息時(shí)，因?yàn)檫@兩個(gè)圖像信息都包括前景成分圖像1，所以當(dāng)合成時(shí)可以省略其中任一圖像的前景成分圖像1，因此，與簡(jiǎn)單地合成圖像的情況相比，可以提高壓縮率，信息壓縮量為所要省略的前景成分圖像1。
因此，當(dāng)存儲(chǔ)圖128所示的第一圖像和第二圖像時(shí)，如果首先存儲(chǔ)了第一圖像，則對(duì)于第二圖像可以?xún)H存儲(chǔ)作為差異的混合比率2和前景成分圖像3的編碼信息。由于這個(gè)原因，當(dāng)重復(fù)存儲(chǔ)相同圖像的編碼信息時(shí)，可以隨著存儲(chǔ)圖像數(shù)目的增加而提高壓縮率。
此外，要由編碼服務(wù)器17編碼的混合比率、運(yùn)動(dòng)向量和位置信息可以是由用戶(hù)指定的信息，如圖129所示。此外，如圖129所示，對(duì)于要編碼的圖像，可以從存儲(chǔ)服務(wù)器18讀出與由用戶(hù)指定的圖像ID相對(duì)應(yīng)的前景成分圖像和背景成分圖像，并且對(duì)它們進(jìn)行編碼。在這種情況下，編碼服務(wù)器17可以不裝備分離部分2002。
此外，雖然在本發(fā)明中是采用圖像ID作為圖像指定信息，但是也可以采用圖像位置信息。
下一步，參照?qǐng)D130的流程圖，將說(shuō)明由合成服務(wù)器19執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的圖像A和B指定信息、運(yùn)動(dòng)向量、混合比率、位置信息和運(yùn)動(dòng)模糊調(diào)整量合成指定圖像A和B的服務(wù)處理。
在步驟S1901，客戶(hù)計(jì)算機(jī)27將圖像A和B指定信息、運(yùn)動(dòng)向量、混合比率、位置信息和運(yùn)動(dòng)模糊調(diào)整量信息輸出到合成服務(wù)器19。也就是，特定圖像或指定圖像A和B的圖像AID和BID(可以是前述編碼圖像的位置信息)、運(yùn)動(dòng)向量、混合比率、位置信息和運(yùn)動(dòng)模糊調(diào)整量信息輸出到合成服務(wù)器19，其中，特定圖像或指定圖像A和B的圖像AID和BID是指定用戶(hù)想要合成的圖像A和B的信息。
在步驟S1911，合成服務(wù)器19獲得指定圖像。也就是，合成服務(wù)器19通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。
在步驟S1912和步驟S1921，合成服務(wù)器19的收費(fèi)處理器19a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。此外，在已使用編碼服務(wù)器17對(duì)接受編碼服務(wù)的用戶(hù)進(jìn)行過(guò)收費(fèi)的情況下，可以省略該收費(fèi)處理。相反，可以不對(duì)接受編碼服務(wù)的用戶(hù)而對(duì)接受分離服務(wù)的用戶(hù)進(jìn)行收費(fèi)。
在步驟S1913，合成服務(wù)器19根據(jù)運(yùn)動(dòng)向量、混合比率、位置信息和運(yùn)動(dòng)模糊調(diào)整量信息執(zhí)行圖像A和B合成處理。
在步驟S1914，合成服務(wù)器19為通過(guò)步驟S1913的處理獲得的合成圖像(A+B)生成ID，并且將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S1902，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從合成服務(wù)器19傳輸?shù)暮铣蓤D像(A+B)。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將從合成服務(wù)器19傳輸?shù)暮铣蓤D像(A+B)存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
如上所述，雖然合成服務(wù)器19能夠合成多個(gè)圖像，但是它可以通過(guò)使用運(yùn)動(dòng)模糊調(diào)整量作為密鑰加入合成圖像的運(yùn)動(dòng)模糊，生成加密圖像。圖131示出加密運(yùn)動(dòng)模糊加入器2021的結(jié)構(gòu)，其中，運(yùn)動(dòng)模糊加入器2021用來(lái)使合成服務(wù)器19生成加密圖像。
加密運(yùn)動(dòng)模糊加入器2021的輸入信息處理器2031分別將所要加密的輸入信號(hào)輸出到圖像化部分2032，將加密密鑰信息輸出到運(yùn)動(dòng)模糊加入器2033，并且將圖像選擇信息輸出到合成服務(wù)器19以選擇想要使用所要加密的信號(hào)作為前景成分圖像進(jìn)行合成的圖像(背景成分圖像)。
當(dāng)從輸入信息處理器2031輸入的所要加密的信號(hào)不是圖像信號(hào)時(shí)，圖像化部分2032將該信號(hào)轉(zhuǎn)換為圖像信號(hào)，然后將它輸出到運(yùn)動(dòng)模糊加入器2033。也就是，由于加密信號(hào)假定為圖像信號(hào)，因此圖像化部分2032圖像化不是圖像信號(hào)的信號(hào)，從而符合該處理。
運(yùn)動(dòng)模糊加入器2033根據(jù)從輸入信息處理器2031輸入的如速度或方向的信息，生成運(yùn)動(dòng)模糊調(diào)整量，并且將運(yùn)動(dòng)模糊加入到從圖像化部分2032輸入的圖像信號(hào)，然后將它輸出到合成服務(wù)器19。合成服務(wù)器19根據(jù)從輸入信息處理器2031輸入的圖像選擇信息獲得背景成分圖像，并且將從運(yùn)動(dòng)模糊加入器2033輸入的圖像作為前景成分圖像與所獲得的背景成分圖像進(jìn)行合成，以生成并顯示合成圖像。此時(shí)，指定背景成分圖像的圖像選擇信息可以是背景成分圖像本身，并且可以是背景成分圖像的位置信息或背景成分圖像的ID。
下一步，參照?qǐng)D132，將說(shuō)明加密運(yùn)動(dòng)模糊消除部分2041，用于對(duì)由裝備在合成服務(wù)器19中的加密運(yùn)動(dòng)模糊加入器2021加密的合成圖像進(jìn)行解密，以將它轉(zhuǎn)換為原始信號(hào)。此外，圖131和圖132所示的加密運(yùn)動(dòng)模糊加入器2021和加密運(yùn)動(dòng)模糊消除部分2041例如可以視作客戶(hù)計(jì)算機(jī)27內(nèi)置軟件功能方框圖和硬件方框圖。此外，加密運(yùn)動(dòng)模糊加入器2021和加密運(yùn)動(dòng)模糊消除部分2041可以構(gòu)造為網(wǎng)絡(luò)1上的專(zhuān)用服務(wù)器。
分離服務(wù)器11將加密合成圖像分離為前景成分圖像和背景成分圖像，并且將加入有運(yùn)動(dòng)模糊的前景成分圖像輸出到輸入信息處理器2051。
當(dāng)輸入從分離服務(wù)器11輸入的加密前景成分圖像，并且輸入速度和方向信息作為對(duì)加密前景成分圖像進(jìn)行解密的密鑰，輸入信息處理器2051將它們輸出到運(yùn)動(dòng)模糊消除部分2052。當(dāng)圖像在x方向和y方向的二維中顯示時(shí)，分別對(duì)其設(shè)置密鑰的速度和方向。
運(yùn)動(dòng)模糊消除部分2052根據(jù)從輸入信息處理器2051輸入的速度和方向信息生成運(yùn)動(dòng)模糊調(diào)整量，對(duì)加密前景成分圖像執(zhí)行與由加密運(yùn)動(dòng)模糊加入器2021執(zhí)行的運(yùn)動(dòng)模糊加入處理相反的運(yùn)動(dòng)模糊加入處理，并且對(duì)加密前景成分圖像進(jìn)行解密，以將它輸出到信號(hào)轉(zhuǎn)換器2053。當(dāng)所要加密的加密信號(hào)不是圖像信號(hào)時(shí)，信號(hào)轉(zhuǎn)換器2053將從運(yùn)動(dòng)模糊消除部分2052輸入的圖像信號(hào)轉(zhuǎn)換為原始信號(hào)以進(jìn)行輸出。
也就是，運(yùn)動(dòng)模糊加入器2033(參見(jiàn)圖131)和運(yùn)動(dòng)模糊消除部分2052大致執(zhí)行與圖97的運(yùn)動(dòng)模糊加入器806類(lèi)似的處理，并且使用運(yùn)動(dòng)模糊調(diào)整量作為加密密鑰，執(zhí)行彼此相反的運(yùn)動(dòng)模糊加入處理。然而，不同之處是，如下所述，首先在x方向或y方向上執(zhí)行運(yùn)動(dòng)模糊加入處理之后，還執(zhí)行增益放大處理。
在此，將說(shuō)明通過(guò)加入運(yùn)動(dòng)模糊對(duì)圖像信號(hào)進(jìn)行加密的原理。例如，如圖133所示，當(dāng)對(duì)象沿著箭頭方向移動(dòng)時(shí)，由具有CCD等的傳感器76a拍攝它的圖像，在移動(dòng)方向的前后所產(chǎn)生的混合區(qū)域(覆蓋背景區(qū)域和非覆蓋背景區(qū)域)為拍攝圖像的運(yùn)動(dòng)模糊(詳見(jiàn)圖31A)。圖134示出說(shuō)明這一現(xiàn)象的例子，其中的情況是，圖134中用A表示的對(duì)象由傳感器76a進(jìn)行拍攝，當(dāng)對(duì)象在圖中向左或右移動(dòng)時(shí)，根據(jù)其速度，運(yùn)動(dòng)模糊區(qū)域擴(kuò)大，并且拍攝出的顏色擴(kuò)散。也就是，當(dāng)對(duì)象以速度v向左或右移動(dòng)時(shí)，假定拍攝出的是圖134中用B表示的圖像。此時(shí)，如果當(dāng)對(duì)象靜止時(shí)拍攝出的區(qū)域?yàn)閰^(qū)域a0到a0’，并且圖134中用B表示的對(duì)象區(qū)域?yàn)閍1到a1’，則原始位置的區(qū)域a0到a0’的顏色變淺，并且擴(kuò)散到其中產(chǎn)生運(yùn)動(dòng)模糊的區(qū)域a1到a0和區(qū)域a0’到a1’。類(lèi)似地，如果對(duì)象以速度2v(v的兩倍)移動(dòng)時(shí)，如圖134的C所示，可以看出顏色擴(kuò)散到其中產(chǎn)生運(yùn)動(dòng)模糊的區(qū)域a2到a0和區(qū)域a0’到a2’。此外，如果對(duì)象以速度3v移動(dòng)時(shí)，如圖134的D所示，顏色擴(kuò)散到其中產(chǎn)生運(yùn)動(dòng)模糊的區(qū)域a3到a0和區(qū)域a0’到a3’，并且如果對(duì)象以速度4v移動(dòng)時(shí)，如圖134的E所示，顏色擴(kuò)散到其中產(chǎn)生運(yùn)動(dòng)模糊的區(qū)域a4到a0和區(qū)域a0’到a4’，并且在整體上顏色變淺。也就是，由于從傳感器76a輸出的各個(gè)像素值是在快門(mén)時(shí)間內(nèi)累積得來(lái)的，因此隨著移動(dòng)對(duì)象速度的提高，被拍攝移動(dòng)對(duì)象的部分在空間中擴(kuò)散，從而使所占區(qū)域的顏色變淺，比較起來(lái)，整體累積像素值是以輕微變化在空間中擴(kuò)散的。因此，隨著顏色變淺的區(qū)域擴(kuò)大，運(yùn)動(dòng)模糊區(qū)域擴(kuò)大，并且對(duì)象的清晰度降低。在此，顏色表示清晰度。隨著顏色變深，清晰度提高，并且隨著顏色變淺，清晰度降低。
使用運(yùn)動(dòng)模糊調(diào)整的加密采用這一特性，并且通過(guò)在2維方向上在圖像中產(chǎn)生運(yùn)動(dòng)模糊來(lái)執(zhí)行，而這在真實(shí)世界中不會(huì)發(fā)生。也就是，如圖135所示，通過(guò)拍攝處于靜止?fàn)顟B(tài)的黑色圓形對(duì)象而獲得的圖像顯示在矩陣的最左列和最上行。在這種狀態(tài)下，例如，如果加入在垂直方向上移動(dòng)的運(yùn)動(dòng)模糊，則黑色圓形對(duì)象是在垂直方向上產(chǎn)生運(yùn)動(dòng)模糊的圖像，如中間列和最上行所示。此外，如果在水平方向上產(chǎn)生運(yùn)動(dòng)模糊，則獲得在垂直和水平方向上產(chǎn)生運(yùn)動(dòng)模糊的對(duì)象圖像，如中間列和中間行所示。
在這種狀態(tài)下，此外，如果提高水平方向上的移動(dòng)(速度)來(lái)增加運(yùn)動(dòng)模糊，如中間列和最下行所示，進(jìn)一步獲得在水平方向上擴(kuò)散運(yùn)動(dòng)模糊區(qū)域的圖像。如果在該圖像中在垂直方向上產(chǎn)生運(yùn)動(dòng)模糊，如最右列和最下行所示，黑色圓形對(duì)象的運(yùn)動(dòng)模糊區(qū)域擴(kuò)散，并且在整體上顏色變淺。這樣，由于對(duì)象的清晰度降低，因此可以對(duì)圖像本身進(jìn)行加密。
下一步，參照?qǐng)D136的流程圖，將說(shuō)明由加密運(yùn)動(dòng)模糊加入器2021執(zhí)行的使用運(yùn)動(dòng)模糊調(diào)整量的加密處理。此外，在下面說(shuō)明中，如圖137所示，以對(duì)通過(guò)拍攝由5×5像素組成的對(duì)象而獲得的圖像進(jìn)行加密為例進(jìn)行說(shuō)明。在此，在圖137中，5×5像素中的各個(gè)像素分別用像素值a到y(tǒng)表示，垂直方向用y表示，水平方向用x表示，并且時(shí)間軸用時(shí)間t表示。
在步驟S2001，輸入信息處理器2031判定是否輸入所要加密的信號(hào)，重復(fù)這一處理，直至發(fā)生該輸入，并且如果判定存在該輸入，則過(guò)程進(jìn)入步驟S2002。
在步驟S2002，輸入信息處理器2031將所要加密的輸入信號(hào)輸出到圖像化部分2032。在步驟S2003，圖像化部分2032判定所要加密的輸入信號(hào)是否為圖像信號(hào)。例如，如果判定所要加密的信號(hào)不是圖像信號(hào)，則在步驟S2004，圖像化部分2032將所要加密的信號(hào)轉(zhuǎn)換為圖像信號(hào)，然后將它輸出到運(yùn)動(dòng)模糊加入器2033。在步驟S2003，如果判定所要加密的信息是圖像信號(hào)，則圖像化部分2032將所要加密的輸入信號(hào)輸出到運(yùn)動(dòng)模糊加入器2033。
在步驟S2005，輸入信息處理器2031判定是否輸入作為密鑰的速度和方向信息，并且重復(fù)該處理直至發(fā)生該輸入，并且如果輸入作為密鑰的速度和方向，則過(guò)程進(jìn)入步驟S2006。
在步驟S2006，運(yùn)動(dòng)模糊加入器2033在x方向上對(duì)輸入圖像信號(hào)進(jìn)行加密(加入運(yùn)動(dòng)模糊)。
在此，參照?qǐng)D137到149，將說(shuō)明通過(guò)調(diào)整運(yùn)動(dòng)模糊量對(duì)對(duì)象進(jìn)行加密來(lái)產(chǎn)生特定像素值的方法。
在此，如圖137所示，將說(shuō)明通過(guò)在x方向上產(chǎn)生運(yùn)動(dòng)模糊來(lái)對(duì)最下行像素a到e進(jìn)行加密的方法。此時(shí)，如果作為密鑰的表示速度的移動(dòng)量v為5(虛擬劃分?jǐn)?shù)目為5)，則圖138所示的最下行像素類(lèi)似于圖139所示。也就是，由于各個(gè)像素值在時(shí)間方向上分為5部分，因此滿(mǎn)足如下關(guān)系式a/5＝a0＝a1＝a2＝a3＝a4，b/5＝b0＝b1＝b2＝b3＝b4，c/5＝c0＝c1＝c2＝c3＝c4，d/5＝d0＝d1＝d2＝d3＝d4以及e/5＝e0＝e1＝e2＝e3＝e4。在此，圖139的最上行像素值是時(shí)間最靠前的像素值。
如果將x方向的移動(dòng)(在此，方向?yàn)閳D中向右)加入到對(duì)象，則像素值的排列以預(yù)定的時(shí)間間隔發(fā)生偏移，并且作為結(jié)果，獲得圖140所示的排列。也就是，獲得像素值根據(jù)對(duì)象的移動(dòng)而偏移的排列，其中，在移動(dòng)開(kāi)始的時(shí)候，像素值a0到e0處于原始位置，在下一時(shí)間間隔，像素值a1到e1向右偏移一個(gè)像素，在下一時(shí)間間隔，像素值a2到e2向右偏移一個(gè)像素，在下一時(shí)間間隔，像素值a3到e3向右偏移一個(gè)像素，并且在下一時(shí)間間隔，像素值a4到e4向右偏移一個(gè)像素。
此外，通過(guò)在時(shí)間方向上對(duì)圖140所示的像素值進(jìn)行求和，獲得xy平面上的各個(gè)像素值。然而，例如，由于最左列或最右列只包括像素值a0或e4，則存在一個(gè)問(wèn)題是像素值變得非常小。因而，在y方向上執(zhí)行相同處理之前，為了不讓像素值非常小，還執(zhí)行增益放大處理。所執(zhí)行的增益放大處理的一個(gè)例子如圖141所示。
在此，a0*＝5×a0，b0*＝(5/2)×b0，a0*＝(5/2)×a1，c0*＝(5/3)×c0，b1*＝(5/3)×b1，a2*＝(5/3)×a2，d0*＝(5/4)×d0，c1*＝(5/4)×c1，b2*＝(5/4)×b2，a3*＝(5/4)×a3，e1*＝(5/4)×e1，d2*＝(5/4)×d2，c3*＝(5/4)× c3，b4*＝(5/4)×b4，e2*＝(5/3)×e2，d3*＝(5/3)×d3，c4*＝(5/3)×c4，e3*＝(5/2)×e3，d4*＝(5/2)×d4，并且e4*＝5×e4。也就是，每個(gè)像素的權(quán)值將增益調(diào)至1像素的像素值。這樣，如果圖138所示的像素a到e以x方向上的移動(dòng)量v為5這一條件進(jìn)行加密(如果加入運(yùn)動(dòng)模糊)，則它們轉(zhuǎn)換(加密)為如圖142所示的像素ax到dx’，并且對(duì)象在水平方向上的像素?cái)?shù)目從5增至9。在此，像素分別為ax＝ax*，bx＝(b0*)+(a1*)，cx＝(c0*)+(b1*)+(a2*)，dx＝(d0*)+(c1*)+(b2*)+(a3*)，ex＝(e0)+(d1)+(c2)+(b3)+(a4)，ax’＝(e1*)+(d2*)+(c3*)+(b4*)，bx’＝(e2*)+(d3*)+(c4*)，cx’＝(e3*)+(d4*)，并且ex＝ex*。
如果前述處理在x方向上對(duì)沿著y方向組成圖137所示的5×5像素的所有行進(jìn)行加密，則獲得圖143所示的像素值。也就是，獲得像素ax到y(tǒng)x和像素ax’到dx’，fx’到ix’，kx’到nx’，px’到sx’，ux’到xx’，并且由于在x方向上產(chǎn)生運(yùn)動(dòng)模糊，因此產(chǎn)生x方向上的擴(kuò)散。從而，獲得每行9個(gè)像素的像素值。
在此，回到圖136的流程圖，繼續(xù)說(shuō)明。
在步驟S2007，運(yùn)動(dòng)模糊加入器2033在y方向上對(duì)經(jīng)過(guò)x方向加密的圖像信號(hào)進(jìn)行加密。
在此，如圖144所示，將說(shuō)明通過(guò)在y方向上產(chǎn)生運(yùn)動(dòng)模糊來(lái)對(duì)圖143的最右列像素ax、fx、kx、px、ux進(jìn)行加密的方法。此時(shí)，如果作為密鑰的表示速度的移動(dòng)量v為5(虛擬劃分?jǐn)?shù)目為5)，則圖143所示的最右列像素如圖144所示。也就是，由于各個(gè)像素值在時(shí)間方向上分為5部分，因此滿(mǎn)足如下關(guān)系式ax/5＝ax0＝ax1＝ax2＝ax3＝ax4，fx/5＝fx0＝fx1＝fx2＝fx3＝fx4，kx/5＝kx0＝kx1＝kx2＝kx3＝kx4，px/5＝px0＝px1＝px2＝px3＝px4以及ux/5＝ux0＝ux1＝ux2＝ux3＝ux4。在此，圖145的最上行像素值是時(shí)間最靠前的像素值。
如果將y方向的移動(dòng)加入到對(duì)象，則像素值的排列以預(yù)定的時(shí)間間隔發(fā)生偏移，并且作為結(jié)果，獲得圖146所示的排列。也就是，獲得像素值根據(jù)對(duì)象的移動(dòng)而偏移的排列，其中，在移動(dòng)開(kāi)始的時(shí)候，像素值ax0、fx0、kx0、px0和ux0處于原始位置，在下一時(shí)間間隔，像素值ax1、fx1、kx1、px1和ux1向右偏移一個(gè)像素，在下一時(shí)間間隔，像素值ax2、fx2、kx2、px2和ux2向右偏移一個(gè)像素，在下一時(shí)間間隔，像素值ax3、fx3、kx3、px3和ux3向右偏移一個(gè)像素，并且在下一時(shí)間間隔，像素值ax4、fx4、kx4、px4和ux4向右偏移一個(gè)像素。
在此，回到圖136的流程圖，繼續(xù)說(shuō)明。
在步驟S2008，合成服務(wù)器19將合成背景成分圖像與加密圖像(前景成分圖像)進(jìn)行合成。例如，如果合成由圖147中在y方向上排列的像素值B0到B9組成的背景成分圖像(包括X方向上一格像素的圖像)，則這些像素值是加入到圖148所示像素值的值。也就是，以在x和y方向上經(jīng)過(guò)加密(向其加入運(yùn)動(dòng)模糊)的圖像的像素值為前景成分圖像的像素值，并且以所要合成的圖像的像素值為背景成分圖像的像素值進(jìn)行合成。結(jié)果，獲得圖149所示的A、F、K、P、U、Ay’、Fy’、Ky’和Py’，并且這些像素值分別為像素值A(chǔ)＝ax0+B0×4/5，像素值F＝fx0+ax0+B1×3/5，像素值K＝kx0+fx1+ax2+B2×2/5，像素值P＝px0+kx1+fx2+ax3+B3×2/5，像素值U＝ux0+px1+kx2+fx3+ax4，像素值A(chǔ)y’＝B5×1/5+ux1+px2+kx3+fx4，像素值Fy’＝B6×2/5+ux2+px3+kx4，像素值Ky’＝B7×3/5+ux3+px4，并且像素值Py’＝B8×4/5+ux4。
通過(guò)在所有y方向上執(zhí)行所有這些處理，則生成圖150所示的背景成分圖像與加密前景成分圖像的合成圖像。也就是，5×5像素的輸入圖像轉(zhuǎn)換為9×9像素的圖像(像素A到Y(jié)、像素Ax到Dx、像素Fx到Ix、像素Kx到Nx、像素Px到Sx、像素Ux到Xx、像素Ay’到Ty’、像素Ax’到Dx’、像素Fx’到Ix’、像素Kx’到Nx’以及像素Px’到Sx’)。
此外，由于加密運(yùn)動(dòng)模糊消除部分2041的運(yùn)動(dòng)模糊加入處理與加密運(yùn)動(dòng)模糊加入器2021的處理相反，因此將省略解密處理的說(shuō)明。
此外，在步驟S2006的處理中，當(dāng)執(zhí)行完x方向上的加密時(shí)，執(zhí)行增益放大處理，然后執(zhí)行y方向上的加密。因此，需要在執(zhí)行y方向上的解密之后，減小增益，然后執(zhí)行x方向上的解密。此外，x方向和y方向上的加密次序可以改變。然而，由于在首先執(zhí)行加密的方向上執(zhí)行增益放大處理，因此解密次序必須對(duì)應(yīng)于加密次序。
下一步，參照?qǐng)D151的流程圖，將說(shuō)明包括圖131所示的加密運(yùn)動(dòng)模糊加入器2021的合成服務(wù)器19的加密服務(wù)。此外，這是連接到網(wǎng)絡(luò)1的客戶(hù)計(jì)算機(jī)27-1將所要加密的信號(hào)傳輸?shù)胶铣煞?wù)器19情況下的處理，其中，合成服務(wù)器19對(duì)該信號(hào)進(jìn)行加密，并將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27-2。此外，客戶(hù)計(jì)算機(jī)27可以裝備具有包括加密運(yùn)動(dòng)模糊消除部分2041的分離服務(wù)器11的圖像分離處理功能的硬件或者安裝具有這種功能的軟件。
在步驟S2101，客戶(hù)計(jì)算機(jī)27-1將想要加密的信息(所要加密的信號(hào))、作為加密密鑰的速度和方向信息、以及圖像選擇信號(hào)(選擇背景成分圖像的信息)傳輸?shù)胶铣煞?wù)器19。
在步驟S2111，合成服務(wù)器19的加密運(yùn)動(dòng)模糊加入器2021根據(jù)從客戶(hù)計(jì)算機(jī)27-1輸入的加密密鑰對(duì)想要加密的信息(所要加密的信號(hào))進(jìn)行加密，并且執(zhí)行合成所選背景成分圖像的加密處理。此外，由于加密處理已參照?qǐng)D136的流程圖進(jìn)行過(guò)說(shuō)明，因此略去不述。
在步驟S2112，合成服務(wù)器19將通過(guò)加入運(yùn)動(dòng)模糊而加密的合成圖像傳輸?shù)娇蛻?hù)計(jì)算機(jī)27-1。
在步驟S2102，客戶(hù)計(jì)算機(jī)27-1顯示從合成服務(wù)器19接收的合成圖像，以確定該圖像是否為用戶(hù)所需圖像，并且如果判定該圖像是所需圖像，則在步驟S2103向合成服務(wù)器19通知該圖像為所需圖像。在步驟S2113，合成服務(wù)器19判定圖像是否為所需圖像，并且例如，在這種情況下，由于在步驟S2103向合成服務(wù)器19通知該圖像是所需圖像，因此過(guò)程進(jìn)入步驟S2114，在步驟S2114，合成服務(wù)器19的收費(fèi)處理器19a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理，此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S2115，合成服務(wù)器19將加密合成圖像傳輸?shù)娇蛻?hù)計(jì)算機(jī)27-1。在步驟S2104，客戶(hù)計(jì)算機(jī)27-1接收加密合成圖像，并且將它傳輸?shù)娇蛻?hù)計(jì)算機(jī)27-2。
在步驟S2141，客戶(hù)計(jì)算機(jī)27-2接收加密合成圖像。在步驟S2142，客戶(hù)計(jì)算機(jī)27-2判定是否輸入密鑰，并且重復(fù)該處理，直至輸入加密密鑰。如果在步驟S2142輸入作為加密密鑰的速度和方向信息，則在步驟S2143，運(yùn)動(dòng)模糊消除部分2041根據(jù)所輸入的速度和方向，執(zhí)行運(yùn)動(dòng)模糊處理。在步驟S2144，顯示消除了運(yùn)動(dòng)模糊的圖像。
如果在步驟S2102，判定該圖像不是所需圖像，則在步驟S2105向合成服務(wù)器19通知該圖像不是所需圖像，并且過(guò)程返回到步驟S2101。此外，由于通過(guò)該處理判定該圖像不是所需圖像，則合成服務(wù)器19的處理返回到步驟S2111。
也就是，通過(guò)該處理，當(dāng)將由用戶(hù)指定的速度和方向密鑰正確輸入到客戶(hù)計(jì)算機(jī)27-2時(shí)，顯示加密圖像經(jīng)過(guò)正確解密之后的圖像。此外，通過(guò)與前述加密服務(wù)相同的系統(tǒng)，可以提供解密服務(wù)。
下一步，將參照?qǐng)D152對(duì)校正服務(wù)器20進(jìn)行說(shuō)明。
校正服務(wù)器20的分離處理器11將輸入圖像(可以是圖像ID，并且當(dāng)通過(guò)圖像ID指定圖像時(shí)，從網(wǎng)絡(luò)1檢索相應(yīng)圖像)分離為前景成分圖像和背景成分圖像，以將前景成分圖像輸出到運(yùn)動(dòng)模糊調(diào)整部分2101，并且將背景成分圖像輸出到合成器2102。運(yùn)動(dòng)模糊調(diào)整部分2101用指定運(yùn)動(dòng)模糊量(校正調(diào)整量)調(diào)整輸入前景成分圖像的運(yùn)動(dòng)模糊，并且將它輸出到合成器2102。合成器2102合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的前景成分圖像和所輸入的背景成分圖像，并且將它作為校正圖像輸出。
例如，假定將圖153A所示的圖像輸入到校正服務(wù)器20。也就是，如圖153A的右部所示，當(dāng)前景沿著箭頭方向在背景上移動(dòng)時(shí)，在前景的移動(dòng)方向及其相反方向上產(chǎn)生運(yùn)動(dòng)模糊。該運(yùn)動(dòng)模糊部分為混合區(qū)域，出現(xiàn)在移動(dòng)方向起始部分的混合區(qū)域?yàn)镃B(覆蓋背景)，并且出現(xiàn)在移動(dòng)方向末尾部分的混合區(qū)域?yàn)閁B(非覆蓋背景)，如圖153A的左部所示。此外，由于在圖153A的左部將時(shí)間軸t設(shè)在垂直方向上，因此示出移動(dòng)過(guò)程中像素的像素值的存儲(chǔ)狀態(tài)與時(shí)間之間的關(guān)系。分離服務(wù)器11將該輸入圖像分離為如圖153B所示的前景和背景。此時(shí)，同時(shí)提取輸入圖像的混合區(qū)域。
運(yùn)動(dòng)模糊調(diào)整部分2101調(diào)整圖153B所示的前景成分圖像的運(yùn)動(dòng)模糊，以例如生成如圖153C所示的前景成分圖像。也就是，在這種情況下，將運(yùn)動(dòng)模糊設(shè)小(將CB和UB設(shè)小)。此外，用于調(diào)整運(yùn)動(dòng)模糊的運(yùn)動(dòng)模糊調(diào)整量可以通過(guò)用戶(hù)的重復(fù)操作來(lái)多次輸入，或者可以由運(yùn)動(dòng)模糊調(diào)整部分2101設(shè)為預(yù)定值。
合成器2102合成如圖153C所示調(diào)整的前景成分圖像和所輸入的背景成分圖像，并且合成并輸出經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的前景成分圖像和背景成分圖像，如圖153D所示。
此外，當(dāng)背景成分圖像要改成與輸入圖像的背景成分圖像不同的其他背景成分圖像時(shí)，不將分離出的背景成分圖像輸入到合成器2102，而將想要更替的背景成分圖像輸入到合成器2102。此外，校正服務(wù)器20可以通過(guò)用網(wǎng)絡(luò)1上的分離服務(wù)器11、運(yùn)動(dòng)模糊調(diào)整服務(wù)器16和合成服務(wù)器19代替分離處理器11、運(yùn)動(dòng)模糊調(diào)整部分2101和合成器2102來(lái)構(gòu)造。
下一步，參照?qǐng)D154的流程圖，將說(shuō)明由校正服務(wù)器20執(zhí)行的對(duì)從客戶(hù)計(jì)算機(jī)27輸入的圖像進(jìn)行校正的校正服務(wù)處理。
在步驟S2201，客戶(hù)計(jì)算機(jī)27將圖像指定信息輸出到校正服務(wù)器20。也就是，作為指定用戶(hù)想要校正的圖像的信息，特定圖像或指定圖像的圖像ID輸出到校正服務(wù)器20。
在步驟S2211，校正服務(wù)器20獲得想要校正的指定圖像和背景成分圖像，并且分離服務(wù)器11將想要校正的圖像分離為前景成分圖像和背景成分圖像。也就是，校正服務(wù)器20通過(guò)網(wǎng)絡(luò)1當(dāng)從客戶(hù)計(jì)算機(jī)27傳輸圖像時(shí)讀出并獲得圖像本身，或者當(dāng)傳輸指定圖像的圖像ID時(shí)讀出并獲得對(duì)應(yīng)于圖像ID的圖像。此外，分離服務(wù)器11將所獲得的圖像分離為前景成分圖像和背景成分圖像。
在步驟S2212和步驟S2221，校正服務(wù)器20的收費(fèi)處理器20a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S2213，校正服務(wù)器20的運(yùn)動(dòng)模糊調(diào)整部分2101執(zhí)行前景成分圖像的運(yùn)動(dòng)模糊調(diào)整處理。此外，該運(yùn)動(dòng)模糊調(diào)整處理類(lèi)似于參照?qǐng)D104的流程圖所述的處理，因此略去不述。
在步驟S2214，校正服務(wù)器20合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的前景成分圖像和指定背景成分圖像。在步驟S2215，校正服務(wù)器20將通過(guò)步驟S2214的處理獲得的合成圖像，即校正圖像，傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S2202，客戶(hù)計(jì)算機(jī)27存儲(chǔ)從校正服務(wù)器20傳輸?shù)男Ｕ龍D像。
此外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將由校正服務(wù)器20校正的圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將校正圖像輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。
下一步，參照?qǐng)D155的流程圖，將說(shuō)明由購(gòu)買(mǎi)服務(wù)器21執(zhí)行的購(gòu)買(mǎi)由客戶(hù)計(jì)算機(jī)27指定的圖像的圖像購(gòu)買(mǎi)服務(wù)處理。
在步驟S2301，客戶(hù)計(jì)算機(jī)27將想要購(gòu)買(mǎi)的圖像的指定信息輸出到購(gòu)買(mǎi)服務(wù)器21。也就是，作為指定用戶(hù)想要購(gòu)買(mǎi)的圖像的信息，指定圖像的圖像ID輸出到購(gòu)買(mǎi)服務(wù)器21。
在步驟S2311，購(gòu)買(mǎi)服務(wù)器21獲得想要購(gòu)買(mǎi)的圖像。也就是，購(gòu)買(mǎi)服務(wù)器21通過(guò)網(wǎng)絡(luò)1讀出并獲得與從客戶(hù)計(jì)算機(jī)27傳輸?shù)膱D像ID相對(duì)應(yīng)的圖像。
在步驟S2312和步驟S2321，購(gòu)買(mǎi)服務(wù)器21的收費(fèi)處理器21a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。
在步驟S2313，購(gòu)買(mǎi)服務(wù)器21將通過(guò)步驟S2311的處理獲得的圖像傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。
在步驟S2302，客戶(hù)計(jì)算機(jī)27接收并存儲(chǔ)從購(gòu)買(mǎi)服務(wù)器21傳輸?shù)膱D像。
另外，客戶(hù)計(jì)算機(jī)27可以根據(jù)用戶(hù)指令將由購(gòu)買(mǎi)服務(wù)器21購(gòu)買(mǎi)的圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者通過(guò)網(wǎng)絡(luò)1將它輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。此外，客戶(hù)計(jì)算機(jī)27可以例如將圖像傳輸?shù)搅硪豢蛻?hù)計(jì)算機(jī)27以進(jìn)行提供。而且，另一用戶(hù)可以購(gòu)買(mǎi)分別由分離處理服務(wù)、合成服務(wù)或校正服務(wù)提供的前景成分圖像、背景成分圖像、合成圖像、校正圖像等。
下一步，參照?qǐng)D156的流程圖，將說(shuō)明由出售服務(wù)器22執(zhí)行的出售由客戶(hù)計(jì)算機(jī)27指定的圖像的圖像出售服務(wù)處理。
在步驟S2401，客戶(hù)計(jì)算機(jī)27將想要出售的圖像的指定信息輸出到出售服務(wù)器22。也就是，用戶(hù)想要出售的圖像輸出到出售服務(wù)器22。
在步驟S2411，出售服務(wù)器22獲得想要出售的圖像。也就是，出售服務(wù)器22獲得從客戶(hù)計(jì)算機(jī)27傳輸?shù)膱D像。
在步驟S2422，出售服務(wù)器22對(duì)想要出售的圖像設(shè)置適當(dāng)?shù)膬r(jià)格。價(jià)格可以例如由用戶(hù)預(yù)先設(shè)置，或者通過(guò)網(wǎng)絡(luò)1上的拍賣(mài)來(lái)設(shè)置。此外，如果圖像是一個(gè)人，則當(dāng)選擇該圖像時(shí)可以根據(jù)該人是否是公知人物來(lái)設(shè)置價(jià)格。
在步驟S2413和步驟S2431，出售服務(wù)器22的收費(fèi)處理器22a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。
在此，將參照?qǐng)D157的流程圖對(duì)收費(fèi)處理進(jìn)行說(shuō)明。此外，實(shí)際收費(fèi)處理由出售服務(wù)器22和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行。但是，還從客戶(hù)計(jì)算機(jī)27輸出各種處理所需的信息，因此在此也將說(shuō)明客戶(hù)計(jì)算機(jī)27的處理。
在步驟S2501，辨別用戶(hù)的ID(哪個(gè)用戶(hù)出售圖像)通過(guò)網(wǎng)絡(luò)1傳輸?shù)匠鍪鄯?wù)器22。
在步驟S2511，出售服務(wù)器22根據(jù)從客戶(hù)計(jì)算機(jī)27傳輸?shù)腎D信息，將費(fèi)用和辨別出售服務(wù)器22的ID傳輸?shù)綆?hù)收費(fèi)服務(wù)器24。
在步驟S2521，帳戶(hù)收費(fèi)服務(wù)器24根據(jù)所傳輸?shù)谋鎰e出售服務(wù)器22的ID，請(qǐng)求具有提供商帳戶(hù)的金融交易服務(wù)器26付費(fèi)給具有顧客帳戶(hù)的金融交易服務(wù)器25。
在步驟S2531，金融交易服務(wù)器(針對(duì)提供商)26將對(duì)應(yīng)于出售金額的費(fèi)用從提供商帳戶(hù)轉(zhuǎn)帳到具有顧客帳戶(hù)的金融交易服務(wù)器(針對(duì)顧客)25。
在此，將繼續(xù)說(shuō)明圖156的流程圖。
在步驟S2424，出售服務(wù)器22將出售結(jié)束通知給客戶(hù)計(jì)算機(jī)27。在步驟S2402，客戶(hù)計(jì)算機(jī)27接收出售結(jié)束通知。
另外，出售服務(wù)器22可以使出售服務(wù)器22將由用戶(hù)出售的圖像存儲(chǔ)在它自己的存儲(chǔ)單元中，或者將該圖像輸出到存儲(chǔ)服務(wù)器18以進(jìn)行存儲(chǔ)。此外，當(dāng)如上所述通過(guò)拍賣(mài)系統(tǒng)設(shè)置價(jià)格時(shí)，出售服務(wù)器22可以使由用戶(hù)出售的圖像傳給中標(biāo)者的客戶(hù)計(jì)算機(jī)27。
下一步，將參照?qǐng)D158的方框圖對(duì)檢索服務(wù)器23進(jìn)行說(shuō)明。
檢索服務(wù)器23根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的檢索條件，檢索連接到網(wǎng)絡(luò)1的攝像機(jī)終端單元28上已拍攝的圖像，并且輸出請(qǐng)求圖像。檢索條件是時(shí)間、季節(jié)、天氣、地區(qū)、位置、對(duì)象等。
檢索服務(wù)器23的控制單元2161控制檢索服務(wù)器23的總體操作。在數(shù)據(jù)庫(kù)2162中，存儲(chǔ)位置數(shù)據(jù)、天氣數(shù)據(jù)、對(duì)象數(shù)據(jù)等2162b作為數(shù)據(jù)庫(kù)，其中，位置數(shù)據(jù)通過(guò)與檢索服務(wù)器23所識(shí)別的每個(gè)攝像機(jī)終端單元28的攝像機(jī)ID相對(duì)應(yīng)的裝備在攝像機(jī)終端單元28中的GPS76b獲得。通過(guò)控制單元2161以預(yù)定時(shí)間間隔控制通信單元2165，數(shù)據(jù)庫(kù)2162的內(nèi)容通過(guò)網(wǎng)絡(luò)1從攝像機(jī)終端單元28獲得和更新。
存儲(chǔ)單元2163存儲(chǔ)通過(guò)通信單元2165從網(wǎng)絡(luò)1上的攝像機(jī)終端單元28獲得的圖像，或者存儲(chǔ)處理各種圖像所需的信息。
請(qǐng)求信息生成器2164改寫(xiě)從網(wǎng)絡(luò)1上的客戶(hù)計(jì)算機(jī)27輸入的檢索條件，然后生成檢索數(shù)據(jù)庫(kù)2162的條件。也就是，例如，當(dāng)設(shè)置季節(jié)作為檢索條件時(shí)，季節(jié)可以由每個(gè)攝像機(jī)終端單元28的位置數(shù)據(jù)和時(shí)間計(jì)算器2166所計(jì)算的時(shí)間信息來(lái)指定。從而，例如在輸入‘春季’作為檢索條件時(shí)，請(qǐng)求信息生成器2164生成目前為春季的地球經(jīng)緯度位置數(shù)據(jù)?？刂茊卧?161控制通信單元2165，然后通過(guò)從網(wǎng)絡(luò)1讀出對(duì)應(yīng)于位置數(shù)據(jù)的攝像機(jī)ID的攝像機(jī)終端單元28的拍攝圖像，獲取對(duì)應(yīng)于‘春季’的圖像。
分離處理器2167通過(guò)分離處理從已讀出的圖像中獲取想要檢索的圖像。此外，分離處理器2167具有與分離處理器11相同的功能。
下一步，參照?qǐng)D159的流程圖，將說(shuō)明由檢索服務(wù)器23執(zhí)行的根據(jù)從客戶(hù)計(jì)算機(jī)27輸入的檢索條件對(duì)圖像進(jìn)行檢索的檢索服務(wù)處理。
在步驟S2601，客戶(hù)計(jì)算機(jī)27將檢索條件輸出到檢索服務(wù)器23。在步驟S2611，檢索服務(wù)器23從通信單元2165接收檢索條件。
在步驟S2612和S2631，檢索服務(wù)器23的收費(fèi)處理器23a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。此外，步驟S2612和S2631的收費(fèi)處理是與執(zhí)行檢索處理的費(fèi)用相關(guān)的收費(fèi)處理。
檢索服務(wù)器23在步驟S2613檢索對(duì)應(yīng)于檢索條件的圖像，并且在步驟S2614調(diào)出相應(yīng)圖像。在步驟S2641，攝像機(jī)終端單元28將顯示圖像傳輸?shù)綑z索服務(wù)器23。
也就是，例如，假定客戶(hù)計(jì)算機(jī)27-1到27-5、檢索服務(wù)器23和攝像機(jī)終端單元28-1到28-5如圖160所示連接到網(wǎng)絡(luò)1。此時(shí)，如果客戶(hù)計(jì)算機(jī)27-2通過(guò)用戶(hù)操作將‘人’、‘小汽車(chē)’和‘大樓’作為檢索條件傳輸給步驟2611的處理，則在步驟2613，檢索服務(wù)器23在數(shù)據(jù)庫(kù)2162中檢索作為檢索條件的‘人’、‘小汽車(chē)’和‘大樓’的對(duì)象。也就是，在圖160的情況下，檢索服務(wù)器23檢索出正由ID為1的攝像機(jī)終端單元28-1拍攝的小汽車(chē)2172、正由ID為2的攝像機(jī)終端單元28-2拍攝的人2182和正由ID為5的攝像機(jī)終端單元28-5拍攝的大樓2211，然后在步驟2614從各攝像機(jī)終端單元28獲取這些圖像。
在步驟S2515，檢索服務(wù)器23判定調(diào)出圖像是否經(jīng)過(guò)分離，即是否包含不滿(mǎn)足所需條件的圖像(對(duì)象)。
在圖160的情況下，由于在從攝像機(jī)終端單元28-1傳輸?shù)膱D像中包含不滿(mǎn)足檢索條件的云彩2171，并且在從攝像機(jī)終端單元28-2傳輸?shù)膱D像中包含不滿(mǎn)足所需條件的房子2181，因此這些圖像不是對(duì)應(yīng)于檢索條件的分離圖像，并且過(guò)程進(jìn)入步驟S2616。
在步驟S2616，分離處理器2167執(zhí)行分離處理。此外，該分離處理類(lèi)似于圖117的流程圖的處理，因此略去不述。
在步驟S2617，合成調(diào)出圖像，并且將其傳輸?shù)娇蛻?hù)計(jì)算機(jī)27。在步驟S2602，客戶(hù)計(jì)算機(jī)27獲得從檢索服務(wù)器23傳輸?shù)膱D像。在步驟S2603，客戶(hù)計(jì)算機(jī)27判定接收?qǐng)D像是否為所需圖像。如圖160所示，在如顯示27a-2所示的圖像的情況下，檢索條件‘人’、‘小汽車(chē)’和‘大樓’作為人2182、小汽車(chē)2172和大樓2211包含在圖像中，由于這些圖像是所需圖像，因此在步驟S2604，向檢索服務(wù)器23通知該圖像為所需圖像。
在步驟S2618，檢索服務(wù)器23根據(jù)從客戶(hù)計(jì)算機(jī)27傳輸?shù)耐ㄖ?，判定它是否為所需圖像。在圖160的情況下，由于它是所需圖像，因此過(guò)程進(jìn)入步驟S2619。
在步驟S2619和S2632，檢索服務(wù)器23的收費(fèi)處理器23a和帳戶(hù)收費(fèi)服務(wù)器24執(zhí)行收費(fèi)處理。此外，該收費(fèi)處理類(lèi)似于圖118和圖120中的分離服務(wù)的收費(fèi)處理，因此略去不述。此外，步驟S2619和S2632的收費(fèi)處理是與傳輸檢索圖像的服務(wù)費(fèi)用相關(guān)的收費(fèi)處理。此外，在步驟S2515，如果全是檢索條件的圖像，則跳過(guò)步驟S2616的過(guò)程。
在步驟S2603，例如，雖然客戶(hù)計(jì)算機(jī)27-4指定‘房子’、‘云彩’和‘人臉’作為檢索條件，但是當(dāng)如顯示27a-4所示在圖像中顯示房子2181和云彩2071而沒(méi)有顯示人臉2201時(shí)，該圖像不是所需圖像，因而過(guò)程進(jìn)入步驟S2605，向檢索服務(wù)器23通知該圖像不是所需圖像，然后過(guò)程結(jié)束。
此時(shí)，在步驟S2618，向檢索服務(wù)器23通知該圖像不是所需圖像，并且過(guò)程結(jié)束。
在這種情況下，收取檢索處理的服務(wù)費(fèi)用，但不收取傳輸檢索圖像的服務(wù)費(fèi)用。
根據(jù)上面描述，可以通過(guò)將圖像處理分布到網(wǎng)絡(luò)上的多個(gè)服務(wù)器來(lái)提高圖像處理速度，并且還可以通過(guò)僅提供用戶(hù)請(qǐng)求處理來(lái)降低服務(wù)費(fèi)用。
此外，還可以考慮如下發(fā)明。
也就是，本發(fā)明可以涉及一種通信裝置和方法以及通信系統(tǒng)，更具體地說(shuō)，涉及一種通信裝置和方法以及通信系統(tǒng)，能夠通過(guò)將圖像處理分布到網(wǎng)絡(luò)上的多個(gè)服務(wù)器來(lái)執(zhí)行以提高處理速度，并且通過(guò)分布處理僅執(zhí)行用戶(hù)所需處理來(lái)降低服務(wù)費(fèi)用，其中，分布處理關(guān)于真實(shí)世界與由傳感器檢測(cè)的信號(hào)之間的差異，并且關(guān)于在需要時(shí)利用而無(wú)需將其存儲(chǔ)在它自己的通信裝置中的調(diào)出圖像和先前圖像數(shù)據(jù)。
使用傳感器檢測(cè)真實(shí)世界中的事件和處理從圖像傳感器輸出的采樣數(shù)據(jù)的技術(shù)被廣泛采用。然而，例如，在通過(guò)使用視頻攝像機(jī)拍攝在靜止的預(yù)定背景之前移動(dòng)的物體而獲得的圖像中，當(dāng)物體的移動(dòng)速度相對(duì)快時(shí)，發(fā)生運(yùn)動(dòng)模糊。
作為一種用于對(duì)包含運(yùn)動(dòng)模糊的前述圖像進(jìn)行加密的技術(shù)，已經(jīng)提出在圖像的平坦部分不能識(shí)別加密圖像的掩蔽方法(burying method)，或者使用圖像相關(guān)性掩蔽信息的方法。
此外，當(dāng)物體在靜止背景之前移動(dòng)時(shí)，當(dāng)移動(dòng)物體的圖像由于其自身的運(yùn)動(dòng)以及由于背景圖像和移動(dòng)物體圖像的混合而混合時(shí)，發(fā)生運(yùn)動(dòng)模糊。然而，在傳統(tǒng)上不考慮與背景圖像和移動(dòng)物體圖像的混合相對(duì)應(yīng)的處理。
此外，在消除或調(diào)整前述圖像的運(yùn)動(dòng)模糊中，在調(diào)整快門(mén)之后，可以在一定的限度內(nèi)容忍運(yùn)動(dòng)模糊，以使用運(yùn)動(dòng)模糊達(dá)到視覺(jué)效果。然而，一般，當(dāng)運(yùn)動(dòng)模糊顯著時(shí)，使用Wiener濾波器來(lái)消除運(yùn)動(dòng)模糊。
另外，傳統(tǒng)用戶(hù)使用他自己的計(jì)算機(jī)等通過(guò)選擇用戶(hù)所拍攝的圖像在需要時(shí)打印前述圖像。
因此，除了在用戶(hù)計(jì)算機(jī)上之外，根據(jù)圖像的混合來(lái)對(duì)圖像進(jìn)行分離、合成或校正而獲得的圖像未被廣泛使用。
此外，當(dāng)發(fā)生運(yùn)動(dòng)模糊的物體圖像與其他背景圖像組合以進(jìn)行合成時(shí)，傳統(tǒng)用戶(hù)通過(guò)大量搜索來(lái)獲得所需背景圖像，以輸入到用戶(hù)計(jì)算機(jī)中進(jìn)行顯示。
因此，在如上所述檢索圖像中，提出一個(gè)問(wèn)題是在將所需圖像輸入用戶(hù)計(jì)算機(jī)之前，重復(fù)相同的處理。
另外，在通過(guò)網(wǎng)絡(luò)合成所需圖像的技術(shù)中，這些合成圖像是通過(guò)疊加和加入多個(gè)預(yù)先存在的圖像如從存儲(chǔ)在網(wǎng)絡(luò)上的存儲(chǔ)服務(wù)器等中的圖像中獲得的指定圖像或者使用數(shù)字靜止攝像機(jī)拍攝的圖像來(lái)生成的。
附帶地，為了通過(guò)使用上述技術(shù)合成圖像，假定先前準(zhǔn)備好作為合成基礎(chǔ)的圖像。然而，由于存在各種攝像技巧，因此難以獲得或生成滿(mǎn)意的圖像來(lái)進(jìn)行合成。因此，存在一個(gè)問(wèn)題是用戶(hù)在生成合成圖像時(shí)不容易獲得或生成所需圖像數(shù)據(jù)庫(kù)。
此外，考慮到上述問(wèn)題，如果用戶(hù)能夠獲得所需圖像，則具有大數(shù)據(jù)容量的圖像必須存儲(chǔ)在用戶(hù)計(jì)算機(jī)中而不被刪除，因?yàn)椴蝗菀自俅潍@得它們。在這種情況下，建議通過(guò)將圖像數(shù)據(jù)分離為對(duì)象特征量和混合比率來(lái)根據(jù)特征量執(zhí)行最優(yōu)編碼。然而，一般，由于圖像對(duì)象的特征量和混合比率存在很大差異，從而不能在最優(yōu)狀態(tài)下執(zhí)行編碼，因此存在一個(gè)問(wèn)題是，不能實(shí)現(xiàn)最優(yōu)編碼，并且不能高效存儲(chǔ)圖像數(shù)據(jù)。
考慮到上述情形，本發(fā)明可以使用混合圖像對(duì)圖像進(jìn)行加密；通過(guò)設(shè)置和調(diào)整運(yùn)動(dòng)模糊混合來(lái)消除運(yùn)動(dòng)模糊以獲得清晰圖像，并且通過(guò)合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的圖像和背景圖像來(lái)更自然地校正圖像；通過(guò)網(wǎng)絡(luò)有效使用通過(guò)利用圖像的混合對(duì)圖像進(jìn)行分離、合成或校正而獲得的圖像；通過(guò)網(wǎng)絡(luò)檢索通過(guò)利用圖像的混合對(duì)圖像進(jìn)行分離、合成或校正而獲得的圖像；通過(guò)將圖像存儲(chǔ)在預(yù)定存儲(chǔ)服務(wù)器中，在需要時(shí)調(diào)出并使用預(yù)先存在的圖像數(shù)據(jù)，而無(wú)需將圖像數(shù)據(jù)存儲(chǔ)在用戶(hù)計(jì)算機(jī)中，并且通過(guò)使用存儲(chǔ)服務(wù)器的位置信息在需要時(shí)讀出并利用圖像。
本發(fā)明的第1系統(tǒng)，其特征在于，第一通信裝置包括請(qǐng)求信息輸入部件，用于從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及編碼數(shù)據(jù)接收部件，用于接收從第二通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，并且第二通信裝置包括請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離部件，用于將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及編碼數(shù)據(jù)傳輸部件，用于將當(dāng)分離部件根據(jù)請(qǐng)求信息接收部件所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
第一通信裝置和第二通信裝置還可以分別包括第一收費(fèi)部件和第二收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
第二收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、第二通信裝置ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
第二收費(fèi)部件可以通過(guò)與第一收費(fèi)部件協(xié)作，根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
第一通信裝置的第一收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
編碼數(shù)據(jù)傳輸部件可以?xún)H在第一收費(fèi)部件和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入預(yù)定圖像數(shù)據(jù)。請(qǐng)求信息傳輸部件除請(qǐng)求信息之外還可以將預(yù)定圖像數(shù)據(jù)傳輸?shù)降诙ㄐ叛b置，請(qǐng)求信息接收部件除請(qǐng)求信息之外還可以接收從第一通信裝置傳輸?shù)念A(yù)定圖像數(shù)據(jù)，分離部件可以將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一收費(fèi)部件和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息接收部件所接收的預(yù)定圖像數(shù)據(jù)和請(qǐng)求信息將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的有效信息傳輸?shù)降谝煌ㄐ叛b置。
第二通信裝置還可以包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域，其中，有效信息包括區(qū)域信息，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息接收部件所接收的預(yù)定圖像數(shù)據(jù)和請(qǐng)求信息將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由區(qū)域信息生成部件生成的區(qū)域信息傳輸?shù)降谝煌ㄐ叛b置。
第二通信裝置還可以包括混合比率生成部件，用于生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率，其中，有效信息包括混合比率，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息接收部件所接收的預(yù)定圖像數(shù)據(jù)和請(qǐng)求信息將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由混合比率生成部件生成的混合比率傳輸?shù)降谝煌ㄐ叛b置。
有效信息可以包括前景成分圖像和背景成分圖像，編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將由請(qǐng)求信息接收部件接收的請(qǐng)求信息以及編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，其中，編碼數(shù)據(jù)是當(dāng)分離部件將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由分離部件生成的前景成分圖像和背景成分圖像。
除用戶(hù)請(qǐng)求信息之外，請(qǐng)求信息輸入部件還可以輸入用于辨別預(yù)定圖像數(shù)據(jù)的圖像數(shù)據(jù)ID，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后，才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息和對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)生成的有效信息傳輸?shù)降谝煌ㄐ叛b置。
第二通信裝置還可以包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域，其中，有效信息包括區(qū)域信息，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息和對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由區(qū)域信息生成部件生成的區(qū)域信息傳輸?shù)降谝煌ㄐ叛b置。
第二通信裝置還可以包括混合比率生成部件，用于根據(jù)區(qū)域信息生成混合比率，表示前景區(qū)域和背景區(qū)域混合在對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率，其中，有效信息包括混合比率，并且編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將編碼數(shù)據(jù)作為當(dāng)分離部件根據(jù)請(qǐng)求信息和對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由混合比率生成部件生成的混合比率傳輸?shù)降谝煌ㄐ叛b置。
有效信息可以包括前景成分圖像和背景成分圖像，編碼數(shù)據(jù)傳輸部件可以?xún)H在第一和第二收費(fèi)部件完成收費(fèi)處理之后才將請(qǐng)求信息和編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，其中，編碼數(shù)據(jù)是當(dāng)分離部件將對(duì)應(yīng)于圖像數(shù)據(jù)ID的預(yù)定圖像分離為前景成分圖像和背景成分圖像時(shí)由分離部件生成的前景成分圖像和背景成分圖像。
本發(fā)明的第1系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括請(qǐng)求信息輸入步驟，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及編碼數(shù)據(jù)接收步驟，接收從第二通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，并且第二通信裝置的通信方法包括請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離步驟，將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及編碼數(shù)據(jù)傳輸步驟，將當(dāng)在分離步驟根據(jù)請(qǐng)求信息接收步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第2記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及編碼數(shù)據(jù)接收控制步驟，控制接收從第二通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，并且控制第二通信裝置的程序包括請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及編碼數(shù)據(jù)傳輸控制步驟，控制將當(dāng)在分離控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第2程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及編碼數(shù)據(jù)接收控制步驟，控制接收從第二通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及編碼數(shù)據(jù)傳輸控制步驟，控制將當(dāng)在分離控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第2通信裝置，其特征在于包括請(qǐng)求信息輸入部件，用于從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及編碼數(shù)據(jù)接收部件，用于接收從其他通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)。
本發(fā)明的第2通信方法，其特征在于包括請(qǐng)求信息輸入步驟，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及編碼數(shù)據(jù)接收步驟，接收從其他通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)。
本發(fā)明的第3記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及編碼數(shù)據(jù)接收控制步驟，控制接收從其他通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)。
本發(fā)明的第3程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及編碼數(shù)據(jù)接收控制步驟，控制接收從其他通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)。
本發(fā)明的第3通信裝置，其特征在于包括請(qǐng)求信息接收部件，用于接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；分離部件，用于將通過(guò)圖像拍攝元件獲得的圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及編碼數(shù)據(jù)傳輸部件，用于將當(dāng)分離部件根據(jù)請(qǐng)求信息接收部件所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第3通信方法，其特征在于包括請(qǐng)求信息接收步驟，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；分離步驟，將通過(guò)圖像拍攝元件獲得的圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及編碼數(shù)據(jù)傳輸步驟，將當(dāng)在分離步驟根據(jù)請(qǐng)求信息接收步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第4記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將通過(guò)圖像拍攝元件獲得的圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及編碼數(shù)據(jù)傳輸控制步驟，控制將當(dāng)在分離控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第4程序，其特征在于使計(jì)算機(jī)執(zhí)行如下控制步驟請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將通過(guò)圖像拍攝元件獲得的圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及編碼數(shù)據(jù)傳輸控制步驟，控制將當(dāng)在分離控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第2通信系統(tǒng)，其特征在于，第一通信裝置包括請(qǐng)求信息輸入部件，用于從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置到第四通信裝置之一；以及編碼數(shù)據(jù)接收部件，用于接收從第二通信裝置到第四通信裝置之一傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，第二通信裝置包括第一請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離部件，用于將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及第一編碼數(shù)據(jù)傳輸部件，用于將分離部件根據(jù)第一請(qǐng)求信息接收部件所接收的請(qǐng)求信息從圖像中分離出的前景成分圖像和背景成分圖像作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，第三通信裝置包括第二請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域；以及第二編碼數(shù)據(jù)傳輸部件，用于將區(qū)域信息生成部件根據(jù)第二請(qǐng)求信息接收部件所接收的請(qǐng)求信息生成的區(qū)域信息作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，并且第四通信裝置包括第三請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率生成部件，用于生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率；以及第三編碼數(shù)據(jù)傳輸部件，用于將混合比率生成部件根據(jù)請(qǐng)求信息接收部件所接收的請(qǐng)求信息生成的混合比率作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第2系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括請(qǐng)求信息輸入步驟，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置到第四通信裝置之一；以及編碼數(shù)據(jù)接收步驟，接收從第二通信裝置到第四通信裝置之一傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，第二通信裝置的通信方法包括第一請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離步驟，將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及第一編碼數(shù)據(jù)傳輸步驟，將在分離步驟根據(jù)第一請(qǐng)求信息接收步驟所接收的請(qǐng)求信息從圖像中分離出的前景成分圖像和背景成分圖像作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，第三通信裝置的通信方法包括第二請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；區(qū)域信息生成步驟，生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域；以及第二編碼數(shù)據(jù)傳輸步驟，將在區(qū)域信息生成步驟根據(jù)第二請(qǐng)求信息接收步驟所接收的請(qǐng)求信息生成的區(qū)域信息作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，并且第四通信裝置的通信方法包括第三請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率生成步驟，生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率；以及第三編碼數(shù)據(jù)傳輸步驟，將在混合比率生成步驟根據(jù)請(qǐng)求信息接收步驟所接收的請(qǐng)求信息生成的混合比率作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第5記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置到第四通信裝置之一；以及編碼數(shù)據(jù)接收控制步驟，控制接收從第二通信裝置到第四通信裝置之一傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，控制第二通信裝置的程序包括第一請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及第一編碼數(shù)據(jù)傳輸控制步驟，控制將在分離控制步驟根據(jù)第一請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息從圖像中分離出的前景成分圖像和背景成分圖像作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，控制第三通信裝置的程序包括第二請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；區(qū)域信息生成控制步驟，控制生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域；以及第二編碼數(shù)據(jù)傳輸控制步驟，控制將在區(qū)域信息生成控制步驟根據(jù)第二請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息生成的區(qū)域信息作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，并且控制第四通信裝置的程序包括第三請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率生成控制步驟，控制生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率；以及第三編碼數(shù)據(jù)傳輸控制步驟，控制將在混合比率生成控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息生成的混合比率作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第5程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置到第四通信裝置之一；以及編碼數(shù)據(jù)接收控制步驟，控制接收從第二通信裝置到第四通信裝置之一傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟第一請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；分離控制步驟，控制將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及第一編碼數(shù)據(jù)傳輸控制步驟，控制將在分離控制步驟根據(jù)第一請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息從圖像中分離出的前景成分圖像和背景成分圖像作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，使控制第三通信裝置的計(jì)算機(jī)執(zhí)行如下步驟第二請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；區(qū)域信息生成控制步驟，控制生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域；以及第二編碼數(shù)據(jù)傳輸控制步驟，控制將在區(qū)域信息生成控制步驟根據(jù)第二請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息生成的區(qū)域信息作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，并且使控制第四通信裝置的計(jì)算機(jī)執(zhí)行如下步驟第三請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率生成控制步驟，控制生成混合比率，表示前景區(qū)域和背景區(qū)域混合在預(yù)定圖像數(shù)據(jù)的混合區(qū)域中的比率；以及第三編碼數(shù)據(jù)傳輸控制步驟，控制將在混合比率生成控制步驟根據(jù)請(qǐng)求信息接收控制步驟所接收的請(qǐng)求信息生成的混合比率作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第4通信裝置，其特征在于包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；合成部件，用于合成前景成分圖像和背景成分圖像，以生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像輸出部件，用于輸出由合成部件生成的合成圖像。
合成圖像輸出部件可以將合成圖像輸出到用戶(hù)的通信裝置。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像、預(yù)定背景成分圖像和當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)有效信息合成由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像和預(yù)定背景成分圖像，并輸入其中預(yù)定前景成分圖像和預(yù)定背景成分圖像混合在一起的混合區(qū)域的混合比率作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)作為有效信息的混合比率，合成由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像和預(yù)定背景成分圖像，并輸入前景成分圖像的移動(dòng)量和移動(dòng)方向作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)作為有效信息的前景成分圖像的移動(dòng)量和移動(dòng)方向，調(diào)整由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像的運(yùn)動(dòng)模糊，合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像、預(yù)定背景成分圖像和初始位置信息，并輸入前景成分圖像的移動(dòng)量和移動(dòng)方向作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，合成部件可以根據(jù)作為有效信息的移動(dòng)量和移動(dòng)方向，調(diào)整由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像的運(yùn)動(dòng)模糊，計(jì)算混合比率，根據(jù)初始位置信息、作為有效信息的前景成分圖像的移動(dòng)量和移動(dòng)方向，使用算出的混合比率，合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的預(yù)定前景成分圖像和預(yù)定背景成分圖像，然后生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入辨別預(yù)定前景成分圖像的前景成分圖像ID、辨別預(yù)定背景成分圖像的背景成分圖像ID以及有效信息，并且合成部件可以按照與用戶(hù)請(qǐng)求信息一起的辨別預(yù)定前景成分圖像的前景成分圖像ID、辨別預(yù)定背景成分圖像的背景成分圖像ID以及有效信息，根據(jù)有效信息，合成對(duì)應(yīng)于前景成分圖像ID的前景成分圖像和對(duì)應(yīng)于背景成分圖像ID的背景成分圖像，并且生成合成圖像。
還可以包括收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用且對(duì)應(yīng)于現(xiàn)金的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將合成圖像輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
本發(fā)明的第4通信方法，其特征在于包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；合成步驟，根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像輸出步驟，輸出在合成步驟生成的合成圖像。
本發(fā)明的第6記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像輸出控制步驟，控制輸出在合成控制步驟生成的合成圖像。
本發(fā)明的第6程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像輸出控制步驟，控制輸出在合成控制步驟生成的合成圖像。
本發(fā)明的第3通信系統(tǒng)，其特征在于，第一通信裝置包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及合成數(shù)據(jù)接收部件，用于接收根據(jù)請(qǐng)求信息從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且第二通信裝置包括請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；合成部件，用于根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸部件，用于將由合成部件生成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像、預(yù)定背景成分圖像和當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)有效信息合成由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像和預(yù)定背景成分圖像，并輸入其中預(yù)定前景成分圖像和預(yù)定背景成分圖像混合在一起的混合區(qū)域的混合比率作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)作為有效信息的混合比率，合成由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像和預(yù)定背景成分圖像，并輸入前景成分圖像的移動(dòng)量和移動(dòng)方向作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)作為有效信息的前景成分圖像的移動(dòng)量和移動(dòng)方向，調(diào)整由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像的運(yùn)動(dòng)模糊，合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的預(yù)定前景成分圖像和預(yù)定背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入預(yù)定前景成分圖像、預(yù)定背景成分圖像和初始位置信息，并輸入前景成分圖像的移動(dòng)量和移動(dòng)方向作為當(dāng)合成預(yù)定前景成分圖像和預(yù)定背景成分圖像時(shí)使用的有效信息，并且合成部件可以根據(jù)作為有效信息的移動(dòng)量和移動(dòng)方向，調(diào)整由請(qǐng)求信息輸入部件與請(qǐng)求信息一起輸入的預(yù)定前景成分圖像的運(yùn)動(dòng)模糊，計(jì)算混合比率，根據(jù)初始位置信息、作為有效信息的前景成分圖像的移動(dòng)量和移動(dòng)方向，使用算出的混合比率，合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的預(yù)定前景成分圖像和預(yù)定背景成分圖像，然后生成合成圖像。
請(qǐng)求信息輸入部件可以與用戶(hù)請(qǐng)求信息一起輸入辨別預(yù)定前景成分圖像的前景成分圖像ID、辨別預(yù)定背景成分圖像的背景成分圖像ID以及有效信息，并且合成部件可以按照與用戶(hù)請(qǐng)求信息一起的辨別預(yù)定前景成分圖像的前景成分圖像ID、辨別預(yù)定背景成分圖像的背景成分圖像ID以及有效信息，根據(jù)有效信息，合成對(duì)應(yīng)于前景成分圖像ID的前景成分圖像和對(duì)應(yīng)于背景成分圖像ID的背景成分圖像，并且生成合成圖像。
還可以包括收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將合成圖像輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
本發(fā)明的第3通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及合成數(shù)據(jù)接收步驟，接收根據(jù)請(qǐng)求信息從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且第二通信裝置的通信方法包括請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；合成步驟，根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸步驟，將在合成步驟生成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第7記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及合成數(shù)據(jù)接收控制步驟，控制接收根據(jù)請(qǐng)求信息從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且控制第二通信裝置的程序包括請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸控制步驟，控制將在合成控制步驟生成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第7程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及合成數(shù)據(jù)接收控制步驟，控制接收根據(jù)請(qǐng)求信息從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸控制步驟，控制將在合成控制步驟生成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第5通信裝置，其特征在于包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及合成數(shù)據(jù)接收部件，用于接收根據(jù)請(qǐng)求信息從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第5通信方法，其特征在于包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及合成數(shù)據(jù)接收步驟，接收根據(jù)請(qǐng)求信息從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第8記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及合成數(shù)據(jù)接收控制步驟，控制接收根據(jù)請(qǐng)求信息從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第8程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及合成數(shù)據(jù)接收控制步驟，控制接收根據(jù)請(qǐng)求信息從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第6通信裝置，其特征在于包括請(qǐng)求信息接收部件，用于接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；合成部件，用于根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸部件，用于將由合成部件生成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第6通信方法，其特征在于包括請(qǐng)求信息接收步驟，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；合成步驟，根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸步驟，將在合成步驟生成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第9記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸控制步驟，控制將在合成控制步驟生成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第9程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；合成控制步驟，控制根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及合成圖像傳輸控制步驟，控制將在合成控制步驟生成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第7通信裝置，其特征在于包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；混合比率估計(jì)部件，用于根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離部件，用于根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和任意背景成分圖像，或者由分離部件分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及輸出部件，用于輸出由合成部件合成的合成圖像。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入用于將運(yùn)動(dòng)模糊加入到前景成分圖像的運(yùn)動(dòng)模糊調(diào)整量，并且還可以包括運(yùn)動(dòng)模糊加入部件，用于將對(duì)應(yīng)于運(yùn)動(dòng)模糊調(diào)整量的運(yùn)動(dòng)模糊加入到前景成分圖像，并且合成部件可以以預(yù)定混合比率合成其中由運(yùn)動(dòng)模糊加入部件加入運(yùn)動(dòng)模糊的前景成分圖像和任意背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入任意背景成分圖像，并且合成部件可以以由混合比率估計(jì)部件估計(jì)的比率合成前景成分圖像和任意背景成分圖像，并且生成合成圖像。
還可以包括收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將合成圖像輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入預(yù)定圖像數(shù)據(jù)，并且輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將由合成部件合成的圖像輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
本發(fā)明的第7通信方法，其特征在于包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；混合比率估計(jì)步驟，根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離步驟，根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成步驟，以預(yù)定混合比率合成在分離步驟分離出的前景成分圖像和任意背景成分圖像，或者在分離步驟分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及輸出步驟，輸出在合成步驟合成的合成圖像。
本發(fā)明的第10記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及輸出控制步驟，控制輸出在合成控制步驟合成的合成圖像。
本發(fā)明的第10程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及輸出控制步驟，控制輸出在合成控制步驟合成的合成圖像。
本發(fā)明的第4通信系統(tǒng)，其特征在于，第一通信裝置包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收部件，用于接收從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且第二通信裝置包括請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)部件，用于根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離部件，用于根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和任意背景成分圖像，或者由分離部件分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸部件，用于將由合成部件合成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入用于將運(yùn)動(dòng)模糊加入到前景成分圖像的運(yùn)動(dòng)模糊調(diào)整量，第二通信裝置可以包括運(yùn)動(dòng)模糊加入部件，用于將對(duì)應(yīng)于運(yùn)動(dòng)模糊調(diào)整量的運(yùn)動(dòng)模糊加入到前景成分圖像，并且合成部件可以以預(yù)定混合比率合成其中由運(yùn)動(dòng)模糊加入部件加入運(yùn)動(dòng)模糊的前景成分圖像和任意背景成分圖像，并且生成合成圖像。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入任意背景成分圖像，并且合成部件可以以由混合比率估計(jì)部件估計(jì)的比率合成前景成分圖像和任意背景成分圖像，并且生成合成圖像。
第二通信裝置還可以包括收費(fèi)部件，用于根據(jù)請(qǐng)求信息執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、第二通信裝置ID和對(duì)應(yīng)于請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
第二通信裝置的收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
合成圖像傳輸部件可以在收費(fèi)部件完成收費(fèi)處理之后將合成圖像傳輸?shù)酵瓿墒召M(fèi)處理的用戶(hù)的第一通信裝置。
請(qǐng)求信息輸入部件除用戶(hù)請(qǐng)求信息之外還可以輸入預(yù)定圖像數(shù)據(jù)，并且輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將由合成部件合成的圖像輸出到完成收費(fèi)處理的用戶(hù)的第一通信裝置。
本發(fā)明的第4通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收步驟，接收從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且第二通信裝置的通信方法包括請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)步驟，根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離步驟，根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成步驟，以預(yù)定混合比率合成在分離步驟分離出的前景成分圖像和任意背景成分圖像，或者在分離步驟分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸步驟，將在合成步驟合成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第11記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收控制步驟，控制接收從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且控制第二通信裝置的程序包括請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸控制步驟，控制將在合成控制步驟合成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第11程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收控制步驟，控制接收從第二通信裝置傳輸?shù)暮铣蓴?shù)據(jù)，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸控制步驟，控制將在合成控制步驟合成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第8通信裝置，其特征在于包括請(qǐng)求信息輸入部件，用于輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸部件，用于將由請(qǐng)求信息輸入部件輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收部件，用于接收從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第8通信方法，其特征在于包括請(qǐng)求信息輸入步驟，輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸步驟，將在請(qǐng)求信息輸入步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收步驟，接收從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第12記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收控制步驟，控制接收從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第12程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)請(qǐng)求信息；請(qǐng)求信息傳輸控制步驟，控制將在請(qǐng)求信息輸入控制步驟輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收控制步驟，控制接收從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
本發(fā)明的第9通信裝置，其特征在于包括請(qǐng)求信息接收部件，用于接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)部件，用于根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離部件，用于根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和任意背景成分圖像，或者由分離部件分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸部件，用于將由合成部件合成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第9通信方法，其特征在于包括請(qǐng)求信息接收步驟，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)步驟，根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離步驟，根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成步驟，以預(yù)定混合比率合成在分離步驟分離出的前景成分圖像和任意背景成分圖像，或者在分離步驟分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸步驟，將在合成步驟合成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第13記錄介質(zhì)的程序，其特征在于包括請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸控制步驟，控制將在合成控制步驟合成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第13程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；混合比率估計(jì)控制步驟，控制根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離控制步驟，控制根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；合成控制步驟，控制以預(yù)定混合比率合成在分離控制步驟分離的前景成分圖像和任意背景成分圖像，或者在分離控制步驟分離的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及合成圖像傳輸控制步驟，控制將在合成控制步驟合成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第10通信裝置，其特征在于包括圖像ID輸入部件，用于輸入辨別用戶(hù)所請(qǐng)求圖像的ID；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由圖像ID輸入部件輸入的圖像ID相對(duì)應(yīng)的圖像；輸出部件，用于將由檢索部件檢索的圖像輸出到用戶(hù)的通信裝置；以及收費(fèi)部件，用于根據(jù)由檢索部件檢索的圖像執(zhí)行收費(fèi)處理。
還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并且存儲(chǔ)部件可以存儲(chǔ)由分離部件從圖像中分離出的前景成分圖像和背景成分圖像。
還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
收費(fèi)部件可以根據(jù)由檢索部件檢索的圖像，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和與由檢索部件檢索的圖像相對(duì)應(yīng)的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將合成圖像輸出到完成收費(fèi)處理的用戶(hù)的第一通信裝置。
本發(fā)明的第10通信方法，其特征在于包括圖像ID輸入步驟，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在圖像ID輸入步驟輸入的圖像ID相對(duì)應(yīng)的圖像；輸出步驟，將在檢索步驟檢索的圖像輸出到用戶(hù)的通信裝置；以及收費(fèi)步驟，根據(jù)在檢索步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第14記錄介質(zhì)的程序，其特征在于包括圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID輸入控制步驟輸入的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到用戶(hù)的通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第14程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID輸入控制步驟輸入的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到用戶(hù)的通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第5通信系統(tǒng)，其特征在于，第一通信裝置包括圖像ID輸入部件，用于輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸部件，用于將圖像ID傳輸?shù)降诙ㄐ叛b置；以及圖像接收部件，用于接收根據(jù)圖像ID檢索的圖像，并且第二通信裝置包括圖像ID接收部件，用于接收從第一通信裝置傳輸?shù)膱D像ID；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由圖像ID接收部件接收的圖像ID相對(duì)應(yīng)的圖像；輸出部件，用于將由檢索部件檢索的圖像輸出到第一通信裝置；以及收費(fèi)部件，用于根據(jù)由檢索部件檢索的圖像執(zhí)行收費(fèi)處理。
第二通信裝置還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成。
存儲(chǔ)部件可以存儲(chǔ)由分離部件分離出的前景成分圖像和背景成分圖像。
第二通信裝置還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
第二通信裝置還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
收費(fèi)部件可以根據(jù)由檢索部件檢索的圖像，生成收費(fèi)信息包括用戶(hù)ID、第二通信裝置ID和與由檢索部件檢索的圖像相對(duì)應(yīng)的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
第二通信裝置的收費(fèi)部件可以通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)中減去對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將圖像輸出到完成收費(fèi)處理的用戶(hù)的第一通信裝置。
本發(fā)明的第5通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括圖像ID輸入步驟，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸步驟，將圖像ID傳輸?shù)降诙ㄐ叛b置；以及圖像接收步驟，接收根據(jù)圖像ID檢索的圖像，并且第二通信裝置的通信方法包括圖像ID接收步驟，接收從第一通信裝置傳輸?shù)膱D像ID；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在圖像ID接收步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出步驟，將在檢索步驟檢索的圖像輸出到第一通信裝置；以及收費(fèi)步驟，根據(jù)在檢索步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第15記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸控制步驟，控制將圖像ID傳輸?shù)降诙ㄐ叛b置；以及圖像接收控制步驟，控制接收根據(jù)圖像ID檢索的圖像，并且控制第二通信裝置的程序包括圖像ID接收控制步驟，控制接收從第一通信裝置傳輸?shù)膱D像ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID接收控制步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到第一通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第15程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸控制步驟，控制將圖像ID傳輸?shù)降诙ㄐ叛b置；以及圖像接收控制步驟，控制接收根據(jù)圖像ID檢索的圖像，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟圖像ID接收控制步驟，控制接收從第一通信裝置傳輸?shù)膱D像ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID接收控制步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到第一通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第11通信裝置，其特征在于包括圖像ID輸入部件，用于輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸部件，用于將圖像ID傳輸?shù)狡渌ㄐ叛b置；以及圖像接收部件，用于接收根據(jù)圖像ID檢索的圖像。
本發(fā)明的第11通信方法，其特征在于包括圖像ID輸入步驟，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸步驟，將圖像ID傳輸?shù)狡渌ㄐ叛b置；以及圖像接收步驟，接收根據(jù)圖像ID檢索的圖像。
本發(fā)明的第16記錄介質(zhì)的程序，其特征在于包括圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸控制步驟，控制將圖像ID傳輸?shù)狡渌ㄐ叛b置；以及圖像接收控制步驟，控制接收根據(jù)圖像ID檢索的圖像。
本發(fā)明的第16程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟圖像ID輸入控制步驟，控制輸入辨別用戶(hù)所請(qǐng)求圖像的ID；圖像ID傳輸控制步驟，控制將圖像ID傳輸?shù)狡渌ㄐ叛b置；以及圖像接收控制步驟，控制接收根據(jù)圖像ID檢索的圖像。
本發(fā)明的第12通信裝置，其特征在于包括圖像ID接收部件，用于接收從其他通信裝置傳輸?shù)膱D像ID；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由圖像ID接收部件接收的圖像ID相對(duì)應(yīng)的圖像；輸出部件，用于將由檢索部件檢索的圖像輸出到其他通信裝置；以及收費(fèi)部件，用于根據(jù)由檢索部件檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第12通信方法，其特征在于包括圖像ID接收步驟，接收從其他通信裝置傳輸?shù)膱D像ID；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在圖像ID接收步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出步驟，將在檢索步驟檢索的圖像輸出到其他通信裝置；以及收費(fèi)步驟，根據(jù)在檢索步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第17記錄介質(zhì)的程序，其特征在于包括圖像ID接收控制步驟，控制接收從其他通信裝置傳輸?shù)膱D像ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID接收控制步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到其他通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第17程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟圖像ID接收控制步驟，控制接收從其他通信裝置傳輸?shù)膱D像ID；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在圖像ID接收控制步驟接收的圖像ID相對(duì)應(yīng)的圖像；輸出控制步驟，控制將在檢索控制步驟檢索的圖像輸出到其他通信裝置；以及收費(fèi)控制步驟，控制根據(jù)在檢索控制步驟檢索的圖像執(zhí)行收費(fèi)處理。
本發(fā)明的第13通信裝置，其特征在于包括輸入部件，用于輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；存儲(chǔ)部件，用于存儲(chǔ)由輸入部件輸入的圖像；以及支付部件，用于根據(jù)在存儲(chǔ)部件中存儲(chǔ)的圖像，執(zhí)行支付處理。
還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并且輸入部件可以輸入由分離部件分離出的前景成分圖像和背景成分圖像。
還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且輸入部件可以輸入由合成圖像生成部件生成的合成圖像。
還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，并生成合成圖像，并且輸入部件可以輸入由合成圖像生成部件生成的合成圖像。
本發(fā)明的第13通信方法，其特征在于包括輸入步驟，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；存儲(chǔ)步驟，存儲(chǔ)在輸入步驟輸入的圖像；以及支付步驟，根據(jù)在存儲(chǔ)步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第18記錄介質(zhì)的程序，其特征在于包括輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；存儲(chǔ)控制步驟，控制存儲(chǔ)在輸入控制步驟輸入的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第18程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；存儲(chǔ)控制步驟，控制存儲(chǔ)在輸入控制步驟輸入的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第6通信系統(tǒng)，其特征在于，第一通信裝置包括輸入部件，用于輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸部件，用于將由輸入部件輸入的圖像傳輸?shù)降诙ㄐ叛b置，并且第二通信裝置包括圖像接收部件，用于接收從第一通信裝置傳輸?shù)膱D像；存儲(chǔ)部件，用于存儲(chǔ)由圖像接收部件接收的圖像；以及支付部件，用于根據(jù)在存儲(chǔ)部件中存儲(chǔ)的圖像，執(zhí)行支付處理。
第一通信裝置還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并且輸入部件可以輸入由分離部件分離出的前景成分圖像和背景成分圖像。
第一通信裝置還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且輸入部件可以輸入由合成圖像生成部件生成的合成圖像。
第一通信裝置還可以包括分離部件，用于將圖像分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，并生成合成圖像，并且輸入部件可以輸入由合成圖像生成部件生成的合成圖像。
本發(fā)明的第6通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括輸入步驟，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸步驟，將在輸入步驟輸入的圖像傳輸?shù)降诙ㄐ叛b置，并且第二通信裝置的通信方法包括圖像接收步驟，接收從第一通信裝置傳輸?shù)膱D像；存儲(chǔ)步驟，存儲(chǔ)在圖像接收步驟接收的圖像；以及支付步驟，根據(jù)在存儲(chǔ)步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第19記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸控制步驟，控制將在輸入控制步驟輸入的圖像傳輸?shù)降诙ㄐ叛b置，并且控制第二通信裝置的程序包括圖像接收控制步驟，控制接收從第一通信裝置傳輸?shù)膱D像；存儲(chǔ)控制步驟，控制存儲(chǔ)在圖像接收控制步驟接收的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第19程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸控制步驟，控制將在輸入控制步驟輸入的圖像傳輸?shù)降诙ㄐ叛b置，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟圖像接收控制步驟，控制接收從第一通信裝置傳輸?shù)膱D像；存儲(chǔ)控制步驟，控制存儲(chǔ)在圖像接收控制步驟接收的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第14通信裝置，其特征在于包括輸入部件，用于輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸部件，用于將由輸入部件輸入的圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第14通信方法，其特征在于包括輸入步驟，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸步驟，將在輸入步驟輸入的圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第20記錄介質(zhì)的程序，其特征在于包括輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸控制步驟，控制將在輸入控制步驟輸入的圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第20程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟輸入控制步驟，控制輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及圖像傳輸控制步驟，控制將在輸入控制步驟輸入的圖像傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第15通信裝置，其特征在于包括圖像接收部件，用于接收從其他通信裝置傳輸?shù)膱D像；存儲(chǔ)部件，用于存儲(chǔ)由圖像接收部件接收的圖像；以及支付部件，用于根據(jù)在存儲(chǔ)部件中存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第15通信方法，其特征在于包括圖像接收步驟，接收從其他通信裝置傳輸?shù)膱D像；存儲(chǔ)步驟，存儲(chǔ)在圖像接收步驟接收的圖像；以及支付步驟，根據(jù)在存儲(chǔ)步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第21記錄介質(zhì)的程序，其特征在于包括圖像接收控制步驟，控制接收從其他通信裝置傳輸?shù)膱D像；存儲(chǔ)控制步驟，控制存儲(chǔ)在圖像接收控制步驟接收的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第21程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟圖像接收控制步驟，控制接收從其他通信裝置傳輸?shù)膱D像；存儲(chǔ)控制步驟，控制存儲(chǔ)在圖像接收控制步驟接收的圖像；以及支付控制步驟，控制根據(jù)在存儲(chǔ)控制步驟存儲(chǔ)的圖像，執(zhí)行支付處理。
本發(fā)明的第16通信裝置，其特征在于包括檢索請(qǐng)求信息輸入部件，用于輸入用戶(hù)檢索請(qǐng)求信息；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由檢索請(qǐng)求信息輸入部件輸入的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；輸出部件，用于輸出檢索部件的檢索結(jié)果；以及收費(fèi)部件，用于根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
存儲(chǔ)部件可以包括分別裝備有圖像拍攝元件且能夠以有線(xiàn)或無(wú)線(xiàn)方式通信的多個(gè)圖像存儲(chǔ)單元，其中，圖像拍攝元件用于以預(yù)定時(shí)間間隔更新由圖像拍攝元件拍攝的圖像，以進(jìn)行存儲(chǔ)。
檢索請(qǐng)求信息可以包括前景對(duì)象指定信息，存儲(chǔ)部件還可以包括數(shù)據(jù)庫(kù)，用于表示辨別裝備在多個(gè)圖像存儲(chǔ)單元中的圖像拍攝元件的ID與存儲(chǔ)在對(duì)應(yīng)圖像存儲(chǔ)單元中的圖像對(duì)象之間的關(guān)系，并且檢索部件可以參考數(shù)據(jù)庫(kù)從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由檢索請(qǐng)求信息輸入部件輸入的前景對(duì)象指定信息相對(duì)應(yīng)的圖像。
還可以包括分離部件，用于將圖像的圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并且存儲(chǔ)部件可以存儲(chǔ)由分離部件分離出的前景成分圖像和背景成分圖像。
還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像的圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
還可以包括分離部件，用于將圖像的圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
輸出部件可以輸出對(duì)應(yīng)于檢索請(qǐng)求信息的圖像的存在性信息或者與對(duì)應(yīng)于檢索請(qǐng)求信息的圖像的存在性信息一起輸出檢索圖像作為檢索結(jié)果，并且收費(fèi)部件可以根據(jù)由輸出部件輸出的檢索結(jié)果執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)檢索請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和對(duì)應(yīng)于檢索請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以按照收費(fèi)信息針對(duì)用戶(hù)的金融帳戶(hù)，根據(jù)由輸出部件輸出的檢索結(jié)果執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從用于收費(fèi)處理的各用戶(hù)的點(diǎn)數(shù)中減去對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將檢索結(jié)果輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
本發(fā)明的第16通信方法，其特征在于包括檢索請(qǐng)求信息輸入步驟，輸入用戶(hù)檢索請(qǐng)求信息；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息輸入步驟輸入的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；輸出步驟，輸出檢索步驟的檢索結(jié)果；以及收費(fèi)步驟，根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第22記錄介質(zhì)的程序，其特征在于包括檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息輸入控制步驟輸入的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；輸出控制步驟，控制輸出檢索控制步驟的檢索結(jié)果；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第22程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息輸入控制步驟輸入的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；輸出控制步驟，控制輸出檢索控制步驟的檢索結(jié)果；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第7通信系統(tǒng)，其特征在于，第一通信裝置包括檢索請(qǐng)求信息輸入部件，用于輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸部件，用于將檢索請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及檢索結(jié)果接收部件，用于接收從第二通信裝置傳輸?shù)臋z索結(jié)果，并且第二通信裝置包括檢索請(qǐng)求信息接收部件，用于接收從第一通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由檢索請(qǐng)求信息接收部件接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸部件，用于將檢索部件的檢索結(jié)果傳輸?shù)降谝煌ㄐ叛b置；以及收費(fèi)部件，用于根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
存儲(chǔ)部件可以包括分別裝備有圖像拍攝元件且能夠以有線(xiàn)或無(wú)線(xiàn)方式通信的多個(gè)圖像存儲(chǔ)單元，其中，圖像拍攝元件用于以預(yù)定時(shí)間間隔更新由圖像拍攝元件拍攝的圖像，以進(jìn)行存儲(chǔ)。
檢索請(qǐng)求信息可以包括前景對(duì)象指定信息，存儲(chǔ)部件還可以包括數(shù)據(jù)庫(kù)，用于表示辨別裝備在多個(gè)圖像存儲(chǔ)單元中的圖像拍攝元件的ID與存儲(chǔ)在對(duì)應(yīng)圖像存儲(chǔ)單元中的圖像對(duì)象之間的關(guān)系，并且檢索部件可以參考數(shù)據(jù)庫(kù)從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由檢索請(qǐng)求信息輸入部件輸入的前景對(duì)象指定信息相對(duì)應(yīng)的圖像。
第二通信裝置還可以包括分離部件，用于將圖像的圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并且存儲(chǔ)部件可以存儲(chǔ)由分離部件分離出的前景成分圖像和背景成分圖像。
第二通信裝置還可以包括合成圖像生成部件，用于以預(yù)定混合比率合成從圖像的圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
第二通信裝置還可以包括分離部件，用于將圖像的圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成；以及合成圖像生成部件，用于以預(yù)定混合比率合成由分離部件分離出的前景成分圖像和背景成分圖像，并生成合成圖像，并且存儲(chǔ)部件可以存儲(chǔ)由合成圖像生成部件生成的合成圖像。
輸出部件可以輸出對(duì)應(yīng)于檢索請(qǐng)求信息的圖像的存在性信息或者與對(duì)應(yīng)于檢索請(qǐng)求信息的圖像的存在性信息一起輸出檢索圖像作為檢索結(jié)果，并且收費(fèi)部件可以根據(jù)由輸出部件輸出的檢索結(jié)果執(zhí)行收費(fèi)處理。
收費(fèi)部件可以根據(jù)檢索請(qǐng)求信息，生成收費(fèi)信息包括用戶(hù)ID、通信裝置ID和對(duì)應(yīng)于檢索請(qǐng)求信息的費(fèi)用信息。
收費(fèi)部件可以按照收費(fèi)信息針對(duì)用戶(hù)的金融帳戶(hù)，根據(jù)由輸出部件輸出的檢索結(jié)果執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從用于收費(fèi)處理的各用戶(hù)的點(diǎn)數(shù)中減去對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將檢索結(jié)果輸出到完成收費(fèi)處理的用戶(hù)的通信裝置。
本發(fā)明的第7通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括檢索請(qǐng)求信息輸入步驟，輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸步驟，將檢索請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及檢索結(jié)果接收步驟，接收從第二通信裝置傳輸?shù)臋z索結(jié)果，并且第二通信裝置的通信方法包括檢索請(qǐng)求信息接收步驟，接收從第一通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸步驟，將檢索步驟的檢索結(jié)果傳輸?shù)降谝煌ㄐ叛b置；以及收費(fèi)步驟，根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第23記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸控制步驟，控制將檢索請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及檢索結(jié)果接收控制步驟，控制接收從第二通信裝置傳輸?shù)臋z索結(jié)果，并且控制第二通信裝置的程序包括檢索請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收控制步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸控制步驟，控制將檢索控制步驟的檢索結(jié)果傳輸?shù)降谝煌ㄐ叛b置；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第23程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸控制步驟，控制將檢索請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及檢索結(jié)果接收控制步驟，控制接收從第二通信裝置傳輸?shù)臋z索結(jié)果，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟檢索請(qǐng)求信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收控制步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸控制步驟，控制將檢索控制步驟的檢索結(jié)果傳輸?shù)降谝煌ㄐ叛b置；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第17通信裝置，其特征在于包括檢索請(qǐng)求信息輸入部件，用于輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸部件，用于將檢索請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及檢索結(jié)果接收部件，用于接收從其他通信裝置傳輸?shù)臋z索結(jié)果。
本發(fā)明的第17通信方法，其特征在于包括檢索請(qǐng)求信息輸入步驟，輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸步驟，將檢索請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及檢索結(jié)果接收步驟，接收從其他通信裝置傳輸?shù)臋z索結(jié)果。
本發(fā)明的第24記錄介質(zhì)的程序，其特征在于包括檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸控制步驟，控制將檢索請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及檢索結(jié)果接收控制步驟，控制接收從其他通信裝置傳輸?shù)臋z索結(jié)果。
本發(fā)明的第24程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟檢索請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)檢索請(qǐng)求信息；檢索請(qǐng)求信息傳輸控制步驟，控制將檢索請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及檢索結(jié)果接收控制步驟，控制接收從其他通信裝置傳輸?shù)臋z索結(jié)果。
本發(fā)明的第18通信裝置，其特征在于包括檢索請(qǐng)求信息接收部件，用于接收從其他通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)部件，用于存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索部件，用于從在存儲(chǔ)部件中存儲(chǔ)的圖像中檢索與由檢索請(qǐng)求信息接收部件接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸部件，用于將檢索部件的檢索結(jié)果傳輸?shù)狡渌ㄐ叛b置；以及收費(fèi)部件，用于根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第18通信方法，其特征在于包括檢索請(qǐng)求信息接收步驟，接收從其他通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)步驟，存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索步驟，從在存儲(chǔ)步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸步驟，將檢索步驟的檢索結(jié)果傳輸?shù)狡渌ㄐ叛b置；以及收費(fèi)步驟，根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第25記錄介質(zhì)的程序，其特征在于包括檢索請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收控制步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸控制步驟，控制將檢索控制步驟的檢索結(jié)果傳輸?shù)狡渌ㄐ叛b置；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第25程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟檢索請(qǐng)求信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)控制步驟，控制存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；檢索控制步驟，控制從在存儲(chǔ)控制步驟存儲(chǔ)的圖像中檢索與在檢索請(qǐng)求信息接收控制步驟接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；檢索結(jié)果傳輸控制步驟，控制將檢索控制步驟的檢索結(jié)果傳輸?shù)狡渌ㄐ叛b置；以及收費(fèi)控制步驟，控制根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
本發(fā)明的第19通信裝置，其特征在于包括前景成分圖像辨別信息輸入部件，用于輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入部件，用于輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；圖像位置信息生成部件，用于生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及輸出部件，用于輸出由圖像位置信息生成部件生成的前景成分圖像位置信息和背景成分圖像位置信息。
還可以包括混合比率生成部件，用于從圖像數(shù)據(jù)生成其中前景成分圖像和背景成分圖像混合在一起的區(qū)域的混合比率，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離部件，用于根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；辨別信息生成部件，用于根據(jù)前景成分圖像生成前景成分圖像辨別信息，并且根據(jù)背景成分圖像生成背景成分圖像辨別信息；以及辨別信息提供部件，用于將由辨別信息生成部件生成的前景成分圖像辨別信息提供給前景成分圖像辨別信息輸入部件，并且將由辨別信息生成部件生成的背景成分圖像辨別信息提供給背景成分圖像辨別信息輸入部件。
還可以包括存儲(chǔ)部件，用于將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像存儲(chǔ)在預(yù)定位置上；以及位置信息存儲(chǔ)部件，用于存儲(chǔ)由存儲(chǔ)部件存儲(chǔ)的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像的各自位置信息，并且圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件存儲(chǔ)且表示前景成分圖像和背景成分圖像的存儲(chǔ)位置的位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
存儲(chǔ)部件可以將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像存儲(chǔ)在通過(guò)網(wǎng)絡(luò)連接的其他通信裝置中，位置信息存儲(chǔ)部件可以存儲(chǔ)由存儲(chǔ)部件存儲(chǔ)在通過(guò)網(wǎng)絡(luò)連接的其他通信裝置中的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像在網(wǎng)絡(luò)上的各自位置信息，并且圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件存儲(chǔ)的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像在網(wǎng)絡(luò)上的位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
存儲(chǔ)部件可以分別將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像隨同與前景成分圖像和背景成分圖像相對(duì)應(yīng)的ID一起存儲(chǔ)在在預(yù)定位置上。
還可以包括比較部件，用于比較由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像的各自ID與由存儲(chǔ)部件先前存儲(chǔ)的前景成分圖像或背景成分圖像的ID，并且存儲(chǔ)部件可以根據(jù)比較部件的比較結(jié)果，將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像隨同與前景成分圖像和背景成分圖像相對(duì)應(yīng)的ID一起存儲(chǔ)在預(yù)定位置上。
當(dāng)比較部件的比較結(jié)果匹配時(shí)，圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件先前存儲(chǔ)的前景成分圖像或背景成分圖像的位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
前景成分圖像辨別信息輸入部件可以輸入前景成分圖像作為前景成分圖像辨別信息，并且背景成分圖像辨別信息輸入部件可以輸入背景成分圖像作為背景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成。
還可以包括收費(fèi)部件，用于根據(jù)前景成分圖像位置信息和背景成分圖像位置信息的輸出，執(zhí)行收費(fèi)處理。
收費(fèi)部件可以生成收費(fèi)信息包括用戶(hù)ID、自身ID和與前景成分圖像位置信息和背景成分圖像位置信息的輸出相對(duì)應(yīng)的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從用于收費(fèi)處理的各用戶(hù)的點(diǎn)數(shù)中減去對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以以?xún)H在收費(fèi)部件完成收費(fèi)處理之后用戶(hù)才可獲得的方式輸出前景成分圖像位置信息和背景成分圖像位置信息。
本發(fā)明的第19通信方法，其特征在于包括前景成分圖像辨別信息輸入步驟，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入步驟，輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；圖像位置信息生成步驟，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及輸出步驟，輸出在圖像位置信息生成步驟生成的前景成分圖像位置信息和背景成分圖像位置信息。
本發(fā)明的第26記錄介質(zhì)的程序，其特征在于包括前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及輸出控制步驟，控制輸出在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息。
本發(fā)明的第26程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及輸出控制步驟，控制輸出在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息。
本發(fā)明的第8通信系統(tǒng)，其特征在于，第一通信裝置包括前景成分圖像辨別信息輸入部件，用于輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入部件，用于輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；第一傳輸部件，用于將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)降诙ㄐ叛b置；以及位置信息接收部件，用于接收從第二通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息，并且第二通信裝置包括前景成分圖像辨別信息接收部件，用于接收從第一通信裝置傳輸?shù)那熬俺煞謭D像辨別信息；背景成分圖像辨別信息接收部件，用于接收從第一通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成部件，用于生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及第二傳輸部件，用于將由圖像位置信息生成部件生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)降谝煌ㄐ叛b置。
第二通信裝置還可以包括混合比率生成部件，用于從圖像數(shù)據(jù)生成其中前景成分圖像和背景成分圖像混合在一起的區(qū)域的混合比率，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；分離部件，用于根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；辨別信息生成部件，用于根據(jù)前景成分圖像生成前景成分圖像辨別信息，并且根據(jù)背景成分圖像生成背景成分圖像辨別信息；以及辨別信息提供部件，用于將由辨別信息生成部件生成的前景成分圖像辨別信息提供給前景成分圖像辨別信息輸入部件，并且將由辨別信息生成部件生成的背景成分圖像辨別信息提供給背景成分圖像辨別信息輸入部件。
還可以包括存儲(chǔ)部件，用于將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像存儲(chǔ)在預(yù)定位置上；以及位置信息存儲(chǔ)部件，用于存儲(chǔ)由存儲(chǔ)部件存儲(chǔ)的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像的各自位置信息，并且圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件存儲(chǔ)且表示前景成分圖像和背景成分圖像的存儲(chǔ)位置的位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
存儲(chǔ)部件可以將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像存儲(chǔ)在通過(guò)網(wǎng)絡(luò)連接的其他通信裝置中，位置信息存儲(chǔ)部件可以存儲(chǔ)由存儲(chǔ)部件存儲(chǔ)在通過(guò)網(wǎng)絡(luò)連接的其他通信裝置中的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像在網(wǎng)絡(luò)上的各自位置信息，并且圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件存儲(chǔ)的圖像數(shù)據(jù)的前景成分圖像和背景成分圖像在網(wǎng)絡(luò)上的各自位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
存儲(chǔ)部件可以分別將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像隨同與前景成分圖像和背景成分圖像相對(duì)應(yīng)的ID一起存儲(chǔ)在在預(yù)定位置上。
第二通信裝置還可以包括比較部件，用于比較由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像的各自ID與由存儲(chǔ)部件先前存儲(chǔ)的前景成分圖像或背景成分圖像的ID，并且存儲(chǔ)部件可以根據(jù)比較部件的比較結(jié)果，分別將由分離部件從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像隨同與前景成分圖像和背景成分圖像相對(duì)應(yīng)的ID一起存儲(chǔ)在預(yù)定位置上。
當(dāng)比較部件的比較結(jié)果匹配時(shí)，圖像位置信息生成部件可以根據(jù)由位置信息存儲(chǔ)部件先前存儲(chǔ)的前景成分圖像或背景成分圖像的位置信息，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息。
前景成分圖像辨別信息輸入部件可以輸入前景成分圖像作為前景成分圖像辨別信息，并且背景成分圖像辨別信息輸入部件可以輸入背景成分圖像作為背景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成。
第二通信裝置還可以包括收費(fèi)部件，用于根據(jù)前景成分圖像位置信息和背景成分圖像位置信息的輸出，執(zhí)行收費(fèi)處理。
收費(fèi)部件可以生成收費(fèi)信息包括用戶(hù)ID、第二通信裝置ID和與前景成分圖像位置信息和背景成分圖像位置信息的輸出相對(duì)應(yīng)的費(fèi)用信息。
收費(fèi)部件可以根據(jù)收費(fèi)信息對(duì)用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
收費(fèi)部件可以通過(guò)從用于收費(fèi)處理的各用戶(hù)的點(diǎn)數(shù)中減去對(duì)應(yīng)于費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
輸出部件可以在收費(fèi)部件完成收費(fèi)處理之后將前景成分圖像位置信息和背景成分圖像位置信息輸出給完成收費(fèi)處理的用戶(hù)。
本發(fā)明的第8通信系統(tǒng)的通信方法，其特征在于，第一通信裝置的通信方法包括前景成分圖像辨別信息輸入步驟，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入步驟，輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；第一傳輸步驟，將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)降诙ㄐ叛b置；以及位置信息接收步驟，接收從第二通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息，并且第二通信裝置的通信方法包括前景成分圖像辨別信息接收步驟，接收從第一通信裝置傳輸?shù)那熬俺煞謭D像辨別信息；背景成分圖像辨別信息接收步驟，接收從第一通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成步驟，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及第二傳輸步驟，將在圖像位置信息生成步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第27記錄介質(zhì)的程序，其特征在于，控制第一通信裝置的程序包括前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；第一傳輸控制步驟，控制將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)降诙ㄐ叛b置；以及位置信息接收控制步驟，控制接收從第二通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息，并且控制第二通信裝置的程序包括前景成分圖像辨別信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)那熬俺煞謭D像辨別信息；背景成分圖像辨別信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及第二傳輸控制步驟，控制將在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第27程序，其特征在于，使控制第一通信裝置的計(jì)算機(jī)執(zhí)行如下步驟前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；第一傳輸控制步驟，控制將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)降诙ㄐ叛b置；以及位置信息接收控制步驟，控制接收從第二通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息，并且使控制第二通信裝置的計(jì)算機(jī)執(zhí)行如下步驟前景成分圖像辨別信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)那熬俺煞謭D像辨別信息；背景成分圖像辨別信息接收控制步驟，控制接收從第一通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及第二傳輸控制步驟，控制將在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)降谝煌ㄐ叛b置。
本發(fā)明的第20通信裝置，其特征在于包括前景成分圖像辨別信息輸入部件，用于輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入部件，用于輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；傳輸部件，用于通過(guò)網(wǎng)絡(luò)將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)狡渌ㄐ叛b置；以及位置信息接收部件，用于接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息。
本發(fā)明的第20通信方法，其特征在于包括前景成分圖像辨別信息輸入步驟，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入步驟，輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；傳輸步驟，通過(guò)網(wǎng)絡(luò)將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)狡渌ㄐ叛b置；以及位置信息接收步驟，接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息。
本發(fā)明的第28記錄介質(zhì)的程序，其特征在于包括前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；傳輸控制步驟，控制通過(guò)網(wǎng)絡(luò)將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)狡渌ㄐ叛b置；以及位置信息接收控制步驟，控制接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息。
本發(fā)明的第28程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟前景成分圖像辨別信息輸入控制步驟，控制輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息輸入控制步驟，控制輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；傳輸控制步驟，控制通過(guò)網(wǎng)絡(luò)將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)狡渌ㄐ叛b置；以及位置信息接收控制步驟，控制接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息。
本發(fā)明的第21通信裝置，其特征在于包括前景成分圖像辨別信息接收部件，用于接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)膱D像數(shù)據(jù)的前景成分圖像辨別信息，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息接收部件，用于接收從其他通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成部件，用于生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及傳輸部件，用于通過(guò)網(wǎng)絡(luò)將由圖像位置信息生成部件生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第21通信方法，其特征在于包括前景成分圖像辨別信息接收步驟，接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)膱D像數(shù)據(jù)的前景成分圖像辨別信息，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息接收步驟，接收從其他通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成步驟，生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及傳輸步驟，通過(guò)網(wǎng)絡(luò)將在圖像位置信息生成步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第29記錄介質(zhì)的程序，其特征在于包括前景成分圖像辨別信息接收控制步驟，控制接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)膱D像數(shù)據(jù)的前景成分圖像辨別信息，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及傳輸控制步驟，控制通過(guò)網(wǎng)絡(luò)將在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)狡渌ㄐ叛b置。
本發(fā)明的第29程序，其特征在于使計(jì)算機(jī)執(zhí)行如下步驟前景成分圖像辨別信息接收控制步驟，控制接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)膱D像數(shù)據(jù)的前景成分圖像辨別信息，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；背景成分圖像辨別信息接收控制步驟，控制接收從其他通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；圖像位置信息生成控制步驟，控制生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及傳輸控制步驟，控制通過(guò)網(wǎng)絡(luò)將在圖像位置信息生成控制步驟生成的前景成分圖像位置信息和背景成分圖像位置信息傳輸?shù)狡渌ㄐ叛b置。
在本發(fā)明的第1通信系統(tǒng)和方法及第2程序中，通過(guò)第一通信裝置，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；將所輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收從第二通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及將當(dāng)根據(jù)所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置。
在本發(fā)明的第2通信裝置和方法及第3程序中，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；將所輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；接收從其他通信裝置傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)。
在本發(fā)明的第3通信裝置和方法及第4程序中，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；將通過(guò)圖像拍攝元件獲得的圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及將當(dāng)根據(jù)所接收的請(qǐng)求信息將圖像分離為前景成分圖像和背景成分圖像時(shí)生成的編碼數(shù)據(jù)傳輸?shù)狡渌ㄐ叛b置。
在本發(fā)明的第2通信系統(tǒng)和方法及第5程序中，通過(guò)第一通信裝置，從多個(gè)編碼數(shù)據(jù)中輸入用戶(hù)請(qǐng)求信息，其中，編碼數(shù)據(jù)是根據(jù)通過(guò)圖像拍攝元件獲得的預(yù)定圖像數(shù)據(jù)生成的，圖像拍攝元件具有預(yù)定數(shù)目像素，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；將所輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置到第四通信裝置之一；以及接收從第二通信裝置到第四通信裝置之一傳輸?shù)呐c請(qǐng)求信息相對(duì)應(yīng)的根據(jù)圖像數(shù)據(jù)生成的編碼數(shù)據(jù)，通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像；以及將根據(jù)所接收的請(qǐng)求信息從圖像中分離出的前景成分圖像和背景成分圖像作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，通過(guò)第三通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，前景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，背景區(qū)域由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且混合區(qū)域其中混合有前景區(qū)域和背景區(qū)域；以及將根據(jù)所接收的請(qǐng)求信息生成的區(qū)域信息作為編碼數(shù)據(jù)傳輸?shù)降谝煌ㄐ叛b置，并且通過(guò)第四通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；生成混合比率，表示前景區(qū)域和背景區(qū)域混合在圖像數(shù)據(jù)的混合區(qū)域中的比率；以及將根據(jù)所接收的請(qǐng)求信息生成的混合比率傳輸?shù)降谝煌ㄐ叛b置。
在本發(fā)明的第4通信裝置和方法及第6程序中，輸入用戶(hù)請(qǐng)求信息；根據(jù)請(qǐng)求信息合成預(yù)定圖像數(shù)據(jù)的前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及輸出所生成的合成圖像。
在本發(fā)明的第3通信系統(tǒng)和方法及第7程序中，通過(guò)第一通信裝置，輸入用戶(hù)請(qǐng)求信息；將所輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收根據(jù)請(qǐng)求信息從第二通信裝置傳輸?shù)暮铣蓤D像，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及將所生成的合成圖像傳輸?shù)降谝煌ㄐ叛b置。
在本發(fā)明的第5通信裝置和方法及第8程序中，輸入用戶(hù)請(qǐng)求信息；將所輸入的請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收根據(jù)請(qǐng)求信息從其他通信裝置傳輸?shù)暮铣蓴?shù)據(jù)。
在本發(fā)明的第6通信裝置和方法及第9程序中，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；根據(jù)請(qǐng)求信息合成前景成分圖像和背景成分圖像，并且生成合成圖像，其中，前景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及將所生成的合成圖像傳輸?shù)狡渌ㄐ叛b置。
在本發(fā)明的第7通信裝置和方法及第10程序中，輸入用戶(hù)請(qǐng)求信息；根據(jù)請(qǐng)求信息，估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；以預(yù)定混合比率合成分離出的前景成分圖像和任意背景成分圖像，或者分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及輸出合成圖像。
在本發(fā)明的第4通信系統(tǒng)和方法及第11程序中，通過(guò)第一通信裝置，輸入用戶(hù)請(qǐng)求信息；將所輸入的請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收從第二通信裝置傳輸?shù)暮铣蓤D像，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)恼?qǐng)求信息；根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；以預(yù)定混合比率合成分離出的前景成分圖像和任意背景成分圖像，或者分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及將合成圖像傳輸?shù)降谝煌ㄐ叛b置。
在本發(fā)明的第8通信裝置和方法及第12程序中，輸入用戶(hù)請(qǐng)求信息；將請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收從其他通信裝置傳輸?shù)暮铣蓤D像。
在本發(fā)明的第9通信裝置和方法及第13程序中，接收從其他通信裝置傳輸?shù)恼?qǐng)求信息；根據(jù)請(qǐng)求信息估計(jì)混合比率，表示前景成分圖像與背景成分圖像的混合比率，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；根據(jù)混合比率將圖像數(shù)據(jù)分離為前景成分圖像和背景成分圖像；以預(yù)定混合比率合成分離出的前景成分圖像和任意背景成分圖像，或者分離出的背景成分圖像和任意前景成分圖像，并且生成合成圖像；以及將合成圖像傳輸?shù)狡渌ㄐ叛b置。
在本發(fā)明的第10通信裝置和方法及第14程序中，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所輸入的圖像ID相對(duì)應(yīng)的圖像；將所檢索的圖像傳輸?shù)接脩?hù)的通信裝置；以及根據(jù)所檢索的圖像執(zhí)行收費(fèi)處理。
在本發(fā)明的第5通信系統(tǒng)和方法及第15程序中，通過(guò)第一通信裝置，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；將圖像ID傳輸?shù)降诙ㄐ叛b置；以及接收根據(jù)圖像ID檢索的圖像，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)膱D像ID；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所接收的圖像ID相對(duì)應(yīng)的圖像；將所檢索的圖像輸出到第一通信裝置；以及根據(jù)所檢索的圖像執(zhí)行收費(fèi)處理。
在本發(fā)明的第11通信裝置和方法及第16程序中，輸入辨別用戶(hù)所請(qǐng)求圖像的ID；將圖像ID傳輸?shù)狡渌ㄐ叛b置；以及接收根據(jù)圖像ID檢索的圖像。
在本發(fā)明的第12通信裝置和方法及第17程序中，接收從其他通信裝置傳輸?shù)膱D像ID；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所接收的圖像ID相對(duì)應(yīng)的圖像；將所檢索的圖像輸出到其他通信裝置；以及根據(jù)所檢索的圖像執(zhí)行收費(fèi)處理。
在本發(fā)明的第13通信裝置和方法及第18程序中，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；存儲(chǔ)所輸入的圖像；以及根據(jù)所存儲(chǔ)的圖像，執(zhí)行支付處理。
在本發(fā)明的第6通信系統(tǒng)和方法及第19程序中，通過(guò)第一通信裝置，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及將所輸入的圖像傳輸?shù)降诙ㄐ叛b置，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)膱D像；存儲(chǔ)所接收的圖像；以及根據(jù)所存儲(chǔ)的圖像，執(zhí)行支付處理。
在本發(fā)明的第14通信裝置和方法及第20程序中，輸入由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；以及將所輸入的圖像傳輸?shù)狡渌ㄐ叛b置。
在本發(fā)明的第15通信裝置和方法及第21程序中，接收從其他通信裝置傳輸?shù)膱D像；存儲(chǔ)所接收的圖像；以及根據(jù)所存儲(chǔ)的圖像，執(zhí)行支付處理。
在本發(fā)明的第16通信裝置和方法及第22程序中，輸入用戶(hù)檢索請(qǐng)求信息；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所輸入的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；輸出檢索結(jié)果；以及根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
在本發(fā)明的第7通信系統(tǒng)和方法及第23程序中，通過(guò)第一通信裝置，輸入用戶(hù)檢索請(qǐng)求信息；將檢索請(qǐng)求信息傳輸?shù)降诙ㄐ叛b置；以及接收從第二通信裝置傳輸?shù)臋z索結(jié)果，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；將檢索結(jié)果傳輸?shù)降谝煌ㄐ叛b置；以及根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
在本發(fā)明的第17通信裝置和方法及第24程序中，輸入用戶(hù)檢索請(qǐng)求信息；將檢索請(qǐng)求信息傳輸?shù)狡渌ㄐ叛b置；以及接收從其他通信裝置傳輸?shù)臋z索結(jié)果。
在本發(fā)明的第18通信裝置和方法及第25程序中，接收從其他通信裝置傳輸?shù)臋z索請(qǐng)求信息；存儲(chǔ)由從圖像數(shù)據(jù)中分離出的前景成分圖像和背景成分圖像中的至少一個(gè)圖像組成的圖像，其中，前景成分圖像由構(gòu)成前景對(duì)象的前景對(duì)象成分組成，并且背景成分圖像由構(gòu)成背景對(duì)象的背景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；從所存儲(chǔ)的圖像中檢索與所接收的檢索請(qǐng)求信息相對(duì)應(yīng)的圖像；將檢索結(jié)果傳輸?shù)狡渌ㄐ叛b置；以及根據(jù)檢索結(jié)果執(zhí)行收費(fèi)處理。
在本發(fā)明的第19通信裝置和方法及第26程序中，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及輸出所生成的前景成分圖像位置信息和所生成的背景成分圖像位置信息。
在本發(fā)明的第8通信系統(tǒng)和方法及第27程序中，通過(guò)第一通信裝置，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)降诙ㄐ叛b置；以及接收從第二通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息，并且通過(guò)第二通信裝置，接收從第一通信裝置傳輸?shù)那熬俺煞謭D像辨別信息；接收從第一通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及將所生成的前景成分圖像位置信息和所生成的背景成分圖像位置信息傳輸?shù)降谝煌ㄐ叛b置。
在本發(fā)明的第20通信裝置和方法及第28程序中，輸入表示前景成分圖像的前景成分圖像辨別信息，其中，前景成分圖像由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；輸入表示背景成分圖像的背景成分圖像辨別信息，其中，背景成分圖像由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成；通過(guò)網(wǎng)絡(luò)將前景成分圖像辨別信息和背景成分圖像辨別信息傳輸?shù)狡渌ㄐ叛b置；以及接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)那熬俺煞謭D像位置信息和背景成分圖像位置信息。
在本發(fā)明的第21通信裝置和方法及第29程序中，接收通過(guò)網(wǎng)絡(luò)從其他通信裝置傳輸?shù)膱D像數(shù)據(jù)的前景成分圖像辨別信息，其中，圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且它由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量而確定的像素值組成；接收從其他通信裝置傳輸?shù)谋尘俺煞謭D像圖像辨別信息；生成與前景成分圖像辨別信息和背景成分圖像辨別信息相對(duì)應(yīng)的前景成分圖像位置信息和背景成分圖像位置信息；以及通過(guò)網(wǎng)絡(luò)將所生成的前景成分圖像位置信息和所生成的背景成分圖像位置信息傳輸?shù)狡渌ㄐ叛b置。
這樣，可以通過(guò)將運(yùn)動(dòng)模糊加入到圖像來(lái)對(duì)圖像進(jìn)行加密，并且還通過(guò)消除運(yùn)動(dòng)模糊，即加入與在加密過(guò)程中加入的運(yùn)動(dòng)模糊相反的運(yùn)動(dòng)模糊，對(duì)加密圖像進(jìn)行解密。
此外，可以通過(guò)調(diào)整包含在前景成分圖像中的運(yùn)動(dòng)模糊，獲得消除了運(yùn)動(dòng)模糊的清晰前景成分圖像，并且通過(guò)組合經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的前景成分圖像和背景成分圖像，生成看上去自然的合成圖像。因此，通過(guò)調(diào)整前景成分圖像中的運(yùn)動(dòng)模糊，并且通過(guò)處理所得到的前景成分和背景成分來(lái)合成圖像，可以更自然地校正圖像。
而且，由于可以通過(guò)網(wǎng)絡(luò)1購(gòu)買(mǎi)或出售通過(guò)根據(jù)圖像混合狀態(tài)對(duì)圖像進(jìn)行分離、合成、或校正而獲得的圖像，因此可以通過(guò)出售經(jīng)過(guò)用戶(hù)處理的圖像，有效利用分離、合成或校正的圖像。
另外，可以通過(guò)簡(jiǎn)單輸入檢索條件來(lái)檢索正由或已由攝像機(jī)終端單元28-1到28-n拍攝且存儲(chǔ)的圖像。
而且，通過(guò)將圖像存儲(chǔ)在預(yù)定存儲(chǔ)服務(wù)器而不是用戶(hù)計(jì)算機(jī)中，并且在需要時(shí)根據(jù)存儲(chǔ)服務(wù)器的位置信息讀出并利用圖像，可以在需要時(shí)調(diào)出并利用預(yù)先存在的圖像數(shù)據(jù)，而無(wú)需在它們自己的通信裝置中維護(hù)這些圖像，從而可以高效利用圖像。
根據(jù)上面描述，可以通過(guò)將運(yùn)動(dòng)模糊加入到圖像來(lái)對(duì)圖像進(jìn)行加密，并且通過(guò)消除運(yùn)動(dòng)模糊來(lái)對(duì)圖像進(jìn)行解密。此外，還可以消除運(yùn)動(dòng)模糊來(lái)生成清晰的圖像和更自然地校正圖像，以通過(guò)組合經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的前景成分與背景圖像來(lái)合成經(jīng)過(guò)運(yùn)動(dòng)模糊調(diào)整的圖像。而且，可以通過(guò)網(wǎng)絡(luò)有效利用根據(jù)圖像混合狀態(tài)分離、合成或校正的圖像。而且，還可以通過(guò)網(wǎng)絡(luò)檢索分離、合成或校正的圖像。此外，可以調(diào)出并利用預(yù)先存在的圖像，而無(wú)需在它們自己的通信裝置中維護(hù)這些圖像。
包含本發(fā)明信號(hào)處理執(zhí)行程序的記錄介質(zhì)可以是能夠以與計(jì)算機(jī)分開(kāi)的方式作為單獨(dú)組件分發(fā)給用戶(hù)的其中記錄有程序的包介質(zhì)，如圖2和3所示，它包括，磁盤(pán)61、91(包括活動(dòng)盤(pán))、光盤(pán)62、92(包括CD-ROM(致密盤(pán)只讀存儲(chǔ)器)和DVD(數(shù)字多功能盤(pán)))、磁光盤(pán)63、93(包括MD(小型盤(pán))(商標(biāo)))和半導(dǎo)體存儲(chǔ)器64、94等。上述記錄介質(zhì)還可以是其中記錄有該程序的ROM42、72或包含在存儲(chǔ)單元48、78中的硬盤(pán)，它以預(yù)先安裝在計(jì)算機(jī)中的方式提供給用戶(hù)。
此外，在本說(shuō)明書(shū)中，描述記錄在記錄介質(zhì)上的程序的步驟包括以所述次序串行執(zhí)行的處理，此外，它還包括以并行或單獨(dú)方式執(zhí)行的處理，而不必是串行方式。
而且，在本說(shuō)明書(shū)中，系統(tǒng)是指包括多個(gè)裝置的總體裝置。
工業(yè)應(yīng)用根據(jù)本發(fā)明，可以通過(guò)分布圖像處理來(lái)僅執(zhí)行請(qǐng)求處理，提高圖像處理速度，并且降低服務(wù)費(fèi)用。
權(quán)利要求
1.一種通信系統(tǒng)，包括分離部件，用于將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，所述預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入部件，用于輸入用戶(hù)的請(qǐng)求信息；以及編碼數(shù)據(jù)輸出部件，用于輸出當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息將所述圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
2.如權(quán)利要求1所述的通信系統(tǒng)，還包括收費(fèi)部件，用于根據(jù)所述請(qǐng)求信息執(zhí)行收費(fèi)處理。
3.如權(quán)利要求2所述的通信系統(tǒng)，其中，根據(jù)所述請(qǐng)求信息，所述收費(fèi)部件生成收費(fèi)信息包括所述用戶(hù)的ID、所述通信系統(tǒng)的ID和對(duì)應(yīng)于所述請(qǐng)求信息的費(fèi)用信息。
4.如權(quán)利要求3所述的通信系統(tǒng)，其中，所述收費(fèi)部件根據(jù)所述收費(fèi)信息對(duì)所述用戶(hù)的金融帳戶(hù)執(zhí)行收費(fèi)處理。
5.如權(quán)利要求4所述的通信系統(tǒng)，其中，所述收費(fèi)部件通過(guò)從在收費(fèi)處理中使用的各用戶(hù)的點(diǎn)數(shù)扣除對(duì)應(yīng)于所述費(fèi)用信息的點(diǎn)數(shù)來(lái)執(zhí)行收費(fèi)處理。
6.如權(quán)利要求2所述的通信系統(tǒng)，其中，在所述收費(fèi)部件完成收費(fèi)處理之后，所述編碼數(shù)據(jù)輸出部件將所述編碼數(shù)據(jù)輸出到完成收費(fèi)處理之后的所述用戶(hù)的通信裝置。
7.如權(quán)利要求6所述的通信系統(tǒng)，其中，除所述用戶(hù)的所述請(qǐng)求信息之外，所述請(qǐng)求信息輸入部件還輸入所述預(yù)定圖像數(shù)據(jù)；并且所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和所述預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的有效信息，輸出所述編碼數(shù)據(jù)。
8.如權(quán)利要求7所述的通信系統(tǒng)，還包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，所述前景區(qū)域由構(gòu)成所述預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，所述背景區(qū)域由構(gòu)成所述預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且所述混合區(qū)域其中混合有所述前景區(qū)域和所述背景區(qū)域，其中，所述有效信息包括所述區(qū)域信息，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和所述預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述區(qū)域信息，輸出所述編碼數(shù)據(jù)。
9.如權(quán)利要求7所述的通信系統(tǒng)，還包括混合比率生成部件，用于生成混合比率，表示所述前景區(qū)域和所述背景區(qū)域混合在所述預(yù)定圖像數(shù)據(jù)的所述混合區(qū)域中的比率，其中，所述有效信息包括所述混合比率，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和所述預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述混合比率，輸出所述編碼數(shù)據(jù)。
10.如權(quán)利要求7所述的通信系統(tǒng)，其中，所述分離部件根據(jù)所述區(qū)域信息和所述混合比率將所述預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的所述前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的所述背景成分圖像，其中，所述預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成預(yù)定圖像的光量確定的像素值組成，其中，所述有效信息包括所述前景成分圖像和所述背景成分圖像，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，輸出由所述請(qǐng)求信息輸入部件輸入的所述請(qǐng)求信息，并且作為當(dāng)所述分離部件將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述前景成分圖像和所述背景成分圖像，輸出所述編碼數(shù)據(jù)。
11.如權(quán)利要求6所述的通信系統(tǒng)，其中，除所述用戶(hù)的所述請(qǐng)求信息之外，所述請(qǐng)求信息輸入部件還輸入用于辨別所述預(yù)定圖像數(shù)據(jù)的圖像數(shù)據(jù)ID，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和對(duì)應(yīng)于所述圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述有效信息，輸出所述編碼數(shù)據(jù)。
12.如權(quán)利要求11所述的通信系統(tǒng)，還包括區(qū)域信息生成部件，用于生成辨別前景區(qū)域、背景區(qū)域和混合區(qū)域的區(qū)域信息，其中，所述前景區(qū)域由構(gòu)成對(duì)應(yīng)于所述圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象成分組成，所述背景區(qū)域由構(gòu)成對(duì)應(yīng)于所述圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象成分組成，并且所述混合區(qū)域其中混合有所述前景區(qū)域和所述背景區(qū)域，其中，所述有效信息包括所述區(qū)域信息，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和所述預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述區(qū)域信息，輸出所述編碼數(shù)據(jù)。
13.如權(quán)利要求11所述的通信系統(tǒng)，還包括混合比率生成部件，用于生成對(duì)應(yīng)于所述圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)中所述混合區(qū)域的混合比率，其中，所述有效信息包括所述混合比率，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，作為當(dāng)所述分離部件根據(jù)所述請(qǐng)求信息輸入部件所輸入的所述請(qǐng)求信息和對(duì)應(yīng)于所述圖像數(shù)據(jù)ID的預(yù)定圖像數(shù)據(jù)將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述混合比率，輸出所述編碼數(shù)據(jù)。
14.如權(quán)利要求11所述的通信系統(tǒng)，其中，所述分離部件根據(jù)所述區(qū)域信息和所述混合比率將預(yù)定圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的所述前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的所述背景成分圖像，其中，所述預(yù)定圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述預(yù)定圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成預(yù)定圖像的光量確定的像素值組成，其中，所述有效信息包括所述前景成分圖像和所述背景成分圖像，并且其中，所述編碼數(shù)據(jù)輸出部件以?xún)H在所述收費(fèi)部件完成收費(fèi)處理之后所述用戶(hù)才可獲得的方式，輸出由所述請(qǐng)求信息輸入部件輸入的所述請(qǐng)求信息，并且作為當(dāng)所述分離部件將所述預(yù)定圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的所述前景成分圖像和所述背景成分圖像，輸出所述編碼數(shù)據(jù)。
15.一種通信方法，包括分離步驟，將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，所述圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入步驟，輸入用戶(hù)的請(qǐng)求信息；以及編碼數(shù)據(jù)輸出步驟，輸出當(dāng)在所述分離步驟根據(jù)在所述請(qǐng)求信息輸入步驟輸入的所述請(qǐng)求信息將所述圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
16.一種包含計(jì)算機(jī)可讀程序的記錄介質(zhì)，其中，所述程序，包括分離控制步驟，控制將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，所述圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)的請(qǐng)求信息；以及編碼數(shù)據(jù)輸出控制步驟，控制輸出當(dāng)在所述分離控制步驟根據(jù)在所述請(qǐng)求信息輸入控制步驟輸入的所述請(qǐng)求信息將所述圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
17.一種計(jì)算機(jī)程序，包括分離控制步驟，控制將圖像數(shù)據(jù)分離為由構(gòu)成前景對(duì)象的前景對(duì)象成分組成的前景成分圖像和由構(gòu)成背景對(duì)象的背景對(duì)象成分組成的背景成分圖像，其中，所述圖像數(shù)據(jù)通過(guò)具有預(yù)定數(shù)目像素的圖像拍攝元件獲得，其中每個(gè)像素均具有時(shí)間累積效應(yīng)，并且所述圖像數(shù)據(jù)由逐像素地根據(jù)在時(shí)間上累積的形成圖像的光量確定的像素值組成；請(qǐng)求信息輸入控制步驟，控制輸入用戶(hù)的請(qǐng)求信息；以及編碼數(shù)據(jù)輸出控制步驟，控制輸出當(dāng)在所述分離控制步驟根據(jù)在所述請(qǐng)求信息輸入控制步驟輸入的所述請(qǐng)求信息將所述圖像分離為所述前景成分圖像和所述背景成分圖像時(shí)生成的編碼數(shù)據(jù)。
全文摘要
通過(guò)利用網(wǎng)絡(luò)高速處理拍攝圖像的前景成分圖像和背景成分圖像?？蛻?hù)計(jì)算機(jī)(27)將圖像數(shù)據(jù)指定信息輸出到分離服務(wù)器(11)以進(jìn)行分離。分離服務(wù)器(11)從存儲(chǔ)服務(wù)器(18)提取指定圖像數(shù)據(jù)，并且將它輸出到運(yùn)動(dòng)檢測(cè)服務(wù)器(12)。在執(zhí)行運(yùn)動(dòng)檢測(cè)處理之后，分離服務(wù)器(11)將圖像數(shù)據(jù)、運(yùn)動(dòng)向量和位置信息輸出到區(qū)域指定服務(wù)器(13)。區(qū)域指定服務(wù)器(13)生成圖像數(shù)據(jù)的區(qū)域信息，并且將區(qū)域信息與圖像數(shù)據(jù)、運(yùn)動(dòng)向量和位置信息一起輸出到混合比率計(jì)算服務(wù)器(14)?；旌媳嚷视?jì)算服務(wù)器(14)使用圖像數(shù)據(jù)、運(yùn)動(dòng)向量、位置信息和區(qū)域信息，計(jì)算混合比率，并且根據(jù)這些信息，前景和背景服務(wù)器(15)分離輸入圖像的前景和背景。本發(fā)明可以應(yīng)用于圖像處理商業(yè)模型。
文檔編號(hào)H04N5/00GK1468416SQ02802721
公開(kāi)日2004年1月14日 申請(qǐng)日期2002年6月26日 優(yōu)先權(quán)日2001年6月27日
發(fā)明者近藤哲二郎, 志, 澤尾貴志, 一, 石橋淳一, 永野隆浩, 浩, 樹(shù), 藤原直樹(shù), 三宅徹, 司, 和田成司 申請(qǐng)人:索尼公司