專利名稱：圖像處理設(shè)備和方法以及圖像捕獲設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理設(shè)備，特別是涉及一種考慮了傳感器檢測(cè)的信號(hào)與現(xiàn)實(shí)(real world)之間的差異的圖像處理設(shè)備。
背景技術(shù)：
用于利用傳感器檢測(cè)現(xiàn)實(shí)發(fā)生的事件和處理從該圖像傳感器輸出的樣本數(shù)據(jù)的技術(shù)已經(jīng)得到了廣泛使用。
例如，如果對(duì)象運(yùn)動(dòng)速度比較快，則會(huì)在通過(guò)利用攝像機(jī)捕獲在預(yù)定靜止背景前方運(yùn)動(dòng)的對(duì)象而獲得的圖像中出現(xiàn)運(yùn)動(dòng)模糊。
迄今為止，為了避免這種運(yùn)動(dòng)模糊，例如加快了電子快門的速度以便減少曝光時(shí)間。
此外，在增加快門速度的方法中，必須在捕獲圖像之前調(diào)整攝像機(jī)的快門速度。結(jié)果導(dǎo)致不能校正模糊的圖像以獲得清晰圖像的問(wèn)題。

發(fā)明內(nèi)容
本發(fā)明是考慮到上述背景技術(shù)做出的。因此，本發(fā)明目的是使得消除包含在模糊圖像中的運(yùn)動(dòng)模糊成為可能。
本發(fā)明的第一圖像處理設(shè)備包括區(qū)域指定裝置，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行裝置，根據(jù)由區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該圖像處理設(shè)備還包括相等(equal-portion)部分檢測(cè)裝置，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分。該處理執(zhí)行裝置根據(jù)所檢測(cè)的相等部分和由區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
圖像處理裝置還可以包括處理單位(unit-of-processing)確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。處理執(zhí)行裝置對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
相等部分檢測(cè)裝置可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，處理執(zhí)行裝置可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理執(zhí)行裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第一圖像處理方法包括區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，根據(jù)由區(qū)域指定處理步驟通過(guò)指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該圖像處理方法還包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分。在處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和由區(qū)域指定步驟通過(guò)指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
圖像處理方法還可以包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理執(zhí)行步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第一存儲(chǔ)媒介的程序包括區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，根據(jù)區(qū)域指定處理步驟指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該存儲(chǔ)媒介的程序還包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分。在處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和由區(qū)域指定步驟通過(guò)指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
存儲(chǔ)媒介的程序還可以包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理執(zhí)行步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第一程序允許計(jì)算機(jī)執(zhí)行區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，根據(jù)由區(qū)域指定處理步驟通過(guò)指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該程序還可以包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分。在處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和區(qū)域指定處理步驟通過(guò)指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該程序還可以包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理執(zhí)行步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第二圖像處理設(shè)備包括輸入裝置，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊(motion-blur)消除裝置，通過(guò)假定在由輸入裝置所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
輸入裝置可以輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域。運(yùn)動(dòng)模糊消除裝置通過(guò)假定在輸入裝置所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
該圖像處理設(shè)備還包括相等部分檢測(cè)裝置，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分。運(yùn)動(dòng)模糊消除裝置可以根據(jù)相等部分檢測(cè)裝置所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
圖像處理裝置還可以包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位。運(yùn)動(dòng)模糊消除裝置可以消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像處理設(shè)備還可以包括一個(gè)區(qū)域指定裝置，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
相等部分檢測(cè)裝置可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，運(yùn)動(dòng)模糊消除裝置可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
運(yùn)動(dòng)模糊消除裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
運(yùn)動(dòng)模糊消除裝置根據(jù)區(qū)域信息和根據(jù)相等部分，可以同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
圖像處理設(shè)備還包括處理單位確定裝置，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。處理執(zhí)行裝置對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像處理設(shè)備還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定裝置相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與閾值可以檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
處理單位確定裝置通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第二圖像處理方法包括輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由輸入步驟的處理所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中的像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
在輸入步驟的處理中，可以輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是前景對(duì)象分量和背景對(duì)象分量混合的區(qū)域。在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在輸入步驟處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
該圖像處理方法還包括相等部分檢測(cè)步驟，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分。在運(yùn)動(dòng)模糊消除步驟的處理中，可以根據(jù)相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
圖像處理方法還可以包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位。在運(yùn)動(dòng)模糊消除步驟處理中，可以消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像處理方法還可以包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
運(yùn)動(dòng)模糊消除步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和根據(jù)相等部分，可以同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
圖像處理方法還包括處理單位確定步驟，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像處理步驟還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
第二存儲(chǔ)媒介的程序包括輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由輸入步驟的處理所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中的像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
在輸入步驟的處理中，可以輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是前景對(duì)象分量和背景對(duì)象分量混合的區(qū)域。在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在輸入步驟的處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
該存儲(chǔ)媒介的程序還包括相等部分檢測(cè)步驟，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分。在運(yùn)動(dòng)模糊消除步驟的處理中，可以根據(jù)相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
存儲(chǔ)媒介的程序還可以包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位。在運(yùn)動(dòng)模糊消除步驟處理中，可以消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
存儲(chǔ)媒介的程序還可以包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
運(yùn)動(dòng)模糊消除步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和根據(jù)相等部分，可以同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
存儲(chǔ)媒介的程序還包括處理單位確定步驟，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
存儲(chǔ)媒介的程序還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第二程序允許計(jì)算機(jī)執(zhí)行輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由輸入步驟的處理所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中的像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
在輸入步驟的處理中，可以輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是前景對(duì)象分量和背景對(duì)象分量混合的區(qū)域。在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在輸入步驟的處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
該程序還包括相等部分檢測(cè)步驟，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分。在運(yùn)動(dòng)模糊消除步驟的處理中，可以根據(jù)相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
該程序還可以包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位。在運(yùn)動(dòng)模糊消除步驟處理中，可以消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
該程序還可以包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
運(yùn)動(dòng)模糊消除步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和根據(jù)相等部分，可以同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
該程序還可以包括處理單位確定步驟，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。在處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
在處理單位確定步驟的處理中，可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
該程序還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
在相等部分檢測(cè)步驟的處理中，可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
在相等部分檢測(cè)步驟的處理中，可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
在處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定步驟的處理可以包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第一圖像捕獲設(shè)備包括圖像捕獲裝置，用于輸出由圖像捕獲器件捕獲的對(duì)象圖像，包括預(yù)定數(shù)量的像素并具有由預(yù)定量的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)的時(shí)間積分函數(shù)；區(qū)域指定裝置，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行裝置，根據(jù)由區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
該圖像捕獲設(shè)備還包括相等部分檢測(cè)裝置，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分。處理執(zhí)行裝置根據(jù)所檢測(cè)的相等部分和區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
圖像捕獲裝置還可以包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。處理執(zhí)行裝置對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
相等部分檢測(cè)裝置可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，處理執(zhí)行裝置可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理執(zhí)行裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
本發(fā)明的第二圖像捕獲設(shè)備包括圖像捕獲裝置，用于輸出由圖像捕獲器件捕獲的對(duì)象圖像，包括預(yù)定數(shù)量的像素并具有由預(yù)定量的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)的時(shí)間積分函數(shù)，和具有由形成對(duì)象的對(duì)象分量組成的對(duì)象區(qū)域；以及運(yùn)動(dòng)模糊消除裝置通過(guò)假定在圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
輸入裝置可以輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是前景對(duì)象分量和背景對(duì)象分量混合的區(qū)域。通過(guò)假定在輸入裝置所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，運(yùn)動(dòng)模糊消除裝置可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
該圖像捕獲設(shè)備還包括相等部分檢測(cè)裝置，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分。運(yùn)動(dòng)模糊消除裝置可以根據(jù)相等部分檢測(cè)裝置所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
圖像捕獲裝置還可以包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位。運(yùn)動(dòng)模糊消除裝置可以消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像捕獲設(shè)備還可以包括一個(gè)區(qū)域指定裝置，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
相等部分檢測(cè)裝置可以通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，運(yùn)動(dòng)模糊消除裝置可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
運(yùn)動(dòng)模糊消除裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
運(yùn)動(dòng)模糊消除裝置根據(jù)區(qū)域信息和根據(jù)相等部分，可以同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
圖像捕獲設(shè)備還包括處理單位確定裝置，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位。處理執(zhí)行裝置對(duì)于每個(gè)處理單位可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
圖像捕獲設(shè)備還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定裝置相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與閾值可以檢測(cè)相等部分。
相等部分檢測(cè)裝置可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
處理單位確定裝置通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
處理單位確定裝置可以包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。


圖1是圖示說(shuō)明本發(fā)明的信號(hào)處理設(shè)備的一個(gè)實(shí)施例配置的方框圖；圖2是圖示信號(hào)處理設(shè)備的方框圖；圖3圖示說(shuō)明了由一個(gè)傳感器執(zhí)行的圖像捕獲；圖4圖示說(shuō)明了像素的安排；圖5圖示說(shuō)明了檢測(cè)裝置的操作；圖6A圖示說(shuō)明了通過(guò)圖像捕獲對(duì)應(yīng)于運(yùn)動(dòng)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的一個(gè)圖像；圖6B圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展對(duì)應(yīng)于圖像的一條直線上像素值而獲得的一個(gè)圖像的模型；圖7圖示說(shuō)明了一個(gè)背景區(qū)域、一個(gè)前景區(qū)域、一個(gè)混合區(qū)域、一個(gè)覆蓋的背景區(qū)域和一個(gè)未覆蓋的背景區(qū)域；圖8圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展一個(gè)圖像的并排排列的諸多像素的像素值而獲得的一個(gè)模型，其中，所述圖像是通過(guò)圖像捕獲對(duì)應(yīng)于靜止前景的一個(gè)對(duì)象和對(duì)應(yīng)于靜止背景的一個(gè)對(duì)象獲得的；圖9圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖10圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖11圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖12圖示說(shuō)明了提取前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素的一個(gè)實(shí)例；圖13圖示說(shuō)明了諸多像素與通過(guò)在時(shí)間方向擴(kuò)展像素值而獲得的模型之間的關(guān)系；圖14圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖15圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖16圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；
圖17圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖18圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖19是說(shuō)明調(diào)整運(yùn)動(dòng)模糊量的處理的流程圖；圖20是說(shuō)明區(qū)域指定單元103的配置的一個(gè)實(shí)例的方框圖；圖21圖示說(shuō)明了當(dāng)對(duì)應(yīng)于前景的一個(gè)對(duì)象正在運(yùn)動(dòng)時(shí)的一個(gè)圖像；圖22圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖23圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖24圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖25圖示說(shuō)明了確定區(qū)域的條件；圖26A圖示說(shuō)明了通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果的一個(gè)實(shí)例；圖26B圖示說(shuō)明了通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果的一個(gè)實(shí)例；圖26C圖示說(shuō)明了通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果的一個(gè)實(shí)例；圖26D圖示說(shuō)明了通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果的一個(gè)實(shí)例；圖27圖示說(shuō)明了通過(guò)區(qū)域指定單元103指定區(qū)域而獲得的結(jié)果的一個(gè)實(shí)例；圖28是說(shuō)明區(qū)域指定處理的流程圖；圖29是說(shuō)明區(qū)域指定單元103的另一配置的方框圖；圖30圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖31圖示說(shuō)明了背景圖像的一個(gè)實(shí)例；圖32是說(shuō)明二進(jìn)制對(duì)象圖像提取部分302的配置的方框圖；圖33A圖示說(shuō)明了相關(guān)值的計(jì)算；
圖33B圖示說(shuō)明了相關(guān)值的計(jì)算；圖34A圖示說(shuō)明了相關(guān)值的計(jì)算；圖34B圖示說(shuō)明了相關(guān)值的計(jì)算；圖35圖示說(shuō)明了二進(jìn)制對(duì)象圖像的一個(gè)實(shí)例；圖36是說(shuō)明時(shí)間變化檢測(cè)器303的配置的方框圖；圖37圖示說(shuō)明了由區(qū)域確定部分342作出的確定；圖38圖示說(shuō)明了由時(shí)間變化檢測(cè)器303作出的確定的一個(gè)實(shí)例；圖39是說(shuō)明由區(qū)域指定單元103執(zhí)行的區(qū)域指定處理的流程圖；圖40是說(shuō)明區(qū)域指定處理的細(xì)節(jié)的流程圖；圖41是說(shuō)明區(qū)域指定單元103的再一個(gè)配置的方框圖；圖42是說(shuō)明加強(qiáng)處理部分361的配置的方框圖；圖43圖示說(shuō)明了由一個(gè)運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償；圖44圖示說(shuō)明了由一個(gè)運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償；圖45是說(shuō)明區(qū)域指定處理的流程圖；圖46是說(shuō)明加強(qiáng)處理的細(xì)節(jié)的流程圖；圖47是說(shuō)明混合比計(jì)算器104的配置的實(shí)例的方框圖；圖48圖示說(shuō)明了理想混合比α的一個(gè)實(shí)例；圖49圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖50圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖51圖示說(shuō)明了使用前景分量的相關(guān)的近似；圖52圖示說(shuō)明了C、N和P之中的關(guān)系；圖53是說(shuō)明估算混合比處理器401的配置的方框圖；圖54是說(shuō)明了估算混合比的實(shí)例；圖55是說(shuō)明混合比計(jì)算器104另一配置的方框圖；圖56是說(shuō)明計(jì)算混合比的處理的流程圖；圖57是說(shuō)明計(jì)算估算混合比的處理的流程圖；圖58圖示說(shuō)明了逼近混合比α的直線；圖59圖示說(shuō)明了逼近混合比α的一個(gè)平面；圖60圖示說(shuō)明了當(dāng)計(jì)算混合比α?xí)r多個(gè)幀中諸多像素的關(guān)系；
圖61是說(shuō)明混合比估算處理器401的另一個(gè)配置的方框圖；圖62圖示說(shuō)明了估算混合比的一個(gè)例子；圖63是說(shuō)明計(jì)算混合比計(jì)算處理的流程圖；圖64是說(shuō)明通過(guò)使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型估算混合比的處理的流程圖；圖65是說(shuō)明背景/前景分離器105的配置的一個(gè)實(shí)例的方框圖；圖66A圖示說(shuō)明了一個(gè)輸入圖像、一個(gè)前景分量圖像和一個(gè)背景分量圖像；圖66B圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展一條直線上的像素所獲得的模型；圖67圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖68圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖69圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值以及分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖70是說(shuō)明分離部分601的配置的一個(gè)實(shí)例的方框圖；圖71A圖示說(shuō)明了一個(gè)已分離前景分量圖像的一個(gè)實(shí)例；圖71B圖示說(shuō)明了一個(gè)已分離背景分量圖像的一個(gè)實(shí)例；圖72是圖示說(shuō)明分離一個(gè)前景和一個(gè)背景的處理的流程圖；圖73是說(shuō)明運(yùn)動(dòng)模糊調(diào)整單元106的配置的一個(gè)實(shí)例的方框圖；圖74是說(shuō)明運(yùn)動(dòng)模糊消除單元108的配置的一個(gè)實(shí)例的方框圖；圖75圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值并且分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖76圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值并且分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖77圖示說(shuō)明了在時(shí)間方向上擴(kuò)展像素值并且分割對(duì)應(yīng)于快門時(shí)間的周期的一個(gè)模型；圖78圖示說(shuō)明了消除運(yùn)動(dòng)模糊的像素的一個(gè)實(shí)例；圖79圖示說(shuō)明了消除運(yùn)動(dòng)模糊的像素的一個(gè)實(shí)例；圖80圖示說(shuō)明了增加運(yùn)動(dòng)模糊的像素的一個(gè)實(shí)例；
圖81圖示說(shuō)明了調(diào)整背景分量的處理；圖82圖示說(shuō)明了通過(guò)捕獲靜止黑色四邊形塊而獲得的圖像；圖83圖示說(shuō)明了通過(guò)捕獲運(yùn)動(dòng)黑色四邊形塊而獲得的圖像；圖84圖示說(shuō)明了由運(yùn)動(dòng)模糊調(diào)整單元執(zhí)行處理而獲得的結(jié)果的一個(gè)實(shí)例；圖85是說(shuō)明調(diào)整運(yùn)動(dòng)模糊量的處理的流程圖；圖86是說(shuō)明消除前景分量圖像的運(yùn)動(dòng)模糊的處理的流程圖；圖87是說(shuō)明信號(hào)處理設(shè)備的功能的另一配置的方框圖；圖88圖示說(shuō)明了合成器1001的配置；圖89是說(shuō)明信號(hào)處理設(shè)備的功能的另一配置的方框圖；圖90是說(shuō)明混合比計(jì)算器1101的配置的方框圖；圖91是說(shuō)明前景/背景分離器1102的配置的方框圖；圖92是說(shuō)明信號(hào)處理設(shè)備功能的再一配置的方框圖；圖93圖示說(shuō)明了合成器1201的配置；圖94是說(shuō)明信號(hào)處理設(shè)備再一配置的方框圖；圖95是說(shuō)明分離/模糊消除單元1503的配置的方框圖；圖96圖示說(shuō)明了處理單位和對(duì)應(yīng)于處理單位的一個(gè)模型；圖97圖示說(shuō)明了處理單位和對(duì)應(yīng)于處理單位的一個(gè)模型；圖98圖示說(shuō)明了處理單位和對(duì)應(yīng)于處理單位的一個(gè)模型；圖99圖示說(shuō)明了處理單位和對(duì)應(yīng)于處理單位的一個(gè)模型；圖100圖示說(shuō)明了像素值的計(jì)算；圖101圖示說(shuō)明了輸入圖像的一個(gè)實(shí)例；圖102圖示說(shuō)明了處理結(jié)果的一個(gè)實(shí)例；圖103是說(shuō)明消除運(yùn)動(dòng)模糊的處理的流程圖；圖104是說(shuō)明同時(shí)處理分離前景和背景以及消除運(yùn)動(dòng)模糊的流程105是說(shuō)明信號(hào)處理設(shè)備的再一配置的方框圖；圖106是說(shuō)明運(yùn)動(dòng)模糊消除單元106的配置的方框圖；圖107圖示說(shuō)明了供應(yīng)給方程生成器1622的一個(gè)模型；圖108圖示說(shuō)明了供應(yīng)給方程生成器1622的一個(gè)模型；圖109圖示說(shuō)明了像素值的計(jì)算；圖110是說(shuō)明消除運(yùn)動(dòng)模糊的處理的流程圖；
圖111是說(shuō)明消除前景分量圖像的運(yùn)動(dòng)模糊的處理的流程圖。
具體實(shí)施例方式
圖1是說(shuō)明本發(fā)明的信號(hào)處理設(shè)備一個(gè)實(shí)施例的配置的方框圖。CPU(中央處理單元)21根據(jù)存儲(chǔ)在ROM(只讀存儲(chǔ)器)22或者存儲(chǔ)單元28中的程序執(zhí)行各種處理。CPU 21執(zhí)行的程序以及數(shù)據(jù)按照需要被存儲(chǔ)在RAM(隨機(jī)存取存儲(chǔ)器)23中。CPU 21、ROM 22和RAM 23通過(guò)總線24彼此連接。
輸入/輸出接口25還經(jīng)由總線24連接CPU 21。由攝像機(jī)鍵盤、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入單元26和由顯示器、揚(yáng)聲器等構(gòu)成的輸出單元27連接輸入/輸出接口25。CPU 21響應(yīng)從輸入單元26輸入的命令執(zhí)行各種處理。CPU21隨后輸出作為對(duì)輸出單元27處理的結(jié)果而獲得的圖像或者聲音。
連接輸入/輸出接口25的存儲(chǔ)單元28由(例如)一個(gè)硬盤構(gòu)成，并且存儲(chǔ)由CPU 21執(zhí)行的程序和各種數(shù)據(jù)。通信單元29經(jīng)由互聯(lián)網(wǎng)或者其它網(wǎng)絡(luò)與外部裝置通信。在該實(shí)例中，通信單元29用作一個(gè)獲取傳感器輸出的獲取單元。
作為選擇，程序可以經(jīng)由通信單元29獲得，并存儲(chǔ)到存儲(chǔ)單元28中。
當(dāng)磁盤51、光盤52、磁光盤53、半導(dǎo)體存儲(chǔ)器54或者類似物連接到輸入/輸出接口25的驅(qū)動(dòng)器30時(shí)，驅(qū)動(dòng)器30驅(qū)動(dòng)這些存儲(chǔ)媒介，并獲得相應(yīng)媒介上的程序和數(shù)據(jù)。驅(qū)動(dòng)器30獲得存儲(chǔ)在對(duì)應(yīng)的媒體重的程序或者數(shù)據(jù)。如果需要，則將獲得的程序或者數(shù)據(jù)傳遞給存儲(chǔ)單元28并存儲(chǔ)在其中。
下面通過(guò)一個(gè)更具體的實(shí)例對(duì)信號(hào)處理設(shè)備進(jìn)行說(shuō)明，該信號(hào)設(shè)備指定一個(gè)在其中插入有效信息的區(qū)域，或者提取插入的有效信息，該有效信息來(lái)自傳感器獲得的數(shù)據(jù)。在隨后的實(shí)例中，CCD行傳感器或者CCD區(qū)域傳感器相當(dāng)于該傳感器，區(qū)域信息或者混合比相當(dāng)于有效信息，混合區(qū)域中的前景和背景的混合相當(dāng)于運(yùn)動(dòng)模糊或者失真。
圖2是說(shuō)明信號(hào)處理設(shè)備的方框圖。
在這里，信號(hào)處理設(shè)備的各個(gè)功能是由硬件還是由軟件實(shí)施并不重要。也就是本說(shuō)明書的方框圖可以是硬件方框圖或者軟件功能方框圖。
運(yùn)動(dòng)模糊是對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的一個(gè)圖像中含有的失真，該運(yùn)動(dòng)對(duì)象由現(xiàn)實(shí)捕獲的對(duì)象的運(yùn)動(dòng)和傳感器的圖像捕獲特征造成的。
在該說(shuō)明書中，對(duì)應(yīng)于現(xiàn)實(shí)對(duì)象的要捕獲的圖像被稱作圖像對(duì)象。
供應(yīng)給信號(hào)處理設(shè)備的輸入圖像被提供給對(duì)象提取單元101、區(qū)域指定單元103、混合比計(jì)算器104和前景/背景分離器105。
對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的前景對(duì)象的粗圖像對(duì)象，并把提取的圖像對(duì)象供應(yīng)給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101例如檢測(cè)包含在輸入圖像中的前景圖像的輪廓，以便提取對(duì)應(yīng)于前景對(duì)象的粗圖像對(duì)象。
對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的背景對(duì)象的粗圖像對(duì)象，并且把提取的圖像對(duì)象供應(yīng)給運(yùn)動(dòng)檢測(cè)器102。對(duì)象提取單元101依據(jù)例如輸入圖像與對(duì)應(yīng)于前景對(duì)象的已提取圖像對(duì)象之間的差異提取對(duì)應(yīng)于背景對(duì)象的粗圖像對(duì)象。
作為選擇，例如，對(duì)象提取單元101可以依據(jù)內(nèi)置背景存儲(chǔ)器中存儲(chǔ)的背景圖像與輸入圖像之間的差異提取對(duì)應(yīng)于前景對(duì)象的粗圖像對(duì)象和對(duì)應(yīng)于背景對(duì)象的粗圖像對(duì)象。
運(yùn)動(dòng)檢測(cè)器102根據(jù)諸如塊匹配、梯度、相位相關(guān)的技術(shù)，或者像素遞歸技術(shù)計(jì)算對(duì)應(yīng)于前景對(duì)象的粗提取的圖像對(duì)象的運(yùn)動(dòng)向量，并且把所計(jì)算的運(yùn)動(dòng)向量和運(yùn)動(dòng)向量位置信息(是用于指定對(duì)應(yīng)于運(yùn)動(dòng)向量的像素的位置的信息)供應(yīng)給區(qū)域指定單元103和運(yùn)動(dòng)模糊提取單元106。
運(yùn)動(dòng)檢測(cè)器102輸出的運(yùn)動(dòng)向量包含對(duì)應(yīng)于運(yùn)動(dòng)量v的信息。
運(yùn)動(dòng)檢測(cè)器102可以將每個(gè)圖像對(duì)象的運(yùn)動(dòng)向量與指定圖像對(duì)象的像素的像素位置信息一同輸出給運(yùn)動(dòng)模糊調(diào)整單元106。
運(yùn)動(dòng)量v是以像素間距單位指示在對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的圖像中的位置變化的值。例如，如果對(duì)應(yīng)于前景的對(duì)象圖像正在運(yùn)動(dòng)，使該對(duì)象圖像位于后續(xù)幀時(shí)被顯示為在一個(gè)位置上有四個(gè)像素遠(yuǎn)離基準(zhǔn)幀，則對(duì)應(yīng)于前景的對(duì)象圖像的運(yùn)動(dòng)量v是4。
當(dāng)調(diào)整對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)模糊量時(shí)，需要對(duì)象提取單元101和運(yùn)動(dòng)檢測(cè)器102。
區(qū)域指定單元103確定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域或者混合區(qū)域的哪一個(gè)，并且把指示每個(gè)像素屬于哪個(gè)區(qū)域的信息(以下稱之為“區(qū)域信息”)供應(yīng)給混合比計(jì)算器104、前景/背景分離器105以及運(yùn)動(dòng)模糊調(diào)整單元106。
混合比計(jì)算器104根據(jù)輸入圖像、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息，計(jì)算對(duì)應(yīng)于混合區(qū)域63中含有的像素的混合比(以下稱之為“混合比α”)，并且將混合比α供應(yīng)給前景/背景分離器105。
混合比α是指示對(duì)應(yīng)于背景對(duì)象的圖像分量(以下稱之為“背景分量”)與如下所示方程(3)所表示的像素值的比值的一個(gè)值。
前景/背景分離器105根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息和從混合比計(jì)算器104供應(yīng)的混合比α，將輸入圖像分離成一個(gè)僅僅由對(duì)應(yīng)于前景對(duì)象的圖像分量構(gòu)成的前景分量圖像(以下稱之為“前景分量”)和一個(gè)僅僅由背景分量構(gòu)成的一個(gè)背景分量圖像，并且將前景分量圖像供應(yīng)給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。已分離的前景分量圖像可以被設(shè)置為最終輸出。與僅僅指定一個(gè)前景和一個(gè)背景而不考慮混合區(qū)域的已知方法比較，本發(fā)明可以獲得更精確的前景和背景。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從運(yùn)動(dòng)向量獲得的運(yùn)動(dòng)量v并根據(jù)區(qū)域信息，確定指示包含在前景分量圖像中的至少一個(gè)像素的處理單位。該處理單位是數(shù)據(jù)，用于指定一組將要處于運(yùn)動(dòng)模糊調(diào)整的像素。
根據(jù)輸入到信號(hào)處理設(shè)備中的運(yùn)動(dòng)模糊將被調(diào)整的量、從前景/背景分離器105供應(yīng)的前景分量圖像、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息以及處理單位，運(yùn)動(dòng)模糊調(diào)整單元106通過(guò)消除、減少或者增加包含在前景分量圖像中的運(yùn)動(dòng)模糊來(lái)調(diào)整包含在前景分量圖像中的運(yùn)動(dòng)模糊量。運(yùn)動(dòng)模糊調(diào)整單元106隨后向選擇器107輸出調(diào)整了運(yùn)動(dòng)模糊量的前景分量圖像。但是，使用運(yùn)動(dòng)向量及其位置信息并不是必需的。
選擇器107根據(jù)例如反映用戶選擇的選擇信號(hào)，選擇從前景/背景分離器105供應(yīng)的前景分量圖像和從運(yùn)動(dòng)模糊調(diào)整單元106供應(yīng)的調(diào)整了運(yùn)動(dòng)模糊量的前景分量圖像之一，并且輸出所選擇的前景分量圖像。
下面參考圖3至圖18討論供應(yīng)給信號(hào)處理設(shè)備的輸入圖像。
圖3圖示說(shuō)明了由傳感器執(zhí)行的圖像捕獲。傳感器由例如裝備了CCD(電荷耦合器件)區(qū)域傳感器的一個(gè)CCD攝像機(jī)構(gòu)成，它是一個(gè)固態(tài)成像器件。對(duì)應(yīng)于現(xiàn)實(shí)前景的對(duì)象111(例如)在對(duì)應(yīng)于背景的對(duì)象112與傳感器之間水平地從左向右運(yùn)動(dòng)。
傳感器捕獲對(duì)應(yīng)于前景的對(duì)象111的圖像和對(duì)應(yīng)于背景的對(duì)象112的圖像。傳感器按幀的單位輸出已捕獲的圖像。例如，傳感器輸出具有每秒30幀的一個(gè)圖像。傳感器的曝光時(shí)間可以是1/30秒。曝光時(shí)間是傳感器開始把輸入光轉(zhuǎn)換成電荷時(shí)直至完成從輸入光轉(zhuǎn)換成電荷時(shí)的一個(gè)周期。曝光時(shí)間還被稱之為“快門時(shí)間”。
圖4圖示說(shuō)明了像素的安排。在圖4中，A至I指示各個(gè)像素。這些像素被布置在對(duì)應(yīng)的圖像的平面上。對(duì)應(yīng)于每個(gè)像素的一個(gè)檢測(cè)裝置被設(shè)置在傳感器上。當(dāng)傳感器執(zhí)行圖像捕獲時(shí)，每個(gè)檢測(cè)裝置輸出形成圖像的對(duì)應(yīng)像素的像素值。例如，X方向的檢測(cè)裝置的位置對(duì)應(yīng)于圖像的水平方向，而Y方向的檢測(cè)裝置的位置對(duì)應(yīng)于圖像的垂直方向。
如圖5所示，檢測(cè)裝置(例如是一個(gè)CCD)在對(duì)應(yīng)于快門時(shí)間的一個(gè)期間把輸入光轉(zhuǎn)換成電荷，并且存儲(chǔ)已變換的電荷。電荷量幾乎與輸入光的光強(qiáng)以及輸入該光的周期成比例。在對(duì)應(yīng)于快門時(shí)間的周期期間檢測(cè)裝置順序地把從輸入光轉(zhuǎn)換的電荷添加到已存儲(chǔ)的電荷上。也就是，檢測(cè)裝置在對(duì)應(yīng)于快門時(shí)間的期間積分輸入光，并且存儲(chǔ)對(duì)應(yīng)于被積分光的光量的電荷?？梢哉J(rèn)為檢測(cè)裝置具有關(guān)于時(shí)間的積分功能。
檢測(cè)裝置中存儲(chǔ)的電荷由電路(未示出)轉(zhuǎn)換成電壓值，該電壓值被進(jìn)一步轉(zhuǎn)換成像素值，比如數(shù)字?jǐn)?shù)據(jù)，然后輸出。因此，傳感器輸出的每個(gè)像素值是一個(gè)投射到線性空間上的值，它是關(guān)于快門時(shí)間積分對(duì)應(yīng)于前景或者背景的對(duì)象的某一三維部分的結(jié)果。
信號(hào)處理設(shè)備通過(guò)傳感器的存儲(chǔ)操作提取插入到輸出信號(hào)中的有效信息，例如混合比α。信號(hào)處理設(shè)備調(diào)整失真量，例如調(diào)整由于前景圖像對(duì)象本身的混合造成的運(yùn)動(dòng)模糊量。信號(hào)處理設(shè)備還調(diào)整由于前景圖像對(duì)象和背景圖像對(duì)象的混合造成的失真量。
圖6A是說(shuō)明通過(guò)捕獲對(duì)應(yīng)于前景的一個(gè)運(yùn)動(dòng)對(duì)象111和對(duì)應(yīng)于背景的靜止對(duì)象112而獲得的圖像。在圖6A所示的實(shí)例中，對(duì)應(yīng)于前景的對(duì)象正在從屏幕左端水平地移動(dòng)到屏幕右端。
圖6B圖示說(shuō)明了通過(guò)在時(shí)間方向擴(kuò)展對(duì)應(yīng)于圖6A中所示一行圖像的像素值而獲得的模型。圖6B所示的水平方向?qū)?yīng)于圖6A中的空間方向X。
背景區(qū)域中像素的值僅僅由背景分量構(gòu)成，也就是由對(duì)應(yīng)于背景對(duì)象的圖像分量構(gòu)成。前景區(qū)域中像素的值僅僅由前景分量構(gòu)成，也就是由對(duì)應(yīng)于前景對(duì)象的圖像分量構(gòu)成。
混合區(qū)域的像素的值由背景分量和前景分量構(gòu)成。由于混合區(qū)域中像素的值由背景分量和前景分量構(gòu)成，因此它被稱之為“失真區(qū)域”。混合區(qū)域還被進(jìn)一步分成覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域。
覆蓋的背景區(qū)域是對(duì)應(yīng)于前景對(duì)象正在運(yùn)動(dòng)的方向上的前端的位置上的混合區(qū)域，其中背景分量隨時(shí)間流逝而被前景逐漸覆蓋的。
相反，未覆蓋的背景區(qū)域是對(duì)應(yīng)于前景對(duì)象正在運(yùn)動(dòng)方向上的尾端的混合區(qū)域，其中背景分量隨時(shí)間流逝而逐漸出現(xiàn)。
按照以上討論，包含前景區(qū)域、背景區(qū)域、或者覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域的圖像作為輸入圖像輸入到區(qū)域指定單元103、混合比計(jì)算單元104和前景/背景分離器105。
圖7圖示說(shuō)明了以上討論的背景區(qū)域、前景區(qū)域、混合區(qū)域、覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域。在對(duì)應(yīng)于圖6A所示的圖像的區(qū)域中，背景區(qū)域是靜止部分，前景區(qū)域是運(yùn)動(dòng)部分，混合區(qū)域的覆蓋的背景區(qū)域是從背景區(qū)域到前景區(qū)域變化的部分，混合區(qū)域的未覆蓋的背景區(qū)域是從前景到背景變化的部分。
圖8圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展圖像的并排排列的諸多像素的像素值而獲得的一個(gè)模型，其中，所述圖像是通過(guò)捕獲對(duì)應(yīng)于靜止前景的對(duì)象圖像和對(duì)應(yīng)于靜止背景的對(duì)象圖像獲得的。例如，可以把屏幕上一行中排列的像素選作并排排列的像素。
圖8所示的F01至F04所指的像素值是對(duì)應(yīng)于靜止前景對(duì)象的像素值。圖8所示的B01至B04所指的像素值是對(duì)應(yīng)于靜止背景對(duì)象的像素值。
時(shí)間以圖8的垂直方向從圖8的頂部流逝到底部。圖8中矩形的頂端上的位置對(duì)應(yīng)于傳感器開始把輸入光變換成電荷的時(shí)間，圖8中矩形的底端上的位置對(duì)應(yīng)于傳感器完成從輸入光變換成電荷的時(shí)間。也就是，從圖8中矩形的頂端至底端的距離對(duì)應(yīng)于快門時(shí)間。
下面說(shuō)明圖8所示的像素，假定例如快門時(shí)間等于幀長(zhǎng)。
圖8的水平方向?qū)?yīng)于圖6中空間方向X。更具體說(shuō)，在圖8所示的實(shí)例中，從圖8的“F01”指示的矩形的左端到“B04”指示的矩形的右端是像素間距的八倍，即，八個(gè)連續(xù)像素。
當(dāng)前景對(duì)象和背景對(duì)象都是靜止的時(shí)，進(jìn)入傳感器的光輸入在對(duì)應(yīng)于快門時(shí)間的周期期間不變化。
對(duì)應(yīng)于快門時(shí)間的時(shí)段被分成兩個(gè)和多個(gè)相等時(shí)段的部分。例如，如果虛擬分割部分的數(shù)量是4，則圖8所示的模型可以由圖11所示的模型代表?？梢栽诳扉T時(shí)間內(nèi)根據(jù)對(duì)應(yīng)于前景的對(duì)象的運(yùn)動(dòng)量v設(shè)置虛擬分割部分的數(shù)量。例如，當(dāng)運(yùn)動(dòng)量v是4時(shí)，虛擬分割部分的數(shù)量被設(shè)置為4，并且把對(duì)應(yīng)于快門時(shí)間的時(shí)段分成四個(gè)部分。
圖11的最上行對(duì)應(yīng)于快門打開時(shí)的第一分割時(shí)段。圖11的第二行對(duì)應(yīng)于快門打開時(shí)的第二分割時(shí)段。圖11的第三行對(duì)應(yīng)于快門打開時(shí)的第三分割時(shí)段。圖11的第四行對(duì)應(yīng)于快門打開時(shí)的第四分割時(shí)段。
根據(jù)運(yùn)動(dòng)量v分割的快門時(shí)間在下文中還被稱之為“快門時(shí)間/v”。
當(dāng)對(duì)應(yīng)于前景的對(duì)象是靜止的，進(jìn)入傳感器的光輸入不變化，因而前景分量F01/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值F01獲得的值。同樣，當(dāng)對(duì)應(yīng)于前景的對(duì)象是靜止的時(shí)，前景分量F02/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值F02獲得的值，前景分量F03/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值F03獲得的值，前景分量F04/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值F04獲得的值。
當(dāng)對(duì)應(yīng)于背景的對(duì)象是靜止的時(shí)，進(jìn)入傳感器的光輸入不變化，因而背景分量B01/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值B01獲得的值。同樣，當(dāng)對(duì)應(yīng)于背景的對(duì)象是靜止的時(shí)，背景分量B02/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值B02獲得的值，背景分量B03/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值B03獲得的值，背景分量B04/v等于通過(guò)用虛擬分割部分?jǐn)?shù)目除像素值B04獲得的值。
更具體說(shuō)，當(dāng)對(duì)應(yīng)于前景的對(duì)象是靜止不動(dòng)時(shí)，對(duì)應(yīng)于進(jìn)入傳感器的前景對(duì)象的光輸入在對(duì)應(yīng)于快門時(shí)間的周期期間不變化。所以，對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第一部分的前景分量F01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第二部分的前景分量F01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第三部分的前景分量F01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第四部分的前景分量F01/v成為相同的值。如F01/v的情況，它同樣適用于F02/v至F04/v。
當(dāng)對(duì)應(yīng)于背景的對(duì)象靜止不動(dòng)時(shí)，對(duì)應(yīng)于進(jìn)入傳感器的背景對(duì)象輸入的光在對(duì)應(yīng)于快門時(shí)間的時(shí)段期間不變化。所以，對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第一部分的背景分量B01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第二部分的背景分量B01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第三部分的背景分量F01/v、對(duì)應(yīng)于快門打開時(shí)快門時(shí)間/v的第四部分的背景分量F01/v成為相同的值。上述情況同樣適用于B02/v至B04/v。
這里給出了這樣一種情況的說(shuō)明對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，而對(duì)應(yīng)于背景的對(duì)象靜止不動(dòng)。
圖10圖示說(shuō)明了當(dāng)對(duì)應(yīng)于前景的對(duì)象正在向圖10的右端運(yùn)動(dòng)時(shí)，通過(guò)在時(shí)間方向?qū)Πㄒ粋€(gè)覆蓋的背景區(qū)域的一行中像素的像素值進(jìn)行擴(kuò)展而獲得的一個(gè)模型。在圖10中，運(yùn)動(dòng)量v是4。由于一幀是一個(gè)短時(shí)段，因此可以假定對(duì)應(yīng)于前景的對(duì)象是一個(gè)以恒等速度運(yùn)動(dòng)的剛體。在圖10中，對(duì)應(yīng)于前景的對(duì)象圖像正在運(yùn)動(dòng)，這樣當(dāng)在后續(xù)幀顯示它時(shí)，它被定位為四個(gè)像素到基準(zhǔn)幀的右邊。
在圖10中，從最左邊像素到第四像素的像素屬于前景區(qū)域。在圖10中，從左數(shù)第五像素到第七像素的像素屬于混合區(qū)域，即，覆蓋的背景區(qū)域。在圖10中，最右邊像素屬于背景區(qū)域。
對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，使它隨時(shí)間變化逐漸覆蓋的對(duì)應(yīng)于背景的對(duì)象。因此，屬于覆蓋的背景區(qū)域的這些像素的像素值中含有的分量在對(duì)應(yīng)于快門時(shí)間的時(shí)段期間的某一時(shí)刻從背景分量變化到前景分量。
例如，由圖10中粗體幀包圍的像素值M由以下方程(1)表示。
M＝B02/v+B02/v+F07/v+F06/v (1)例如，左數(shù)第五像素包含一個(gè)對(duì)應(yīng)于快門時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的三個(gè)部分的前景分量，因而左數(shù)第五像素的混合比α是1/4。左數(shù)第六像素包含對(duì)應(yīng)于快門時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的兩個(gè)部分的前景分量，因此，左數(shù)第六像素的混合比α是1/2。左數(shù)第七像素包含對(duì)應(yīng)于快門時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的一個(gè)部分的前景分量，因此，左數(shù)第七像素的混合比α是3/4。
可以假定對(duì)應(yīng)于前景的對(duì)象是剛體，該前景對(duì)象正在以恒等速度運(yùn)動(dòng)，使它被顯示為四個(gè)像素到后續(xù)幀的右邊。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖10從左數(shù)第四像素的前景分量F07/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖10從左數(shù)第五像素的前景分量。同樣，前景分量F07/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖10從左數(shù)第六像素的前景分量，以及等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖10從左數(shù)第七像素的前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是剛體，該前景對(duì)象正在以恒等速度運(yùn)動(dòng)，使它被顯示為四個(gè)像素到后續(xù)幀的右邊。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖10從左數(shù)第三像素的前景分量F06/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖10從左數(shù)第四像素的前景分量。同樣，前景分量F06/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖10從左數(shù)第五像素的前景分量，以及等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖10從左數(shù)第六像素的前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是剛體，該前景對(duì)象正在以恒等速度運(yùn)動(dòng)，使它被顯示為四個(gè)像素到后續(xù)幀的右邊。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖10從左數(shù)第二像素的前景分量F05/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖10從左數(shù)第三像素的前景分量。同樣，前景分量F05/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖10從左數(shù)第四像素的前景分量，以及等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖10從左數(shù)第五像素的前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是剛體，該前景對(duì)象正在以恒等速度運(yùn)動(dòng)，使它被顯示為四個(gè)像素到后續(xù)幀的右邊。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖10最左邊像素的前景分量F04/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖10從左數(shù)第二像素的前景分量。同樣，前景分量F04/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖10從左數(shù)第三像素的前景分量，以及等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖10從左數(shù)第四像素的前景分量。
由于對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的前景區(qū)域包含如上述討論的運(yùn)動(dòng)模糊，因此它還可以稱之為“失真區(qū)域”。
圖11圖示說(shuō)明了當(dāng)對(duì)應(yīng)于前景的對(duì)象正在向圖11的右端運(yùn)動(dòng)時(shí)，通過(guò)在時(shí)間方向?qū)Πㄒ粋€(gè)未覆蓋的背景區(qū)域的一行中像素的像素值進(jìn)行擴(kuò)展而獲得的一個(gè)模型。在圖11中，運(yùn)動(dòng)量v是4。由于一幀是一個(gè)短時(shí)段，因此可以假定對(duì)應(yīng)于前景的對(duì)象是一個(gè)以恒等速度運(yùn)動(dòng)的剛體。在圖11中，對(duì)應(yīng)于前景的對(duì)象圖像正在運(yùn)動(dòng)到右邊，這樣當(dāng)在后續(xù)幀顯示它時(shí)，它被定位為四個(gè)像素到基準(zhǔn)幀的右邊。
在圖11中，從最左邊像素到第四像素的諸多像素屬于背景區(qū)域。在圖11中，從左數(shù)第五像素到第七像素的像素屬于混合區(qū)域，即，未覆蓋的背景區(qū)域。在圖11中，最右邊像素屬于前景區(qū)域。
對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，使它隨時(shí)間變化逐漸從對(duì)應(yīng)于背景的對(duì)象中移出，其中，所述前景覆蓋的對(duì)應(yīng)于背景的對(duì)象。因此，屬于未覆蓋的背景區(qū)域的這些像素的像素值中含有的分量在對(duì)應(yīng)于快門時(shí)間的時(shí)段的某一時(shí)刻從前景分量變化到背景分量。
例如，由圖11中粗體框包圍的像素值M由以下方程(2)表示。
M′＝F02/v+F01/v+B26/v+B26/v(2)例如，左數(shù)第五像素包含對(duì)應(yīng)于快門時(shí)間/v的三個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的一個(gè)快門部分的前景分量，因而左數(shù)第五像素的混合比α是3/4。左數(shù)第六像素包含對(duì)應(yīng)于快門時(shí)間/v的兩個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的兩個(gè)部分的前景分量，因此，左數(shù)第六像素的混合比α是1/2。左數(shù)第七像素包含對(duì)應(yīng)于快門時(shí)間/v的一個(gè)部分的背景分量和對(duì)應(yīng)于快門時(shí)間/v的三個(gè)部分的前景分量，因此，左數(shù)第七像素的混合比α是1/4。
當(dāng)歸納方程(1)和(2)時(shí)，像素值M可以由方程(3)表達(dá)M=α·B+ΣiFi/v---(3)]]>其中α是混合比，B指示背景的像素值，以及Fi/v指定前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是正在以恒等速度運(yùn)動(dòng)的剛體，并且運(yùn)動(dòng)量是4。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖11從左數(shù)第五像素的前景分量F01/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖11從左數(shù)第六像素的前景分量。同樣，前景分量F01/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖11從左數(shù)第七像素的前景分量，以及等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖11從左數(shù)第八像素的前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是正在以恒等速度運(yùn)動(dòng)的剛體，并且運(yùn)動(dòng)量v是4。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖11從左數(shù)第六像素的前景分量F02/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖11從左數(shù)第七像素的前景分量。同樣，前景分量F02/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖11從左數(shù)第八像素的前景分量。
可以假定對(duì)應(yīng)于前景的對(duì)象是正在以恒等速度運(yùn)動(dòng)的剛體，并且運(yùn)動(dòng)量v是4。因此，例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v第一部分的圖11從左數(shù)第七像素的前景分量F03/v等于當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖11從左數(shù)第八像素的前景分量。
上面已經(jīng)結(jié)合圖9至圖11說(shuō)明了虛擬分割部分的數(shù)量是4的情況。虛擬分割部分的數(shù)量相當(dāng)于運(yùn)動(dòng)量v。通常，運(yùn)動(dòng)量v相當(dāng)于對(duì)應(yīng)于前景的對(duì)象的運(yùn)動(dòng)速度。例如，如果對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，使它被顯示為當(dāng)它定位于后續(xù)幀時(shí)四個(gè)像素到達(dá)某一幀的右邊，則運(yùn)動(dòng)量v被設(shè)置為4。根據(jù)該運(yùn)動(dòng)量v，將虛擬分割部分的數(shù)量設(shè)置為4。同樣，當(dāng)對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，使它被顯示為當(dāng)它定位于后續(xù)幀時(shí)六個(gè)像素到達(dá)某一幀的右邊，運(yùn)動(dòng)量v被設(shè)置為6，并且將虛擬分割部分的數(shù)量設(shè)置為6。
圖12和圖13圖示說(shuō)明了關(guān)于與快門時(shí)間的分割周期對(duì)應(yīng)的前景分量和背景分量與前景區(qū)域、背景區(qū)域和混合區(qū)域的關(guān)系，該混合區(qū)域由以上討論的覆蓋的背景或者未覆蓋的背景組成。
圖12圖示說(shuō)明了從圖像中提取前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素的一個(gè)實(shí)例，所述圖像包含對(duì)應(yīng)于在靜止背景的前方運(yùn)動(dòng)的對(duì)象的前景。在圖12的實(shí)例中，對(duì)應(yīng)于前景的對(duì)象正在相對(duì)于屏幕水平運(yùn)動(dòng)。
幀#n+1是幀#n之后的幀，#n+2是幀#n+1之后的幀。
前景區(qū)域、背景區(qū)域和混合區(qū)域中的像素從幀#n至#n+2之一中提取，并且運(yùn)動(dòng)量v被設(shè)置為4。圖13顯示了通過(guò)在時(shí)間方向擴(kuò)展所提取的像素的像素值而獲得的一個(gè)模型。
由于對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)，因此前景區(qū)域中的像素值由對(duì)應(yīng)于快門時(shí)間/v的四個(gè)不同前景分量構(gòu)成。例如，圖13所示的前景區(qū)域中像素的最左邊像素由F01/v、F02/v、F03/v和F04/v組成。也就是，前景中的像素包含運(yùn)動(dòng)模糊。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，在快門時(shí)間期間進(jìn)入對(duì)應(yīng)于背景的傳感器的光輸入不改變。在該情況下，背景區(qū)域中的像素值不包含運(yùn)動(dòng)模糊。
由一個(gè)覆蓋的背景區(qū)域或者一個(gè)未覆蓋的背景區(qū)域組成的混合區(qū)域中的像素值由前景分量和背景分量構(gòu)成。
下面給出了通過(guò)在時(shí)間方向擴(kuò)展諸多像素的像素值而獲得的一個(gè)模型的說(shuō)明，所述的諸多像素在多個(gè)幀中被并排排列，并且當(dāng)對(duì)應(yīng)于對(duì)象的圖像正在運(yùn)動(dòng)而導(dǎo)致這些幀重疊的時(shí)候這些像素位于同一位置。例如，當(dāng)對(duì)應(yīng)于對(duì)象的圖像正在相對(duì)于屏幕水平運(yùn)動(dòng)時(shí)，排列在屏幕上的像素可以被選擇為并排排列的像素。
圖14圖示說(shuō)明了通過(guò)在時(shí)間方向擴(kuò)展諸多像素而獲得的一個(gè)模型，所述諸多像素被并排排列在通過(guò)捕獲對(duì)應(yīng)于靜止背景的一個(gè)對(duì)象而獲得的圖像的三個(gè)幀中，并且當(dāng)這些幀重疊時(shí)這些像素位于同一位置上。幀#n是幀#n-1之后的幀，幀#n+1是幀#n之后的幀。上述說(shuō)明適用于其它幀。
圖14中所示像素值B01至B12是對(duì)應(yīng)于靜止背景對(duì)象的像素值。由于對(duì)應(yīng)于背景的對(duì)象靜止不動(dòng)，因此幀#n-1至#n+1中對(duì)應(yīng)像素的像素值不改變。例如，幀#n的像素和位于具有幀#n-1中像素值B05的像素的對(duì)應(yīng)位置的#n+1中的像素具有像素值B05。
圖15圖示說(shuō)明了通過(guò)在時(shí)間方向擴(kuò)展諸多像素而獲得的一個(gè)模型，所述諸多像素被并排排列在通過(guò)捕獲與一個(gè)正在向圖15的右邊運(yùn)動(dòng)的前景相對(duì)應(yīng)的一個(gè)對(duì)象和對(duì)應(yīng)于靜止背景的一個(gè)對(duì)象而獲得的一個(gè)圖像的三個(gè)幀中，并且當(dāng)這些幀重疊時(shí)這些像素位于同一位置上。圖15所示的模型包含一個(gè)覆蓋的背景區(qū)域。
在圖15中，可以假定對(duì)應(yīng)于前景的對(duì)象是一個(gè)以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使它被顯示為四個(gè)像素到達(dá)后續(xù)幀的右邊。所以運(yùn)動(dòng)量v是4，并且虛擬分割部分的數(shù)量是4。
例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15中幀#n-1的最左邊像素的前景分量是F12/v，并且當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15中從左數(shù)第二像素的前景分量也是F12/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中從左數(shù)第三像素的前景分量和當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中從左數(shù)第四像素的前景分量也是F12/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15中幀#n-1的最左邊像素的前景分量是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中從左數(shù)第二像素的前景分量也是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中從左數(shù)第三像素的前景分量是F11/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中幀#n-1的最左邊像素的前景分量是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中從左數(shù)第二像素的前景分量也是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中幀#n-1的最左像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15中幀#n-1的從左數(shù)第二像素的背景分量是B01/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一和第二部分的圖15中幀#n-1的從左數(shù)第三像素的背景分量是B02/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一至第三部分的圖15中幀#n-1的從左數(shù)第四像素的背景分量是B03/v。
在圖15的幀#n-1中，最左端像素屬于背景區(qū)域，以及左數(shù)第二至第四像素屬于是覆蓋的背景區(qū)域的混合區(qū)域。
從圖15中幀#n-1左數(shù)第五至第十二像素屬于背景區(qū)域，其像素值分別是B04至B11。
從圖15中幀#n左數(shù)第一至五像素屬于前景區(qū)域。幀#n的前景區(qū)域中快門時(shí)間/v中前景分量是F05/v至F12/v的任何一個(gè)。
可以假定對(duì)應(yīng)于前景的對(duì)象是以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使前景圖像被顯示為四個(gè)像素到后續(xù)幀右邊。所以，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15中幀#n左數(shù)第五像素的前景分量是F12/v，并且當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15中左數(shù)第六像素的前景分量也是F12/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中左數(shù)第七像素的前景分量，以及當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中左數(shù)第八像素的前景分量也是F12/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15中幀#n左數(shù)第五像素的前景分量是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中左數(shù)第六像素的前景分量也是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中左數(shù)第七像素的前景分量是F11/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中幀#n左數(shù)第五像素的前景分量是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中左數(shù)第六像素的前景分量也是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15中幀#n左數(shù)第五像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15中幀#n左數(shù)第六像素的背景分量是B05/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一和第二部分的圖15中幀#n左數(shù)第七像素的背景分量是B06/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一至第三部分的圖15中幀#n左數(shù)第八像素的背景分量是B07/v。
在圖15中的幀#n中，左數(shù)第六至第八像素屬于混合區(qū)域，即屬于覆蓋的背景區(qū)域。
圖15中幀#n左數(shù)第九至第十二像素屬于背景區(qū)域，并且其像素值分別是B08至B11。
圖15中幀#n+1左數(shù)第一至第九像素屬于前景區(qū)域，幀#n+1的前景區(qū)域中的快門時(shí)間/v的前景分量是F01/v至F12/v的任一個(gè)。
可以假定對(duì)應(yīng)于前景的對(duì)象是以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使前景圖像被顯示為四個(gè)像素到達(dá)后續(xù)幀的右邊。所以，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15中幀#n+1左數(shù)第九像素的前景分量是F12/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15左數(shù)第十像素的前景分量是F12/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15左數(shù)第十一像素的前景分量和當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15左數(shù)第十二像素的前景分量是F12/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖15幀#n+1左數(shù)第九像素的前景分量是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15左數(shù)第十像素的前景分量是F11/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15左數(shù)第十一像素的前景分量是F11/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖15中幀#n+1左數(shù)第九像素的前景分量是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15左數(shù)第十像素的前景分量也是F10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖15幀#n+1左數(shù)第九像素的前景分量是F09/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖15左數(shù)第十像素的背景分量是B09/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一和第二部分的圖15中幀#n+1左數(shù)第十一像素的背景分量是B10/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一和第三部分的圖15中幀#n+1左數(shù)第十二像素的背景分量是B11/v。
在圖15中的幀#n+1中，左數(shù)第十至第十二像素屬于混合區(qū)域，它是覆蓋的背景區(qū)域。
圖16是從圖15所示的像素中提取前景分量而獲得的像素的一個(gè)模型。
圖17圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展諸多像素而獲得的一個(gè)模型，這些像素在一個(gè)圖像的三個(gè)幀中并排排列，并且當(dāng)這些幀重疊時(shí)位于相同位置上，所述的一個(gè)圖像是通過(guò)捕獲對(duì)應(yīng)于正在向圖17右邊運(yùn)動(dòng)的一個(gè)前景的對(duì)象和對(duì)應(yīng)于靜止背景的對(duì)象而獲得的。圖17所示的模型包含一個(gè)未覆蓋的背景區(qū)域。
在圖17中，可以假定對(duì)應(yīng)于前景的對(duì)象是一個(gè)以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使它被顯示為四個(gè)像素到后續(xù)幀的右邊。所以，運(yùn)動(dòng)量v是4。
例如，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n-1最左邊像素的前景分量是F13/v，以及當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17左數(shù)第二像素的前景分量也是F13/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖17左數(shù)第三像素的前景分量和當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17左數(shù)第四像素的前景分量是F13/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n-1左數(shù)第二像素前景分量是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17左數(shù)第三像素的前景分量也是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖17左數(shù)第三像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二至第四部分的圖17中幀#n-1的最左邊像素的背景分量是B25/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三和第四部分的圖17中幀#n-1左數(shù)第二像素的背景分量是B26/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17中#n-1左數(shù)第三像素的背景分量是B27/v。
在圖17的幀#n-1中，最左邊像素至第三像素屬于混合區(qū)域，是未覆蓋的背景區(qū)域。
圖17中幀#n-1左數(shù)第四至第十二像素屬于前景區(qū)域。該幀的前景分量是F13/v至F24/v的任何一個(gè)。
圖17中幀#n左數(shù)最左邊像素至第三像素屬于背景區(qū)域，并且其像素值分別是B25至B28。
可以假定對(duì)應(yīng)于前景的對(duì)象是以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使前景圖像被顯示為四個(gè)像素到達(dá)后續(xù)幀右邊。所以，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n左數(shù)第五像素的前景分量是F13/v，并且當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17中左數(shù)第六像素的前景分量也是F13/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖17中左數(shù)第七像素的前景分量，以及當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17中左數(shù)第八像素的前景分量是F13/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n左數(shù)第六像素的前景分量是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17中左數(shù)第七像素的前景分量也是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中左數(shù)第八像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二至第四部分的圖17中幀#n左數(shù)第五像素的背景分量是B29/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三和第四部分的圖17中幀#n左數(shù)第六像素的背景分量是B30/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17中幀#n左數(shù)第七像素的背景分量是B31/v。
在圖17中的幀#n中，左數(shù)第五至第七像素屬于混合區(qū)域，它是未覆蓋的背景區(qū)域。
圖17中幀#n左數(shù)第八至第十二像素屬于前景區(qū)域。對(duì)應(yīng)于快門時(shí)間/v周期的幀#n的前景區(qū)域中的前景分量值是F13/v至F20/v的任一個(gè)。
圖17中幀#n+1最左端像素至左數(shù)第八像素屬于背景區(qū)域，并且其像素值分別是B25至B32。
可以假定對(duì)應(yīng)于前景的對(duì)象是以恒等速度運(yùn)動(dòng)的剛體，并且正在運(yùn)動(dòng)，使前景圖像被顯示為四個(gè)像素到達(dá)后續(xù)幀的右邊。所以，當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n+1左數(shù)第九像素的前景分量是F13/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17左數(shù)第十像素的前景分量是F13/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖17左數(shù)第十一像素的前景分量和當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17左數(shù)第十二像素的前景分量是F13/v。
當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第一部分的圖17中幀#n+1左數(shù)第十像素的前景分量是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二部分的圖17左數(shù)第十一像素的前景分量是F14/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三部分的圖17左數(shù)第十二像素的前景分量是F15/v。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第二至第四部分的圖17幀#n+1左數(shù)第九像素的背景分量是B33/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第三和第四部分的圖17中幀#n+1左數(shù)第十像素的背景分量是B34/v。當(dāng)快門打開時(shí)對(duì)應(yīng)于快門時(shí)間/v的第四部分的圖17中幀#n+1左數(shù)第十一像素的背景分量是B35/v。
在圖17中的幀#n+1中，從圖17左數(shù)第九至第十一像素屬于混合區(qū)域，它是未覆蓋的背景區(qū)域。
圖17中幀#n+1左數(shù)第十二像素屬于前景區(qū)域。幀#n+1的前景區(qū)域中快門時(shí)間/v中的前景分量分別是F13至F16的任一個(gè)。
圖18圖示說(shuō)明了通過(guò)從圖17所指的像素值中提取前景分量獲得的圖像的一個(gè)模型。
再參見圖2，區(qū)域指定單元103通過(guò)使用多個(gè)幀的像素值指定多個(gè)標(biāo)記，以指示輸入幀的各個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)，并且將這些標(biāo)記作為區(qū)域信息供應(yīng)給混合比計(jì)算器104和運(yùn)動(dòng)模糊調(diào)整單元106。
混合比計(jì)算器104根據(jù)多個(gè)幀的像素值和區(qū)域信息計(jì)算包含在混合區(qū)域中的每個(gè)像素的混合比α，并把所計(jì)算的混合比α供應(yīng)給前景/背景分離器105。
前景/背景分離器105根據(jù)多個(gè)幀的像素值、區(qū)域信息和混合比α提取僅僅由前景分量組成的前景分量圖像，并且把前景分量圖像供應(yīng)給運(yùn)動(dòng)模糊調(diào)整單元106。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)從前景/背景分離器105供應(yīng)的前景分量圖像、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量和從區(qū)域指定單元103供應(yīng)的區(qū)域信息來(lái)調(diào)整前景分量圖像中包含的運(yùn)動(dòng)模糊量，然后輸出調(diào)整了運(yùn)動(dòng)模糊的前景分量圖像。
下面參考圖19的流程圖說(shuō)明由信號(hào)處理設(shè)備執(zhí)行調(diào)整運(yùn)動(dòng)模糊量的處理。在步驟S11中，區(qū)域指定單元103根據(jù)輸入圖像執(zhí)行區(qū)域指定處理，用于生成區(qū)域信息，該區(qū)域信息指示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)。下面說(shuō)明區(qū)域指定處理的細(xì)節(jié)。區(qū)域指定單元103向混合比計(jì)算器104供應(yīng)所生成的區(qū)域信息。
在步驟S11中，區(qū)域指定單元103根據(jù)輸入圖像生成區(qū)域信息，以指示輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域或者混合區(qū)域(不考慮每個(gè)像素是屬于覆蓋的背景區(qū)域還是屬于未覆蓋的背景區(qū)域)中的哪一個(gè)。在此情況下，前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)向量的方向確定混合區(qū)域是覆蓋的背景區(qū)域還是未覆蓋的背景區(qū)域。如果輸入圖像在運(yùn)動(dòng)矢量方向上以前景區(qū)域、混合區(qū)域和背景區(qū)域的次序設(shè)置，則確定混合區(qū)域是未覆蓋的背景區(qū)域。
在步驟S12中，混合比計(jì)算器104根據(jù)輸入圖像和區(qū)域信息計(jì)算混合區(qū)域中包含的每個(gè)像素的混合比α。下面給出混合比計(jì)算處理的細(xì)節(jié)?；旌媳扔?jì)算處理器104將計(jì)算的混合比α供應(yīng)給前景/背景分離器105。
在步驟S13中，前景/背景分離器105根據(jù)區(qū)域信息和混合比α從輸入圖像中提取前景分量，并且把前景分量作為前景分量圖像供應(yīng)給運(yùn)動(dòng)模糊調(diào)整單元106。
在步驟S14中，運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)運(yùn)動(dòng)矢量和區(qū)域信息生成處理單位，并調(diào)整對(duì)應(yīng)于該處理單位的前景分量中包含的運(yùn)動(dòng)模糊量，其中，所述處理單位指示在運(yùn)動(dòng)方向上布置的連續(xù)像素的位置，并且這些連續(xù)像素屬于未覆蓋的背景區(qū)域、前景區(qū)域和覆蓋的背景區(qū)域的任一個(gè)。下面給出調(diào)整運(yùn)動(dòng)模糊量的處理細(xì)節(jié)。
在步驟S15中，信號(hào)處理設(shè)備確定是否完成用于整個(gè)屏幕的處理。如果確定沒有完成用于整個(gè)屏幕的處理，則處理前進(jìn)到步驟S14，并且重復(fù)調(diào)整對(duì)應(yīng)于處理單位的前景分量的運(yùn)動(dòng)模糊量的處理。
如果在步驟S15中確定用于整個(gè)屏幕的處理已經(jīng)完成，則結(jié)束該處理。
在此方式中，信號(hào)處理設(shè)備能夠通過(guò)分離前景和背景來(lái)調(diào)整前景中包含的運(yùn)動(dòng)模糊量。也就是，信號(hào)處理設(shè)備能夠調(diào)整被包含在指示前景像素的像素值的抽樣數(shù)據(jù)中的運(yùn)動(dòng)模糊量。
下面說(shuō)明區(qū)域指定單元103、混合比計(jì)算器104、前景/背景分離器105和運(yùn)動(dòng)模糊調(diào)整單元106之每個(gè)的配置。
圖20是圖示說(shuō)明區(qū)域指定單元103的配置的一個(gè)實(shí)例的方框圖。圖20中顯示的區(qū)域指定單元103不使用運(yùn)動(dòng)向量。幀存儲(chǔ)器201按幀的單位存儲(chǔ)輸入圖像。當(dāng)待處理的圖像是#n時(shí)，幀存儲(chǔ)器201存儲(chǔ)幀#n-2(是幀#n前兩個(gè)幀的幀)、幀#n-1(是幀#n前一個(gè)幀的幀)、幀#n、幀#n+1(是幀#n后一個(gè)幀的幀)、幀#n+2(是幀#n后二個(gè)幀的幀)。
靜止/運(yùn)動(dòng)確定部分202-1從幀存儲(chǔ)器201中讀取位于與幀#n的一個(gè)指定像素相同位置上的幀#n+2的像素的像素值，在#n幀中確定該像素屬于的區(qū)域，并且從幀存儲(chǔ)器201中讀取位于與幀#n的該指定像素相同位置上的幀#n+1像素的像素值，并計(jì)算所讀出的像素值之間差值的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-1確定幀#n+2的像素值與幀#n+1的像素值之間差值的絕對(duì)值是否大于預(yù)置的閾值Th。如果確定該差值大于閾值Th，則把表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-1。如果確定幀#n+2的像素的像素值與幀#n+1的像素的像素值之間差值的絕對(duì)值小于或者等于閾值Th，則靜止/運(yùn)動(dòng)確定部分202-1把表示“靜止”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-1。
靜止/運(yùn)動(dòng)確定部分202-2從幀存儲(chǔ)器201中讀取幀#n的一個(gè)指定像素的像素值，在#n中確定該特定像素屬于的區(qū)域，并且從幀存儲(chǔ)器201中讀取位于與幀#n的該指定像素相同位置上的幀#n+1像素的像素值，并計(jì)算這些像素值之間差值的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-2確定幀#n+1的像素值與幀#n的像素值之差的絕對(duì)值是否大于閾值Th。如果確定這些像素之差的絕對(duì)值大于閾值Th，則把表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-1和區(qū)域確定部分203-2。如果確定幀#n+1的像素的像素值與幀#n的像素的像素值之差的絕對(duì)值小于或者等于閾值Th，則靜止/運(yùn)動(dòng)確定部分202-2把表示“靜止”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-1和區(qū)域確定部分203-2。
靜止/運(yùn)動(dòng)確定部分202-3從幀存儲(chǔ)器201中讀取幀#n的一個(gè)指定像素的像素值，在幀#n中確定該指定像素屬于的區(qū)域，并且從幀存儲(chǔ)器201中讀取位于與幀#n的該指定像素相同位置上的幀#n-1像素的像素值，并計(jì)算這些像素值之間差值的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-3確定幀#n的像素值與幀#n-1的像素值之間差值的絕對(duì)值是否大于閾值Th。如果確定這些像素之間差值的絕對(duì)值大于閾值Th，則把表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-2和區(qū)域確定部分203-3。如果確定幀#n的像素的像素值與幀#n-1的像素的像素值之間差值的絕對(duì)值小于或者等于閾值Th，則靜止/運(yùn)動(dòng)確定部分202-3把表示“靜止”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-2和區(qū)域確定部分203-3。
靜止/運(yùn)動(dòng)確定部分202-4從幀存儲(chǔ)器201中讀取位于與幀#n的一個(gè)指定像素相同位置上的幀#n-1像素的像素值，在幀#n中確定該像素屬于的區(qū)域，并且從幀存儲(chǔ)器201中讀取位于與幀#n的該指定像素相同位置上的幀#n-2像素的像素值，并計(jì)算這些像素值之間差值的絕對(duì)值。靜止/運(yùn)動(dòng)確定部分202-4確定幀#n-1的像素值與幀#n-2的像素值之差的絕對(duì)值是否大于預(yù)置的閾值Th。如果確定這些像素之差的絕對(duì)值大于閾值Th，則把表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-3。如果確定幀#n-1的像素的像素值與幀#n-2的像素的像素值之間差值的絕對(duì)值小于或者等于閾值Th，則靜止/運(yùn)動(dòng)確定部分202-4把表示“靜止”的靜止/運(yùn)動(dòng)確定供應(yīng)給區(qū)域確定部分203-3。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1供應(yīng)的靜止/運(yùn)動(dòng)確定指示為“靜止”以及當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定指示為“運(yùn)動(dòng)”時(shí)，區(qū)域確定部分203-1確定幀#n的指定像素屬于未覆蓋的背景區(qū)域，并把指示該被指定像素屬于未覆蓋的背景區(qū)域的“1”設(shè)置為與該指定像素關(guān)聯(lián)的未覆蓋的背景區(qū)域確定標(biāo)志中。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-1供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”以及當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域指定單元203-1確定幀#n的指定像素不屬于未覆蓋的背景區(qū)域，并把指示該被指定像素不屬于未覆蓋的背景區(qū)域的“0”設(shè)置為與該被指定像素關(guān)聯(lián)的未覆蓋的背景區(qū)域確定標(biāo)志中。
區(qū)域確定部分203-1向存儲(chǔ)確定標(biāo)志的幀存儲(chǔ)器204供應(yīng)按照以上討論設(shè)置“1”或“0”的未覆蓋的背景區(qū)域確定標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”以及當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域確定部分203-2確定幀#n的被指定像素屬于靜止區(qū)域，并把指示該像素屬于靜止區(qū)域的“1”設(shè)置為與該被指定像素關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志中。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”或者當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)，區(qū)域確定單元203-2確定幀#n的特定像素不屬于靜止區(qū)域，并把指示該像素不屬于靜止區(qū)域的“0”設(shè)置為與該特定像素關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志中。
區(qū)域確定部分203-2向存儲(chǔ)確定標(biāo)志的幀存儲(chǔ)器204供應(yīng)按照以上討論設(shè)置“1”或“0”的靜止區(qū)域確定標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”以及當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)，區(qū)域確定部分203-2確定幀#n的被指定像素屬于運(yùn)動(dòng)區(qū)域，并把指示該被指定像素屬于運(yùn)動(dòng)區(qū)域的“1”設(shè)置為與該被指定像素關(guān)聯(lián)的運(yùn)動(dòng)區(qū)域確定標(biāo)志中。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”或者當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域確定部分203-2確定幀#n的被指定像素不屬于運(yùn)動(dòng)區(qū)域，并把指示該被指定像素不屬于運(yùn)動(dòng)區(qū)域的“0”設(shè)置為與該被指定像素關(guān)聯(lián)的運(yùn)動(dòng)區(qū)域確定標(biāo)志中。
區(qū)域確定部分203-2向存儲(chǔ)確定標(biāo)志的幀存儲(chǔ)器204供應(yīng)按照以上討論設(shè)置“1”或“0”的運(yùn)動(dòng)區(qū)域確定標(biāo)志。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”以及當(dāng)從靜止/運(yùn)動(dòng)確定部分202-4供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”時(shí)，區(qū)域確定部分203-3確定幀#n的指定像素屬于覆蓋的背景區(qū)域，并把指示該指定像素屬于覆蓋的背景區(qū)域的“1”設(shè)置為與該特定像素關(guān)聯(lián)的覆蓋的背景區(qū)域確定標(biāo)志中。
當(dāng)從靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)的靜止/運(yùn)動(dòng)確定表示“靜止”或者當(dāng)從靜止/運(yùn)動(dòng)確定部分202-4供應(yīng)的靜止/運(yùn)動(dòng)確定表示“運(yùn)動(dòng)”時(shí)，區(qū)域確定部分203-3確定幀#n的指定像素不屬于覆蓋的背景區(qū)域，并把指示該被指定像素不屬覆蓋的背景區(qū)域的“0”設(shè)置為與該指定像素關(guān)聯(lián)的覆蓋的背景區(qū)域確定標(biāo)志中。
區(qū)域確定部分203-3向存儲(chǔ)確定標(biāo)志的幀存儲(chǔ)器204供應(yīng)按照以上討論設(shè)置“1”或“0”的覆蓋的背景區(qū)域確定標(biāo)志。
存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204存儲(chǔ)從區(qū)域確定部分203-1供應(yīng)的未覆蓋的背景區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2供應(yīng)的靜止區(qū)域確定標(biāo)志、從區(qū)域確定部分203-2供應(yīng)的運(yùn)動(dòng)區(qū)域確定標(biāo)志、以及從區(qū)域確定部分203-3供應(yīng)的覆蓋的背景區(qū)域確定標(biāo)志。
存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204把所存儲(chǔ)的未覆蓋的背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、運(yùn)動(dòng)區(qū)域確定標(biāo)志、以及覆蓋的背景區(qū)域確定標(biāo)志供應(yīng)給合成器205。合成器205根據(jù)從存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204供應(yīng)的未覆蓋的背景區(qū)域確定標(biāo)志、靜止區(qū)域確定標(biāo)志、運(yùn)動(dòng)區(qū)域確定標(biāo)志和覆蓋的背景區(qū)域確定標(biāo)志來(lái)生成區(qū)域信息，以指示每個(gè)像素屬于未覆蓋的背景區(qū)域、靜止區(qū)域、運(yùn)動(dòng)區(qū)域或者覆蓋的背景區(qū)域中的哪一個(gè)，并且把區(qū)域信息供應(yīng)給存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器206。
存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器206存儲(chǔ)從合成器205供應(yīng)的區(qū)域信息，并且還輸出所存儲(chǔ)的區(qū)域信息。
下面參考圖21至25說(shuō)明由區(qū)域指定單元103執(zhí)行的處理的一個(gè)實(shí)例。
當(dāng)對(duì)應(yīng)于前景的對(duì)象正在運(yùn)動(dòng)時(shí)，對(duì)應(yīng)于屏幕上對(duì)象的圖像的位置在每幀中變化。如圖21所示，與位于由幀#n中Yn(x，y)所指示的位置上的對(duì)象相對(duì)應(yīng)的圖像被定位在在幀#n之后的幀#n+1的Yn+1(x，y)上。
圖24示出了通過(guò)在時(shí)間方向上擴(kuò)展沿對(duì)應(yīng)于前景對(duì)象的圖像的運(yùn)動(dòng)方向并排排列的像素的像素值而獲得的一個(gè)模型。例如，如果對(duì)應(yīng)于前景對(duì)象的圖像的運(yùn)動(dòng)方向是關(guān)于屏幕水平的，則圖22中所示的模型是通過(guò)在時(shí)間方向擴(kuò)展在一行上并排排列的多個(gè)像素的像素值而獲得的一個(gè)模型。
在圖22中，幀#n中的行等于幀#n+1中的行。
對(duì)應(yīng)于包含在幀#n左數(shù)第二像素至第十三像素中的對(duì)象的前景分量被包含在幀#n+1左數(shù)第六像素至第十七像素中。
在幀#n中，屬于覆蓋的背景區(qū)域的多個(gè)像素是從左數(shù)第七至第十三像素，屬于未覆蓋的背景區(qū)域的多個(gè)像素是從左數(shù)第二至第四像素。在幀#n+1中，屬于覆蓋的背景區(qū)域的多個(gè)像素是從左數(shù)第十五至第十七像素，屬于未覆蓋的背景區(qū)域的多個(gè)像素是從左數(shù)第六至第八像素。
在圖22所顯示的實(shí)例中，由于幀#n中包含的前景分量被幀#n+1中四個(gè)像素移動(dòng)，因此運(yùn)動(dòng)量v是4。虛擬分割部分的數(shù)量是與運(yùn)動(dòng)量v相應(yīng)的4。
下面給出在一個(gè)被指定幀前后的多個(gè)幀中屬于混合區(qū)域的像素的像素值的變化的說(shuō)明。
在圖23中，屬于幀#n中覆蓋的背景區(qū)域的像素是左數(shù)第十五至第十七像素，在幀#n中背景是靜止的并且前景中的運(yùn)動(dòng)量v是4。由于運(yùn)動(dòng)量v是4，因此從前幀#n-1左數(shù)第十五至第十七幀僅僅包含背景分量并且屬于背景區(qū)域。從幀#n-2(幀#n-1之前的幀)左數(shù)第十五至第十七像素僅包含背景分量，并且屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的對(duì)象是靜止的，因此幀#n-1左數(shù)第十五像素的像素值不會(huì)改變幀#n-2左數(shù)第十五像素的像素值。同樣，幀#n-1左數(shù)的第十六像素的像素值不會(huì)改變幀#n-2左數(shù)第十六像素的像素值，并且?guī)?n-1左數(shù)的第十七像素的像素值不會(huì)改變幀#n-2左數(shù)第十七像素的像素值。
也就是，與屬于幀#n中覆蓋的背景區(qū)域的多個(gè)像素相對(duì)應(yīng)的幀#n-1和幀#n-2中的像素僅僅由背景分量組成，其像素值不改變。因此，這些像素值的差值的絕對(duì)值幾乎等于0。因而由靜止/運(yùn)動(dòng)確定部分202-4作出的關(guān)于對(duì)應(yīng)于屬于幀#n中混合區(qū)域的多個(gè)像素的幀#n-1和幀#n-2中諸多像素的靜止/運(yùn)動(dòng)確定是“靜止”。
由于屬于幀#n中覆蓋的背景區(qū)域的諸多像素包含前景分量，因此其像素值不同于僅由背景分量組成的幀#n-1的像素的像素值。因此，由靜止/運(yùn)動(dòng)確定部分202-3作出的關(guān)于屬于幀#n中混合區(qū)域的諸多像素和幀#n-1中對(duì)應(yīng)的諸多像素的靜止/運(yùn)動(dòng)確定是“運(yùn)動(dòng)”。
當(dāng)靜止/運(yùn)動(dòng)確定部分202-3供應(yīng)表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定結(jié)果時(shí)，以及當(dāng)靜止/運(yùn)動(dòng)確定部分202-4供應(yīng)表示“靜止”的靜止/運(yùn)動(dòng)確定結(jié)果時(shí)，按照以上討論，區(qū)域確定部分203-3確定該對(duì)應(yīng)的諸多像素屬于覆蓋的背景區(qū)域。
在圖24中，在背景靜止不動(dòng)和前景的運(yùn)動(dòng)量v是4的幀#n中，包含在一個(gè)未覆蓋的背景區(qū)域中的諸多像素是左數(shù)第二至第四像素。由于運(yùn)動(dòng)量v是4，因此后續(xù)幀#n+1中左數(shù)第二至第四像素僅包含背景分量，并且屬于背景區(qū)域。在幀#n+1之后的幀#n+2中，左數(shù)第二至第四像素僅包含背景分量并且屬于背景區(qū)域。
由于對(duì)應(yīng)于背景的對(duì)象靜止不動(dòng)，因此幀#n+2中左數(shù)第二像素的像素值不改變幀#n+1左數(shù)第二像素的像素值。同樣，幀#n+2中左數(shù)第三像素的像素值不改變幀#n+1左數(shù)第三像素的像素值，幀#n+2中左數(shù)第四像素的像素值不改變幀#n+1左數(shù)第四像素的像素值。
也就是，與屬于幀#n中未覆蓋的背景區(qū)域的諸多像素相對(duì)應(yīng)的幀#n+1和幀#n+2中諸多像素僅僅由背景分量組成，并且其像素值不變化。因此，這些像素值的差值的絕對(duì)值幾乎等于0。這樣，由靜止/運(yùn)動(dòng)確定部分202-1作出的關(guān)于與屬于幀#n中混合區(qū)域的諸多像素相對(duì)應(yīng)的幀#n+1和幀#n+2中諸多像素的靜止/運(yùn)動(dòng)確定是“靜止”。
由于屬于幀#n中未覆蓋的背景區(qū)域的像素包含前景分量，因此其像素值不同于僅僅由背景分量組成的幀#n+1的像素值。所以，由靜止/運(yùn)動(dòng)確定部分202-2作出的關(guān)于屬于幀#n中混合區(qū)域的諸多像素和幀#n+1中對(duì)應(yīng)的諸多像素的靜止/運(yùn)動(dòng)確定是“運(yùn)動(dòng)”。
當(dāng)靜止/運(yùn)動(dòng)確定部分202-2供應(yīng)表示“運(yùn)動(dòng)”的靜止/運(yùn)動(dòng)確定結(jié)果時(shí)，以及當(dāng)靜止/運(yùn)動(dòng)確定部分202-1供應(yīng)表示“靜止”的靜止/運(yùn)動(dòng)確定結(jié)果時(shí)，按照以上討論，區(qū)域確定部分203-1確定該對(duì)應(yīng)的諸多像素屬于未覆蓋的背景區(qū)域。
圖25圖示說(shuō)明了由區(qū)域指定單元103作出的幀#n的確定條件。當(dāng)位于與待處理的幀#n的被指定像素相同圖像位置上的幀#n-2的像素的確定結(jié)果和位于與幀#n的被指定像素相同圖像位置上的幀#n-1的像素的確定結(jié)果是靜止時(shí)，以及當(dāng)幀#n的被指定像素和位于與幀#n的被指定像素相同圖像位置上的幀#n-1的像素的確定結(jié)果是運(yùn)動(dòng)時(shí)，區(qū)域指定單元103確定幀#n+1中的像素屬于覆蓋的背景區(qū)域。
當(dāng)幀#n中像素和位于與幀#n的被指定像素相同圖像位置上的幀#n-1的像素的確定結(jié)果是靜止時(shí)，以及當(dāng)幀#n的像素確定結(jié)果以及位于與幀#n的指定像素相同圖像位置上的幀#n+1的像素的確定結(jié)果是靜止時(shí)，區(qū)域指定單元103確定幀#n中的被指定像素屬于靜止區(qū)域。
當(dāng)幀#n中像素的確定結(jié)果和位于與幀#n的被指定像素相同圖像位置上的幀#n-1的像素的確定結(jié)果是運(yùn)動(dòng)時(shí)，以及當(dāng)幀#n的像素的確定結(jié)果和當(dāng)位于與幀#n的指定像素相同圖像位置上的幀#n+1的像素的確定結(jié)果是運(yùn)動(dòng)時(shí)，區(qū)域指定單元103確定幀#n中的被指定像素屬于運(yùn)動(dòng)區(qū)域。
當(dāng)幀#n中像素的確定結(jié)果和位于與幀#n的被指定像素相同圖像位置上的幀#n+1的像素的確定結(jié)果是運(yùn)動(dòng)時(shí)，以及當(dāng)位于與幀#n的被指定像素的相同位置上的幀#n+1的像素的確定結(jié)果和位于與幀#n的指定像素相同圖像位置上的幀#n+2的像素的確定結(jié)果是靜止時(shí)，區(qū)域指定單元103確定幀#n中的被指定像素屬于未覆蓋的背景區(qū)域。
圖26A至26D圖示說(shuō)明了區(qū)域指定單元103獲得的確定結(jié)果的實(shí)例。在圖26A中，用白顏色指示了被確定為屬于覆蓋的背景區(qū)域的像素。在圖26B中，用白顏色指示了被確定為屬于未覆蓋的背景區(qū)域的像素。
在圖26C中，用白顏色指示了被確定為屬于運(yùn)動(dòng)區(qū)域的像素。在圖26D中，用白顏色指示了被確定為屬于靜止區(qū)域的像素。
圖27圖示說(shuō)明了區(qū)域信息，該區(qū)域信息指示從存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器輸出的區(qū)域信息中選擇的一個(gè)圖像形式的混合區(qū)域。在圖27中，用白顏色指示被確定為屬于覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域的像素，即，被確定為屬于混合區(qū)域的像素。指示從存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器206輸出的混合區(qū)域的區(qū)域信息指定混合區(qū)域和具有一個(gè)紋理(texture)的部分，該紋理由前景區(qū)域中沒有紋理的部分環(huán)繞。
下面結(jié)合圖28的流程圖說(shuō)明區(qū)域指定單元103執(zhí)行的區(qū)域指定處理。在步驟S201中，幀存儲(chǔ)器201獲得包括#n的幀#n-2至#n+2的圖像。
在步驟S202中，靜止/運(yùn)動(dòng)確定部分202-3確定位于相同位置上的幀#n-1中的像素和幀#n中的像素的確定結(jié)果是否是靜止的。如果確定該確定結(jié)果是靜止的，則處理前進(jìn)到步驟S203，由靜止/運(yùn)動(dòng)確定部分202-2確定位于同一位置上的幀#n中像素和#n+1中像素的確定結(jié)果是否為靜止的。
如果在步驟S203中確定位于同一位置上的幀#n中像素和#n+1中像素的確定結(jié)果是靜止的，則處理前進(jìn)到步驟S204。在步驟S204，區(qū)域確定部分203-2將指示待處理的像素屬于靜止區(qū)域的“1”設(shè)置為與待處理的像素關(guān)聯(lián)的靜止區(qū)域確定標(biāo)志中。區(qū)域確定部分203-2向存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204供應(yīng)靜止區(qū)域確定標(biāo)志，并前進(jìn)到步驟S205。
如果在步驟S202中確定位于同一位置上的幀#n-1中像素和#n中像素的確定結(jié)果是運(yùn)動(dòng)的，或者如果在步驟S203中確定位于同一位置的幀#n的像素和#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的，則待處理的像素不屬于靜止區(qū)域。因此，步驟S204的處理被跳過(guò)，處理前進(jìn)到步驟S205。
在步驟S205，靜止/運(yùn)動(dòng)確定部分202-3確定位于同一位置的幀#n-1的像素和#n的像素的確定結(jié)果是運(yùn)動(dòng)的。如果確定該確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S206，在此步驟中，靜止/運(yùn)動(dòng)確定部分202-2確定位于同一位置的幀#n中的像素和幀#n+1中的像素的確定結(jié)果是否是運(yùn)動(dòng)的。
如果在步驟S206中確定位于同一位置上的幀#n中像素和#n+1中像素的確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S207。在步驟S207中，區(qū)域確定部分203-2將指示待處理的像素屬于運(yùn)動(dòng)區(qū)域的“1”設(shè)置為與該待處理的像素關(guān)聯(lián)的運(yùn)動(dòng)區(qū)域確定標(biāo)志中。區(qū)域確定部分203-2向存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204供應(yīng)運(yùn)動(dòng)區(qū)域確定標(biāo)志，然后處理前進(jìn)到步驟S208。
如果在步驟S205中確定位于同一位置上的幀#n-1中像素和#n中像素的確定結(jié)果是靜止的，或者如果在步驟S203中確定位于同一位置的幀#n的像素和#n+1中像素的確定結(jié)果是靜止的，則幀#n中像素不屬于運(yùn)動(dòng)區(qū)域。因此，步驟S207的處理被跳過(guò)，以及處理前進(jìn)到步驟S208。
在步驟S208，靜止/運(yùn)動(dòng)確定部分202-4確定位于同一位置的幀#n-2的像素和#n-1的像素的確定結(jié)果是靜止的。如果確定該確定結(jié)果是靜止的，則處理前進(jìn)到步驟S209，在此步驟中，靜止/運(yùn)動(dòng)確定部分202-3確定位于同一位置的幀#n-1中的像素和幀#n中的像素是運(yùn)動(dòng)的。
如果在步驟S209中確定位于同一位置上的幀#n-1中像素和#n中像素的確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S210。在步驟S210中，區(qū)域確定部分203-3將指示待處理的像素屬于覆蓋的背景區(qū)域的“1”設(shè)置為與該待處理的像素關(guān)聯(lián)的覆蓋的背景區(qū)域確定標(biāo)志中。區(qū)域確定部分203-3向存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204供應(yīng)覆蓋的背景區(qū)域確定標(biāo)志，并前進(jìn)到步驟S211。
如果在步驟S208中確定位于同一位置上的幀#n-2中像素和#n-1中像素的確定結(jié)果是運(yùn)動(dòng)的，或者如果在步驟S209中確定位于同一位置的幀#n-1的像素和#n中的像素的確定結(jié)果是靜止的，則幀#n中像素不屬于覆蓋的背景區(qū)域。因此，步驟S210的處理被跳過(guò)，于是處理前進(jìn)到步驟S211。
在步驟S211，靜止/運(yùn)動(dòng)確定部分202-2確定位于同一位置的幀#n的像素和#n+1的像素的確定結(jié)果是運(yùn)動(dòng)的。如果在步驟S211中確定該確定結(jié)果是運(yùn)動(dòng)的，則處理前進(jìn)到步驟S212，在此步驟中，靜止/運(yùn)動(dòng)確定部分202-1確定位于同一位置的幀#n+1中的像素和幀#n+2中的像素的確定結(jié)果是否為靜止的。
如果在步驟S212中確定位于同一位置上的幀#n+1中像素和#n+2中像素的確定結(jié)果是靜止的，則處理前進(jìn)到步驟S213。在步驟S213中，區(qū)域確定部分203-2將指示待處理的像素屬于未覆蓋的背景區(qū)域的“1”設(shè)置為與該待處理的像素關(guān)聯(lián)的未覆蓋的背景區(qū)域確定標(biāo)志中。區(qū)域確定部分203-1向存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204供應(yīng)未覆蓋的背景區(qū)域確定標(biāo)志，并前進(jìn)到步驟S214。
如果在步驟S211中確定位于同一位置上的幀#n中像素和#n+1中像素的確定結(jié)果是靜止的，或者如果在步驟S212中確定幀#n+1的像素和幀#n+2中像素的確定結(jié)果是運(yùn)動(dòng)的，則幀#n中像素不屬于未覆蓋的背景區(qū)域。因此，步驟S213的處理被跳過(guò)，于是處理前進(jìn)到步驟S214。
在步驟S214中，區(qū)域指定單元103確定幀#n的所有像素的區(qū)域是否被指定。如果確定幀#n的所有像素的區(qū)域還未被指定，則處理返回到步驟S202，并且對(duì)于剩余像素重復(fù)區(qū)域指定處理。
如果在步驟S214中確定幀#n中所有像素都被指定，則處理前進(jìn)到步驟S215。在步驟S215中，合成器215根據(jù)存儲(chǔ)在存儲(chǔ)確定標(biāo)志幀存儲(chǔ)器204中的未覆蓋的背景區(qū)域確定標(biāo)志和覆蓋的背景區(qū)域確定標(biāo)志，生成指示混合區(qū)域的區(qū)域信息，還生成指示每個(gè)像素屬于未覆蓋的背景區(qū)域、靜止區(qū)域、運(yùn)動(dòng)區(qū)域、或者覆蓋的背景區(qū)域之中的哪一個(gè)的區(qū)域信息，并且在確定標(biāo)志存儲(chǔ)幀存儲(chǔ)器206中設(shè)置所生成的區(qū)域信息。然后結(jié)束該處理。
如上討論，區(qū)域指定單元103能夠生成指示包含在一個(gè)幀中每個(gè)像素屬于運(yùn)動(dòng)區(qū)域、靜止區(qū)域、未覆蓋的背景區(qū)域、或者覆蓋的背景區(qū)域之中的哪一個(gè)的區(qū)域信息。
區(qū)域指定單元103可以把邏輯OR應(yīng)用于對(duì)應(yīng)于未覆蓋的背景區(qū)域的區(qū)域信息和對(duì)應(yīng)于覆蓋的背景區(qū)域的區(qū)域信息，以便生成對(duì)應(yīng)于混合區(qū)域的區(qū)域信息，然后可以生成由諸多標(biāo)志組成的區(qū)域信息，以指示包含在幀中的各個(gè)像素屬于運(yùn)動(dòng)區(qū)域、靜止區(qū)域或者混合區(qū)域之中的哪一個(gè)。
當(dāng)對(duì)應(yīng)于前景的對(duì)象具有紋理時(shí)，區(qū)域指定單元103能夠更精確指定運(yùn)動(dòng)區(qū)域。
區(qū)域指定單元103能夠輸出指示運(yùn)動(dòng)區(qū)域的區(qū)域信息，以作為指示前景區(qū)域的區(qū)域信息，并且輸出指示靜止區(qū)域的區(qū)域信息，以作為指示背景區(qū)域的區(qū)域信息。
上面已經(jīng)描述了假定對(duì)應(yīng)于背景的對(duì)象是靜止的實(shí)施例。此外，即使對(duì)應(yīng)于背景區(qū)域的圖像包括運(yùn)動(dòng)，也可以應(yīng)用上述的區(qū)域指定處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像正在均勻運(yùn)動(dòng)，則區(qū)域指定單元103根據(jù)該運(yùn)動(dòng)位移整個(gè)圖像，并且按照類似于對(duì)應(yīng)于背景的對(duì)象是靜止的情況的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)，則區(qū)域指定單元103選擇對(duì)應(yīng)于該運(yùn)動(dòng)的像素，并且執(zhí)行上述的處理。
圖29是說(shuō)明區(qū)域指定單元103的配置的一個(gè)實(shí)例。圖29所示的區(qū)域指定單元103不使用一個(gè)運(yùn)動(dòng)向量。背景圖像生成器301生成對(duì)應(yīng)于輸入圖像的背景圖像，并且向二進(jìn)制對(duì)象圖像提取部分302供應(yīng)所生成的背景圖像。背景圖像生成器301提取例如對(duì)應(yīng)于包含在輸入圖像中的背景對(duì)象的一個(gè)圖像對(duì)象，并且生成背景圖像。
圖30示出了通過(guò)在時(shí)間方向擴(kuò)展沿著對(duì)應(yīng)于前景對(duì)象的圖像的運(yùn)動(dòng)方向并排排列的多個(gè)像素的像素值而獲得的一個(gè)模型的實(shí)例。例如，如果對(duì)應(yīng)于前景對(duì)象的圖像的運(yùn)動(dòng)方向是關(guān)于屏幕水平的，則圖30所示的模型是通過(guò)在時(shí)域中對(duì)單行上并排排列的像素的像素值進(jìn)行擴(kuò)展而獲得的一個(gè)模型。
在圖30中，幀#n中行與幀#n-1中的行以及幀#n+1中的行是相同的。
在幀#n中，對(duì)應(yīng)于包含在左數(shù)第六至第十七像素中的對(duì)象的前景分量被包含在幀#n-1左數(shù)第二至第十三像素中，并且還包含在幀#n+1左數(shù)第十至第二十一像素中。
在幀#n-1中，屬于覆蓋的背景區(qū)域的多個(gè)像素是左數(shù)第十一至第十三像素，屬于未覆蓋的背景區(qū)域的像素是左數(shù)第二至第四像素。在幀#n中，屬于覆蓋的背景區(qū)域的像素是左數(shù)第十五至第十七像素，并且屬于未覆蓋的背景區(qū)域的像素是左數(shù)第六至第八像素。在幀#n+1中，屬于覆蓋的背景區(qū)域的像素是左數(shù)第十九至第二十一像素，并且屬于未覆蓋的背景區(qū)域的像素是左數(shù)第十至第十二像素。
在幀#n-1中，屬于背景區(qū)域的多個(gè)像素是左數(shù)第一像素，并且是左數(shù)第十四至第二十一像素。在幀#n中，屬于背景區(qū)域的像素是左數(shù)第一至第五像素，并且是左數(shù)第十八至第二十一像素。在幀#n+1中，屬于背景區(qū)域的像素是左數(shù)第一至第九像素。
圖31示出了由背景圖像生成器301生成的對(duì)應(yīng)于圖30所示的實(shí)例的背景圖像的一個(gè)例子。背景圖像由對(duì)應(yīng)于背景對(duì)象的多個(gè)像素組成，但是不包括對(duì)應(yīng)于前景對(duì)象的圖像分量。
二進(jìn)制對(duì)象圖像提取部分302根據(jù)背景圖像與輸入圖像之間的相關(guān)生成二進(jìn)制對(duì)象圖像，并且向時(shí)間變化檢測(cè)器303供應(yīng)所生成的二進(jìn)制對(duì)象圖像。
圖32是圖示說(shuō)明二進(jìn)制對(duì)象圖像提取部分302的配置的方框圖。相關(guān)值計(jì)算器321計(jì)算從背景圖像生成器301供應(yīng)的背景圖像與輸入圖像之間的相關(guān)，以便生成相關(guān)值，并且將所生成的相關(guān)值供應(yīng)給閾值處理器322。
相關(guān)值計(jì)算器321將方程(4)運(yùn)用于例如中心具有X4的3×3背景圖像塊(如圖33A所示)，并且運(yùn)用于例如對(duì)應(yīng)于背景圖像塊的中心具有Y4的3×3背景圖像塊(如圖33B所示)，從而計(jì)算對(duì)應(yīng)于Y4的相關(guān)值。
X‾=Σi=08Xi9---(5)]]>
Y‾=Σi=08Yi9---(6)]]>相關(guān)值計(jì)算器321向閾值處理器322供應(yīng)以上討論的為每個(gè)像素計(jì)算的相關(guān)值。
作為選擇，相關(guān)值計(jì)算器321可以將方程(7)運(yùn)用于例如中心具有X4的3×3背景圖像塊(如圖34A所示)，并且運(yùn)用于例如對(duì)應(yīng)于背景圖像塊的中心具有Y4的3×3背景圖像塊(如圖34B所示)，從而計(jì)算對(duì)應(yīng)于Y4的差值的絕對(duì)值之和。
相關(guān)值計(jì)算器321向閾值處理器322供應(yīng)作為相關(guān)值的以上計(jì)算的差值的絕對(duì)值之和。
閾值處理器322將相關(guān)圖像的像素值與閾值th0進(jìn)行比較。如果該相關(guān)值小于或等于閾值th0，則把1設(shè)置為二進(jìn)制對(duì)象圖像的像素值中。如果相關(guān)值大于閾值th0，則把0設(shè)置為二進(jìn)制對(duì)象圖像的像素值中。閾值處理器322隨后輸出其像素值被設(shè)置為0或者1的二進(jìn)制對(duì)象圖像。閾值處理器322可以預(yù)先存儲(chǔ)閾值th0，或者可以使用從外部源輸入的閾值th0。
圖35說(shuō)明了對(duì)應(yīng)于圖30所示的輸入圖像的模型的二進(jìn)制對(duì)象圖像。在二進(jìn)制對(duì)象圖像中，0被設(shè)置在具有一個(gè)與背景圖像圖像較高相關(guān)的像素的像素值中。
圖36是說(shuō)明時(shí)間變換檢測(cè)器303配置的方框圖。當(dāng)確定幀#n的像素區(qū)域時(shí)，幀存儲(chǔ)器341存儲(chǔ)從二進(jìn)制對(duì)象圖像提取部分302供應(yīng)的幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像。
區(qū)域確定部分342根據(jù)幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像確定幀#n的每個(gè)像素的區(qū)域，以便生成區(qū)域信息，并且輸出所生成的區(qū)域信息。
圖37圖示說(shuō)明了由區(qū)域確定部分342作出的確定。當(dāng)幀#n中二進(jìn)制對(duì)象圖像的指定像素是0時(shí)，區(qū)域確定部分342確定幀#n的指定像素屬于背景區(qū)域。
當(dāng)幀#n中二進(jìn)制對(duì)象圖像的指定像素為1時(shí)，和當(dāng)幀#n-1中二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為1時(shí)，以及當(dāng)幀#n+1中二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為1時(shí)，區(qū)域確定部分342確定幀#n中的指定像素屬于前景區(qū)域。
當(dāng)幀#n中二進(jìn)制對(duì)象圖像的指定像素為1時(shí)，以及當(dāng)幀#n-1中二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0時(shí)，區(qū)域確定部分342確定幀#n中的指定像素屬于覆蓋的背景區(qū)域。
當(dāng)幀#n中二進(jìn)制對(duì)象圖像的指定像素為1時(shí)，以及當(dāng)幀#n+1中二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0時(shí)，區(qū)域確定部分342確定幀#n中的指定像素屬于未覆蓋的背景區(qū)域。
圖38圖示說(shuō)明了由時(shí)間變化檢測(cè)器303作出的關(guān)于對(duì)應(yīng)于圖30所示的輸入圖像的模型的二進(jìn)制對(duì)象圖像的確定的一個(gè)實(shí)例。時(shí)間變化檢測(cè)器303確定幀#n左數(shù)第一至第五像素屬于背景區(qū)域，因?yàn)閹?n的二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左數(shù)第六至第九像素屬于未覆蓋的背景區(qū)域，因?yàn)閹?n中二進(jìn)制對(duì)象圖像的像素為1，以及幀#n+1中的對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左數(shù)第十至第十三像素屬于前景區(qū)域，因?yàn)閹?n中二進(jìn)制對(duì)象圖像的像素為1，幀#n-1中的對(duì)應(yīng)像素為1，以及幀#n+1中的對(duì)應(yīng)像素為1。
時(shí)間變化檢測(cè)器303確定左數(shù)第十四至第十七像素屬于覆蓋的背景區(qū)域，因?yàn)閹?n中二進(jìn)制對(duì)象圖像的像素為1，幀#n-1中對(duì)應(yīng)像素為0。
時(shí)間變化檢測(cè)器303確定左數(shù)第十八至第二十一像素屬于背景區(qū)域，因?yàn)閹?n中二進(jìn)制對(duì)象圖像的對(duì)應(yīng)像素為0。
下面參考圖39的流程圖說(shuō)明由區(qū)域指定單元103執(zhí)行的區(qū)域指定處理。在步驟S301中，區(qū)域指定單元103的背景圖像生成器301例如根據(jù)輸入圖像提取與包含在輸入圖像中的背景對(duì)象相對(duì)應(yīng)的圖像對(duì)象，以便生成背景圖像，并且向二進(jìn)制圖像提取部分302供應(yīng)所生成的背景圖像。
在步驟S302中，二進(jìn)制對(duì)象圖像提取部分302根據(jù)例如參考圖33所討論的計(jì)算來(lái)計(jì)算輸入圖像與背景圖像生成器301供應(yīng)的背景圖像之間的相關(guān)值。在步驟S303中，二進(jìn)制對(duì)象圖像提取部分302通過(guò)例如比較相關(guān)值與閾值th0，從該相關(guān)值和閾值th0中算出二進(jìn)制對(duì)象圖像。
在步驟S304中，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域確定處理，并且結(jié)束該處理。
下面參考圖40的流程圖說(shuō)明步驟S304中的區(qū)域確定處理的細(xì)節(jié)。在步驟S321中，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定幀存儲(chǔ)器341中存儲(chǔ)的幀#n中的指定像素是否為0。如果確定幀#n中指定像素為0，則處理前進(jìn)到步驟S322。在步驟S322中，確定幀#n中指定像素屬于背景區(qū)域，然后結(jié)束該處理。
如果在步驟S321中確定幀#n中指定像素為1，則處理前進(jìn)到步驟S323。在步驟S323中，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定幀存儲(chǔ)器341中存儲(chǔ)的幀#n的指定像素是否為1，并確定幀#n-1中的對(duì)應(yīng)像素是否為0。如果確定幀#n中指定像素為1，以及幀#n-1中對(duì)應(yīng)像素為0，則處理前進(jìn)到步驟S324。在步驟S324中，確定幀#n中指定像素屬于覆蓋的背景區(qū)域，然后結(jié)束該處理。
如果在步驟S323中確定幀#n中的指定像素為0，或者幀#n-1的對(duì)應(yīng)像素為1，則處理前進(jìn)到步驟S325。在步驟S325中，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定幀存儲(chǔ)器341中存儲(chǔ)的幀#n的指定像素是否為1，并確定幀#n+1中的對(duì)應(yīng)像素是否為0。如果確定幀#n中指定像素為1，以及幀#n+1中對(duì)應(yīng)像素為0，則處理前進(jìn)到步驟S326。在步驟S326中，確定幀#n中指定像素屬于未覆蓋的背景區(qū)域，并結(jié)束該處理。
如果在步驟S325中確定幀#n中的指定像素為0，或者幀#n+1的對(duì)應(yīng)像素為1，則處理前進(jìn)到步驟S327。在步驟S327中，時(shí)間變化檢測(cè)器303的區(qū)域確定部分342確定幀#n的指定像素屬于前景區(qū)域，并結(jié)束該處理。
如上所述，區(qū)域指定單元103能夠根據(jù)輸入圖像與對(duì)應(yīng)的背景圖像之間的相關(guān)值指定輸入圖像的每個(gè)像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)，并生成對(duì)應(yīng)于特定結(jié)果的區(qū)域信息。
圖41是圖示說(shuō)明區(qū)域指定單元103的另一個(gè)配置的方框圖。圖41所示的區(qū)域指定單元103使用從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息。圖41中與圖29所示部件相同的部件由相似參考標(biāo)號(hào)表示，并省略其說(shuō)明。
加強(qiáng)處理(robust processing)部分361根據(jù)從二進(jìn)制對(duì)象圖像提取部分302供應(yīng)的N個(gè)幀的二進(jìn)制對(duì)象圖像生成一個(gè)加強(qiáng)二進(jìn)制對(duì)象圖像，并且向時(shí)間變化檢測(cè)器303輸出加強(qiáng)(robust)二進(jìn)制對(duì)象圖像。
圖42是說(shuō)明加強(qiáng)處理部分361配置的方框圖。運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息補(bǔ)償N個(gè)幀的二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)，并且把運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像輸出給一個(gè)開關(guān)382。
下面結(jié)合圖43和圖44所示的實(shí)例討論由運(yùn)動(dòng)補(bǔ)償器381執(zhí)行的運(yùn)動(dòng)補(bǔ)償。例如，假定幀#n中的區(qū)域是將要處理的。當(dāng)輸入圖43所示的幀#n-1、幀#n和幀#n+1的二進(jìn)制對(duì)象圖像時(shí)，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量補(bǔ)償幀#n-1的二進(jìn)制對(duì)象圖像和幀#n+1的二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)，如圖44的實(shí)例所示，并且把運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像供應(yīng)給開關(guān)382。
開關(guān)382把第一幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像輸出給幀存儲(chǔ)器383-1，并且把第二幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像輸出給幀存儲(chǔ)器383-2。同樣，開關(guān)382把第三幀至第(N-1)幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像輸出給幀存儲(chǔ)器393-3至383-(N-1)，并且把第N幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像輸出給幀存儲(chǔ)器383-N。
幀存儲(chǔ)器381-1存儲(chǔ)第一幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像，并且把所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出給加權(quán)部分384-1。幀存儲(chǔ)器383-2存儲(chǔ)第二幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像，并且把所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出給加權(quán)部分384-2。
同樣，幀存儲(chǔ)器381-3至383-(N-1)存儲(chǔ)第三至第(N-1)幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像，并且把所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出給加權(quán)部分384-3至384-(N-1)。幀存儲(chǔ)器383-N存儲(chǔ)第N幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像，并且把所存儲(chǔ)的二進(jìn)制對(duì)象圖像輸出給加權(quán)部分384-N。
加權(quán)部分384-1用一個(gè)預(yù)定權(quán)重(weigh)w1乘幀存儲(chǔ)器383-1供應(yīng)的第一幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像的像素值，并且向一個(gè)累積器385供應(yīng)加權(quán)的二進(jìn)制對(duì)象圖像。加權(quán)部分384-2用一個(gè)預(yù)定權(quán)重w2乘幀存儲(chǔ)器383-2供應(yīng)的第二幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像的像素值，并且向累積器385供應(yīng)加權(quán)的二進(jìn)制對(duì)象圖像。
同樣，加權(quán)部分384-3至384-(N-1)用預(yù)定權(quán)重w3至w(N-1)乘幀存儲(chǔ)器383-3至383-(N-1)供應(yīng)的第三至第(N-1)幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像的像素值，并且向累積器385供應(yīng)加權(quán)的二進(jìn)制對(duì)象圖像。加權(quán)部分384-N用一個(gè)預(yù)定權(quán)重wN乘幀存儲(chǔ)器383-N供應(yīng)的第N幀的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像的像素值，并且向累積器385供應(yīng)加權(quán)的二進(jìn)制對(duì)象圖像。
累積器385累積被第一至第N幀的權(quán)重w1至wN相乘的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像的像素值，并且比較所累積的像素值與預(yù)定的閾值th0，從而生成二進(jìn)制對(duì)象圖像。
如上所述，加強(qiáng)處理部分361從N個(gè)二進(jìn)制對(duì)象圖像中生成一個(gè)加強(qiáng)二進(jìn)制對(duì)象圖像，并且供應(yīng)給時(shí)間變化檢測(cè)器303。所以，按圖41配置的區(qū)域指定單元103能夠比圖29更精確地指定區(qū)域，即使在輸入圖像中含有噪聲。
下面參考圖45的流程圖說(shuō)明按照?qǐng)D41配置的區(qū)域指定單元103執(zhí)行的區(qū)域指定處理。步驟S341至步驟S343的處理類似于結(jié)合圖39的流程圖討論的步驟S301至步驟S303的處理，因而省略其說(shuō)明。
在步驟S344中，加強(qiáng)處理部分361執(zhí)行加強(qiáng)處理。
在步驟S345中，時(shí)間變化檢測(cè)器303執(zhí)行區(qū)域確定處理，并結(jié)束該處理。步驟S345的處理細(xì)節(jié)類似于結(jié)合圖40的流程圖所討論的處理，因此省略其說(shuō)明。
下面參考圖46的流程圖給出對(duì)應(yīng)于圖45中的步驟S344的處理的加強(qiáng)處理的細(xì)節(jié)。在步驟S361中，運(yùn)動(dòng)補(bǔ)償器381根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量以及位置信息執(zhí)行輸入二進(jìn)制對(duì)象圖像的運(yùn)動(dòng)補(bǔ)償。在步驟S362中，幀存儲(chǔ)器383-1至383-N之一存儲(chǔ)經(jīng)由開關(guān)382供應(yīng)的對(duì)應(yīng)的運(yùn)動(dòng)補(bǔ)償二進(jìn)制對(duì)象圖像。
在步驟S363中，加強(qiáng)處理部分361確定是否存儲(chǔ)了N個(gè)二進(jìn)制對(duì)象圖像。如果確定未存儲(chǔ)N個(gè)二進(jìn)制對(duì)象圖像，則處理返回到步驟S361，并且重復(fù)補(bǔ)償二進(jìn)制對(duì)象圖像運(yùn)動(dòng)的處理以及存儲(chǔ)二進(jìn)制對(duì)象圖像的處理。
如果在步驟S363中確定存儲(chǔ)了N個(gè)二進(jìn)制對(duì)象圖像，則處理前進(jìn)到執(zhí)行加權(quán)的步驟S364。在步驟S364中，加權(quán)部分384-1至384-N用權(quán)重w1至wN乘對(duì)應(yīng)的N個(gè)二進(jìn)制對(duì)象圖像。
在步驟S365中，累積器385累積N個(gè)加權(quán)二進(jìn)制對(duì)象圖像。
在步驟S366中，累積器385例如通過(guò)比較所累積的值與預(yù)定閾值th1，從累積的圖像中生成二進(jìn)制對(duì)象圖像，然后結(jié)束該處理。
如上所述，按照?qǐng)D41配置的區(qū)域指定單元103能夠根據(jù)加強(qiáng)二進(jìn)制對(duì)象圖像生成區(qū)域信息。
正如從上述說(shuō)明所看到的，區(qū)域指定單元103能夠生成區(qū)域信息，以指示包含在一個(gè)幀中的每個(gè)像素屬于運(yùn)動(dòng)區(qū)域、靜止區(qū)域、未覆蓋的背景區(qū)域或者覆蓋的背景區(qū)域之中的哪一個(gè)。
圖47是說(shuō)明混合比計(jì)算器104配置的一個(gè)實(shí)例的方框圖。估算混合比處理器401通過(guò)根據(jù)輸入圖像計(jì)算覆蓋的背景區(qū)域的模型，來(lái)計(jì)算每個(gè)像素的估算混合比，并且把計(jì)算的估算混合比供應(yīng)給混合比確定部分403。
估算混合比處理器402通過(guò)根據(jù)輸入圖像計(jì)算未覆蓋的背景區(qū)域的一個(gè)模型，來(lái)計(jì)算每個(gè)像素的估算混合比，并且把計(jì)算的估算混合比供應(yīng)給混合比確定部分403。
由于可以假定對(duì)應(yīng)于前景的對(duì)象在快門時(shí)間正在以恒等速度運(yùn)動(dòng)，因此屬于一個(gè)混合區(qū)域的像素的混合比α展現(xiàn)以下特征。也就是，混合比α根據(jù)像素的位置變化而線性變化。如果像素的位置變化是一維的，可以線性地表示混合比α的變化。如果像素的位置變化是二維的，可以在平面上表示混合比α的變化。
由于一幀的時(shí)段很短，因此可以假定對(duì)應(yīng)于前景的對(duì)象是恒等速度運(yùn)動(dòng)的剛體。
混合比α的梯度與前景的快門時(shí)間內(nèi)的運(yùn)動(dòng)量v成反比。
圖48示出了理想的混合比α的一個(gè)實(shí)例?；旌蠀^(qū)域中的理想混合比α的梯度1可以由運(yùn)動(dòng)量v的倒數(shù)表示。
如圖48所示，理想混合比α在背景區(qū)域具有1的值，在前景區(qū)域具有0的值，在混合區(qū)域具有大于0小于1的值。
在圖49所示的實(shí)例中，幀#n左數(shù)第七像素的像素值C06可以由使用幀#n-1左數(shù)第七像素的像素值P06的方程(8)表示。
C06=B06/v+B06/v+F01/v+F02/v]]>=P06/v+P06/v+F01/v+F02/v---(8)]]>=2/v·P06+Σi=12Fi/v]]>在方程(8)中，像素值C06由混合區(qū)域中的像素的像素值M表示，而像素值P06由背景區(qū)域的像素的像素值B表示。也就是，混合區(qū)域的像素的像素值M和背景區(qū)域的像素的像素值B可以分別由方程(9)和方程(10)表示。
M＝C06 (9)B＝P06 (10)在方程(8)中，2/v相當(dāng)于混合比α。由于運(yùn)動(dòng)量v是4，因此幀#n左數(shù)第七像素的混合比α是0.5。
如上所述，指定幀#n中的像素值C被認(rèn)為是混合區(qū)域的像素值，而幀#n之前的幀#n-1的像素值P被認(rèn)為是背景區(qū)域中的像素值。所以，指示混合比α的方程(3)可以由方程(11)表示C＝α·P+f (11)其中，方程(11)中的f指示包含在指定像素中的前景分量∑iFi/v之和。方程(11)中含有的變量是兩個(gè)因數(shù)，即，混合比α和前景分量之和f。
同樣，圖50示出了通過(guò)在時(shí)間方向上擴(kuò)展像素值而獲得的一個(gè)模型，在該像素值中運(yùn)動(dòng)量v是4，因而虛擬分割部分的數(shù)量在未覆蓋的背景區(qū)域中是4。
如覆蓋的背景區(qū)域的表示那樣，在未覆蓋的背景區(qū)域中，指定幀#n的像素值C被認(rèn)為是混合區(qū)域中的像素值，而幀#n之后的幀#n+1的像素值N被認(rèn)為是背景區(qū)域。因此，指示混合比α的方程(3)可以由方程(12)表示。
C＝α·N+f(12)上面已經(jīng)說(shuō)明了假定背景對(duì)象是靜止的實(shí)施例。此外，通過(guò)使用對(duì)應(yīng)于背景的運(yùn)動(dòng)量v定位的像素的像素值，可以將方程(8)至方程(12)應(yīng)用于背景對(duì)象正在運(yùn)動(dòng)的情況。例如，現(xiàn)在假定在圖49中，對(duì)應(yīng)于背景的對(duì)象的運(yùn)動(dòng)量v是2，以及虛擬分割部分?jǐn)?shù)量是2。在此情況下，當(dāng)對(duì)應(yīng)于背景的對(duì)象正在向圖49的右端運(yùn)動(dòng)時(shí)，方程(10)中的背景區(qū)域中的像素的像素值B由像素值P04表示。
由于方程(11)和(12)每一個(gè)包含兩個(gè)變量，因此不修改方程就不能確定混合比α。一般來(lái)說(shuō)，圖像具有強(qiáng)空間相關(guān)，所以彼此非常接近的像素幾乎具有相同的像素值。
由于前景分量在空間上強(qiáng)相關(guān)，所以修改所述方程，使前景分量之和f可以從在前或者在后幀中演繹出來(lái)，從而確定混合比α。
圖51中幀#n左數(shù)第七像素的像素值Mc可以由方程(13)表達(dá)。
Mc=2v·B06+Σi=1112Fi/v---(13)]]>方程(13)右側(cè)的第一項(xiàng)2/v對(duì)應(yīng)于混合比α。方程(13)右側(cè)的第二項(xiàng)可以由利用后續(xù)幀#n+1中像素值的方程(14)表達(dá)。
Σi=1112Fi/v=β·Σi=710Fi/v---(14)]]>現(xiàn)在假定方程(15)是通過(guò)利用前景分量的空間相關(guān)而有效的。
F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12(15)利用方程(15)可以將方程(14)修改成方程(16)。
Σi=1112Fi/v=2v·F]]>=β·4v·F---(16)]]>結(jié)果，可以用方程(17)表達(dá)ββ＝2/4 (17)如果假定混合區(qū)域中的諸多前景分量相等，如圖方程(15)所示，由于內(nèi)比，方程(18)可以對(duì)混合區(qū)域中的所有像素有效。
β＝1-α(18)如果方程(18)有效，則方程(11)被演化成方程(19)。
C=α·P+f]]>=α·P+(1-α)·Σi=γγ+v-1Fi/v---(19)]]>=α·P+(1-α)·N]]>同樣，如果方程(18)有效，則方程(12)可以被演化成方程(20)。
C=α·N+f]]>=α·N+(1-α)·Σi=γγ+v-1Fi/v---(20)]]>=α·N+(1-α)·P]]>在方程(19)和(20)中，由于C、N和P是已知像素值，因此包含在方程(19)和(20)中的變量?jī)H僅是混合比α。圖52示出了方程(19)和(20)中的C、N和P之間的關(guān)系。C是用于計(jì)算混合比α的幀#n中指定像素的像素值。N是定位在對(duì)應(yīng)于指定像素的空間位置上的幀#n+1中像素的像素值。P是定位在對(duì)應(yīng)于指定像素的空間位置上的幀#n-1中像素的像素值。
由于方程(19)和(20)的每個(gè)中包含一個(gè)變量，因此利用三個(gè)幀中的像素計(jì)算混合比α。下面說(shuō)明通過(guò)解方程(19)和(20)求解正確混合比α的條件。在混合區(qū)域中具有相同前景分量的圖像對(duì)象中，即，在前景對(duì)象靜止時(shí)捕獲的前景的圖像對(duì)象中，在對(duì)應(yīng)于前景對(duì)象的運(yùn)動(dòng)方向的圖像對(duì)象的邊界上定位的連續(xù)像素的像素值、是運(yùn)動(dòng)量v兩倍的像素?cái)?shù)量必須是一致的。
如上所述，屬于覆蓋的背景區(qū)域的像素的混合比α通過(guò)方程(21)計(jì)算，屬于未覆蓋的背景區(qū)域的像素的混合比α通過(guò)方程(22)計(jì)算。
α＝(C-N)/(P-N) (21)α＝(C-P)/(N-P) (22)圖53是說(shuō)明估算混合比處理器401配置的方框圖。幀存儲(chǔ)器421按諸多幀單位存儲(chǔ)一個(gè)輸入圖像，并且把作為輸入圖像輸入的幀之后的幀供應(yīng)給一個(gè)幀存儲(chǔ)器422和一個(gè)混合比計(jì)算器423。
幀存儲(chǔ)器422按諸多幀單位存儲(chǔ)輸入圖像，并且把幀存儲(chǔ)器421供應(yīng)的幀之后的幀供應(yīng)給混合比計(jì)算器423。
因此，當(dāng)幀#n+1作為輸入圖像輸入給混合比計(jì)算器423時(shí)，幀存儲(chǔ)器423把幀#n供應(yīng)給混合比計(jì)算器423，并且?guī)鎯?chǔ)器422把幀#n-1供應(yīng)給混合比計(jì)算器423。
混合比計(jì)算器423根據(jù)幀#n中指定像素的像素值C、定位于與指定像素的位置相對(duì)應(yīng)位置上的幀#n+1的像素的像素值N以及定位于與指定像素的位置相對(duì)應(yīng)位置上的幀#n-1的像素的像素值P，通過(guò)解方程(21)來(lái)計(jì)算估算混合比，輸出所計(jì)算的估算混合比。例如，當(dāng)背景靜止時(shí)，混合比計(jì)算器423根據(jù)幀#n中指定像素的像素值C、位于與指定像素相同位置上的幀#n+1中像素的像素值N和位于與指定像素相同位置上的像素的像素值P，計(jì)算指定像素的估算混合比，并輸出所計(jì)算的估算混合比。
這樣，估算混合比計(jì)算器401根據(jù)輸入圖像計(jì)算估算混合比，并且將此供應(yīng)給混合比確定部分403。
估算混合比計(jì)算器401通過(guò)解方程(21)計(jì)算指定像素的估算混合比。估算混合比計(jì)算器402的操作類似于估算混合比計(jì)算器401的操作，只不過(guò)估算混合比計(jì)算器402通過(guò)解方程(22)計(jì)算指定像素的不同的估算混合比。因此，省略對(duì)估算混合比計(jì)算器402的解釋。
圖54圖示說(shuō)明了由估算混合比處理器401計(jì)算的估算混合比。圖54所示的估算混合比是當(dāng)恒等速度運(yùn)動(dòng)的前景對(duì)象的運(yùn)動(dòng)量是11時(shí)由一行表示的結(jié)果。
如圖48所示，可以看出估算混合比在混合區(qū)域幾乎是線性變化的。
參見圖47，混合比確定部分403根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息設(shè)置混合比α，該區(qū)域信息指示將要計(jì)算混合比α的像素屬于背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)。當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)混合比確定部分403將混合比α設(shè)置為0，并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)將混合比設(shè)置為1。當(dāng)對(duì)應(yīng)像素屬于未覆蓋的背景區(qū)域時(shí)，混合比確定部分403將混合比α設(shè)置為估算混合比401所供應(yīng)的估算混合比。當(dāng)對(duì)應(yīng)像素屬于未覆蓋的背景區(qū)域時(shí)，混合比確定部分403將混合比α設(shè)置為估算混合比處理器402所供應(yīng)的估算混合比?；旌媳却_定部分403輸出根據(jù)區(qū)域信息設(shè)置的混合比α。
圖55是說(shuō)明估算混合比處理器401另一個(gè)配置的方框圖。選擇器441根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息向估算混合比處理器442供應(yīng)屬于覆蓋的背景區(qū)域的像素以及在前和在后幀中的對(duì)應(yīng)像素。選擇器441根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息向估算混合比處理器443供應(yīng)屬于未覆蓋的背景區(qū)域的像素以及在前和在后幀中的對(duì)應(yīng)像素。
估算混合比處理器442根據(jù)從選擇器441輸入的像素值，通過(guò)方程(21)表示的計(jì)算來(lái)計(jì)算屬于覆蓋的背景區(qū)域的指定像素的估算混合比，并且向選擇器444供應(yīng)所計(jì)算的估算混合比。
估算混合比處理器443根據(jù)從選擇器441輸入的像素值，通過(guò)方程(22)表示的計(jì)算來(lái)計(jì)算屬于未覆蓋的背景區(qū)域的指定像素的估算混合比，并且向選擇器444供應(yīng)所計(jì)算的估算混合比。
根據(jù)區(qū)域指定單元103所指定的區(qū)域信息，選擇器444選擇估算混合比0，將其設(shè)置為當(dāng)指定像素屬于前景區(qū)域時(shí)的混合比α，并且選擇估算混合比1，將其設(shè)置為指定像素屬于背景區(qū)域時(shí)的混合比α。當(dāng)指定像素屬于屬于覆蓋的背景區(qū)域時(shí)，選擇器444選擇從估算混合比處理器443供應(yīng)的估算混合比，將其設(shè)置為混合比α。然后，選擇器444輸出根據(jù)區(qū)域信息選擇和設(shè)置的混合比α。
如上所述，按圖55配置的混合比計(jì)算器104能夠?yàn)閳D像中含有的每個(gè)像素計(jì)算混合比α，并且輸出所計(jì)算的混合比α。
下面參考圖56討論由圖47所示的混合比計(jì)算器104所執(zhí)行的混合比α的計(jì)算處理。在步驟S401中，混合比計(jì)算器104獲得從區(qū)域指定單元103供應(yīng)的區(qū)域信息。在步驟S402中，估算混合比處理器401通過(guò)使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型進(jìn)行對(duì)混合比的估算處理，并且將所估算的混合比供應(yīng)給混合比確定部分403。下面參考圖57討論對(duì)混合比進(jìn)行估算處理的細(xì)節(jié)。
在步驟S403中，估算混合比處理器402使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型對(duì)混合比進(jìn)行估算處理，并且將估算混合比供應(yīng)給混合比確定部分403。
在步驟S404中，混合比計(jì)算器104確定是否已經(jīng)為整個(gè)幀估算了混合比。如果確定還沒有為整個(gè)幀估算混合比，則處理返回到步驟S402，并且為后續(xù)像素進(jìn)行混合比的估算處理。
如果在步驟S404中確定已經(jīng)為整個(gè)幀估算了混合比，則處理前進(jìn)到步驟S405。在步驟S405中，混合比確定部分403根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息設(shè)置混合比，該區(qū)域信息指示將要計(jì)算混合比α的像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)。當(dāng)對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，混合比確定部分403將混合比α設(shè)置為0；當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，混合比確定部分403將混合比α設(shè)置為1。當(dāng)對(duì)應(yīng)像素屬于屬于覆蓋的背景區(qū)域時(shí)，混合比確定部分403將估算混合比處理器401供應(yīng)的估算混合比設(shè)置為混合比α。當(dāng)對(duì)應(yīng)像素屬于屬于未覆蓋的背景區(qū)域時(shí)，混合比確定部分403將估算混合比處理器402供應(yīng)的估算混合比設(shè)置為混合比α，然后結(jié)束該處理。
如上所述，混合比計(jì)算器104能夠根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息、輸入圖像計(jì)算指示對(duì)應(yīng)于每個(gè)像素的特征量的混合比α。
計(jì)算由圖55所示的混合比計(jì)算器104執(zhí)行的混合比α的處理類似于結(jié)合圖56所討論的情況，因此省略其對(duì)說(shuō)明。
下面結(jié)合圖57的流程圖說(shuō)明在圖56的步驟S402中使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型進(jìn)行的混合比估算處理。
在步驟S421中，混合比計(jì)算器423從幀存儲(chǔ)器421中獲得幀#n中的指定像素的像素值C。
在步驟S422中，混合比計(jì)算器423從幀存儲(chǔ)器422中獲得對(duì)應(yīng)于包含在輸入圖像中的指定像素的幀#n-1中像素的像素值P。
在步驟S423中，混合比計(jì)算器423獲得對(duì)應(yīng)于包含在輸入圖像中的指定像素的幀#n+1中像素的像素值N。
在步驟S424中，混合比計(jì)算器423根據(jù)幀#n中指定像素的像素值C、幀#n-1中像素的像素值P和幀#n+1中像素的像素值N計(jì)算估算混合比。
在步驟S425中，混合比計(jì)算器423確定是否完成用于整個(gè)幀的估算混合比。如果確定還未完成用于整個(gè)幀的計(jì)算混合比的處理，則處理返回到步驟S421，重復(fù)用于后續(xù)像素的計(jì)算估算混合比的處理。
如果在步驟S425中確定用于整個(gè)幀的計(jì)算估算混合比的處理已經(jīng)完成，則結(jié)束該處理。
如上所述，估算混合比處理器401能夠根據(jù)輸入圖像計(jì)算估算混合比。
在圖56的步驟S403中使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型執(zhí)行的混合比估算處理類似于使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型執(zhí)行的由圖57的流程圖指示的處理，因而省略對(duì)其解釋。
圖55所示的估算混合比處理器442和估算混合比處理器443通過(guò)執(zhí)行類似于圖57的流程圖的處理來(lái)計(jì)算估算混合比，因此省略對(duì)其解釋。
已經(jīng)說(shuō)明的實(shí)施例假定對(duì)應(yīng)于背景的對(duì)象是靜止的。但是即使對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)也可以應(yīng)用上述的確定混合比α的處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像正在勻速運(yùn)動(dòng)，則估算混合比處理器401根據(jù)背景的運(yùn)動(dòng)移位整個(gè)圖像，并且以類似于對(duì)應(yīng)于背景的對(duì)象是靜止情形的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)，則估算混合比處理器401把對(duì)應(yīng)于該運(yùn)動(dòng)的像素選作屬于混合區(qū)域的對(duì)應(yīng)像素，并且執(zhí)行上述處理。
估算混合比計(jì)算器104通過(guò)使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型可以僅僅執(zhí)行用于所有像素的混合比估算處理，以便把計(jì)算的估算混合比作為混合比α輸出。在此情況下，混合比α指示用于屬于覆蓋的背景區(qū)域的像素的背景分量比，并且指示用于屬于未覆蓋的背景區(qū)域的像素的背景分量比。對(duì)于屬于未覆蓋的背景區(qū)域的像素，計(jì)算混合比α與l之差的絕對(duì)值，并且將所計(jì)算的絕對(duì)值設(shè)置為混合比α。然后，信號(hào)處理設(shè)備能夠確定指示屬于未覆蓋的背景區(qū)域的像素的背景分量比。
同樣，混合比計(jì)算器104通過(guò)使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型可以僅僅執(zhí)行用于所有像素的混合比估算處理，以便把計(jì)算的估算混合比作為混合比α輸出。
下面討論由混合比計(jì)算器104執(zhí)行的另一種處理。
混合比α根據(jù)像素的位置變化而線性變化，因?yàn)閷?duì)應(yīng)于前景的對(duì)象正在恒等速度運(yùn)動(dòng)。通過(guò)利用此特征，可以使在空間方向接近混合比α以及前景分量之和f的方程有效。通過(guò)利用多組屬于混合區(qū)域的像素的像素值和屬于背景區(qū)域的像素的像素值，可以求解接近混合比α以及前景分量之和f的方程，從而計(jì)算混合比α。
當(dāng)混合比α的變化接近為直線時(shí)，混合比α可以由方程(23)表示。
α＝il+p (23)在方程(23)中，i表示當(dāng)指定像素的位置被設(shè)置為0時(shí)的空間索引，l是指混合比α的直線的梯度，p是指混合比α的直線的截距并且表示指定像素的混合比α。在方程(23)中，索引i是已知的，梯度l和截距p是未知的。
圖58示出了索引i、梯度l和截距P之間的關(guān)系。
通過(guò)依據(jù)方程(23)近似混合比α，可以用兩個(gè)變量表示多個(gè)像素的多個(gè)不同混合比α。在圖58所示的實(shí)例中，五個(gè)像素的五個(gè)混合比由兩個(gè)變量，即梯度l和截距p表示。
當(dāng)在圖59所示的平面中近似混合比α?xí)r，通過(guò)將運(yùn)動(dòng)量v考慮成對(duì)應(yīng)于兩個(gè)方向，即圖像的水平方向和垂直方向，把方程(23)擴(kuò)展到該平面中，并且可以用方程(24)表示混合比α。
α＝j(luò)m+kq+p(24)在方程(24)中，j是水平方向的索引(index)，k是指定像素的位置為0時(shí)的垂直方向的索引。在方程(24)中，m指在該平面中混合比α的水平梯度，q指在該平面中混合比α的垂直梯度。在方程(24)中，p指該平面中混合比α的截距。
例如，在圖49所示的幀#n中，方程(25)至(27)分別對(duì)C05至C07有效。
C05＝α05·B05/v+F05(25)C06＝α06·B06/v+F06(26)C07＝α07·B07/v+F07(27)假定定位在彼此接近的位置上的前景分量是彼此相等的，即F01至F03相等，則通過(guò)用fc替代F01至F03使方程(equation)(28)成立。
f(x)＝(1-α(x))·Fc (28)在方程(28)中，x指示空間方向的位置。
當(dāng)α(x)由方程(24)替代時(shí)，方程(28)可以用方程(29)表示。
f(x)＝(1-(jm+kq+p)·Fc＝j(luò)·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)＝j(luò)s+kt+u (29)在方程(29)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc分別被方程(30)至(32)所示的s、t、u替代。
s＝-m·Fc (30)t＝-q·Fc (31)u＝(1-p)·Fc(32)在方程(29)中，j是水平方向的索引，k是指定像素的位置為0時(shí)的垂直方向的索引。
如上所述，由于可以假定對(duì)應(yīng)于前景的對(duì)象在快門時(shí)間內(nèi)正以恒等速度(constant velocity)運(yùn)動(dòng)，并且彼此接近定位的前景分量是一致的，則可以通過(guò)方程(29)近似前景分量之和。
當(dāng)混合比α被直線近似時(shí)，可以由方程(33)表示前景分量。
f(x)＝is+u (33)通過(guò)使用方程(24)和(29)替代方程(13)中的混合比α和前景分量之和，可以用方程(34)表示像素值M。
M＝(jm+kq+p)·B+js+kt+u＝j(luò)B·m+kB·q+B·p+j·s+k·t+u (34)在方程(34)中，未知變量是六個(gè)因子，比如該平面中的混合比α的水平梯度(horizontal gradient)m，該平面內(nèi)的混合比α的垂直梯度q，該平面內(nèi)的混合比α的截距、p、s、t和u。
像素值M和像素值B被設(shè)置在與接近于指定像素的諸多像素相符的方程(34)中，然后以最小二乘法求解設(shè)置了像素值M和像素值B的多個(gè)方程，從而計(jì)算混合比α。
現(xiàn)在假定，例如指定像素的水平索引j被設(shè)置為0，指定像素的垂直索引k被設(shè)置為0。在此情況下，當(dāng)像素值M或者像素值B被設(shè)置在由方程(34)表示的法方程中，用于定位于接近指定像素的3×3像素時(shí)，可以得到方程(35)至(43)。
M-1，-1＝(-1)·B-1，-1·m+(-1)·B-1，-1·q+B-1，-1·p+(-1)·s+(-1)·t+u (35)M0，-1＝(0)·B0，-1·m+(-1)·B0，-1·q+B0，-1·p+(0)·s+(-1)·t+u (36)
M+1，-1＝(+1)·B+1，-1·m+(-1)·B+1，-1·q+B+1，-1·p+(+1)·s+(-1)·t+u(37)M-1，0＝(-1)·B-1，0·m+(0)·B-1，0·q+B-1，0·p+(-1)·s+(0)·t+u (38)M0，0＝(0)·B0，0·m+(0)·B0，0·q+B0，0·p+(0)·s+(0)·t+u (39)M+1，0＝(+1)·B+1，0·m+(0)·B+1，0·q+B+1，0·p+(+1)·s+(0)·t+u (40)M-1，+1＝(-1)·B-1，+1·m+(+1)·B-1，+1·q+B-1，+1·p+(-1)·s+(+1)·t+u (41)M0，+1＝(0)·B0，+1·m+(+1)·B0，-1·q+B0，+1·p+(0)·s+(+1)·t+u (42)M+1，+1＝(+1)·B+1，+1·m+(+1)·B+1，+1·q+B+1，+1·p+(+1)·s+(+1)·t+u (43)由于指定像素的水平索引j是0，指定像素的垂直索引k是0，指定像素的混合比α等于當(dāng)方程(24)中j為0和k為0時(shí)的值，即混合比α等于方程(24)中的截距p。
所以，根據(jù)九個(gè)方程，即方程(35)至(43)，通過(guò)最小二乘法計(jì)算水平梯度q和截距p、s、t、u，并且把截距p輸出為混合比α。
下面說(shuō)明通過(guò)應(yīng)用最小二乘法計(jì)算混合比α的具體處理。
當(dāng)索引i和索引k被單一索引x表示時(shí)，可以用方程(44)表示索引i、索引k和索引x之間的關(guān)系。
x＝(j+1)·3+(k+1) (44)現(xiàn)在假定水平梯度m、垂直梯度q和截距p、s、t、u分別由變量w0、w1、w2、w3、w4、w5表示，以及jB、kB、B、j、k和l分別由a0、a1、a2、a3、a4和a5表示。在考慮誤差ex的情況下，方程(35)至(43)可以被修改成方程(45)。
Mx=Σy=05ay·wy+ex---(45)]]>在方程(45)中，x是整數(shù)0至8的任何一個(gè)。
可以從方程(45)得到方程(46)。
ex=Mx-Σy=08ay·wy---(46)]]>由于應(yīng)用了最小二乘法，因此可以按方程(47)定義誤差的平方和E。
E=Σx=08ex2---(47)]]>為了最小化誤差，關(guān)于誤差的平方和E的變量Wv的偏微分值應(yīng)當(dāng)為0。v是整數(shù)0至5的任何一個(gè)。因而確定wy以滿足方程(48)。
∂E∂Wv=2·Σx=08ex·∂ex∂Wv---(48)]]>=2·Σx=08ex·av=0]]>通過(guò)把方程(46)代入方程(48)，可以獲得方程(49)。
Σx=08(av·Σy=05ay·Wy)=Σx=08av·Mx---(49)]]>例如，將消去法(高斯-若當(dāng)消去法)應(yīng)用于由六個(gè)方程組成的法方程，該六個(gè)方程是通過(guò)將整數(shù)0至5之任一個(gè)代入方程(49)中的v而獲得的，從而得到wy。如上所述，w0是水平梯度m，w1是垂直梯度q，w2是截距m，w3是s，w4是t，w5是u。
如上所述，通過(guò)將最小二乘法應(yīng)用到其中設(shè)置了像素M和像素B的方程，可以確定水平梯度m、垂直梯度q和截距p、s、t和u。
由于截距p被定位在索引i和k為0(即中心位置上的混合比α)的點(diǎn)上，因此它被輸出。
通過(guò)假設(shè)包含在混合區(qū)域中的像素的像素值是M，和包含在背景區(qū)域中的像素的像素值是B，結(jié)合方程(35)至(43)給出一說(shuō)明。在此情況下，必須為在覆蓋的背景區(qū)域中包含指定像素或者在未覆蓋的背景區(qū)域中包含指定像素的每一種情形，設(shè)置法方程。
例如，如果在圖49所示幀#n的覆蓋的背景區(qū)域中包含的像素的混合比α被確定，則在法方程中設(shè)置幀#n的像素的C04至C08以及幀#n-1的像素的像素值P04至P08。
如果在圖50所示幀#n的未覆蓋的背景區(qū)域中包含的像素的混合比α被確定，則在法方程中設(shè)置幀#n的像素的C28至C32以及幀#n+1的像素的像素值N28至N32。
此外，如果圖60所示覆蓋的背景區(qū)域中包含在像素的混合比α被計(jì)算，則設(shè)置下列方程(50)至(58)。用于計(jì)算混合比α的像素的像素值是Mc5。
Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u(50)Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u (51)Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u(52)Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u (53)Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u(54)
Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u (55)Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u(56)Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u (57)Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u(58)當(dāng)計(jì)算幀#n的覆蓋的背景區(qū)域中包含的像素的混合比α?xí)r，使用分別對(duì)應(yīng)于幀#n的像素的方程(50)至(58)內(nèi)的幀#n-1中背景區(qū)域的像素的像素值Bc1至Bc9。
如果例如在圖60所示的未覆蓋的背景區(qū)域中包含的像素的混合比α被計(jì)算，則設(shè)置下列方程(59)-(67)。計(jì)算出混合比α的像素的像素值是Mu5。
Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u(59)Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u (60)Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u(61)Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u (62)Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u(63)Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u (64)Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u(65)Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u (66)Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u(67)當(dāng)幀#n的未覆蓋的背景區(qū)域中包含的像素的混合比α被計(jì)算時(shí)，使用分別對(duì)應(yīng)于幀#n的像素的方程(59)至(67)內(nèi)的幀#n+1中背景區(qū)域的像素的像素值Bu1至Bu9。
圖61是說(shuō)明估算混合比處理器401配置的方框圖。輸入到估算混合比處理器中的圖像被供應(yīng)給延遲部分501和加法器502。
延遲電路221延遲一幀的輸入圖像，并把該圖像供應(yīng)給加法器502。當(dāng)幀#n作為輸入圖像供應(yīng)給加法器502時(shí)，延遲電路221將幀#n-1供應(yīng)給加法器502。
加法器502設(shè)置鄰近于計(jì)算出混合比α的像素的像素的像素值，并且設(shè)置法方程中的幀#n-1的像素值。例如，加法器502分別根據(jù)方程(50)至(58)設(shè)置法方程中的像素值Mc1至Mc9以及像素值Bc1至Bc9。加法器502將在其內(nèi)設(shè)置了像素值的法方程供應(yīng)給一個(gè)計(jì)算器503。
計(jì)算器503通過(guò)采用例如消去法(sweep out)求解從加法器502供應(yīng)的法方程來(lái)確定估算混合比(estimated mixture ratio)，并輸出所確定的估算混合比。
這樣，估算混合比處理器401能夠根據(jù)輸入圖像計(jì)算估算混合比，并且將其供應(yīng)給混合比確定部分403。
估算混合比處理器402的配置類似于估算混合比處理器401的配置，因而省略對(duì)其說(shuō)明。
圖62圖示說(shuō)明了由估算混合比處理器401計(jì)算的估算混合比的一個(gè)實(shí)例。當(dāng)對(duì)應(yīng)于恒等速度運(yùn)動(dòng)的對(duì)象的前景運(yùn)動(dòng)v是11時(shí)，圖62所示的估算混合比是由一行所表示的結(jié)果，并且是以7×7像素塊的單位由生成的方程執(zhí)行計(jì)算而獲得的。
在混合區(qū)域中，估算混合比幾乎線性地變化，如圖48所示。
混合比確定部分403根據(jù)從區(qū)域指定單元101供應(yīng)的區(qū)域信息設(shè)置混合比，所述的區(qū)域信息指示將要計(jì)算混合比α的像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)?；旌媳却_定部分403在對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，將混合比設(shè)置為0；在對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，將混合比設(shè)置為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋的背景區(qū)域時(shí)，混合比確定部分403將混合比設(shè)置為從估算混合比處理器401供應(yīng)的估算混合比。當(dāng)對(duì)應(yīng)像素屬于未覆蓋的背景區(qū)域時(shí)，混合比確定部分403將混合比設(shè)置為從估算混合比處理器402供應(yīng)的估算混合比?；旌媳却_定部分403輸出根據(jù)區(qū)域信息設(shè)置的混合比。
下面參考圖63的流程圖討論當(dāng)估算混合比處理器按圖61所示進(jìn)行配置時(shí)，由混合比計(jì)算器102執(zhí)行的混合比的計(jì)算處理。在步驟S501中，混合比計(jì)算器102獲得從區(qū)域指定單元101供應(yīng)的區(qū)域信息。在步驟S502中，估算混合比處理器401通過(guò)使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型執(zhí)行對(duì)混合比進(jìn)行估算的處理，并且把估算混合比供應(yīng)給混合比確定部分403。下面結(jié)合圖64的流程圖討論對(duì)混合比進(jìn)行估算的處理細(xì)節(jié)。
在步驟S503中，估算混合比處理器402通過(guò)使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型執(zhí)行對(duì)混合比進(jìn)行估算的處理，并且將估算混合比供應(yīng)給混合比確定部分403。
在步驟S504中，混合比計(jì)算器102確定是否已經(jīng)對(duì)整個(gè)幀估算了混合比。如果確定還沒有對(duì)整個(gè)幀估算混合比，則處理返回到步驟S502，并且執(zhí)行對(duì)后續(xù)像素估算混合比的處理。
如果在步驟S504中確定已經(jīng)為整個(gè)幀估算了混合比，則處理前進(jìn)到步驟S505。在步驟S505，混合比確定部分403根據(jù)從區(qū)域指定單元101供應(yīng)的區(qū)域信息設(shè)置混合比，所述的區(qū)域信息指示將要計(jì)算混合比α的像素屬于前景區(qū)域、背景區(qū)域、覆蓋的背景區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)。混合比確定部分403在對(duì)應(yīng)像素屬于前景區(qū)域時(shí)，把混合比α設(shè)置為0；并且當(dāng)對(duì)應(yīng)像素屬于背景區(qū)域時(shí)，把混合比α設(shè)置為1。當(dāng)對(duì)應(yīng)像素屬于覆蓋的背景區(qū)域時(shí)，混合比確定部分403把從估算混合比處理器401供應(yīng)的估算混合比設(shè)置為混合比。當(dāng)對(duì)應(yīng)像素屬于未覆蓋的背景區(qū)域時(shí)，混合比確定部分403把從估算混合比處理器402供應(yīng)的估算混合比設(shè)置為混合比α。然后結(jié)束該處理。
如上所述，混合比計(jì)算器102能夠根據(jù)從區(qū)域指定單元101供應(yīng)的區(qū)域信息計(jì)算指示對(duì)應(yīng)于每個(gè)像素的特征量的混合比α。
通過(guò)利用該混合比α，能夠分離包含在像素值中的前景分量和背景分量，同時(shí)保持包含在對(duì)應(yīng)于運(yùn)動(dòng)對(duì)象的圖像中的運(yùn)動(dòng)模糊的信息。
如果根據(jù)混合比α合成圖像，則能夠建立匹配了真實(shí)地反映現(xiàn)實(shí)的運(yùn)動(dòng)對(duì)象的速度的包含運(yùn)動(dòng)模糊的圖像。
下面參考圖64的流程圖說(shuō)明在圖63的步驟S502中使用對(duì)應(yīng)于覆蓋的背景區(qū)域的模型進(jìn)行的混合比估算處理。
在步驟S521中，加法器502在對(duì)應(yīng)于覆蓋的背景區(qū)域的模型的法方程中設(shè)置包含在輸入圖像中的像素值以及包含在從延遲電路221供應(yīng)的圖像中的像素值。
在步驟S522中，估算混合比處理器401確定是否完成了目標(biāo)像素的設(shè)置。如果確定沒有完成目標(biāo)像素的設(shè)置，則處理返回到步驟S521，并且重復(fù)在法方程中設(shè)置像素值的處理。
如果在步驟S522中確定完成目標(biāo)像素的設(shè)置，則處理前進(jìn)到步驟S523。在步驟S523中，計(jì)算器173根據(jù)設(shè)置了像素值的法方程計(jì)算估算混合比。
如上所述，估算混合比處理器401能夠根據(jù)輸入圖像計(jì)算估算混合比。
在圖63的步驟S153中使用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型進(jìn)行的混合比估算處理類似于由圖64的流程圖指示的利用對(duì)應(yīng)于未覆蓋的背景區(qū)域的模型的處理，因此省略對(duì)其說(shuō)明。
對(duì)該實(shí)施例的說(shuō)明是在假定對(duì)應(yīng)于背景的對(duì)象是靜止的情況下進(jìn)行的。此外，即便對(duì)應(yīng)于背景區(qū)域的圖像包含運(yùn)動(dòng)，也可以應(yīng)用上述的混合比計(jì)算處理。例如，如果對(duì)應(yīng)于背景區(qū)域的圖像正在均勻運(yùn)動(dòng)，則估算混合比處理器401根據(jù)該運(yùn)動(dòng)移位整個(gè)圖像，并且以類似于對(duì)應(yīng)于背景的對(duì)象是靜止的情況的方式執(zhí)行處理。如果對(duì)應(yīng)于背景區(qū)域的圖像包含局部不同的運(yùn)動(dòng)，則估算混合比處理器401將對(duì)應(yīng)于運(yùn)動(dòng)的像素選擇為屬于混合區(qū)域的像素，并且執(zhí)行上述處理。
下面討論前景/背景分離器105。圖65是說(shuō)明前景/背景分離器105的配置的一個(gè)實(shí)例的方框圖。供應(yīng)給前景/背景分離器105的輸入圖像被供應(yīng)到分離部分601、開關(guān)602和開關(guān)604。從區(qū)域指定單元103供應(yīng)的指示覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域的信息的區(qū)域信息被供應(yīng)給分離部分601。指示前景區(qū)域的區(qū)域信息被供應(yīng)給開關(guān)602。指示背景區(qū)域的區(qū)域信息被供應(yīng)給開關(guān)604。
從混合比計(jì)算器104供應(yīng)的混合比α被供應(yīng)給分離部分601。
分離部分601根據(jù)指示覆蓋的背景區(qū)域的區(qū)域信息、指示未覆蓋的背景區(qū)域的區(qū)域信息以及混合比α從輸入圖像中分離出前景分量，并且將所分離的前景分離供應(yīng)給合成器603。分離部分601也從輸入圖像中分離背景分量，并將所分離的背景分量供應(yīng)給合成器605當(dāng)根據(jù)指示前景區(qū)域的區(qū)域信息輸入對(duì)應(yīng)于前景的像素時(shí)，開關(guān)602閉合，并且僅僅把對(duì)應(yīng)于包含在輸入圖像中的前景的像素供應(yīng)給合成器603。
當(dāng)根據(jù)指示背景區(qū)域的區(qū)域信息輸入對(duì)應(yīng)于背景的像素時(shí)，開關(guān)604閉合，并且僅僅把對(duì)應(yīng)于包含在輸入圖像中的背景的像素供應(yīng)給合成器605。
合成器603根據(jù)從分離部分601供應(yīng)的前景分量和對(duì)應(yīng)于從開關(guān)602供應(yīng)的前景的像素合成前景分量圖像，并且輸出所合成的前景分量圖像。由于前景區(qū)域和混合區(qū)域不重疊，因此，合成器603把例如邏輯OR應(yīng)用于前景分量和前景像素，從而合成前景分量圖像。
在前景分量圖像的合成處理開始時(shí)執(zhí)行的初始化處理中，合成器603在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值都為0的圖像。然后，在前景分量圖像的合成處理中，合成器603存儲(chǔ)該前景分量圖像(用該前景分量圖像改寫在前的圖像)。因此，將0存儲(chǔ)在與合成器603輸入的前景分量圖像的背景區(qū)域相對(duì)應(yīng)的諸多像素中。
合成器605根據(jù)從分離部分601供應(yīng)的背景分量和對(duì)應(yīng)于從開關(guān)604供應(yīng)的背景的像素合成背景分量圖像，并且輸出所合成的背景分量圖像。由于背景區(qū)域和混合區(qū)域不重疊，因此，合成器605把例如邏輯OR應(yīng)用于背景分量和背景像素，從而合成背景分量圖像。
在背景分量圖像的合成處理開始時(shí)執(zhí)行的初始化處理中，合成器605在內(nèi)置幀存儲(chǔ)器中存儲(chǔ)其像素值都為0的圖像。然后，在背景分量圖像的合成處理中，合成器605存儲(chǔ)背景分量圖像(用該背景分量圖像改寫在前圖像)。因此，將0存儲(chǔ)在與合成器605輸入的背景分量圖像的前景區(qū)域相對(duì)應(yīng)的諸多像素中。
圖66A和圖66B圖示說(shuō)明了輸入前景/背景分離器105的輸入圖像和從前景/背景分離器105輸出的前景分量圖像和背景分量圖像。
圖66A是將要顯示的一個(gè)圖像的示意圖，圖66B是一個(gè)模型，在該模型中按時(shí)間方向擴(kuò)展對(duì)應(yīng)于圖66A所示的一行的像素，這些像素包括屬于前景區(qū)域的像素、屬于背景區(qū)域的像素和屬于混合區(qū)域的像素。
如圖66A和圖66B所示，從前景/背景分離器105輸出的背景分量圖像包括屬于背景區(qū)域的像素和包含在混合區(qū)域的像素中的背景分量。
如圖66A和圖66B所示，從前景/背景分離器105輸出的前景分量圖像包括屬于前景區(qū)域的像素和包含在混合區(qū)域的像素中的前景分量。
前景/背景分離器105將混合區(qū)域中的像素的像素值分離成背景分量和前景分量。所分離的背景分量形成背景分量圖像和屬于背景區(qū)域的像素。所分離的前景分量形成前景分量圖像和屬于前景區(qū)域的像素。
如上所述，在前景分量圖像中，將對(duì)應(yīng)于背景區(qū)域的像素的像素值設(shè)置為0，并且在對(duì)應(yīng)于前景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置效像素值。同樣，在背景分量圖像中，將對(duì)應(yīng)于背景區(qū)域的像素的像素值設(shè)置為0，并且在對(duì)應(yīng)于背景區(qū)域的像素和對(duì)應(yīng)于混合區(qū)域的像素中設(shè)置有效像素值。
下面對(duì)分離部分601執(zhí)行的處理進(jìn)行說(shuō)明，該分離部分601從屬于混合區(qū)域的像素中分離出前景分量和背景分量。
圖67圖示說(shuō)明了指示兩個(gè)幀中前景分量和背景分量的圖像的模型，這兩個(gè)幀包含在圖67中從左向右運(yùn)動(dòng)的前景對(duì)象。在圖67所示的圖像的模型中，運(yùn)動(dòng)量v是4，虛擬分割部分的數(shù)量是4。
在幀#n中，最左端像素和左數(shù)第十四至第十八像素僅僅由背景分量組成，并且屬于背景區(qū)域。在幀#n中，左數(shù)第二至第四像素包含背景分量和前景分量，并且屬于未覆蓋的背景區(qū)域。在幀#n中，左數(shù)第十一至第十三像素包含背景分量和前景分量，并且屬于覆蓋的背景區(qū)域。在幀#n中，左數(shù)第五至第十像素僅僅包含前景分量，并且屬于前景區(qū)域。
在幀#n+1中，左數(shù)第一至第五像素僅僅由背景分量組成，并且屬于背景區(qū)域。在幀#n+1中，左數(shù)第六至第八像素包含背景分量和前景分量，并且屬于未覆蓋的背景區(qū)域。在幀#n+1中，左數(shù)第十五至第十七像素包含背景分量和前景分量，并且屬于覆蓋的背景區(qū)域。在幀#n+1中，左數(shù)第九至第十四像素僅僅由前景分量組成，并且屬于前景區(qū)域。
圖68圖示說(shuō)明了從屬于覆蓋的背景區(qū)域的像素中分離前景分量的處理。在圖68中，α1至α18表示幀#n的各個(gè)像素的混合比。在圖68中，左數(shù)第十四至第十七像素屬于覆蓋的背景區(qū)域。
幀#n中左數(shù)第十五像素的像素值C15可以由方程(68)表示C15＝B15/v+F09/v+F08/v+F07/v＝α15·B15+F09/v+F08/v+F07/v＝α15·P15+F09/v+F08/v+F07/v(68)其中α15表示幀#n左數(shù)第十四像素的混合比，P15表示幀#n-1中左數(shù)第十五像素的像素值。
幀#n左數(shù)第十五像素的前景分量之和f15可以由基于方程(68)的方程(69)表達(dá)。
f15＝F09/v+F08/v+F07/v＝C15-α15·P15 (69)同樣，幀#n左數(shù)第十六像素的前景分量之和f16可以由方程(70)表達(dá)，幀#n左數(shù)第十七像素的前景分量之和f17可以由方程(71)表達(dá)。
f16＝C16-α16·P16 (70)f17＝C17-α17·P17 (71)這樣，包含在屬于覆蓋的背景區(qū)域的像素的像素值C中的前景分量fc可以由方程(72)表達(dá)fc＝C-α·P (72)其中P表示對(duì)應(yīng)于在前幀中像素的像素值。
圖69圖示說(shuō)明了從屬于未覆蓋的背景區(qū)域的像素中分離前景分量的處理。在圖69中，α1至α18表示幀#n的各像素的混合比。在圖69中，左數(shù)第二至第四像素屬于未覆蓋的背景區(qū)域。
幀#n中左數(shù)第二像素的像素值C02可以由方程(73)表示C02＝B02/v+B02/v+B02/v+F01/v＝α2·B02+F01/v＝α2·N02+F01/v(73)其中α2表示幀#n左數(shù)第二像素的混合比，N02表示幀#n+1中左數(shù)第二像素的像素值。
幀#n左數(shù)第二像素的前景分量之和F02可以由基于方程(73)的方程(74)表達(dá)。
F02＝F01/v＝C02-α2·N02 (74)同樣，幀#n左數(shù)第三像素的前景分量之和F03可以由方程(75)表達(dá)，幀#n左數(shù)第四像素的前景分量之和F04可以由方程(76)表達(dá)。
F03＝C03-α3·N03 (75)F04＝C04-α4·N04 (76)這樣，包含在屬于未覆蓋的背景區(qū)域的像素的像素值C中的前景分量fu可以由方程(77)表達(dá)fu＝C-α·N(77)其中N表示對(duì)應(yīng)于后續(xù)幀中像素的像素值。
如上所述，分離部分601能夠根據(jù)包含在區(qū)域信息中的指示覆蓋的背景區(qū)域的信息和指示未覆蓋的背景區(qū)域的信息以及每個(gè)像素的混合比α，從屬于混合區(qū)域的像素中分離前景分量，以及從屬于混合區(qū)域的像素中分離背景分量。
圖70是說(shuō)明執(zhí)行上述處理的分離部分601配置的一個(gè)實(shí)例的方框圖。輸入到分離部分601中的圖像被供應(yīng)給幀存儲(chǔ)器621，從混合比計(jì)算器104供應(yīng)的指示覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域的區(qū)域信息以及混合比α被供應(yīng)給分離處理單元622。
幀存儲(chǔ)器621以幀單位存儲(chǔ)輸入圖像。當(dāng)待處理的一幀是幀#n時(shí)，幀存儲(chǔ)器621存儲(chǔ)幀#n-1(是幀#n的前一幀)、幀#n和幀#n+1(是幀#n的后一幀)。
幀存儲(chǔ)器621把幀#n-1、幀#n和幀#n+1中的對(duì)應(yīng)像素供應(yīng)給分離處理單元622。
分離處理單元622根據(jù)指示覆蓋的背景區(qū)域和未覆蓋的背景區(qū)域的區(qū)域信息以及混合比α，把參考圖68和圖69討論的計(jì)算應(yīng)用于從幀存儲(chǔ)器621供應(yīng)的幀#n-1、幀#n和幀#n+1中的對(duì)應(yīng)像素的像素值，以便從屬于幀#n中混合區(qū)域的像素中分離前景分量和背景分量，并且將它們供應(yīng)給幀存儲(chǔ)器623。
分離處理單元622由未覆蓋的區(qū)域處理器631、覆蓋的區(qū)域處理器632、合成器633和合成器634構(gòu)成。
未覆蓋的區(qū)域處理器631的乘法器641用混合比α乘幀存儲(chǔ)器621所供應(yīng)的幀#n+1中像素的像素值，并且把所得到的像素值輸出給開關(guān)642。當(dāng)從幀存儲(chǔ)器621供應(yīng)的幀#n的像素(相當(dāng)于幀#n+1中的像素)屬于未覆蓋的區(qū)域時(shí)，閉合開關(guān)642，并且把乘法器641供應(yīng)的被混合比α相乘的像素值供應(yīng)給計(jì)算器643和合成器634。通過(guò)由開關(guān)624輸出的混合比α乘幀#n+1中像素的像素值而獲得的值相當(dāng)于幀#n中對(duì)應(yīng)像素的像素值的背景分量。
計(jì)算器643從幀存儲(chǔ)器621供應(yīng)的幀#n中像素的像素值中減去從開關(guān)642供應(yīng)的背景分量，以便獲得前景分量。計(jì)算器643向合成器633供應(yīng)屬于未覆蓋的背景區(qū)域的幀#n中像素的前景分量。
覆蓋的區(qū)域處理器632的乘法器651用混合比α乘幀存儲(chǔ)器621所供應(yīng)的幀#n-1中像素的像素值，并且把所得到的像素值輸出給開關(guān)652。當(dāng)從幀存儲(chǔ)器621供應(yīng)的幀#n的像素(相當(dāng)于幀#n-1中的像素)屬于覆蓋的背景區(qū)域時(shí)，閉合開關(guān)652，并且把乘法器651供應(yīng)的被混合比α相乘的像素值供應(yīng)給計(jì)算器653和合成器634。通過(guò)由開關(guān)652輸出的混合比α乘幀#n-1中像素的像素值而獲得的值相當(dāng)于幀#n中對(duì)應(yīng)像素的像素值的背景分量。
計(jì)算器653從幀存儲(chǔ)器621供應(yīng)的幀#n中像素的像素值中減去從開關(guān)652供應(yīng)的背景分量，以便獲得前景分量。計(jì)算器653向合成器633供應(yīng)屬于覆蓋的背景區(qū)域的幀#n中像素的前景分量。
合成器633將計(jì)算器643所供應(yīng)的屬于未覆蓋的背景區(qū)域的像素的前景分量與計(jì)算器653所供應(yīng)的屬于覆蓋的背景區(qū)域的像素的前景分量相合并，并且把合成的前景分量供應(yīng)給幀存儲(chǔ)器623。
合成器634將計(jì)算器642所供應(yīng)的屬于未覆蓋的背景區(qū)域的像素的背景分量與開關(guān)652所供應(yīng)的屬于覆蓋的背景區(qū)域的像素的背景分量相合并，并且把合成的背景分量供應(yīng)給幀存儲(chǔ)器623。
幀存儲(chǔ)器623存儲(chǔ)從分離處理單元622供應(yīng)的幀#n的混合區(qū)域中像素的前景分量和背景分量。
幀存儲(chǔ)器623輸出所存儲(chǔ)的幀#n中混合區(qū)域的像素的前景分量和所存儲(chǔ)的幀#n中混合區(qū)域的像素的背景分量。
通過(guò)利用表示特征量的混合比α，可以完全分離包含在像素中的前景分量和背景分量。
合成器603將分離部分601輸出的幀#n中混合區(qū)域的像素的前景分量與屬于前景區(qū)域的像素相合并，以便生成前景分量圖像。合成器605將分離部分601輸出的幀#n中混合區(qū)域的像素的背景分量與屬于背景區(qū)域的像素相合并，以便生成背景分量圖像。
圖71A是說(shuō)明對(duì)應(yīng)于圖67中幀#n的前景分量圖像的一個(gè)實(shí)例的示意圖。在分離前景和背景之前，最左像素和左數(shù)第十四像素僅僅由背景分量組成，因此像素值被設(shè)置為0。
在分離前景和背景之前，左數(shù)第二至第四像素屬于未覆蓋的背景區(qū)域。因此，背景分量被設(shè)置為0，并且維持前景分量。在分離前景和背景之前，左數(shù)第十一至第十三像素屬于覆蓋的背景區(qū)域。因此，背景分量被設(shè)置為0，并且維持前景分量。左數(shù)第五至第十像素僅僅由如此維持的前景分量組成。
圖71B是說(shuō)明對(duì)應(yīng)于圖67中幀#n的背景分量的一個(gè)實(shí)例的示意圖。在分離前景和背景之前，最左像素和左數(shù)第十四像素僅僅由背景分量組成，從而維持背景分量。
在分離前景和背景之前，左數(shù)第二至第四像素屬于未覆蓋的背景區(qū)域。因此，前景分量被設(shè)置為0，并且維持背景分量。在分離前景和背景之前，左數(shù)第十一至第十三像素屬于覆蓋的背景區(qū)域。因此，前景分量被設(shè)置為0，并且維持背景分量。左數(shù)第五至第十像素僅僅由前景分量組成，因而像素值被設(shè)置為0。
下面參考圖72的流程圖說(shuō)明由前景/背景分離器105執(zhí)行的分離前景和背景的處理。在步驟S601中，分離部分601的幀存儲(chǔ)器621獲得輸入圖像，并且存儲(chǔ)用于分離前景和背景的幀#n以及在前幀#n-1和后續(xù)幀#n+1。
在步驟S602中，分離部分601的分離處理單元622獲取從混合比計(jì)算器104供應(yīng)的區(qū)域信息。在步驟S603中，分離部分601的分離處理單元622獲取從混合比計(jì)算器104供應(yīng)的混合比α。
在步驟S604中，未覆蓋的區(qū)域處理器631根據(jù)區(qū)域信息和混合比α從幀存儲(chǔ)器621供應(yīng)的屬于未覆蓋的背景區(qū)域的像素的像素值中提取背景分量。
在步驟S605中，未覆蓋的區(qū)域處理器631根據(jù)區(qū)域信息和混合比α從幀存儲(chǔ)器621供應(yīng)的屬于未覆蓋的背景區(qū)域的像素的像素值中提取前景分量。
在步驟S606中，覆蓋的區(qū)域處理器632根據(jù)區(qū)域信息和混合比α從幀存儲(chǔ)器621供應(yīng)的屬于覆蓋的背景區(qū)域的像素的像素值中提取背景分量。
在步驟S607中，覆蓋的區(qū)域處理器632根據(jù)區(qū)域信息和混合比α從幀存儲(chǔ)器621供應(yīng)的屬于覆蓋的背景區(qū)域的像素的像素值中提取前景分量。
在步驟S608中，合成器633將步驟S605的處理中提取的屬于未覆蓋的背景區(qū)域的像素的前景分量與在步驟S607處理中提取的屬于覆蓋的背景區(qū)域的像素的前景分量相合并。所合成的前景分量被供應(yīng)給合成器603。合成器603進(jìn)一步將經(jīng)由開關(guān)602供應(yīng)的屬于前景區(qū)域的像素與從分離部分601供應(yīng)的前景分量相合并，以便生成前景分量圖像。
在步驟S609中，合成器634將在步驟S604處理中提取的屬于未覆蓋的背景區(qū)域的像素的背景分量與在步驟S606處理中提取的屬于覆蓋的背景區(qū)域的像素的背景分量相合并。合成的背景分量被供應(yīng)給合成器605。合成器605進(jìn)一步將經(jīng)由開關(guān)604供應(yīng)的屬于背景區(qū)域的像素與從分離部分601供應(yīng)的背景分量相合并，以便生成背景分量圖像。
在步驟S610中，合成器603輸出前景分量圖像。在步驟S611中，合成器605輸出背景分量圖像。然后結(jié)束該處理。
如上所述，前景/背景分離器105能夠根據(jù)區(qū)域信息和混合比α從輸入圖像中分離出前景分量和背景分量，并且輸出僅僅由前景分量組成的前景分量圖像和僅僅由背景分量組成的背景分量圖像。
圖73是說(shuō)明運(yùn)動(dòng)模糊調(diào)整單元106配置的方框圖。
平坦部分提取單元801根據(jù)從區(qū)域分離單元103供應(yīng)的區(qū)域信息，從前景/背景分離器105供應(yīng)的前景分量中提取一個(gè)平坦部分。在該平坦部分中，鄰近像素的像素值變化量是很小的。平坦部分提取單元901所提取的平坦部分由具有相等像素值的像素組成。平坦部分還被稱之為“相等部分”。
例如，平坦部分提取單元801根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息從前景/背景分離器105供應(yīng)的前景分量中提取一個(gè)平坦部分，在該平坦部分中，鄰近像素的像素值小于預(yù)存的閾值Thf。
平坦部分提取單元801還提取例如一個(gè)平坦部分，在該平坦部分中，前景分量圖像的鄰近像素的像素值變化量在1％以內(nèi)。像素值變化量的比值是提取平坦部分的一個(gè)基準(zhǔn)，它可以被設(shè)置為一個(gè)預(yù)期值。
平坦部分提取單元801還可以提取一個(gè)平坦部分，在該平坦部分中，前景分量圖像的相鄰像素的像素值的標(biāo)準(zhǔn)偏移小于預(yù)存的閾值Thf。
此外，平坦部分提取單元801例如根據(jù)對(duì)應(yīng)于前景分量圖像的鄰近像素的像素值的回歸線，提取平坦部分，在平坦部分中，該回歸線的誤差和各像素值之和小于預(yù)存的閾值Thf。
提取平坦部分的基準(zhǔn)值，比如閾值或者像素值變化量的比值可以被設(shè)置為一個(gè)預(yù)期值。本發(fā)明不受提取平坦部分的基準(zhǔn)值的限制。提取平坦部分的基準(zhǔn)值可以自適應(yīng)地變化。
對(duì)于屬于所提取的平坦部分的像素，平坦部分提取單元801設(shè)置一個(gè)指示像素屬于平坦部分的平坦部分標(biāo)志，并且向處理單位確定單元802供應(yīng)前景分量圖像和平坦部分標(biāo)志。平坦部分提取單元801還生成僅僅由屬于平坦部分的像素組成的平坦部分圖像，并且將其供應(yīng)給運(yùn)動(dòng)模糊消除單元803。
處理單位確定單元802根據(jù)前景分量圖像和從平坦部分提取單元801供應(yīng)的平坦部分標(biāo)志以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息生成處理單位，并且將所生成的處理單位和平坦部分標(biāo)志一同供應(yīng)給運(yùn)動(dòng)模糊消除單元803，其中，所述處理單位是指示沒有平坦部分的前景分量圖像的像素的數(shù)據(jù)。
運(yùn)動(dòng)模糊消除單元803根據(jù)從處理單位確定單元802供應(yīng)的平坦部分標(biāo)志從前景/背景分離器105供應(yīng)的前景分量圖像中計(jì)算包含在屬于平坦部分的像素中的前景分量。
運(yùn)動(dòng)模糊消除單元803根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息和從處理單位確定單元802供應(yīng)的處理單位，從前景/背景分離器105供應(yīng)的前景分量圖像中消除對(duì)應(yīng)于平坦部分前景分量。運(yùn)動(dòng)模糊消除單元803根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息和從處理單位確定單元802供應(yīng)的處理單位，計(jì)算包含在由處理單位指定的像素中的剩余前景分量。
運(yùn)動(dòng)模糊消除單元803組合根據(jù)所計(jì)算的包含在由處理單位指定的像素中的前景分量而生成的像素與從平坦部分提取單元801供應(yīng)的平坦部分圖像的像素，從而生成從中消除運(yùn)動(dòng)模糊的前景分量圖像。
運(yùn)動(dòng)模糊消除單元803將沒有運(yùn)動(dòng)模糊的前景分量圖像供應(yīng)給運(yùn)動(dòng)模糊加法器804和選擇器805。
圖74是說(shuō)明運(yùn)動(dòng)模糊消除單元803配置的方框圖。從前景/背景分離器105供應(yīng)的前景分量圖像、從處理單位確定單元802供應(yīng)的處理單位以及從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息被供應(yīng)給模型形成部分821。
模型形成部分821根據(jù)運(yùn)動(dòng)量v和處理單位執(zhí)行模型形成。具體地說(shuō)，模型形成部分821根據(jù)運(yùn)動(dòng)量v和處理單位確定每個(gè)像素的時(shí)間方向上的像素值的被分割部分的數(shù)量以及前景分量的數(shù)量，并且生成指定像素值與前景分量之間相關(guān)的一個(gè)模型。模型形成部分821可以從多個(gè)預(yù)存模型之中選擇對(duì)應(yīng)于運(yùn)動(dòng)量v和處理單位的一個(gè)模型。模型形成部分821將所生成的模型和前景分量圖像一起供應(yīng)給方程生成器822。
方程生成器822根據(jù)從模型形成部分821供應(yīng)的模型生成一個(gè)方程，并且將所生成的方程與前景分量圖像一起供應(yīng)給加法器823。
加法器823將方程生成器822供應(yīng)的方程加到最小二乘法的方程上。加法器823將所得到的法方程供應(yīng)給計(jì)算器824。處理單位指定的像素不包含對(duì)應(yīng)于平坦部分的像素。
計(jì)算器824求解由加法器823設(shè)置了像素值的方程，以便計(jì)算前景分量。計(jì)算器824根據(jù)所計(jì)算的前景分量生成對(duì)應(yīng)于處理單位的消除了運(yùn)動(dòng)模糊的諸多像素，并且向合成器825輸出對(duì)應(yīng)于處理單位已生成像素。
合成器825根據(jù)從計(jì)算器824供應(yīng)的對(duì)應(yīng)于處理單位的像素以及從平坦部分提取單元801供應(yīng)的平坦部分圖像的像素生成消除了運(yùn)動(dòng)模糊的前景分量圖像，并輸出所生成的前景分量圖像。
下面參考圖75至圖80說(shuō)明運(yùn)動(dòng)模糊調(diào)整單元106的操作。
圖75圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展直線上的像素的像素值而獲得的一個(gè)模型，它對(duì)應(yīng)于從前景/背景分離器105輸出并輸入到平坦部分提取單元801的前景分量的運(yùn)動(dòng)向量。C01′至C23′指示前景分量圖像的各個(gè)像素的像素值。前景分量圖像僅僅由前景分量組成。
平坦部分提取單元801根據(jù)閾值從前景/背景分離器105供應(yīng)的前景分量圖像中含有的諸多像素之中，提取像素值變化量小于閾值Thf的連續(xù)像素。閾值Thf是一個(gè)足夠小的值。平坦部分提取單元801提取的連續(xù)像素的數(shù)量必須大于一幀內(nèi)的前景對(duì)象的運(yùn)動(dòng)量v。例如，如果前景對(duì)象的運(yùn)動(dòng)量在一幀內(nèi)是5，則平坦部分提取單元801提取五個(gè)或五個(gè)以上的連續(xù)像素，在該連續(xù)像素中像素值幾乎不變化，即是平坦部分。
例如，在圖76所示的實(shí)例中，當(dāng)方程(78)有效時(shí)，從方程(79)至(83)的關(guān)系中可以發(fā)現(xiàn)前景分量F06/v至F14/v是相等的。
C10′＝C11′＝C12′＝C13′＝C14′ (78)C10′＝F06/v+F07/v+F08/v+F09/v+F10/v(79)C11′＝F07/v+F08/v+F09/v+F10/v+F11/v(80)C12′＝F08/v+F09/v+F10/v+F11/v+F12/v(81)C13′＝F09/v+F10/v+F11/v+F12/v+F13/v(82)C14′＝F10/v+F11/v+F12/v+F13/v+F14/v(83)也就是，由方程(84)指示的前景分量F06/v至F14/v的關(guān)系有效。
F06/v＝F07/v＝F08/v＝F09/v＝F10/v＝F11/v＝F12/v＝F13/v＝F14/v(84)所以，在計(jì)算前景分量的后續(xù)處理中，如圖77所示，只需要計(jì)算前景分量F01/v至F05/v和前景分量F15/v至F19/v，而不需要計(jì)算前景分量F06/v至F14/v。
平坦部分提取單元801提取具有所述處理所需的相等像素值的平坦部分，根據(jù)提取的該平坦部分的生成指示像素是否屬于平坦部分的平坦部分標(biāo)志，并且將該標(biāo)志供應(yīng)給處理單位確定單元802。平坦部分提取單元801也將僅由屬于平坦部分的多個(gè)像素組成的平坦部分圖像供應(yīng)給運(yùn)動(dòng)模糊消除單元803。
處理單位確定單元802生成處理單位，并且將處理單位和平坦部分標(biāo)志一起供應(yīng)給運(yùn)動(dòng)模糊消除單元803，所述處理單位是指示通過(guò)從包含在前景分量圖像中的直線上的像素中消除平坦部分而獲得的像素的數(shù)據(jù)。
運(yùn)動(dòng)模糊消除單元803根據(jù)由處理單位確定單元802供應(yīng)的平坦部分標(biāo)志，計(jì)算在屬于平坦部分的像素中所含有的前景分量。運(yùn)動(dòng)模糊消除單元803根據(jù)平坦部分標(biāo)志從前景分量圖像中消除屬于平坦部分的像素中所含有的該前景分量。
運(yùn)動(dòng)模糊消除單元803根據(jù)從處理單位確定單元802供應(yīng)的處理單位生成一個(gè)方程，用于從消除了平坦部分的像素的像素值中算出剩余前景分量，所述平坦部分是從前景分量圖像中含有的直線上的像素中消除的。
例如，如圖76所示，在前景分量圖像的直線上的23個(gè)像素之中，當(dāng)左數(shù)第十至第十四像素屬于平坦部分時(shí)，屬于左數(shù)第十至第十四像素的前景分量可以從前景分量圖像中消除。因此，為剩余前景分量即前景分量F01/v至F05/v和前景分量F15/v至F19/v，生成方程(85)至(102)。
C01″＝F01/v(85)C02″＝F01/v+F02/v (86)C03″＝F01/v+F02/v+F03/v(87)C04″＝F01/v+F02/v+F03/v+F04/v (88)C05″＝F01/v+F02/v+F03/v+F04/v+F05/v(89)C06″＝F02/v+F03/v+F04/v+F05/v (90)C07″＝F03/v+F04/v+F05/v(91)C08″＝F04/v+F05/v (92)C09″＝F05/v(93)C15″＝F15/v(94)C16″＝F15/v+F16/v (95)C17″＝F15/v+F16/v+F17/v(96)C18″＝F15/v+F16/v+F17/v+F18/v (97)C19″＝F15/v+F16/v+F17/v+F18/v+F19/v(98)C20″＝F16/v+F17/v+F18/v+F19/v (99)C21″＝F17/v+F18/v+F19/v(100)C22″＝F18/v+F19/v (101)C23″＝F19/v(102)通過(guò)將上述的最小二乘法應(yīng)用于方程(85)至(102)，可以得到方程(103)和(104)。
5432145432345432345412345F01F02F03F04F05=V·C01′′+C02′′+C03′′+C04′′+C05′′C02′′+C03′′+C04′′+C05′′+C06′′C03′′+C04′′+C05′′+C06′′+C07′′C04′′+C05′′+C06′′+C07′′+C08′′C05′′+C06′′+C07′′+C08′′+C09′′---(103)]]>
5432145432345432345412345F15F16F17F18F19=V·C15′′+C16′′+C17′′+C18′′+C19′′C16′′+C17′′+C18′′+C19′′+C20′′C17′′+C18′′+C19′′+C20′′+C21′′C18′′+C19′′+C20′′+C21′′+C22′′C19′′+C20′′+C21′′+C22′′+C23′′---(104)]]>消除單元803的方程生成器822生成例如，由方程(103)和(104)所示的對(duì)應(yīng)于處理單位的方程。運(yùn)動(dòng)模糊消除單元803的加法器823在方程生成器822所生成的方程中設(shè)置包含在前景分量圖像中的像素值，其中，所述前景分量圖像消除了包含在屬于平坦部分的像素中的前景分量。運(yùn)動(dòng)模糊消除單元803的計(jì)算器824通過(guò)應(yīng)用解法(比如，Cholesky分解)于設(shè)置了像素值的方程，計(jì)算包含在前景分量圖像中的前景分量，而不是計(jì)算包含在屬于平坦部分的像素中的前景分量。
計(jì)算器824生成一個(gè)沒有運(yùn)動(dòng)模糊的前景分量圖像，如圖78的實(shí)例所示，該前景分量圖像由消除了運(yùn)動(dòng)模糊的像素值Fi組成。
在圖78所示的消除了運(yùn)動(dòng)模糊的前景分量圖像中，F(xiàn)01至F05被設(shè)置在C04″和C05″中，F(xiàn)15至F19被設(shè)置在C18″和C19″中。其原因是，對(duì)于屏幕來(lái)說(shuō)，前景分量圖像的位置不變化。前景分量圖像可以被設(shè)置在預(yù)期位置上。
計(jì)算器824根據(jù)從平坦部分提取單元801供應(yīng)的平坦部分圖像，生成與由處理單位消除的前景分量相對(duì)應(yīng)的像素，并且組合所生成的像素與圖78所示的沒有運(yùn)動(dòng)模糊的前景分量，從而生成諸如圖79所示的前景分量圖像。
運(yùn)動(dòng)模糊消除單元803可以根據(jù)通過(guò)方程(84)計(jì)算的前景分量F06/v至F14/v，生成對(duì)應(yīng)于平坦部分的像素。
運(yùn)動(dòng)模糊加法器804能夠通過(guò)增加調(diào)整運(yùn)動(dòng)模糊的量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量。該運(yùn)動(dòng)量v′不同于運(yùn)動(dòng)量v，例如調(diào)整運(yùn)動(dòng)模糊的量v′是運(yùn)動(dòng)量v數(shù)值的一半，或者調(diào)整運(yùn)動(dòng)模糊的量v′與運(yùn)動(dòng)量v無(wú)關(guān)。例如，如圖80所示，運(yùn)動(dòng)模糊加法器804用調(diào)整運(yùn)動(dòng)模糊的量v′除沒有運(yùn)動(dòng)模糊的前景像素值Fi，以便獲得前景分量Fi/v′。然后，運(yùn)動(dòng)模糊加法器804計(jì)算前景分量Fi/v′之和，從而生成調(diào)整了運(yùn)動(dòng)模糊量的像素值。例如，當(dāng)調(diào)整運(yùn)動(dòng)模糊的量v′是3時(shí)，像素值C02″被設(shè)置為(F01)/v′，像素值C3″被設(shè)置為(F01+F02)/v′，像素值C04″被設(shè)置為(F01+F02+F03)/v′，以及像素值C05″被設(shè)置為(F02+F03+F04)/v′。
運(yùn)動(dòng)模糊加法器804向選擇器805供應(yīng)調(diào)整了運(yùn)動(dòng)模糊量的前景分量圖像。
選擇器805根據(jù)例如反映用戶選擇的選擇信號(hào)，選擇從計(jì)算器805供應(yīng)的沒有運(yùn)動(dòng)模糊的前景分量圖像和從運(yùn)動(dòng)模糊加法器804供應(yīng)的調(diào)整了運(yùn)動(dòng)模糊量的前景分量圖像之一，并且輸出所選擇的前景分量圖像。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠根據(jù)選擇信號(hào)和調(diào)整運(yùn)動(dòng)模糊的量v′來(lái)調(diào)整運(yùn)動(dòng)模糊量。
運(yùn)動(dòng)模糊調(diào)整單元106可以從前景/背景分離器105中獲得背景分量圖像，以便調(diào)整對(duì)應(yīng)于屬于混合區(qū)域的像素的背景分量。
圖81圖示說(shuō)明了校正由運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的背景分量的處理。在包含在背景分量圖像中的像素之中，對(duì)于分離前屬于混合區(qū)域的像素，由前景/背景分離器105消除前景分量。
運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)區(qū)域信息和運(yùn)動(dòng)量v進(jìn)行隨后的校正。在包含在背景分量圖像中的像素之中，對(duì)于屬于混合區(qū)域的像素，增加對(duì)應(yīng)的背景分量。
例如，當(dāng)像素值C02包含四個(gè)背景分量B02/v時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106將一個(gè)背景分量(B02/v)′(與背景分量B02/v相同的值)加到像素值C02上。當(dāng)像素值C02包含三個(gè)背景分量B03/v時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106將兩個(gè)背景分量(B03/v)′(與背景分量B03/v相同的值)加到像素值C03上。
當(dāng)像素值C23包含三個(gè)背景分量B23/v時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106將兩個(gè)背景分量(B23/v)′(與背景分量B23/v相同的值)加到像素值C23上。當(dāng)像素值C24包含四個(gè)背景分量B24/v時(shí)，運(yùn)動(dòng)模糊調(diào)整單元106將一個(gè)背景分量(B24/v)′(與背景分量B24/v相同的值)加到像素值C24上。
下面給出由具有圖73所示配置的運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的處理結(jié)果的一個(gè)實(shí)例。
圖82圖示說(shuō)明了通過(guò)捕獲靜止的黑色四邊形而獲得的圖像。相反，圖83圖示說(shuō)明了通過(guò)捕獲圖82所示的運(yùn)動(dòng)黑色四邊形而獲得的圖像。在圖83所示的圖像中，黑色四邊形被運(yùn)動(dòng)模糊相互干擾。
圖84示出了由具有圖73所示配置的運(yùn)動(dòng)模糊調(diào)整單元106對(duì)圖83虛線所示的直線上的像素執(zhí)行處理的結(jié)果的一個(gè)實(shí)例。
在圖84中，實(shí)線指示通過(guò)由具有圖73所示配置的運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行該處理而獲得的像素值，虛線指示圖83所示的直線上的像素值，點(diǎn)劃線指示圖82所示直線上的像素值。
在圖84的虛線中，由于位于圖84兩端的像素值幾乎是平坦的(相等的)，因此運(yùn)動(dòng)模糊調(diào)整單元106通過(guò)假定它們是平坦部分而消除這些像素值，并且執(zhí)行關(guān)于剩余像素值的上述處理。
圖84所示結(jié)果顯示，運(yùn)動(dòng)模糊調(diào)整單元106從由于運(yùn)動(dòng)黑色四邊形造成的干擾而導(dǎo)致的具有不正確的像素值的圖像中，生成幾乎等于靜止黑色四邊形的像素值的像素值。
圖84所示的結(jié)果是通過(guò)將本發(fā)明應(yīng)用于由CCD捕獲的圖像而獲得的，具有入射光與像素值之間的線性關(guān)系，盡管該圖像不需要進(jìn)行亮度校正。同樣，通過(guò)試驗(yàn)業(yè)已證明經(jīng)歷亮度校正的圖像的本發(fā)明的效果。
下面結(jié)合圖85說(shuō)明由具有圖73所示配置的運(yùn)動(dòng)模糊調(diào)整單元106執(zhí)行的調(diào)整運(yùn)動(dòng)模糊量的處理。
在步驟S801中，平坦部分提取單元801從前景/背景分離器105供應(yīng)的前景分量圖像中提取鄰近像素的像素值相等的平坦部分。然后平坦部分提取單元801將對(duì)應(yīng)于所提取的平坦部分的平坦部分標(biāo)志供應(yīng)給處理單位確定單元802，并且把僅僅由屬于平坦部分的像素組成的平坦部分圖像供應(yīng)給運(yùn)動(dòng)模糊消除單元803。
在步驟S802中，處理單位確定單元802根據(jù)平坦部分標(biāo)志生成處理單位，該處理單位指示包含在前景分量圖像中的直線上的鄰近像素的位置，但不指示屬于平坦部分的像素的位置，然后將處理單位供應(yīng)給運(yùn)動(dòng)模糊消除單元803。
在步驟S803中，運(yùn)動(dòng)模糊消除單元803根據(jù)從前景/背景分離器105供應(yīng)的前景分量圖像和從處理單位確定單元802供應(yīng)的處理單位計(jì)算對(duì)應(yīng)于平坦部分像素的前景分量，并且還計(jì)算對(duì)應(yīng)于處理單位的前景分量，從而從前景分量中消除運(yùn)動(dòng)模糊。運(yùn)動(dòng)模糊消除單元803向運(yùn)動(dòng)模糊加法器804和選擇器805輸出沒有運(yùn)動(dòng)模糊的前景分量。下面結(jié)合圖86的流程圖說(shuō)明在步驟S803中消除運(yùn)動(dòng)模糊的處理細(xì)節(jié)。
在步驟S804中，運(yùn)動(dòng)模糊調(diào)整單元806確定是否已經(jīng)完成對(duì)于整個(gè)前景分量圖像的處理。如果確定還沒有完成對(duì)整個(gè)前景分量圖像的處理，則處理返回到步驟S803，重復(fù)對(duì)應(yīng)于后續(xù)處理單位的對(duì)前景分量的運(yùn)動(dòng)模糊消除處理。
如果在步驟S804中確定已經(jīng)完成了對(duì)于整個(gè)前景分量圖像的處理，則處理前進(jìn)到步驟S805。在步驟S805中，運(yùn)動(dòng)模糊調(diào)整單元106的運(yùn)動(dòng)模糊加法器804合選擇器805計(jì)算調(diào)整了運(yùn)動(dòng)模糊量的背景分量圖像，選擇消除了運(yùn)動(dòng)模糊的前景分量圖像或者增加了運(yùn)動(dòng)模糊的前景分量圖像，并輸出所選擇的圖像。然后結(jié)束所述處理。
如上所述，運(yùn)動(dòng)模糊調(diào)整單元106能夠調(diào)整輸入的前景分量圖像的運(yùn)動(dòng)模糊量。
下面參照?qǐng)D86的流程圖說(shuō)明在圖85的步驟S803中由運(yùn)動(dòng)模糊消除單元803執(zhí)行的處理，該處理用于消除對(duì)應(yīng)于處理單位的前景分量圖像的運(yùn)動(dòng)模糊。
在步驟S821中，運(yùn)動(dòng)模糊消除單元803的模型形成部分821生成對(duì)應(yīng)于運(yùn)動(dòng)量v和處理單位的模型。在步驟S822中，方程生成器822根據(jù)所生成的模型生成方程。
在步驟S823中，加法器823將消除了對(duì)應(yīng)于平坦部分的前景分量的前景分量圖像的像素值設(shè)置為所生成的方程中。在步驟824中，加法器823確定是否已經(jīng)設(shè)置對(duì)應(yīng)于處理單位的所有像素的像素值。如果確定還未在所有方程中設(shè)置像素值，則處理返回到步驟S823，并且重復(fù)在方程中設(shè)置像素值的處理。
如果在步驟S824中確定已經(jīng)在所有方程中設(shè)置了像素值，則處理前進(jìn)到步驟S825。計(jì)算器824根據(jù)從加法器823供應(yīng)的設(shè)置了像素值的方程來(lái)計(jì)算沒有運(yùn)動(dòng)模糊的前景的像素值。
在步驟S826中，計(jì)算器824組合供應(yīng)給平坦部分提取單元801的平坦部分圖像與設(shè)置了在步驟S825處理中計(jì)算的沒有運(yùn)動(dòng)模糊的前景像素值的像素，從而生成沒有運(yùn)動(dòng)模糊的前景分量圖像。
這樣，運(yùn)動(dòng)模糊消除單元803能夠根據(jù)運(yùn)動(dòng)量v和處理單位從包含運(yùn)動(dòng)模糊的前景分量圖像中消除運(yùn)動(dòng)模糊。
如上所述，具有圖73配置的運(yùn)動(dòng)模糊調(diào)整單元106能夠調(diào)整包含在輸入前景分量圖像中的運(yùn)動(dòng)模糊量。
部分消除運(yùn)動(dòng)模糊的已知技術(shù)，比如維納濾波器，在理想狀態(tài)使用時(shí)是有效的，但是對(duì)于量化的包含噪聲的實(shí)際圖像是無(wú)效的。相反，業(yè)已證明，按圖73配置的運(yùn)動(dòng)模糊調(diào)整單元106對(duì)量化的包含噪聲的實(shí)際圖像是充分有效的。這樣，能夠高精度消除運(yùn)動(dòng)模糊。
此外，平坦部分是從前景分量圖像中移出的，并且對(duì)于剩余像素計(jì)算前景分量。因此，可以抑制量化或者噪聲的影響，并且具有圖73所示配置的運(yùn)動(dòng)模糊調(diào)整單元106能夠獲得以較高精度調(diào)整運(yùn)動(dòng)模糊量的圖像。
圖87是說(shuō)明信號(hào)處理設(shè)備功能的另一配置的方框圖。
該信號(hào)處理設(shè)備與圖2類似的部件由類似的標(biāo)號(hào)表示，因此省略對(duì)其的說(shuō)明。
區(qū)域指定單元103將區(qū)域指定信息供應(yīng)給混合比計(jì)算器104和合成器1001。
混合比計(jì)算器104將混合比α供應(yīng)給前景/背景分離器105和合成器1001。
前景/背景分離器105將前景分量供應(yīng)給合成器1001。
合成器1001根據(jù)從混合比計(jì)算器104供應(yīng)的混合比α以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息，組合確定的背景圖像與從前景/背景分離器105供應(yīng)的前景分量圖像，并且輸出組合了確定的背景圖像和前景分量圖像的被合成圖像。
圖88圖示說(shuō)明了合成器1001的配置。背景分量生成器1021根據(jù)混合比α和確定的背景圖像生成一背景分量圖像，并且向混合區(qū)域圖像合成部分1022供應(yīng)背景分量圖像。
混合區(qū)域合成器1022組合從背景分量生成器1021供應(yīng)的背景分量圖像與前景分量圖像，以便生成混合區(qū)域合成圖像，并且將所生成的混合區(qū)域合成圖像供應(yīng)給圖像合成部分1023。
圖像合成部分1023根據(jù)區(qū)域信息，組合前景分量圖像、從混合區(qū)域圖像合成部1022供應(yīng)的混合區(qū)域合成圖像以及確定的背景圖像，以便生成合成圖像并輸出該圖像。
如上所述，合成器1001能夠組合前景分量圖像與確定的背景圖像。
通過(guò)根據(jù)混合比α(是特征量)組合前景分量與確定的背景圖像而獲得的圖像，比簡(jiǎn)單組合像素而獲得的圖像更加自然。
圖89是說(shuō)明調(diào)整運(yùn)動(dòng)模糊量的信號(hào)處理設(shè)備功能的另一配置的方框圖。圖2所示的信號(hào)處理設(shè)備順序地執(zhí)行區(qū)域制定操作和混合比α的計(jì)算。相反，圖89所示的信號(hào)處理設(shè)備同時(shí)執(zhí)行區(qū)域指定處理和混合比α的計(jì)算。
圖89中與圖2的方框圖類似的功能部件由類似的參考標(biāo)號(hào)表示，因此省略對(duì)其說(shuō)明。
輸入圖像被供應(yīng)給混合比計(jì)算器1101、前景/背景分離器1102、區(qū)域指定單元103和對(duì)象提取單元101。
混合比計(jì)算器1101根據(jù)輸入圖像計(jì)算，當(dāng)假定輸入圖像中包含的每一像素屬于覆蓋的背景區(qū)域時(shí)的估算混合比α、當(dāng)假定包含在輸入圖像中的每一像素屬于未覆蓋的背景區(qū)域時(shí)的估算混合比，并且將以上述方式計(jì)算的估算混合比供應(yīng)給前景/背景分離器1102。
圖90是說(shuō)明混合比計(jì)算器1101配置的一個(gè)實(shí)例的方框圖。
圖90所示的估算混合比處理器401與圖47所示的估算混合比處理器401相同。圖90所示的估算混合比處理器402與圖47所示的估算混合比處理器402相同。
估算混合比處理器401根據(jù)輸入圖像通過(guò)對(duì)應(yīng)于覆蓋的背景區(qū)域的計(jì)算算出用于每個(gè)像素的估算混合比，并且輸出算出的估算混合比。
估算混合比處理器402根據(jù)輸入圖像通過(guò)對(duì)應(yīng)于未覆蓋的背景區(qū)域的計(jì)算算出用于每個(gè)像素的估算混合比，并且輸出算出的估算混合比。
前景/背景分離器1102根據(jù)當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的未覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息，從輸入圖像中生成前景分量圖像，并且將所生成的前景分量圖像供應(yīng)給運(yùn)動(dòng)模糊調(diào)整單元106和選擇器107。
圖91是說(shuō)明前景/背景分離器1102配置的一個(gè)實(shí)例的方框圖。
圖91中與圖65所示前景/背景分離器105類似的部件由類似的參考標(biāo)號(hào)表示，因此省略對(duì)其說(shuō)明。
選擇器1121根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息，選擇當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比，或者選擇當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的未覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比，并且將所選擇的估算混合比作為混合比α供應(yīng)給分離部分601。
分離部分601根據(jù)從選擇器1121供應(yīng)的混合比α和區(qū)域信息，從屬于混合區(qū)域的像素的像素值中提取前景分量和背景分量，并且把所提取的前景分量供應(yīng)給合成器603，以及把所提取的背景供應(yīng)給合成器605。
分離部分601可以備配置為類似圖70所示的對(duì)應(yīng)物。
合成器603合成前景分量圖像并輸出它。合成器605合成背景分量圖像并輸出它。
圖89所示的運(yùn)動(dòng)模糊調(diào)整單元106可以被配為類似于圖2所示的對(duì)應(yīng)物。運(yùn)動(dòng)模糊調(diào)整單元106根據(jù)區(qū)域信息和運(yùn)動(dòng)向量，調(diào)整包含在從前景/背景分離器1102供應(yīng)的前景分量圖像中的運(yùn)動(dòng)模糊量，并且輸出調(diào)整了運(yùn)動(dòng)模糊量前景分量圖像。
圖89所示的選擇器107根據(jù)例如反映用戶選擇德的選擇信號(hào)，選擇從前景/背景分離器1102供應(yīng)的前景分量圖像，或者選擇從運(yùn)動(dòng)模糊調(diào)整單元106供應(yīng)的調(diào)整了運(yùn)動(dòng)模糊量的前景分量圖像，并輸出所選擇的前景分量圖像。
如上所述，圖89所示的信號(hào)處理設(shè)備能夠調(diào)整包含在對(duì)應(yīng)于輸入圖像的前景對(duì)象的圖像中的運(yùn)動(dòng)模糊，并輸出所得到的前景對(duì)象圖像。如第一實(shí)施例，圖89所示的信號(hào)處理設(shè)備能夠計(jì)算是被嵌入信息的混合比α，并且輸出所計(jì)算的混合比α。
圖92是說(shuō)明用于組合前景分量圖像與確定背景圖像的信號(hào)處理設(shè)備的另一功能配置的方框圖。圖87所示的信號(hào)處理設(shè)備串行地執(zhí)行區(qū)域指定操作和混合比α的計(jì)算。相反，圖92所示的信號(hào)處理設(shè)備并行地執(zhí)行區(qū)域指定操作和混合比α的計(jì)算。
圖92中與圖89方框所示部件類似的功能部件由類似的參考標(biāo)號(hào)表示，因此省略對(duì)其說(shuō)明。
圖92所示的混合比計(jì)算器1101根據(jù)輸入圖像計(jì)算，當(dāng)假定輸入圖像中包含的每一像素屬于覆蓋的背景區(qū)域時(shí)的估算混合比、當(dāng)假定包含在輸入圖像中的每一像素屬于未覆蓋的背景區(qū)域時(shí)的估算混合比，并且將以上述方式計(jì)算的估算混合比供應(yīng)給前景/背景分離器1102和合成器1201。
圖92所示的前景/背景分離器1102根據(jù)當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的未覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息，從輸入圖像中生成前景分量圖像，并且將所生成的前景分量圖像供應(yīng)給合成器1201。
合成器1201根據(jù)當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的未覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比、以及從區(qū)域指定單元103供應(yīng)的區(qū)域信息，組合確定的背景圖像與從前景/背景分離器1102供應(yīng)的前景分量圖像，并且輸出組合了背景圖像與前景分量圖像的合成圖像。
圖93圖示說(shuō)明了合成器1202的配置，該合成器1202與圖88的方框圖類似的功能部件用類似參考標(biāo)號(hào)表示，因此省略對(duì)其說(shuō)明。
選擇器1221根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息，選擇當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比，或者選擇當(dāng)假定像素屬于從混合比計(jì)算器1101供應(yīng)的未覆蓋的背景區(qū)域時(shí)計(jì)算的估算混合比，并且將所選擇的估算混合比作為混合比α供應(yīng)給背景分量生成器1021。
圖93所示的背景分量生成器1021根據(jù)從選擇器1221供應(yīng)的混合比α和某一背景圖像，生成背景分量圖像，并且把背景分量圖像供應(yīng)給混合區(qū)域圖像合成部分1022。
圖93所示的混合區(qū)域圖像合成部分1022組合從背景分量生成器1021供應(yīng)的背景分量圖像與前景分量圖像，以便生成混合區(qū)域合成圖像，并且把所生成的混合區(qū)域合成圖像供應(yīng)給圖像合成部分1023。
圖像合成部分1023根據(jù)區(qū)域信息，組合前景分量圖像、從混合區(qū)域圖像合成部1022供應(yīng)的混合區(qū)域合成圖像以及背景圖像，以便生成合成圖像并輸出該圖像。
這樣，合成部分1201能夠組合前景分量圖像與某一背景圖像。
圖94是說(shuō)明信號(hào)處理設(shè)備另一配置的方框圖。
圖94中類似于圖2的元件用相同標(biāo)號(hào)表示，因此省略其說(shuō)明。
供應(yīng)給信號(hào)處理設(shè)備的輸入圖像被供應(yīng)給對(duì)象提取單元101、區(qū)域指定單元103、平坦部分提取單元1501、分離/模糊消除單元1503以及合成器1504。
對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的前景對(duì)象的粗圖像對(duì)象，并且向運(yùn)動(dòng)檢測(cè)器102供應(yīng)所提取的圖像對(duì)象。對(duì)象提取單元101提取對(duì)應(yīng)于包含在輸入圖像中的背景對(duì)象的粗圖像對(duì)象，并且向運(yùn)動(dòng)檢測(cè)器102供應(yīng)所提取的圖像對(duì)象。
運(yùn)動(dòng)檢測(cè)器102計(jì)算對(duì)應(yīng)于前景對(duì)象的粗圖像對(duì)象的運(yùn)動(dòng)向量，并且把所計(jì)算的運(yùn)動(dòng)向量和該運(yùn)動(dòng)向量的位置信息供應(yīng)給區(qū)域指定單元103、平坦部分提取單元105、處理單位確定單元1502以及分離/模糊消除單元1503。
區(qū)域指定單元103向把輸入圖像的每個(gè)像素指定到前景區(qū)域、背景區(qū)域或者混合區(qū)域之一，并且向平坦部分提取單元1501、處理單位確定單元1502和合成器1504供應(yīng)指示信息，以指示每個(gè)像素屬于前景區(qū)域、背景區(qū)域或者混合區(qū)域之中的哪一個(gè)。
平坦部分提取單元1501根據(jù)輸入圖像、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息、從區(qū)域指定單元103供應(yīng)的區(qū)域信息，提取一個(gè)平坦部分；在該平坦部分中，屬于前景區(qū)域的鄰近像素的像素值變化的量是很小的，該平坦部分是從按照以下運(yùn)動(dòng)方向排列的連續(xù)像素之中選擇的從屬于未覆蓋的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素。平坦部分提取單元1501提取的平坦部分由具有相等像素值的像素組成。
例如，平坦部分提取單元1501根據(jù)輸入圖像、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息、從區(qū)域指定單元103供應(yīng)的區(qū)域信息，提取一個(gè)平坦部分；在該平坦部分中，屬于前景區(qū)域的鄰近像素的像素值變化的量小于一個(gè)預(yù)存的閾值Tfh1，該平坦部分是從按照以下運(yùn)動(dòng)方向排列的連續(xù)像素之中選擇的從屬于未覆蓋的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素。
平坦部分提取單元1501還提取例如一個(gè)平坦部分，在該平坦部分中，前景分量圖像的鄰近像素的像素值變化的量在1％以內(nèi)?？梢园严袼刂底兓康谋戎翟O(shè)置為一個(gè)理想值，該比值是提取平坦部分的基準(zhǔn)值。
平坦部分提取單元1501還提取一個(gè)平坦部分，在該平坦部分中，前景分量圖像的鄰近像素的像素值的標(biāo)準(zhǔn)偏移小于預(yù)存的閾值Thf1。
此外，平坦部分提取單元1501例如根據(jù)對(duì)應(yīng)于前景分量圖像的鄰近像素的像素值的回歸線(regression line)提取回歸線和各像素值的誤差之和小于預(yù)存閾值Thf1的一個(gè)平坦部分。
提取平坦部分的基準(zhǔn)值，比如閾值Thf1或者像素值變化量的比值，可以被設(shè)置為一個(gè)預(yù)期值，但是本發(fā)明不受提取平坦部分的基準(zhǔn)值的限制?？梢宰赃m應(yīng)地改變提取平坦部分的基準(zhǔn)值。
平坦部分提取單元1501生成前景平坦部分位置信息(它是指示所提取的平坦部分位置的信息)，并且把所生成的前景平坦部分位置信息供應(yīng)給處理單位確定單元1502。
處理單位確定單元1502根據(jù)從平坦部分提取單元1501供應(yīng)的前景平坦部分位置信息、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息、區(qū)域指定單元103供應(yīng)的區(qū)域信息，確定至少指示屬于前景區(qū)域或者混合區(qū)域的一個(gè)像素的處理單位。
處理單位確定單元1502向分離/模糊消除單元1503供應(yīng)所生成的處理單位。
分離/模糊消除單元1503根據(jù)從處理單位確定單元1502供應(yīng)的處理單位以及從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息，從輸入圖像的像素值之中的處理單位指定的像素中生成沒有運(yùn)動(dòng)模糊的前景分量圖像以及已分離的背景分量圖像，并且把所生成的前景分量圖像和背景分量圖像供應(yīng)給合成器1504。
合成器1504根據(jù)從區(qū)域指定單元103供應(yīng)的區(qū)域信息，合成來(lái)自沒有運(yùn)動(dòng)模糊的前景分量圖像的消除了前景對(duì)象運(yùn)動(dòng)模糊的圖像、已分離的背景分量圖像、從分離/模糊消除單元1503供應(yīng)的輸入圖像，并且輸出所合成的沒有運(yùn)動(dòng)模糊的圖像。
圖95是說(shuō)明分離/模糊消除單元1503配置的方框圖。從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息和從處理單位確定單元1502供應(yīng)的處理單位被供應(yīng)給模型形成部分1521。
模型形成部分1521根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息和從處理單位確定單元1502供應(yīng)的處理單位生成一個(gè)模型，并且將所生成的模型供應(yīng)給方程生成器1522。
下面參照?qǐng)D96至圖99說(shuō)明處理單位和對(duì)應(yīng)于處理單位的模型。
圖96圖示說(shuō)明了通過(guò)增加足夠的傳感器的快門速度來(lái)抑制運(yùn)動(dòng)模糊發(fā)生時(shí)的像素的一個(gè)實(shí)例。F01至F20是對(duì)應(yīng)于前景對(duì)象的圖像分量。
對(duì)應(yīng)于前景對(duì)象的像素值C04是F01，對(duì)應(yīng)于前景對(duì)象的像素值C05是F02，對(duì)應(yīng)于前景對(duì)象的像素值C06是F03。每個(gè)像素值由對(duì)應(yīng)于前景對(duì)象的圖像的分量組成。同樣，像素值C07至C23分別對(duì)應(yīng)于F04至F20。
在圖96所示的實(shí)例中，由于背景對(duì)象是靜止的，因此運(yùn)動(dòng)模糊不出現(xiàn)在背景中。
對(duì)應(yīng)于背景對(duì)象的像素值C01是B01，對(duì)應(yīng)于背景對(duì)象的像素值C02是B02，對(duì)應(yīng)于背景對(duì)象的像素值C03是B03。同樣，對(duì)應(yīng)于背景對(duì)象的像素值C24是F24，對(duì)應(yīng)于背景對(duì)象的像素值C25是B25，對(duì)應(yīng)于背景對(duì)象的像素值C26是B26。
圖97圖示說(shuō)明了當(dāng)運(yùn)動(dòng)模糊出現(xiàn)時(shí)在時(shí)間方向擴(kuò)展像素值而獲得的一個(gè)模型。
在圖97所示的實(shí)例中，運(yùn)動(dòng)量v是5，并且前景對(duì)象在圖97中正在從左向右運(yùn)動(dòng)。
在圖97所示的實(shí)例中，左數(shù)第二至第五像素屬于混合區(qū)域，左數(shù)第二十二至第二十五像素屬于混合區(qū)域。
左數(shù)第六至第二十一像素屬于背景區(qū)域。
根據(jù)預(yù)存的閾值Thf1，平坦部分提取單元1501從沿著向?qū)儆诟采w的背景區(qū)域的像素的運(yùn)動(dòng)方向排列連續(xù)像素之中，提取屬于前景區(qū)域的其變化量小于閾值Thf1的連續(xù)像素，閾值Thf1是足夠小的值。平坦部分提取單元1501提取的連續(xù)像素的數(shù)量必須大于前景對(duì)象的運(yùn)動(dòng)量v。例如，當(dāng)一幀內(nèi)的運(yùn)動(dòng)量v是5時(shí)，平坦部分提取單元1501提取五個(gè)或者五個(gè)以上像素，在這些像素中，像素值幾乎沒有變化(即，是平坦部分)。
例如，在圖98所示的實(shí)例中，當(dāng)方程(105)有效時(shí)，依據(jù)方程(106)至(110)的關(guān)系式，前景分量F06/v至F04/v是相等的。
C11＝C12＝C13＝C14＝C15(105)C11＝F06/v+F07/v+F08/v+F09/v+F10/v (106)C12＝F07/v+F08/v+F09/v+F10/v+F11/v (107)C13＝F08/v+F09/v+F10/v+F11/v+F12/v (108)C14＝F09/v+F10/v+F11/v+F12/v+F13/v (109)C15＝F10/v+F11/v+F12/v+F13/v+F14/v (110)也就是，由方程(111)指示的前景分量F06/v至F14/v可以有效。
F06/v＝F07/v＝F08/v＝F09/v＝F10/v＝F11/v＝F12/v＝F13/v＝F14/v (111)所以，如圖99所示，在計(jì)算前景分量和背景分量的后續(xù)處理中，僅僅需要計(jì)算背景分量F01/v至F20/v和背景分量B02/v至B05/v以及背景分量B22/v至B25/v，而不需要計(jì)算前景分量F06/v至F14/v。
例如，如圖98所示，在24個(gè)像素之中，即圖98直線上左數(shù)第二至第二十五像素(它們?cè)趶膶儆谖锤采w的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素的運(yùn)動(dòng)方向連續(xù)排列)，如果左數(shù)第十一至第十五像素屬于一個(gè)平坦部分，則包含在第十一至第十五像素中的前景分量可以被移出。所以，如圖99所示，生成方程(112)至(120)，以用于對(duì)應(yīng)于剩余連續(xù)像素的前景分量和背景分量，即前景分量F01/v至F05/v和背景分量B02/v至B05/v。
C02′＝4×B02/v+F01/v (112)C03′＝3×B03/v+F01/v+F02/v(113)C04′＝2×B04/v+F01/v+F02/v+F03/v (114)C05′＝B05/v+F01/v+F02/v+F03/v+F04v+F05/v (115)C06′＝F01/v+F02/v+F03/v+F04/v+F05/v (116)C07′＝F02/v+F03/v+F04/v+F05/v (117)C08′＝F03/v+F04/v+F05/v (118)C09′＝F04/v+F05/v (119)C10′＝F05/v (120)這里有九個(gè)變量，即前景分量F01/v至F05/v和背景分量B02/v至B05/v，用于九個(gè)方程(112)至(120)。因此，通過(guò)求解方程(112)至(120)，可以獲得前景分量F01/v至F05/v和背景分量B02/v至B05/v。
同樣，可以產(chǎn)生用于前景分量F15/v至F20/v和背景分量B22/v至B25/v的方程(121)至(130)。
C16′＝F15/v (121)C17′＝F15/v+F16/v (122)C18′＝F15/v+F16/v+F17/v (123)C19′＝F15/v+F16/v+F17/v+F18/v (124)C20′＝F15/v+F16/v+F17/v+F18/v+F19/v (125)C21′＝F16/v+F17/v+F18/v+F19/v+F20/v (126)C22′＝F17/v+F18/v+F19/v+F20/v+F22/v (127)C23′＝F18/v+F19/v+F20/v+2×B23/v (128)C24′＝F019/v+F20/v+3×B24/v (129)C25′＝F20/v+4×B25/v (130)這里有十個(gè)變量，即前景分量F15/v至F20/v和背景分量B22/v至B25/v，用于十個(gè)方程(121)至(130)。因此，通過(guò)求解方程(121)至(130)，可以獲得前景分量F15/v至F20/v和背景分量B22/v至B25/v。
再參見圖95，模型形成部分1522根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息和從處理單位確定單元1502供應(yīng)的處理單位，確定時(shí)間方向上的像素值分割部分、每個(gè)像素的前景分量的數(shù)量、每個(gè)像素的背景分量的數(shù)量。模型形成部分1522隨后形成一個(gè)模型，用于生成計(jì)算上述前景分量和背景分量的方程，并且把所生成的方程供應(yīng)給方程生成器1522。
方程生成器1522根據(jù)從模型形成部分1521供應(yīng)的模型生成方程。方程生成器1522把屬于對(duì)應(yīng)的前景或者背景的像素值設(shè)置為所生成的方程中，然后向計(jì)算器1523供應(yīng)設(shè)置了像素值的方程。
計(jì)算器1523求解從方程生成器1522供應(yīng)的方程，以便計(jì)算前景分量和背景分量。
例如，當(dāng)供應(yīng)對(duì)應(yīng)于方程(112)至(120)的方程時(shí)，計(jì)算器1523由方程(131)表示的方程左邊矩陣的逆矩陣，并且計(jì)算前景分量F01/v至F05/v和背景分量B02/v至B05/v。
100004000110000300111000020111100001111110000011110000001110000000110000000010000F01/vF02/vF03/vF04/vF05/vB02/vB03/vB04/vB05/v=C02′C03′C04′C05′C06′C07′C08′C09′C10′---(131)]]>此外，當(dāng)供應(yīng)對(duì)應(yīng)于方程(121)至(130)的方程時(shí)，計(jì)算器1523確定由方程(132)表示的方程的左邊矩陣的逆矩陣，并且計(jì)算前景分量F15/v至F20/v和背景分量B22/v至B25/v。
1000000000110000000011100000001111000000111110000001111100000011111000000111020000001100300000010004F15/vF16/vF17/vF18/vF19/vF20/vB22/vB23/vB24/vB25/v=C16′C17′C18′C19′C20′C21′C22′C23′C24′C25′---(132)]]>計(jì)算器1523根據(jù)前景分量和背景分量，生成消除了運(yùn)動(dòng)模糊的前景分量圖像和背景分量圖像，并且輸出沒有運(yùn)動(dòng)模糊的前景分量圖像和已分離的背景圖像分量。
例如，當(dāng)求解該方程以確定前景分量F01/v至F05/v和背景分量B02/v至B05/v以及前景分量F15/v至F20/v和背景分量B22/v至B25/v時(shí)，如圖100所示，計(jì)算器1523用運(yùn)動(dòng)量v乘前景分量F01/v至F05/v、背景分量B02/v、背景分量B03/v、前景分量F15/v至F20/v、背景分量B24/v和背景分量B25/v，以便分別算出像素值F01至F05、像素值B02、像素值B03、像素值F15至F20、像素值B24、像素值B25。
計(jì)算器1523生成例如沒有運(yùn)動(dòng)模糊的前景分量圖像和已分離背景分量圖像，其中，所述前景分量圖像由像素值F01至F05和像素值F15至F20組成，所述已分離背景分量圖像由像素值B02、像素值B03、像素值B24和像素值B25組成。
下面參照?qǐng)D101和圖102說(shuō)明由分離/模糊消除單元1503執(zhí)行的實(shí)際處理結(jié)果的實(shí)例。
圖101圖示說(shuō)明了前景對(duì)象和背景對(duì)象被混合的輸入圖像的實(shí)例。圖101右上端的圖像對(duì)應(yīng)于背景對(duì)象，圖101左下端的圖像對(duì)應(yīng)于前景對(duì)象。前景對(duì)象正在從左向右運(yùn)動(dòng)。左上端與左下端之間的帶狀部分是混合區(qū)域。
圖102示出了對(duì)于圖101的中心線上的像素執(zhí)行上述處理而獲得的結(jié)果。圖102中的細(xì)虛線指示輸入圖像的像素值。
圖102中的粗虛線指示沒有運(yùn)動(dòng)模糊的前景對(duì)象的像素值，圖中的點(diǎn)劃線(one-dot-chain line)代表沒有前景對(duì)象的背景對(duì)象的像素值。
圖102的實(shí)線代表消除了運(yùn)動(dòng)模糊的前景分量圖像的像素值，以及執(zhí)行對(duì)輸入圖像的上述處理之后的已分離背景分量圖像。
正如從上述結(jié)果所看到的那樣，具有圖94所示配置的信息處理設(shè)備能夠輸出接近于沒有運(yùn)動(dòng)模糊的前景對(duì)象的像素值的像素值和不包含前景對(duì)象的背景對(duì)象的像素值。
下面參照?qǐng)D103說(shuō)明由具有圖94所示配置的信號(hào)處理設(shè)備執(zhí)行的消除運(yùn)動(dòng)模糊的處理。在步驟S1001中，區(qū)域指定單元103通過(guò)根據(jù)輸入圖像生成指示輸入圖像屬于前景區(qū)域、背景區(qū)域、覆蓋的區(qū)域或者未覆蓋的背景區(qū)域之中的哪一個(gè)的區(qū)域信息，來(lái)執(zhí)行區(qū)域指定處理。區(qū)域指定單元103向平坦部分提取單元1501供應(yīng)所生成的區(qū)域信息。
在步驟S1002中，平坦部分提取單元1501根據(jù)運(yùn)動(dòng)向量及其位置信息和區(qū)域信息，從屬于未覆蓋的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素的運(yùn)動(dòng)方向連續(xù)定位的像素之中，提取一個(gè)平坦部分；在該平坦部分中，屬于前景區(qū)域的像素的像素值變化的量小于閾值Thf1。平坦部分提取單元1501生成指示提取的平坦部分的位置的前景平坦部分位置信息，并且將所生成的前景平坦部分位置信息供應(yīng)給處理單位確定單元1502。
在步驟S1003中，處理單位確定單元1502確定根據(jù)運(yùn)動(dòng)向量及其位置信息和區(qū)域信息確定處理單位，以指示包含在對(duì)應(yīng)于前景的對(duì)象中的至少一個(gè)像素，并且將處理單位供應(yīng)給分離/模糊消除單元1503。
在步驟S1004中，分離/模糊消除單元1503根據(jù)從處理單位確定單元1502供應(yīng)的處理單位、從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息，對(duì)輸入圖像的像素之中的由處理單位指定的像素同時(shí)執(zhí)行分離前景和背景的處理和消除運(yùn)動(dòng)模糊的處理，從而計(jì)算對(duì)應(yīng)于由處理單位指定的像素的前景分量和背景分量。下面參照?qǐng)D104的流程圖說(shuō)明同時(shí)進(jìn)行分離前景和背景以及消除運(yùn)動(dòng)模糊的處理的細(xì)節(jié)。
在步驟S1005中，分離/模糊消除單元1503計(jì)算平坦部分的前景分量。
在步驟S1006中，分離/模糊消除單元1503根據(jù)在步驟S1004處理中計(jì)算的前景分量和在步驟S1005處理中計(jì)算的平坦部分的前景分量，計(jì)算沒有運(yùn)動(dòng)模糊的前景分量圖像的像素值以及背景分量圖像的像素值。分離/模糊消除單元1503向合成器1504供應(yīng)沒有運(yùn)動(dòng)模糊的前景分量圖像和背景分量圖像。
在步驟S1007中，信號(hào)處理設(shè)備確定是否已經(jīng)完成了對(duì)于整個(gè)屏幕的處理。如果還沒有完成對(duì)于整個(gè)屏幕的處理，則處理返回到步驟S1004，重復(fù)分離前景和背景以及消除運(yùn)動(dòng)模糊的處理。
如果在步驟S1007中確定已經(jīng)完成對(duì)于整個(gè)屏幕的處理，則處理前進(jìn)到步驟S1008，在該步驟中，合成器1504組合背景、沒有運(yùn)動(dòng)模糊的前景分量圖像、背景圖像分量。然后結(jié)束該處理。
如上所述，信號(hào)處理設(shè)備分離前景和背景，以便消除包含在前景中運(yùn)動(dòng)模糊。
下面參照?qǐng)D104說(shuō)明由分離/模糊消除單元1503執(zhí)行的分離前景和背景以及消除運(yùn)動(dòng)模糊的聯(lián)立(simultanous)處理。
在步驟S1201中，模型形成部分1521根據(jù)從處理單位確定單元1502供應(yīng)的處理單位以及從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息，形成一個(gè)模型。模型形成部分1521將所生成的模型供應(yīng)給方程生成器1522。
在步驟S1022，方程生成器1522根據(jù)從模型生成部分1521供應(yīng)的模型生成對(duì)應(yīng)于像素值、前景分量和背景分量之間的關(guān)系式的聯(lián)立方程。
在步驟S1023中，方程生成器1522將對(duì)應(yīng)于輸入圖像的像素值設(shè)置為所生成的聯(lián)立方程中。
在步驟S1024中，方程生成器1522確定是否已經(jīng)在連理方程中設(shè)置了所有像素值。如果確定還沒有設(shè)置所有像素值，則處理返回到步驟S1023，并重復(fù)設(shè)置像素值的處理。
如果在步驟S1024中確定已經(jīng)設(shè)置了所有像素值，則方程生成器1522向計(jì)算器1523供應(yīng)設(shè)置了像素值的聯(lián)立方程，計(jì)算器1523計(jì)算設(shè)置了像素值的聯(lián)立方程，以便計(jì)算前景分量和背景分量。然后結(jié)束該處理。
如上所述，分離/模糊消除單元1503能夠根據(jù)所計(jì)算的前景分量和背景分量生成沒有運(yùn)動(dòng)模糊的前景分量圖像和已分離背景分量圖像。
圖105是說(shuō)明信號(hào)處理再一設(shè)備配置的方框圖。圖中類似于圖94的部件由類似標(biāo)號(hào)表示，因而省略其說(shuō)明。
處理單位確定/分類單元1601根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息、從區(qū)域指定單元103供應(yīng)的區(qū)域信息、從平坦部分提取單元1501供應(yīng)的前景平坦部分提取單元1501供應(yīng)的前景平坦部分位置信息，生成處理單位。處理單位確定/分類單元1601還分類輸入圖像的像素，并把已分類的像素供應(yīng)給分離/模糊消除單元1503、運(yùn)動(dòng)模糊消除單元1602、前景分量圖像重現(xiàn)單元1603、背景分量模糊重現(xiàn)單元1604之一。
處理單位確定/分類單元1601從屬于未覆蓋的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素的運(yùn)動(dòng)方向上連續(xù)排列的像素之中，消除前景分量，該前景分量對(duì)應(yīng)于來(lái)自屬于前景區(qū)域的像素的平坦部分。處理單位確定/分類單元1601向分離/消除單元1503，供應(yīng)屬于混合區(qū)域的像素(在該混合區(qū)域中消除了對(duì)應(yīng)于前景區(qū)域平坦部分的前景分量)、屬于前景區(qū)域的像素以及對(duì)應(yīng)的處理單位。
處理單位確定/分類單元1601將前景分量圖像重現(xiàn)單元1603供應(yīng)給前景區(qū)域的平坦部分圖像。
處理單位確定/分類單元1601向運(yùn)動(dòng)模糊消除單元1602供應(yīng)屬于前景區(qū)域的被平坦部分相夾的像素(消除了對(duì)應(yīng)于平坦部分的前景分量)以及對(duì)應(yīng)的處理單位。
分離/模糊消除單元1503以類似于參考圖104的流程圖討論的處理方式，生成沒有運(yùn)動(dòng)模糊的前景分量圖像和已分離的背景分量圖像，其中該前景分量圖像對(duì)應(yīng)于屬于前景區(qū)域的像素和屬于混合區(qū)域的像素。分離/模糊消除單元1503把沒有運(yùn)動(dòng)模糊的前景分量圖像供應(yīng)給前景分量圖像重現(xiàn)單元1603，并且把已分離背景分量圖像供應(yīng)給背景分量圖像重現(xiàn)單元1604。
運(yùn)動(dòng)模糊消除單元1602根據(jù)從處理單位確定/分類單元1601供應(yīng)的處理單位，計(jì)算與屬于前景區(qū)域的被平坦部分相夾的像素相對(duì)應(yīng)的前景分量，以便生成對(duì)應(yīng)于所計(jì)算的前景分量的沒有運(yùn)動(dòng)模糊的前景分量圖像。運(yùn)動(dòng)模糊單元1602向前景分量圖像重現(xiàn)單元1603供應(yīng)所生成的前景分量圖像。
圖106是說(shuō)明運(yùn)動(dòng)模糊消除單元1602配置的方框圖。
運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息和處理單位確定/分類單元1601所供應(yīng)的處理單位被供應(yīng)給模型形成部分1621。
模型形成部分1621根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息和處理單位確定/分類單元1601供應(yīng)的處理單位，生成一個(gè)模型，并且將所生成的模型供應(yīng)給方程生成器1622。
下面結(jié)合圖107和圖108說(shuō)明供應(yīng)給方程生成器1622的模型。
圖107圖示說(shuō)明了通過(guò)在時(shí)間方向上擴(kuò)展屬于前景區(qū)域的像素的像素值而獲得的模型。
處理單位確定/分離部分601以類似于參照?qǐng)D98討論的處理的方式，從屬于前景區(qū)域的像素中消除對(duì)應(yīng)于平坦部分的前景分量。
例如，在圖107所示的實(shí)例中，當(dāng)方程(133)有效時(shí)，可以發(fā)現(xiàn)依據(jù)方程(134)至(138)的關(guān)系，前景分量F106/v至F114/v是相等的。因此，如圖108所示，從屬于前景區(qū)域的像素中消除前景分量F106/v至F114/v。
C110＝C111＝C112＝C113＝C114 (133)C110＝F106/v+F107/v+F108/v+F109/v+F110v (134)C111＝F107/v+F108/v+F109/v+F110/v+F110/v (135)C112＝F108/v+F109/v+F110/v+F111/v+F112/v (136)C113＝F109/v+F110/v+F111/v+F112/v+F113/v (137)C114＝F110/v+F111/v+F112/v+F113/v+F114/v (138)同樣，從屬于前景區(qū)域的像素中消除前景分量F96/v至F100/v和對(duì)應(yīng)于另一平坦部分前景分量F120/v至F124/v。
這樣，從處理單位確定/分類單元1601向運(yùn)動(dòng)模糊消除單元1602供應(yīng)屬于前景區(qū)域的被平坦部分相夾的像素(在這些像素中消除了對(duì)應(yīng)于平坦部分的前景分量)以及對(duì)應(yīng)的處理單位。
運(yùn)動(dòng)模糊消除單元1602的模型形成部分1621根據(jù)處理單位形成一個(gè)用于生成諸多方程的模型，這些方程對(duì)應(yīng)于屬于前景區(qū)域的被平坦部分相夾的像素(消除了對(duì)應(yīng)于平坦部分的前景分量)與剩余的前景分量之間的關(guān)系式。
模型形成部分1621將所生成的模型供應(yīng)給方程生成器1622。
方程生成器1622根據(jù)從模型形成部分1621供應(yīng)的模型，生成對(duì)應(yīng)于屬于前景區(qū)域的被平坦部分相夾的像素(消除了對(duì)應(yīng)于平坦部分的前景分量)與剩余的前景分量之間的關(guān)系式的方程。
例如，前景分量F101/v至F105/v與像素值之間的關(guān)系由方程(139)至(147)表示。
C101′＝F101/v(139)C102′＝F101/v+F102/v (140)C103′＝F101/v+F102/v+F103/v (141)C104′＝F101/v+F102/v+F103/v+F104/v (142)C105′＝F101/v+F102/v+F103/v+F104/v+F105/v(143)
C106′＝F102/v+F103/v+F104/v+F105/v (144)C107″＝F103/v+F104/v+F105/v (145)C108″＝F104/v+F105/v (146)C109″＝F105/v(147)前景分量F101/v至F105/v與像素值之間的關(guān)系由方程(148)至(156)表示。
C115′＝F115/v(148)C116′＝F115/v+F116/v (149)C117′＝F115/v+F116/v+F117/v (150)C118′＝F115/v+F116/v+F117/v+F118/v (151)C119′＝F115/v+F116/v+F117/v+F118/v+F119/v(152)C120′＝F116/v+F117/v+F118/v+F119/v (153)C121″＝F117/v+F118/v+F119/v (154)C122″＝F118/v+F119/v (155)C123″＝F119/v(156)方程生成器1622根據(jù)最小二乘法求解設(shè)置了像素值的方程(139)至(147)和方程(148)至(156)，以便獲得法方程，例如方程(157)和(158)。
5432145432345432345412345F101F102F103F104F105=v·C101′+C102′+C103′+C104′+C105′C102′+C103′+C104′+C105′+C106′C103′+C104′+C105′+C106′+C107′C104′+C105′+C106′+C107′+C108′C105′+C106′+C107′+C108′+C109′---(157)]]>5432145432345432345412345F115F116F117F118F119=v·C115′+C116′+C117′+C118′+C119′C116′+C117′+C118′+C119′+C120′C117′+C118′+C119′+C120′+C121′C118′+C119′+C120′+C121′+C122′C119′+C120′+C121′+C122′+C123′---(158)]]>方程生成器1622根據(jù)從模型形成部分1621供應(yīng)的模型生成方程，并且把所生成的方程和前景分量圖像一起供應(yīng)給加法器1623。
加法器1623把方程生成器1622供應(yīng)的方程加到通過(guò)最小二乘法獲得的法方程上。加法器1623將所得到的法方程供應(yīng)給計(jì)算器1624。
計(jì)算器1624通過(guò)將一種解法，比如Cholesky分解應(yīng)用于設(shè)置了像素值的法方程，來(lái)計(jì)算包含在前景分量圖像中的前景分量，而不是計(jì)算包含在屬于平坦部分的像素中的前景分量。計(jì)算器1624根據(jù)所計(jì)算的前景分量生成沒有運(yùn)動(dòng)模糊的前景分量圖像，并輸出沒有運(yùn)動(dòng)模糊的前景分量圖像。
例如，當(dāng)前景分量F101/v至F105/v和前景分量F115/v至F119/v被確定時(shí)，計(jì)算器1624用運(yùn)動(dòng)量v乘前景分量F101/v至F105/v以及前景分量F115/v至F119/v，如圖109所示，從而分別計(jì)算像素值F101至F105和像素值F115至F119。
計(jì)算器1624生成由例如像素值F101至F105和像素值F115至F119組成的沒有運(yùn)動(dòng)模糊的前景分量圖像。
下面結(jié)合圖110說(shuō)明具有圖94所示配置的信號(hào)處理設(shè)備所執(zhí)行的消除運(yùn)動(dòng)模糊的處理。
步驟S1101至步驟S1103的處理類似于圖103的步驟S1001至步驟S1003，因而省略對(duì)其說(shuō)明。
在步驟S1104中，處理單位確定/分類單元1601根據(jù)從運(yùn)動(dòng)檢測(cè)器102供應(yīng)的運(yùn)動(dòng)向量及其位置信息、從趨于制定單元103供應(yīng)的區(qū)域信息以及從平坦部分提取單元1501供應(yīng)的前景平坦部分位置信息，對(duì)輸入圖像的像素分類，并所分類的像素供應(yīng)給分離/模糊消除單元1503、運(yùn)動(dòng)模糊消除單元1602、前景分量圖像重現(xiàn)單元1603和背景分量圖像重現(xiàn)單元1604之一。
在步驟S1105中，分離/模糊消除單元1503同時(shí)執(zhí)行對(duì)于屬于混合區(qū)域的像素的分離前景和背景的處理和消除運(yùn)動(dòng)模糊的處理，在該混合區(qū)域中消除了對(duì)應(yīng)于前景區(qū)域的平坦部分的前景分量；并且從屬于未覆蓋的背景區(qū)域的像素到屬于覆蓋的背景區(qū)域的像素的運(yùn)動(dòng)方向連續(xù)排列的諸多像素中選擇屬于前景區(qū)域的像素。步驟S1105的處理細(xì)節(jié)類似于圖103的步驟S1004的處理，因此省略對(duì)其說(shuō)明。
在步驟S1106中，分離/模糊消除單元1503根據(jù)所計(jì)算的前景分量和背景分量，計(jì)算沒有運(yùn)動(dòng)模糊的前景分量圖像的像素值以及背景分量的像素值。分離/模糊消除單元1503把沒有運(yùn)動(dòng)模糊的前景分量圖像供應(yīng)給前景分量圖像重現(xiàn)單元1603，并且還把背景分量圖像供應(yīng)給背景分量圖像重現(xiàn)單元1604。
在步驟S1107中，信號(hào)處理設(shè)備確定是否已經(jīng)完成混合區(qū)域和前景區(qū)域的處理。如果確定用于混合區(qū)域和前景區(qū)域的處理還未完成，則處理返回到步驟S1105，并重復(fù)分離前景和背景和消除運(yùn)動(dòng)模糊的處理。
如果，在步驟S1107中確定已經(jīng)完成用于混合區(qū)域和前景區(qū)域的處理，則處理前景到步驟S1108。在步驟S1108中，運(yùn)動(dòng)模糊消除單元1602執(zhí)行屬于前景區(qū)域的被平坦部分相夾的像素的運(yùn)動(dòng)模糊的處理；該像素中沒有對(duì)應(yīng)于平坦部分的前景分量，該平坦部分是從運(yùn)動(dòng)方向連續(xù)排列的像素中選出的。下面結(jié)合圖111的流程圖說(shuō)明運(yùn)動(dòng)模糊消除處理的細(xì)節(jié)。
在步驟S1109中，運(yùn)動(dòng)模糊消除單元1602根據(jù)所計(jì)算的前景分量計(jì)算沒有運(yùn)動(dòng)模糊的前景分量圖像。運(yùn)動(dòng)模糊消除單元1602將沒有運(yùn)動(dòng)模糊的前景分量圖像供應(yīng)給前景分量圖像重現(xiàn)單元1603。
在步驟S1110中，信號(hào)處理設(shè)備確定是否已經(jīng)完成前景區(qū)域的處理。如果確定還沒有完成前景區(qū)域的處理，則步驟返回到步驟S1108，并且重復(fù)運(yùn)動(dòng)模糊消除的處理。
如果在步驟S1110中確定已經(jīng)完成用于前景區(qū)域的處理，則處理前進(jìn)到步驟S1111。
應(yīng)當(dāng)注意的是，步驟S1108至步驟S1101的處理與步驟S1105至步驟S1107的處理同時(shí)進(jìn)行。
在步驟S1111中，前景分量圖像重現(xiàn)單元1603根據(jù)從處理單位確定/分類單元1601供應(yīng)的平坦部分圖像、從分離/模糊消除單元1503供應(yīng)的沒有運(yùn)動(dòng)模糊的前景分量圖像、從運(yùn)動(dòng)模糊消除單元1602供應(yīng)的沒有運(yùn)動(dòng)模糊的前景分量圖像，重現(xiàn)所有的沒有運(yùn)動(dòng)模糊的前景分量圖像。背景分量圖像重放單元1604根據(jù)從處理單位確定/分類單元1601供應(yīng)的背景區(qū)域圖像和從分離/模糊消除單元1503分離的背景分量圖像重現(xiàn)所有背景分量圖像。然后結(jié)束該處理。
如上所述，具有如圖105所示配置的信息處理設(shè)備能夠從前景對(duì)象中消除運(yùn)動(dòng)模糊。
下面結(jié)合圖111的流程圖說(shuō)明在圖110的步驟S1108中由運(yùn)動(dòng)模糊單元1602執(zhí)行的消除對(duì)應(yīng)于處理單位的前景分量圖像的運(yùn)動(dòng)模糊的處理。
在步驟S1121中，運(yùn)動(dòng)模糊消除單元1602的模型形成部分1621形成對(duì)應(yīng)于運(yùn)動(dòng)量v和處理單位的一個(gè)模型。在步驟S1122中，方程生成器1622根據(jù)所生成的模型生成方程。
在步驟S1123中，加法器1623將消除了對(duì)應(yīng)于平坦部分的前景分量的前景分量圖像的像素值設(shè)置為所生成的方程中。在步驟S1124中，加法器1123確定是否已經(jīng)設(shè)置對(duì)應(yīng)于處理單位的所有像素的像素值。如果確定還沒有在所有方程中設(shè)置像素值，則處理返回到步驟S1123，并重復(fù)在方程中設(shè)置像素值的處理。
如果在步驟S1124中確定已經(jīng)在所有方程中設(shè)置了所有像素值，則處理前進(jìn)到步驟S1125。在步驟S1125中，計(jì)算器1624根據(jù)從加法器1623供應(yīng)的設(shè)置了像素值的方程，計(jì)算沒有運(yùn)動(dòng)模糊的前景的像素值。
如上所述，運(yùn)動(dòng)模糊消除單元1602能夠根據(jù)運(yùn)動(dòng)量v和處理單位，從包含運(yùn)動(dòng)模糊的前景分量中消除運(yùn)動(dòng)模糊。
上面，通過(guò)將混合比α調(diào)整到像素值中包含的背景分量的比值討論了本發(fā)明。此外，也可以將混合比α調(diào)整到像素值中包含的前景分量的比值。
上面，通過(guò)把前景對(duì)象的運(yùn)動(dòng)方向設(shè)置為從左到右的方向討論了本發(fā)明。此外，運(yùn)動(dòng)方向不限于上述的方向。
非混合區(qū)域或者混合區(qū)域被特別說(shuō)明；其中，非混合區(qū)域由形成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成的前景區(qū)域和由形成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象組成的背景區(qū)域構(gòu)成，而混合區(qū)域則是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域。根據(jù)指定區(qū)域而獲得的結(jié)果，可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理以及從前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。在此情況下，可以消除包含在模糊的圖像中的運(yùn)動(dòng)模糊。
由其數(shù)值基本上彼此相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分被檢測(cè)到。可以根據(jù)所檢測(cè)的相等部分和通過(guò)指定區(qū)域獲得的結(jié)果，至少同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位根據(jù)相等部分的位置來(lái)檢測(cè)。可以為每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位可以被確定，其中，所述的像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
相等部分由鄰近像素?cái)?shù)據(jù)組成，其像素?cái)?shù)量等于或大于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量，該相等部分可以被檢測(cè)。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型可以被獲得。根據(jù)所獲得的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系。處理單位內(nèi)包含的前景對(duì)象分量和背景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
圖像數(shù)據(jù)被輸入，該圖像數(shù)據(jù)具有由形成對(duì)象的對(duì)象分量組成的對(duì)象區(qū)域。通過(guò)假定輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。在此情況下，可以消除包含在模糊圖像中的運(yùn)動(dòng)模糊。
輸入這樣一個(gè)圖像數(shù)據(jù)，該圖像數(shù)據(jù)具有一個(gè)由形成對(duì)象的前景對(duì)象分量組成的前景區(qū)域，一個(gè)由形成背景對(duì)象的背景對(duì)象分量組成的背景區(qū)域，和一個(gè)混合了前景對(duì)象分量和背景對(duì)象分量的混合區(qū)域。通過(guò)假定輸入圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分被檢測(cè)。根據(jù)所檢測(cè)的相等部分可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
由多個(gè)前景對(duì)象分量組成的處理單位根據(jù)相等部分的位置來(lái)確定?？梢詾槊總€(gè)處理單位消除前景區(qū)域的運(yùn)動(dòng)模糊。
對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的位于一條直線上的像素?cái)?shù)據(jù)(它不同于相等部分的像素?cái)?shù)據(jù))的處理單位可以被確定。
可以指定前景區(qū)域。背景區(qū)域或者混合區(qū)域。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于對(duì)應(yīng)于前景對(duì)象的運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
可以獲得對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的一個(gè)模型。根據(jù)所獲得的模型，生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位中的前景對(duì)象分量之間的關(guān)系式。包含在處理單位內(nèi)的前景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
將混合區(qū)域的像素?cái)?shù)據(jù)分成前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理可以根據(jù)區(qū)域信息和相等部分來(lái)同時(shí)執(zhí)行，該區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位根據(jù)相等部分的位置來(lái)確定?？梢詾槊總€(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量消除運(yùn)動(dòng)模糊的處理。
對(duì)應(yīng)于像素?cái)?shù)據(jù)的處理單位可以被確定，該像素?cái)?shù)據(jù)屬于混合區(qū)域或者前景區(qū)域，并位于一條直線上而且不同于相等部分的像素?cái)?shù)據(jù)。
可以指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于對(duì)應(yīng)于前景對(duì)象的運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
可以獲得對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的一個(gè)模型。根據(jù)所獲得的模型，生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位中的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式。包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
由包含預(yù)定數(shù)量的像素并具有時(shí)間積分功能的圖像捕獲裝置捕獲的主體圖像被輸出，以作為由預(yù)定數(shù)量的像素?cái)?shù)據(jù)組成的圖像數(shù)據(jù)?？梢灾付ㄓ梢粋€(gè)前景區(qū)域和一個(gè)背景區(qū)域構(gòu)成的混合區(qū)域，或者指定混合了前景對(duì)象分量和背景對(duì)象分量的混合區(qū)域，所述的前景區(qū)域由形成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成。根據(jù)通過(guò)指定區(qū)域獲得的結(jié)果，可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。在此情況下，可以捕獲沒有運(yùn)動(dòng)模糊的圖像。
由其數(shù)值彼此基本相等的鄰近像素?cái)?shù)據(jù)組成的相等部分被檢測(cè)。至少可以根據(jù)所檢測(cè)的相等部分和通過(guò)指定區(qū)域獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位根據(jù)相等部分的位置來(lái)確定。對(duì)于每個(gè)每個(gè)處理單位，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量消除運(yùn)動(dòng)模糊的處理。
對(duì)應(yīng)于像素?cái)?shù)據(jù)的處理單位可以被確定，該像素?cái)?shù)據(jù)屬于混合區(qū)域或者前景區(qū)域，并位于一條直線上而且不同于相等部分的像素?cái)?shù)據(jù)。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于對(duì)應(yīng)于前景對(duì)象的運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
可以獲得對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的一個(gè)模型。根據(jù)所獲得的模型，生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位中的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式。包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
由包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能的圖像捕獲裝置捕獲的主體圖像作為由預(yù)定數(shù)量的像素?cái)?shù)據(jù)形成并且具有由形成對(duì)象的對(duì)象分量組成的對(duì)象區(qū)域的圖像數(shù)據(jù)輸出。通過(guò)假定圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。在此情況下，可以捕獲沒有運(yùn)動(dòng)模糊的圖像。
輸入這樣一個(gè)圖像數(shù)據(jù)，該圖像數(shù)據(jù)具有由形成對(duì)象的前景對(duì)象分量組成的前景區(qū)域，由形成背景對(duì)象的背景對(duì)象分量組成的背景區(qū)域，和混合了前景對(duì)象分量和背景對(duì)象分量的混合區(qū)域。
通過(guò)假定輸入圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，可以消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分被檢測(cè)。可以根據(jù)檢測(cè)的相等部分消除前景區(qū)域中出現(xiàn)的運(yùn)動(dòng)模糊。
由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位根據(jù)所檢測(cè)的相等部分的位置來(lái)確定。對(duì)于每個(gè)每個(gè)處理單位，可以消除前景區(qū)域的運(yùn)動(dòng)模糊。
對(duì)應(yīng)于像素?cái)?shù)據(jù)的處理單位可以被確定，該像素?cái)?shù)據(jù)屬于混合區(qū)域或者前景區(qū)域，并位于一條直線上而且不同于相等部分的像素?cái)?shù)據(jù)。
前景區(qū)域、背景區(qū)域或者混合區(qū)域可以被指定。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
相等部分由鄰近像素?cái)?shù)據(jù)組成，其像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量，該相等部分可以被檢測(cè)。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算可以消除前景區(qū)域中出現(xiàn)的運(yùn)動(dòng)模糊。
可以獲得對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的一個(gè)模型。根據(jù)所獲得的模型，生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位中的前景對(duì)象分量之間的關(guān)系式。包含在處理單位內(nèi)的前景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
將混合區(qū)域的像素?cái)?shù)據(jù)分成前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理可以根據(jù)區(qū)域信息和相等部分來(lái)同時(shí)執(zhí)行，該區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位根據(jù)相等部分的位置來(lái)確定。對(duì)于每個(gè)處理單位，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量消除運(yùn)動(dòng)模糊的處理。
對(duì)應(yīng)于像素?cái)?shù)據(jù)的處理單位可以被確定，該像素?cái)?shù)據(jù)屬于混合區(qū)域或者前景區(qū)域，并位于一條直線上而且不同于相等部分的像素?cái)?shù)據(jù)。
可以指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
通過(guò)比較像素?cái)?shù)據(jù)之差與閾值，可以檢測(cè)相等部分。
可以檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于對(duì)應(yīng)于前景對(duì)象的運(yùn)動(dòng)量的像素?cái)?shù)量。
通過(guò)應(yīng)用對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，可以同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理以及從已分離前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
可以獲得對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的一個(gè)模型。根據(jù)所獲得的模型，生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位中的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式。包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量可以根據(jù)所生成的方程來(lái)計(jì)算。
在上面的說(shuō)明中，通過(guò)使用攝像機(jī)將具有三維空間和時(shí)間軸信息的實(shí)空間圖像投影到具有二維空間和時(shí)間軸信息的時(shí)間空間上。此外，本發(fā)明不限于此實(shí)例，本發(fā)明也可以適用于下述情形。當(dāng)一維空間中較大的第一信息量被投影到二維空間中較小的第二信息量時(shí)，可以校正由于投影生成的失真，可以提取有效信息，或者可以合成更多的自然圖像。
傳感器不限于CCD，它可以是其它類型的傳感器，比如固態(tài)成像裝置，如CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)圖像傳感器、BBD(半鏈器件)、CID((ChargeInjection Device，電荷注入器件)或者CPD(Charge Prining Device)。此外，傳感器不一定是以矩陣方式安排檢測(cè)裝置的傳感器，它可以是按一行安排檢測(cè)裝置的傳感器。
記錄執(zhí)行本發(fā)明的圖像處理的程序的記錄媒體可以由記錄程序的軟件包媒體構(gòu)成，該軟件包媒體被配置為與計(jì)算機(jī)分離地向用戶提供程序，如圖1所示，該媒體可以是，比如磁盤51(包括軟盤)、光盤52(CD-ROM(光盤只讀存儲(chǔ)器)和DVD(數(shù)字通用光盤)，磁光盤53(包括MD(袖珍盤)、或者半導(dǎo)體存儲(chǔ)器54。記錄媒體還可以由ROM 22或者包含在記錄程序的存儲(chǔ)單元28中硬盤構(gòu)成，這種記錄媒體在計(jì)算機(jī)中預(yù)存后被提供給用戶。
形成在記錄媒體中記錄的程序的步驟可以根據(jù)說(shuō)明書所述的順序按時(shí)間順序運(yùn)行。然而它們不一定按照時(shí)間順序方式運(yùn)行，也可以同時(shí)或者單獨(dú)地運(yùn)行。
工業(yè)應(yīng)用性根據(jù)第一發(fā)明，它能夠消除包含在模糊圖像中的運(yùn)動(dòng)模糊。
根據(jù)第二發(fā)明，它能夠消除包含在模糊圖像中的運(yùn)動(dòng)模糊。
根據(jù)第三發(fā)明，它能夠捕獲消除了運(yùn)動(dòng)模糊的圖像。
根據(jù)第四發(fā)明，它能夠捕獲消除了運(yùn)動(dòng)模糊的圖像。
權(quán)利要求
1.一種圖像處理設(shè)備，用于對(duì)由圖像捕獲裝置獲得的預(yù)定數(shù)量的像素?cái)?shù)據(jù)所構(gòu)成的圖像數(shù)據(jù)執(zhí)行處理，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，所述圖像處理設(shè)備包括區(qū)域指定裝置，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合了前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行裝置，根據(jù)通過(guò)由所述區(qū)域指定裝置指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
2.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，還包括相等部分檢測(cè)裝置，用于檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分，其中，所述處理執(zhí)行裝置根據(jù)所檢測(cè)的相等部分和通過(guò)由區(qū)域指定裝置指定區(qū)域所獲得的結(jié)果，至少可以同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
3.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，還包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，所述處理執(zhí)行裝置對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
4.根據(jù)權(quán)利要求3所述的圖像處理設(shè)備，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
5.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
6.根據(jù)權(quán)利要求2所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
7.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述處理執(zhí)行裝置通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
8.根據(jù)權(quán)利要求1所述的圖像處理設(shè)備，其中，所述處理執(zhí)行裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
9.一種圖像處理方法，用于對(duì)由圖像捕獲裝置所獲得的預(yù)定數(shù)量的像素?cái)?shù)據(jù)所構(gòu)成的圖像數(shù)據(jù)執(zhí)行處理，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，所述圖像處理方法包括區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合了前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，根據(jù)通過(guò)由所述區(qū)域指定步驟的處理指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
10.根據(jù)權(quán)利要求9所述的圖像處理方法，還包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分，其中，在所述處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和通過(guò)由區(qū)域指定步驟指定區(qū)域所獲得的結(jié)果，至少同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
11.根據(jù)權(quán)利要求10所述的圖像處理方法，還包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
12.根據(jù)權(quán)利要求11所述的圖像處理方法，其中，在處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
13.根據(jù)權(quán)利要求10所述的圖像處理方法，其中，在相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
14.根據(jù)權(quán)利要求10所述的圖像處理方法，其中，在相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
15.根據(jù)權(quán)利要求9所述的圖像處理方法，其中，在處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
16.根據(jù)權(quán)利要求9所述的圖像處理方法，其中，所述處理執(zhí)行步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
17.一種存儲(chǔ)媒介，在該存儲(chǔ)媒介中存儲(chǔ)用于對(duì)圖像數(shù)據(jù)執(zhí)行處理的計(jì)算機(jī)可讀程序，所述圖像數(shù)據(jù)由圖像捕獲裝置捕獲的預(yù)定數(shù)量的像素?cái)?shù)據(jù)構(gòu)成，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，所述計(jì)算機(jī)可讀程序包括區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合了前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，用于根據(jù)通過(guò)由所述區(qū)域指定步驟的處理指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
18.根據(jù)權(quán)利要求17所述的存儲(chǔ)媒介，其中，所述程序還包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分，其中，在所述處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和通過(guò)由所述區(qū)域指定步驟指定區(qū)域所獲得的結(jié)果，至少同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
19.根據(jù)權(quán)利要求17所述的存儲(chǔ)媒介，其中，所述程序還包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
20.根據(jù)權(quán)利要求19所述的存儲(chǔ)媒介，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
21.根據(jù)權(quán)利要求18所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
22.根據(jù)權(quán)利要求18所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
23.根據(jù)權(quán)利要求17所述的存儲(chǔ)媒介，其中，在所述處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
24.根據(jù)權(quán)利要求17所述的存儲(chǔ)媒介，其中，所述處理執(zhí)行步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取得的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
25.一種允許執(zhí)行圖像數(shù)據(jù)處理的計(jì)算機(jī)執(zhí)行以下步驟的程序，所述圖像數(shù)據(jù)由圖像捕獲裝置捕獲的預(yù)定數(shù)量的像素?cái)?shù)據(jù)構(gòu)成，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能區(qū)域指定步驟，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合了前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；和處理執(zhí)行步驟，根據(jù)通過(guò)由所述區(qū)域指定處理步驟的處理指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
26.根據(jù)權(quán)利要求25所述的程序，還包括相等部分檢測(cè)步驟，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分，其中，在處理執(zhí)行步驟的處理中，根據(jù)所檢測(cè)的相等部分和通過(guò)由區(qū)域指定處理步驟的處理指定區(qū)域所獲得的結(jié)果，至少同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
27.根據(jù)權(quán)利要求26所述的程序，還包括處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
28.根據(jù)權(quán)利要求27所述的程序，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
29.根據(jù)權(quán)利要求26所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
30.根據(jù)權(quán)利要求26所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
31.根據(jù)權(quán)利要求25所述的程序，其中，在所述處理執(zhí)行步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
32.根據(jù)權(quán)利要求25所述的程序，其中，所述處理執(zhí)行步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取得的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
33.一種圖像處理設(shè)備，用于對(duì)由圖像捕獲裝置獲得的預(yù)定數(shù)量的像素?cái)?shù)據(jù)所構(gòu)成的圖像數(shù)據(jù)執(zhí)行處理，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，所述圖像處理設(shè)備包括輸入裝置，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除裝置，通過(guò)假定在所述輸入裝置所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
34.根據(jù)權(quán)利要求33所述的圖像處理設(shè)備，其中所述輸入裝置輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域；以及所述運(yùn)動(dòng)模糊消除裝置通過(guò)假定在所述輸入裝置所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
35.根據(jù)權(quán)利要求34所述的圖像處理設(shè)備，還包括相等部分檢測(cè)裝置，用于檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分，其中，所述運(yùn)動(dòng)模糊消除裝置根據(jù)相等部分檢測(cè)裝置所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
36.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，還包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位，其中，所述運(yùn)動(dòng)模糊消除裝置消除每個(gè)處理單位的前景區(qū)域中的運(yùn)動(dòng)模糊。
37.根據(jù)權(quán)利要求36所述的圖像處理設(shè)備，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
38.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，還包括區(qū)域指定裝置，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
39.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
40.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
41.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
42.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取得的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
43.根據(jù)權(quán)利要求35所述的圖像處理設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置根據(jù)區(qū)域信息和根據(jù)相等部分，同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
44.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，還包括處理單位確定裝置，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，所述處理執(zhí)行裝置對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
45.根據(jù)權(quán)利要求44所述的圖像處理設(shè)備，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
46.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定裝置。
47.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與閾值檢測(cè)相等部分。
48.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
49.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，其中，所述處理單位確定裝置通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
50.根據(jù)權(quán)利要求43所述的圖像處理設(shè)備，其中，所述處理單位確定裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
51.一種圖像處理方法，用于對(duì)由圖像捕獲裝置獲得的預(yù)定數(shù)量的像素?cái)?shù)據(jù)所構(gòu)成的圖像數(shù)據(jù)執(zhí)行處理，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，所述圖像處理方法包括輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由輸入步驟的處理所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中的像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
52.根據(jù)權(quán)利要求51所述的圖象處理方法，其中在所述輸入步驟的處理中，輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域；在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在由所述輸入步驟處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
53.根據(jù)權(quán)利要求52所述的圖像處理方法，還包括相等部分檢測(cè)步驟，檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分，其中，在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)通過(guò)相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
54.根據(jù)權(quán)利要求53所述的圖像處理方法，還包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位，其中，在所述的運(yùn)動(dòng)模糊消除步驟處理中，消除每個(gè)處理單位的前景區(qū)域的運(yùn)動(dòng)模糊。
55.根據(jù)權(quán)利要求54所述的圖像處理方法，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
56.根據(jù)權(quán)利要求53所述的圖像處理方法，還包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
57.根據(jù)權(quán)利要求53所述的圖像處理方法，其中，在相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
58.根據(jù)權(quán)利要求53所述的圖像處理方法，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
59.根據(jù)權(quán)利要求53所述的圖像處理方法，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
60.根據(jù)權(quán)利要求53所述的圖像處理方法，其中，所述運(yùn)動(dòng)模糊消除步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取得的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
61.根據(jù)權(quán)利要求53所述的圖像處理方法，其中，在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和相等部分，同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
62.根據(jù)權(quán)利要求61所述的圖像處理方法，還包括處理單位確定步驟，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
63.根據(jù)權(quán)利要求62所述的圖像處理方法，其中，在處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
64.根據(jù)權(quán)利要求61所述的圖像處理方法，還包括一個(gè)指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
65.根據(jù)權(quán)利要求61所述的圖像處理方法，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
66.根據(jù)權(quán)利要求61所述的圖像處理方法，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
67.根據(jù)權(quán)利要求61所述的圖像處理方法，其中，在所述處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
68.根據(jù)權(quán)利要求61所述的圖像處理方法，其中，所述處理單位確定步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
69.一種存儲(chǔ)媒介，在該媒介中存儲(chǔ)了執(zhí)行圖象數(shù)據(jù)處理的計(jì)算機(jī)可讀程序，所述圖像數(shù)據(jù)由圖像捕獲裝置捕獲的預(yù)定數(shù)量的像素?cái)?shù)據(jù)構(gòu)成，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能，計(jì)算機(jī)可讀程序包括輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由所述輸入步驟處理所輸入的圖像數(shù)據(jù)對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
70.根據(jù)權(quán)利要求69所述的存儲(chǔ)媒介，其中在所述輸入步驟的處理中，輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域；在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在由所述輸入步驟的處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
71.根據(jù)權(quán)利要求70所述的存儲(chǔ)媒介，還包括相等部分檢測(cè)步驟，用于檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分，其中，在運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)由所述相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
72.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，還包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位，其中，在所述運(yùn)動(dòng)模糊消除步驟處理中，消除每個(gè)處理單位的前景區(qū)域的運(yùn)動(dòng)模糊。
73.根據(jù)權(quán)利要求72所述的存儲(chǔ)媒介，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
74.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，還包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
75.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
76.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
77.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
78.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，其中運(yùn)動(dòng)模糊消除步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
79.根據(jù)權(quán)利要求71所述的存儲(chǔ)媒介，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和根據(jù)相等部分，同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
80.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，還包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
81.根據(jù)權(quán)利要求80所述的存儲(chǔ)媒介，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
82.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
83.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
84.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
85.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，其中，在所述處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
86.根據(jù)權(quán)利要求79所述的存儲(chǔ)媒介，其中，所述處理單位確定步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
87.一種允許執(zhí)行圖像數(shù)據(jù)處理的計(jì)算機(jī)運(yùn)行以下步驟的程序，所述圖像數(shù)據(jù)由圖像捕獲裝置捕獲的預(yù)定數(shù)量的像素?cái)?shù)據(jù)構(gòu)成，所述圖像捕獲裝置包括預(yù)定數(shù)量的像素并具有時(shí)間積分功能輸入步驟，輸入具有對(duì)象區(qū)域的圖像數(shù)據(jù)，該對(duì)象區(qū)域由形成對(duì)象的對(duì)象分量組成；以及運(yùn)動(dòng)模糊消除步驟，通過(guò)假定在由所述輸入步驟的處理所輸入的圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
88.根據(jù)權(quán)利要求87所述的程序，其中在所述輸入步驟的處理中，輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域；以及在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)假定在由輸入步驟的處理所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
89.根據(jù)權(quán)利要求88所述的程序，還包括相等部分檢測(cè)步驟，用于檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)由所述相等部分檢測(cè)步驟處理所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
90.根據(jù)權(quán)利要求89所述的程序，還包括一個(gè)處理單位確定步驟，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位，其中，在所述運(yùn)動(dòng)模糊消除步驟處理中，消除每個(gè)處理單位的前景區(qū)域的運(yùn)動(dòng)模糊。
91.根據(jù)權(quán)利要求90所述的程序，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
92.根據(jù)權(quán)利要求89所述的程序，還包括區(qū)域指定步驟，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
93.根據(jù)權(quán)利要求89所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
94.根據(jù)權(quán)利要求89所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
95.根據(jù)權(quán)利要求89所述的程序，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
96.根據(jù)權(quán)利要求89所述的程序，其中，所述運(yùn)動(dòng)模糊消除步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
97.根據(jù)權(quán)利要求89所述的程序，其中，在所述運(yùn)動(dòng)模糊消除步驟的處理中，根據(jù)區(qū)域信息和根據(jù)相等部分，同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
98.根據(jù)權(quán)利要求97所述的程序，還包括處理單位確定步驟，根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，在所述處理執(zhí)行步驟的處理中，對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
99.根據(jù)權(quán)利要求98所述的程序，其中，在所述處理單位確定步驟的處理中，確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
100.根據(jù)權(quán)利要求97所述的程序，還包括一個(gè)指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定步驟。
101.根據(jù)權(quán)利要求97所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
102.根據(jù)權(quán)利要求97所述的程序，其中，在所述相等部分檢測(cè)步驟的處理中，檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
103.根據(jù)權(quán)利要求97所述的程序，其中，在所述處理單位確定步驟的處理中，通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
104.根據(jù)權(quán)利要求97所述的程序，其中，所述處理單位確定步驟的處理包括模型獲取步驟，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成步驟，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算步驟，根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
105.一種圖像捕獲設(shè)備，包括圖像捕獲裝置，用于輸出由圖像捕獲器件捕獲的對(duì)象圖像，該圖像捕獲器件包括預(yù)定數(shù)量的像素并具有對(duì)預(yù)定量像素?cái)?shù)據(jù)所形成的圖像數(shù)據(jù)的時(shí)間積分功能；區(qū)域指定裝置，用于指定由前景區(qū)域和背景區(qū)域構(gòu)成的非混合區(qū)域，或者指定混合前景對(duì)象分量與背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成圖像數(shù)據(jù)的前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成圖像數(shù)據(jù)的背景對(duì)象的背景對(duì)象分量組成；處理執(zhí)行裝置，根據(jù)由區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
106.根據(jù)權(quán)利要求105所述的圖像捕獲設(shè)備，還包括相等部分檢測(cè)裝置，檢測(cè)由其數(shù)值彼此基本相等的前景區(qū)域的鄰近像素?cái)?shù)據(jù)組成的相等部分，其中，所述處理執(zhí)行裝置根據(jù)所檢測(cè)的相等部分和區(qū)域指定裝置通過(guò)指定區(qū)域所獲得的結(jié)果，至少同時(shí)執(zhí)行從混合區(qū)域的像素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景分量對(duì)象的處理以及從分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
107.根據(jù)權(quán)利要求106所述的圖像捕獲裝置，還包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，所述處理執(zhí)行裝置對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
108.根據(jù)權(quán)利要求107所述的圖像捕獲裝置，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
109.根據(jù)權(quán)利要求106所述的圖像捕獲裝置，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
110.根據(jù)權(quán)利要求106所述的圖像捕獲設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
111.根據(jù)權(quán)利要求105所述的圖像捕獲裝置，其中，所述處理執(zhí)行裝置通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
112.根據(jù)權(quán)利要求105所述的圖像捕獲裝置，其中，所述處理執(zhí)行裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量及背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
113.一種圖像捕獲設(shè)備，包括圖像捕獲裝置，用于輸出由圖像捕獲器件捕獲的對(duì)象圖像，該圖像捕獲器件包括預(yù)定數(shù)量的像素并具有對(duì)預(yù)定量的像素?cái)?shù)據(jù)形成的圖像數(shù)據(jù)的時(shí)間積分功能，和具有由形成對(duì)象的對(duì)象分量組成的對(duì)象區(qū)域；以及運(yùn)動(dòng)模糊消除裝置，通過(guò)假定在圖像數(shù)據(jù)的對(duì)象區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，來(lái)消除出現(xiàn)在對(duì)象區(qū)域中的運(yùn)動(dòng)模糊。
114.根據(jù)權(quán)利要求113所述的圖像捕獲設(shè)備，其中所述輸入裝置輸入具有前景區(qū)域、背景區(qū)域和混合區(qū)域的圖像數(shù)據(jù)，所述前景區(qū)域由形成對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由形成背景對(duì)象的背景對(duì)象分量組成，所述混合區(qū)域是混合了前景對(duì)象分量和背景對(duì)象分量的區(qū)域；以及所述運(yùn)動(dòng)模糊消除裝置通過(guò)假定在輸入裝置所輸入的圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)部分的值基本相等，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
115.根據(jù)權(quán)利要求114所述的圖像捕獲設(shè)備，還包括相等部分檢測(cè)裝置，用于檢測(cè)在圖像數(shù)據(jù)的前景區(qū)域中像素?cái)?shù)據(jù)的值基本相等的相等部分，其中，所述運(yùn)動(dòng)模糊消除裝置根據(jù)由相等部分檢測(cè)裝置所檢測(cè)的相等部分來(lái)消除出現(xiàn)在前景區(qū)域中運(yùn)動(dòng)模糊。
116.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，還包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量組成的處理單位，其中，所述運(yùn)動(dòng)模糊消除裝置消除每個(gè)處理單位的前景區(qū)域的運(yùn)動(dòng)模糊。
117.根據(jù)權(quán)利要求116所述的圖像捕獲設(shè)備，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一條直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
118.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，還包括一個(gè)區(qū)域指定裝置，用于指定前景區(qū)域、背景區(qū)域或者混合區(qū)域。
119.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)相等部分。
120.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，該鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或等于對(duì)應(yīng)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
121.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置通過(guò)施行對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，消除出現(xiàn)在前景區(qū)域中的運(yùn)動(dòng)模糊。
122.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，用于根據(jù)所生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量。
123.根據(jù)權(quán)利要求115所述的圖像捕獲設(shè)備，其中，所述運(yùn)動(dòng)模糊消除裝置根據(jù)區(qū)域信息和相等部分，同時(shí)執(zhí)行將混合區(qū)域的像素?cái)?shù)據(jù)分離成前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理，所述的區(qū)域信息指示由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域或者指示混合區(qū)域。
124.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，還包括處理單位確定裝置，用于根據(jù)相等部分的位置確定由多個(gè)前景對(duì)象分量和背景對(duì)象分量組成的處理單位，其中，所述處理執(zhí)行裝置對(duì)于每個(gè)處理單位同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
125.根據(jù)權(quán)利要求124所述的圖像捕獲設(shè)備，其中，所述處理單位確定裝置確定對(duì)應(yīng)于屬于混合區(qū)域或者前景區(qū)域的像素?cái)?shù)據(jù)的處理單位，該像素?cái)?shù)據(jù)位于一直線上并且不同于相等部分的像素?cái)?shù)據(jù)。
126.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，還包括指定前景區(qū)域、背景區(qū)域或者混合區(qū)域的區(qū)域指定裝置
127.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，其中，所述相等部分檢測(cè)裝置通過(guò)比較像素?cái)?shù)據(jù)的差值與一閾值來(lái)檢測(cè)所述相等部分。
128.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，其中，所述相等部分檢測(cè)裝置檢測(cè)由鄰近像素?cái)?shù)據(jù)組成的相等部分，所述鄰近像素?cái)?shù)據(jù)的像素?cái)?shù)量大于或者等于相對(duì)于前景對(duì)象運(yùn)動(dòng)量的像素?cái)?shù)量。
129.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，其中，所述處理單位確定裝置通過(guò)施行一個(gè)對(duì)應(yīng)于運(yùn)動(dòng)向量的計(jì)算，同時(shí)執(zhí)行分離前景對(duì)象分量和背景對(duì)象分量的處理，以及從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。
130.根據(jù)權(quán)利要求123所述的圖像捕獲設(shè)備，其中，所述處理單位確定裝置包括模型獲取裝置，用于獲取對(duì)應(yīng)于處理單位和運(yùn)動(dòng)向量的模型；方程生成裝置，用于根據(jù)所獲取的模型生成一個(gè)方程，該方程對(duì)應(yīng)于處理單位的像素?cái)?shù)據(jù)與包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量之間的關(guān)系式；以及計(jì)算裝置，根據(jù)生成的方程計(jì)算包含在處理單位內(nèi)的前景對(duì)象分量和背景對(duì)象分量。
全文摘要
一種能夠消除包含在散焦圖像中的運(yùn)動(dòng)模糊的圖象處理設(shè)備。區(qū)域識(shí)別單元(103)識(shí)別由前景區(qū)域和背景區(qū)域組成的非混合區(qū)域，或者識(shí)別混合了前景對(duì)象分量和背景對(duì)象分量的混合區(qū)域，這里，所述前景區(qū)域由構(gòu)成前景對(duì)象的前景對(duì)象分量組成，所述背景區(qū)域由構(gòu)成背景對(duì)象的背景對(duì)象分量組成。根據(jù)區(qū)域識(shí)別結(jié)果等，分離/模糊消除單元(1503)從混合區(qū)域的象素?cái)?shù)據(jù)中分離前景對(duì)象分量和背景對(duì)象分量并以批處理模式執(zhí)行從所分離的前景對(duì)象分量中消除運(yùn)動(dòng)模糊的處理。這可以考慮到圖像捕獲器件所檢測(cè)的信號(hào)與現(xiàn)實(shí)之差。
文檔編號(hào)H04N5/272GK1672402SQ0280182
公開日2005年9月21日 申請(qǐng)日期2002年4月1日 優(yōu)先權(quán)日2001年4月10日
發(fā)明者近藤哲二郎, 澤尾貴志, 石橋淳一, 永野隆浩, 藤原直樹, 三宅徹, 和田成司 申請(qǐng)人:索尼公司