專利名稱：圖像處理裝置、圖像處理方法以及程序的制作方法
技術領域：
本發(fā)明涉及一種用于處理圖像的裝置、方法、以及程序。更準確地說，它們對由多個像素所組成的且由具有時間積分效果的圖像傳感器所獲取的圖像中的運動對象的運動矢量進行檢測。通過利用該運動矢量，可減輕該圖像中的運動對象中所存在的運動模糊以便可產生運動模糊減輕物象，從而將在運動模糊減輕對象圖像產生步驟期間所產生的運動模糊減輕對象圖像組合到與運動矢量檢測所檢測到的運動矢量相對應的空間-時間位置上，以將其輸出為運動模糊減輕圖像。
背景技術：
傳統(tǒng)上利用傳感器來對實際世界中的事件執(zhí)行數據處理。通過利用傳感器所獲得的數據是通過將實際世界中的信息投射到具有比實際世界更小維度的空間-時間中而獲得的信息。因此，通過該投射所獲得的信息具有由于該投射而所產生的畸變。例如，當通過利用攝像機來對靜止背景之前的運動對象進行拍攝而執(zhí)行對圖像信號的數據處理時，對實際世界中的信息進行采樣并將其處理為數據，因此當由于該投射而產生畸變時，根據圖像信號所顯示的圖像中存在使運動對象模糊的運動模糊。
因此，例如如公開號為2001-250119的日本專利申請中所公開的，通過對與包含在輸入圖像之內的前景對象相對應的圖像對象的外緣進行檢測，可粗略地提取與該前景對象相對應的圖像對象，以便可計算與這樣粗略提取的前景對象相對應的圖像對象的運動矢量，從而通過利用所計算的運動矢量以及運動矢量的位置信息可減輕運動模糊。
然而，在公開號為2001-250119的日本專利申請中，對于每個圖像(幀)而言它對圖像中的運動對象進行追蹤，雖然它未公開怎樣減輕運動對象的運動模糊。

發(fā)明內容
鑒于上述，為了在對圖像中的運動對象進行追蹤的同時減輕圖像中的運動對象的運動模糊并且將其輸出，本發(fā)明所涉及的用于處理圖像的裝置包括運動矢量檢測裝置，用于對與在下述多個圖像中進行運動的運動對象有關的運動矢量進行檢測并且對該運動對象進行追蹤，其中所述每個圖像均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生裝置，用于通過利用運動矢量檢測裝置所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出裝置，用于將在運動模糊減輕對象圖像產生裝置中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，并且將其輸出為運動模糊減輕圖像，其中所述運動矢量是由運動矢量檢測裝置所檢測的。
本發(fā)明所涉及的用于處理圖像的方法包括運動矢量檢測步驟，用于對與在下述多個圖像中進行運動的運動對象有關的運動矢量進行檢測并且對該運動對象進行追蹤，其中所述每個圖像均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生步驟，用于通過利用在運動矢量檢測步驟所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出步驟，用于將在運動模糊減輕對象圖像產生步驟中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，并且將其輸出為運動模糊減輕圖像，其中所述運動矢量是在運動矢量檢測步驟所檢測的。
本發(fā)明所涉及的程序可使計算機執(zhí)行運動矢量檢測步驟，用于對與在下述多個圖像中進行運動的運動對象有關的運動矢量進行檢測并且對該運動對象進行追蹤，其中所述每個圖像均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生步驟，用于通過利用在運動矢量檢測步驟所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出步驟，用于將在運動模糊減輕對象圖像產生步驟中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，并且將其輸出為運動模糊減輕圖像，其中所述運動矢量是在運動矢量檢測步驟所檢測的。
在本發(fā)明中，在下述多個圖像中進行運動的運動對象上設置這樣的目標像素，該目標像素與在時間上連續(xù)的至少第一圖像和第二圖像的任何一個中的運動對象的位置相對應，所述多個圖像的每一個均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；通過利用第一和第二圖像來對與該目標像素相對應的運動矢量進行檢測；以及通過利用所檢測的運動矢量可獲得其內的目標像素的運動模糊已減輕的像素值，從而產生運動模糊減輕圖像。將運動模糊減輕圖像輸出到目標像素的空間位置或者與運動矢量相對應的空間位置上。
在產生運動模糊減輕圖像的過程中，在該圖像上所提供的處理區(qū)域中，對運動對象的像素的像素值進行處理以使其成為一模型，以便使其內未出現有與運動對象相對應的運動模糊的每個像素的像素值變成這樣的值，該值是通過在像素運動時在時間方向上對像素值進行積分而獲得的。例如，在該處理區(qū)域中，分別對前景區(qū)、背景區(qū)、以及混合區(qū)進行標識，其中所述前景區(qū)僅是由構成了是運動對象的前景對象的前景對象成分所組成的，所述背景區(qū)僅是由構成了背景對象的背景對象成分組成的，所述混合區(qū)中混合有前景對象成分以及背景對象成分；對混合區(qū)中的前景對象成分和背景對象成分的混合比進行檢測；根據該混合比，將該圖像的至少一部分區(qū)域分離成前景對象和背景對象；并且根據該運動對象的運動矢量來減輕由此所分離的前景對象的運動模糊。或者，對于該圖像中的每個像素檢測運動矢量；并且將該處理區(qū)域設置為其內存在有運動模糊的前景對象區(qū)以使用該處理區(qū)域中的目標像素的所檢測的運動矢量，從而以像素為單位輸出其中處理區(qū)域中的運動模糊已減輕的像素值。此外，由于運動模糊減輕圖像，可根據該運動對象產生一擴展圖像。
根據本發(fā)明，對在下述多個圖像中運動的運動對象上的運動矢量進行檢測，其中所述多個圖像的每一個均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的，可減輕多個圖像的每個圖像中的運動對象中所存在的運動模糊。將其中運動模糊已減輕的運動模糊減輕對象圖像組合到與所檢測的運動矢量相對應的每個圖像中的時間-空間位置上，從而將其輸出為運動模糊減輕圖像。這允許在對運動對象進行追蹤的同時減輕每個幀的運動對象的運動模糊。
對下述目標像素進行設置，所述目標像素與在時間上連續(xù)的至少第一圖像和第二圖像的任何一個中的運動對象的位置相對應；通過利用第一和第二圖像來對與該目標像素相對應的運動矢量進行檢測；并且將運動模糊減輕圖像組合到所設置圖像中的目標像素的一位置上或者另一圖像中的與該目標像素相對應的一位置上，這些位置與所檢測的運動矢量相對應。這可將運動模糊減輕對象圖像輸出到其適當位置上。
在圖像的處理區(qū)域中，使運動對象的像素的像素值成為一模型，以便其內未出現有與運動對象相對應的運動模糊的每個像素的像素值變成這樣的值，該值是通過在像素運動時在時間方向上對像素值進行積分而獲得的，并且根據處理區(qū)域中的像素的像素值，可產生這樣的運動模糊減輕對象圖像，即在該運動模糊減輕對象圖像中包含在處理區(qū)域中的運動對象的運動模糊已減輕。這可提取任何所掩藏的重要信息，從而減輕運動模糊。
在運動模糊的減輕過程中，在處理區(qū)域中，對前景區(qū)、背景區(qū)、以及混合區(qū)進行標識，其中所述前景區(qū)僅是由構成了是運動對象的前景對象的前景對象成分所組成的，所述背景區(qū)僅是由構成了背景對象的背景對象成分組成的，所述混合區(qū)中混合有前景對象成分以及背景對象成分，并且根據混合區(qū)中的前景對象成分與背景對象成分的混合比，將該圖像的至少一部分區(qū)域分離成前景對象和背景對象，從而可根據運動矢量來減輕由此所分離的前景對象的運動模糊。這可根據所提取的作為重要信息的混合比來對運動對象成分進行分離，由此可根據所分離的運動對象成分來準確地減輕運動模糊。
或者，對于該圖像中的每個像素檢測運動矢量，并且根據圖像中的目標像素的運動矢量來對處理區(qū)域進行設置以便使目標像素包含在其中，從而根據目標像素的運動矢量以像素為單位輸出其中目標像素中的運動模糊已減輕的像素值。即使對于每個像素而言運動對象的運動不同，也可減輕運動對象的運動模糊。
此外，從運動模糊減輕圖像中提取與擴展圖像中的目標像素相對應的類別抽頭以便可根據該類別抽頭的像素值來確定類別。從運動模糊減輕圖像中提取與目標像素相對應的預測抽頭，以便根據與所確定的類別相對應的預測系數與預測抽頭的一維線性組合來產生與目標像素相對應的預測值。這允許通過利用運動模糊減輕圖像而產生其中運動模糊已減輕的高清晰度擴展圖像。可根據運動對象執(zhí)行擴展圖像的產生以便可在對該運動對象進行追蹤的同時輸出該運動對象的擴展圖像。


圖1給出了本發(fā)明所應用的系統(tǒng)的結構方框圖；圖2給出了圖像傳感器所拍攝的圖像的示意圖；圖3A和3B給出了所拍攝的圖像的說明性示意圖；圖4給出了像素值在時間方向上的劃分操作的說明性示意圖；圖5給出了用于對圖像進行處理的裝置的結構方框圖；圖6給出了運動矢量檢測部分的結構方框圖；圖7給出了運動模糊減輕對象圖像產生部分的結構方框圖；
圖8給出了區(qū)域標識部分的結構方框圖；圖9給出了從圖像存儲器所讀取的圖像數據的示意圖；圖10給出了區(qū)域判斷處理的示意圖；圖11給出了混合比計算部分的結構方框圖；圖12給出了理想混合比的示意圖；圖13給出了前景/背景分離部分的結構方框圖；圖14給出了運動模糊調節(jié)部分的結構方框圖；圖15給出了調節(jié)處理單元的示意圖；圖16給出了運動模糊已減輕的像素值的位置示意圖；圖17給出了用于對圖像進行處理的裝置的另一結構示意圖；圖18給出了用于對圖像進行處理的裝置的操作流程圖；圖19給出了運動模糊減輕對象圖像的產生處理的流程圖；圖20給出了運動模糊減輕圖像產生部分的另一結構的方框圖；圖21給出了處理區(qū)域的示意圖；圖22A和22B的每一個均給出了用于對處理區(qū)域進行設置的一個示例的示意圖；圖23給出了處理區(qū)域中的實際世界變量在時間方向上的混合的說明性示意圖；圖24A-24C的每一個均給出了對象進行運動這樣一個示例的示意圖；圖25A-25F的每一個均給出了對該對象進行追蹤的擴展顯示圖像的示意圖；圖26給出了用于對圖像進行處理的裝置的又一結構的方框圖；圖27給出了空間分辨率創(chuàng)建部分的結構的方框圖；圖28給出了學習設備的結構方框圖；以及圖29給出了對空間分辨率創(chuàng)建處理進行組合的情況下的操作流程圖。
具體實施例方式
下面參考附圖對本發(fā)明的一個實施例進行描述。圖1給出了本發(fā)明所應用的系統(tǒng)的結構方框圖。由攝像機等所構成的圖像傳感器10對實際世界進行拍攝，所述圖像傳感器10裝配有是固態(tài)圖像感測設備的電荷耦合器件(CCD)區(qū)域傳感器或者CMOS區(qū)域傳感器。例如，如圖2所示，當與前景相對應的運動對象OBf在圖像傳感器10和與背景相對應的對象OBb之間沿箭頭方向“A”運動時，圖像傳感器10對與背景相對應的對象OBb以及與前景相對應的運動對象OBf進行拍攝。
該圖像傳感器10是由其每一個均具有時間積分效果的多個檢測元件構成的，并且因此在曝光時間內對根據每個檢測元件的入射光所產生的電荷進行積分。也就是說，圖像傳感器10在將入射光轉換成電荷的過程中執(zhí)行光電轉換，以便以例如一個幀周期為單位對其進行積聚。根據所積聚的電荷量，它產生像素數據，并且此后使用這個像素數據以產生具有所期望幀速的圖像數據DVa，并且將該數據提供給用于對圖像進行處理的裝置20。圖像傳感器10進一步具有快門功能，以便如果通過根據快門速度來調節(jié)曝光時間而產生了圖像數據DVa，那么可向用于處理圖像的裝置20提供曝光時間參數HE，該參數表示曝光時間。該曝光時間參數HE以例如“0”至“1.0”的值來表示一個幀周期中的快門打開時間，當不使用快門功能時將該值設置為1.0，并且當快門時間是幀周期的1/2時將該值設置為0.5。
用于處理圖像的裝置20提取由于施加在圖像傳感器10上的時間積分效果而掩藏在圖像數據DVa中的重要信息，并且利用這個重要信息以減輕由于在與運動前景相對應的運動對象OBf上所產生的時間積分效果所造成的運動模糊。應當注意的是，向用于處理圖像的裝置20提供有區(qū)域選擇信息HA，其用于選擇其內的運動模糊已減輕的圖像區(qū)域。
圖3說明性地給出了圖像數據DVa所給出的拍攝圖像的示意圖。圖3A給出了通過對與運動前景相對應的運動對象以及與靜止的背景相對應的對象OBb進行拍攝所獲得的圖像。在這里，假定使與前景相對應的對象OBf沿箭頭方向“A”橫向運動。
圖3B給出了沿著圖3A中的虛線所示的線L的圖像與時間之間的關系。在運動對象OBf沿著線L所運動的長度例如多達九個像素并且其在一個曝光時間內運動了五個像素的情況下，當曝光時間結束時，當幀周期開始時位于像素位置P21的前端以及位于像素位置P13的后端分別移動到像素位置P25和P17。此外，如果未使用快門功能，那么一個幀內的曝光時間與一個幀周期相等，以便當下一幀周期開始時，其前端和后端分別位于像素位置P26和P18。為了簡單說明起見，假定除非另有規(guī)定否則不使用快門功能。
因此，在沿著線L的幀周期中，位于像素位置P12之前的部分以及位于像素位置P26之后的部分構成了僅由背景成分所組成的背景區(qū)。此外，位于像素位置P17-P21之間的部分構成了僅由前景成分所組成的前景區(qū)。位于像素位置P13-P16之間的部分以及位于像素位置P22-P25之間的部分各自均構成了其中混合有前景成分和背景成分的混合區(qū)。將混合區(qū)分成隨著時間的流逝而由前景覆蓋了背景成分的覆蓋背景區(qū)以及隨著時間的流逝而呈現出背景成分的未覆蓋背景區(qū)。應當注意的是，在圖3B中，在前景對象前進的方向上位于前景對象前端側上的混合區(qū)是覆蓋背景區(qū)，并且位于其后端側上的混合區(qū)是未覆蓋背景區(qū)。因此，圖像數據DVa包含有這樣的圖像，該圖像包括一前景區(qū)、一背景區(qū)、一覆蓋背景區(qū)、或者一未覆蓋背景區(qū)。
應當注意的是，一個幀在時間上是很短的，以便在與前景相對應的運動對象OBf是剛性的并且以相同速度運動的假定之下，如圖4所示，一個曝光時間之內的像素值受到時間方向上的劃分以使其除以虛擬劃分數目而得到相等的時間間隔。
根據與前景相對應的運動對象在一個幀周期中的運動量v來設置虛擬劃分數目。例如，如果一個幀周期中的運動量v如上所述是五個像素，那么根據運動量v將虛擬劃分數目設置為“5”，以將一個幀周期劃分成五個相等時間的間隔。
此外，在一個幀周期中，假定在對與背景相對應的對象OBb進行拍攝時所獲得的像素位置Px的像素值為Bx，并且假定在對與前景相對應的且沿著線L具有九個像素長度的運動對象OBf進行靜止拍攝時所獲得的像素的像素值為F09(前端側)至F01(后端側)。
在這種情況下，例如，由等式1給出像素位置P15的像素值DP15DP15＝B15/v+B15/v+F01/v+F02/v+F03/v ...(1)像素位置P15包含有兩個劃分虛擬時間(幀周期/v)的背景成分以及三個劃分虛擬時間的前景成分，從而使背景成分的混合比α是2/5。類似地，例如，像素位置P22包含有一個劃分虛擬時間的背景成分以及四個劃分虛時間的前景成分，從而使混合比α是1/5。
因為假定與前景相對應的運動對象是剛性的并且以相同速度運動以便可在下一幀中向右五個像素來顯示前景的圖像，因此例如第一劃分虛擬時間中的像素位置P13的前景成分(F01/v)分別與第二劃分虛擬時間中的像素位置P14的前景成分、第三劃分虛擬時間中的像素位置P15的前景成分、第四劃分虛擬時間中的像素位置P16的前景成分、以及第五劃分虛擬時間中的像素位置P17的前景成分相同。第一劃分虛擬時間中的像素位置P14的前景成分(F02/v)至第一劃分虛擬時間中的像素位置P21的前景成分(F09/v)與前景成分(F01/v)的情況完全相同。
因此，可通過使用混合比α來給出每個像素位置的像素值DP，如等式2所示。在等式2中，“FE”表示前景成分的總和。
DP＝α·B+FE ...(2)因為前景成分這樣運動，因此在一個幀周期中將不同前景成分彼此相加，以便與運動對象相對應的前景區(qū)包含有運動模糊。因此，用于處理圖像的裝置20提取混合比α作為掩藏在圖像數據DVa中的重要信息，并且使用該混合比α產生這樣的圖像數據DVout，在該圖像數據DVout中與前景相對應的運動對象OBf的運動模糊已減輕。
圖5給出了用于對圖像進行處理的裝置20的結構方框圖。將提供給裝置20的圖像數據DVa依次提供給運動矢量檢測部分30以及運動模糊減輕對象圖像產生部分40。此外，將區(qū)域選擇信息HA和曝光時間參數HE提供給運動矢量檢測部分30。運動矢量檢測部分30對在下述多個圖像的每一個中進行運動的運動對象的運動矢量進行檢測，其中所述多個圖像的每一個都是由多個像素組成的并且是由具有時間積分效果的圖像傳感器10所獲取的。特別是，根據區(qū)域選擇信息HA而順序地提取要受到運動模糊減輕處理的處理區(qū)域，以便對與處理區(qū)域中的運動對象相對應的運動矢量MVC進行檢測并將其提供給運動模糊減輕對象圖像產生部分40。例如，它對下述目標像素進行設置以通過利用第一和第二圖像來對與該目標像素相對應的運動矢量進行檢測，其中所述目標像素與在時間上連續(xù)出現的至少第一和第二圖像的任何一個中的運動對象的位置相對應。此外，它產生了表示處理區(qū)域的處理區(qū)域信息HZ，并且將該信息提供給運動模糊減輕對象圖像產生部分40和輸出部分50。此外，它根據前景中的對象運動來更新區(qū)域選擇信息HA以使處理區(qū)域隨著運動對象的運動而運動。
運動模糊減輕對象圖像產生部分40根據運動矢量MVC、處理區(qū)域信息HZ、以及圖像數據Dva來指定一區(qū)域或者計算混合比，并且使用所計算的混合比以使前景成分與背景成分彼此相分離。此外，它對所分離的前景成分的圖像執(zhí)行運動模糊調節(jié)以產生運動模糊減輕對象圖像。此外，將下述前景成分圖像數據DBf提供給輸出部分50，所述前景成分圖像數據DBf是通過該運動模糊調節(jié)所獲取的運動模糊減輕對象圖像的圖像數據。還將所分離的背景成分的圖像數據DBb提供給輸出部分50。
輸出部分50將其中基于前景成分圖像數據DBf減輕了運動模糊的前景區(qū)的圖像組合到基于背景成分圖像數據DBb的背景圖像中，從而產生運動模糊減輕圖像的圖像數據DVout并將其輸出。在這種情況下，將是運動模糊減輕對象圖像的前景區(qū)圖像組合到與所檢測的運動矢量MVC相對應的空間-時間位置上，以向追蹤運動對象的一位置輸出運動對象的運動模糊減輕圖像。也就是說，當利用在時間上所連續(xù)出現的至少第一和第二圖像來對運動矢量進行檢測時，將運動對象的運動模糊減輕圖像組合到一圖像中的目標像素的位置上或者與另一圖像中的目標像素相對應的位置上，這兩個位置均與所檢測的運動矢量相對應。
圖6給出了運動矢量檢測部分30的結構方框圖。將區(qū)域選擇信息HA提供給處理區(qū)域設置部分31。此外，將圖像數據DVa提供給檢測部分33，并且將曝光時間參數HE提供給運動矢量校正部分34。
處理區(qū)域設置部分31根據區(qū)域選擇信息HA而順序地提取要受到運動模糊減輕處理的處理區(qū)域，并且將表示處理區(qū)域的處理區(qū)域信息HZ提供給檢測部分33、運動模糊減輕對象圖像產生部分40、以及輸出部分50。此外，它利用隨后所描述的由檢測部分33所檢測的運動矢量MVO來更新區(qū)域選擇信息HA，從而可按照下述方式來對受到運動模糊減輕的處理區(qū)域進行追蹤，所述方式是使其滿足運動對象的運動。
檢測部分33使用例如塊匹配法、梯度法、相位相關法、Pel-遞歸算法等對處理區(qū)域信息HZ所表示的處理區(qū)域執(zhí)行運動矢量檢測，并且將所檢測的運動矢量MV提供給運動矢量校正部分34?；蛘撸瑱z測部分33從多個時間方向上的外圍幀的圖像數據中檢測出在區(qū)域選擇信息HA所示區(qū)域中所設置的追蹤點的外圍，例如檢測出具有與區(qū)域選擇信息HA所示區(qū)域相同圖像特性量的區(qū)域(一個或多個)，從而計算追蹤點處的運動矢量MV并且將其提供給處理區(qū)域設置部分31。
檢測部分33所輸出的運動矢量MV包含有與運動量(標準)以及運動方向(角度)相對應的信息。該運動量是指這樣的值，該值表示與運動對象相對應的圖像的位置變化。例如，如果與前景相對應的運動對象OBf在緊接于某一參考幀之后的一幀中在橫向上運動了move-x并且在縱向上運動了move-y，那么通過等式3可獲得其運動量。通過等式4還可獲得其運動方向。僅向處理區(qū)域給出一對運動量和運動方向。
運動方向＝tan-1(move-y/move-x) ...(4)運動矢量校正部分34利用曝光時間參數HE來對運動矢量MV進行校正。提供給運動矢量校正部分34的運動矢量MV是如上所述的幀間運動矢量。然而，利用幀內運動矢量來對隨后所描述的運動模糊減輕對象圖像產生部分40所使用的運動矢量進行處理，使得如果當因為使用快門功能而使一個幀內的曝光時間比一個幀周期短時要使用幀內運動矢量，那么不能正確地執(zhí)行運動模糊減輕處理。因此，將按照曝光時間與一個幀周期的比例所校正的是幀間內運動矢量的運動矢量MV作為運動矢量MVC提供給運動模糊減輕對象圖像產生部分40。
圖7給出了運動模糊減輕對象圖像產生部分40的結構方框圖。區(qū)域標識部分41產生下述信息(以下簡稱為“區(qū)域信息”)AR并且將其提供給混合比計算部分42、前景/背景分離部分43、以及運動模糊調節(jié)部分44，其中所述信息表示根據圖像數據DVa所顯示的圖像中的處理區(qū)域信息HZ所示的處理區(qū)域中的每個像素是屬于前景區(qū)、背景區(qū)、以及混合區(qū)中的哪一個。
混合比計算部分42根據圖像數據DVa以及區(qū)域標識部分41所提供的區(qū)域信息AR來計算混合區(qū)中的背景成分的混合比，并且將所計算的混合比提供給前景/背景分離部分43。
前景/背景分離部分43根據區(qū)域標識部分41所提供的區(qū)域信息AR以及混合比計算部分42所提供的混合比α，將圖像數據DVa分離成僅由前景成分所組成的前景成分圖像數據DBe以及僅由背景成分所組成的背景成分圖像數據DBb，并且將前景成分圖像數據DBe提供給運動模糊調節(jié)部分44。
運動模糊調節(jié)部分44根據運動矢量MVC所示的運動量以及區(qū)域信息AR來確定下述調節(jié)處理單元，所述調節(jié)處理單元表示包含在前景成分圖像數據DBe之中的至少一個像素。調節(jié)處理單元是用于對要受到運動模糊減輕處理的一組像素進行指定的數據。
運動模糊調節(jié)部分44根據前景/背景分離部分43所提供的前景成分圖像、運動矢量檢測部分30所提供的運動矢量MVC和其區(qū)域信息AR、以及調節(jié)處理單元來減輕包含在前景成分圖像數據DBe之中的運動模糊。它將運動模糊減輕前景成分圖像數據DBf提供給輸出部分45。
圖8給出了區(qū)域標識部分41的結構方框圖。圖像存儲器411以幀為單位存儲所輸入的圖像數據DVa。如果將要處理幀#n，則圖像存儲器411存儲在時間上出現于幀#n之前兩個幀的幀#n-2、出現于幀#n之前一個幀的幀#n-1、幀#n、出現于幀#n之后一個幀的幀#n+1、以及出現于幀#n之后兩個幀的幀#n+2。
靜止/運動判斷部分412從圖像存儲器411中讀取與幀#n的處理區(qū)域信息HZ所指定的區(qū)域相同的區(qū)域中的幀#n-2、#n-1、#n+1、以及#n+2的圖像數據，并且計算所讀取的圖像數據項之間的幀間絕對差值。它根據該幀間絕對差值是否高于預置閾值Th來判斷是運動部分或者靜止部分中的哪一個，并且將表示該判斷結果的靜止/運動判斷信息SM提供給區(qū)域判斷部分413。
圖9給出了從圖像存儲器411所讀取的圖像數據。應當注意的是圖9給出了這樣一種情況，即讀取處理區(qū)域信息HZ所示區(qū)域中沿一個行的像素位置P01-P37的圖像數據。
靜止/運動判斷部分412獲得兩個連續(xù)幀的每個像素的幀間絕對差值，判斷該幀間絕對差值是否高于預置閾值Th，并且如果幀間絕對差值高于閾值Th，那么判定其是“運動的”，或者如果不高于閾值Th，那么判定其是“靜止的”。
區(qū)域判斷部分413通過利用在靜止/運動判斷部分412所獲得的判斷結果來執(zhí)行圖10所示的區(qū)域判斷處理，以判斷處理區(qū)域信息HZ所示區(qū)域的每個像素是屬于靜止區(qū)、覆蓋背景區(qū)、未覆蓋背景區(qū)、以及運動區(qū)中的哪一個。
例如，首先，對于作為對幀#n-1和#n的靜止/運動判斷的結果而判定為靜止的像素，判定該像素是靜止區(qū)的像素。此外，對于作為對幀#n和#n+1的靜止/運動判斷的結果而判定為靜止的像素，判定該像素是靜止區(qū)的像素。
接下來，對于作為對#n-2和#n-1的靜止/運動判斷的結果而判定為靜止但是作為對幀#n-1和#n的靜止/運動判斷的結果而判定為運動的像素，判定該像素是覆蓋背景區(qū)的像素。此外，對于作為對幀#n和#n+1的靜止/運動判斷的結果而判定為運動但是作為對幀#n+1和#n+2的靜止/運動判斷的結果而判定為靜止的像素，判定該像素是未覆蓋背景區(qū)的像素。
此后，對于作為對幀#n-1和#n的靜止/運動判斷以及對幀#n和#n+1的靜止/運動判斷的結果而判定為運動的像素，判定該像素是運動區(qū)域的像素。
應當注意的是存在這樣一些情況，即，即使背景成分不包含在其之中，位于覆蓋背景區(qū)中的運動區(qū)側上或者位于未覆蓋背景區(qū)中的運動區(qū)側上的像素也被分別確定為覆蓋背景區(qū)或者未覆蓋背景區(qū)。例如，作為對幀#n-2和#n-1的靜止/運動判斷的結果而判斷出圖9中的像素位置P21是靜止的，但是作為對幀#n-1和#n的靜止/運動判斷的結果而判斷出該像素位置P21是運動的，并且因此即使背景成分不包含在其中，也可判斷出其是覆蓋背景區(qū)。作為對幀#n和#n+1的靜止/運動判斷的結果而判斷出像素位置P17是運動的，但是作為對幀#n+1和#n+2的靜止/運動判斷的結果而判斷出該像素位置P17是靜止的，并且因此即使背景成分不包含在其中，也可判斷出其是未覆蓋背景區(qū)。因此，將位于覆蓋背景區(qū)中的運動區(qū)側上的每個像素以及位于未覆蓋背景區(qū)中的運動區(qū)側上的每個像素校正成運動量區(qū)域的像素，可準確地執(zhí)行對每個像素的區(qū)域判斷。通過這樣執(zhí)行區(qū)域判斷，可產生表示每個像素屬于靜止區(qū)、覆蓋背景區(qū)、未覆蓋背景區(qū)、以及運動區(qū)中的哪一個的區(qū)域信息AR，并且將其提供給混合比計算部分42、前景/背景分離部分43、以及運動模糊調節(jié)部分44。
應當注意的是，區(qū)域標識部分41可采用未覆蓋背景區(qū)的區(qū)域信息與覆蓋背景區(qū)的區(qū)域信息的邏輯和，從而產生混合區(qū)的區(qū)域信息，以便使區(qū)域信息AR可表示每個像素屬于靜止區(qū)、混合區(qū)、以及運動區(qū)中的哪一個。
圖11給出了混合比計算部分42的結構方框圖。估算混合比處理部分421通過根據圖像數據DVa對覆蓋背景區(qū)執(zhí)行操作來計算每個像素的估算混合比αc，并且將所計算的估算混合比αc提供給混合比確定部分423。另一估算混合比處理部分422通過根據圖像數據DVa對未覆蓋背景區(qū)執(zhí)行操作來計算每個像素的估算混合比αu，并且將所計算的估算混合比αu提供給混合比確定部分423。
混合比確定部分423根據估算混合比處理部分421、422所分別提供的混合比αc和αu以及區(qū)域標識部分41所提供的區(qū)域信息AR來設置背景成分的混合比α。如果目標像素屬于運動區(qū)，那么混合比確定部分423將混合比α設置為0(α＝0)。另一方面，如果目標像素屬于靜止區(qū)，那么將混合比設置為1(α＝1)。如果目標像素屬于覆蓋背景區(qū)，那么將估算混合比處理部分421所提供的估算混合比αc設置為混合比α；并且如果目標像素屬于未覆蓋背景區(qū)，那么將估算混合比處理部分422所提供的估算混合比αu設置為混合比α。將這樣設置的混合比α提供給前景/背景分離部分43。
在這里，如果幀周期很短并且因此假定與前景相對應的運動對象是剛性的并且在該幀周期中以相同速度運動，那么屬于混合區(qū)的像素的混合比α根據像素位置的變化而線性變化。在這種情況下，如圖12所示，混合區(qū)中的理想混合比α的梯度θ可被表示為與前景相對應的運動對象的幀周期中的運動量v的倒數。也就是說，混合比α在靜止區(qū)中具有值“1”，且在運動區(qū)中具有值“0”，并且在混合區(qū)中在“0”至“1”的范圍內變化。
在幀#n-1中的像素位置P24的像素值是B24的假定之下，可由下式5來表示圖9所示的覆蓋背景區(qū)中的像素位置P24的像素值DP24DP24=3B24/v+F08/v+F09/v]]>=3/v·B24+Σi=0809Fi/v---(5)]]>該像素值DP24包含有3/v的背景成分，從而當運動量v是“5”(v＝5)時混合比α是3/5(α＝3/5)。
也就是說，可由下式6來給出覆蓋背景區(qū)中的像素位置Pg的像素值Dgc。應當注意的是，“Bg”表示幀#n-1中的像素位置Pg的像素值，并且“FEg”表示像素位置Pg處的前景成分的總和。
Dgc＝αc·Bg+FEg ...(6)此外，如果假定具有像素值Dgc的像素位置處的幀#n+1中的像素值是Fg，并且該像素位置處的Fg/v的值均彼此相同，則FEg＝(1-αc)Fg。也就是說，可將等式6變成下列等式7Dgc＝αc·Bg+(1-αc)Fg ...(7)可將等式7變成下列等式8αc＝(Dgc-Fg)/(Bg-Fg)...(8)在等式8中，Dgc、Bg、以及Fg是已知的，以便估算混合比處理部分421通過利用幀#n-1、#n、以及#n+1的像素值可獲得覆蓋背景區(qū)中的像素的估算混合比αc。
此外，就未覆蓋背景區(qū)而言，與覆蓋背景區(qū)的情況相類似，如果假定未覆蓋背景區(qū)中的像素值是DPu，那么可獲得下列等式9αu＝(Dgu-Bg)/(Fg-Bg)...(9)在等式9中，Dgu、Bg、以及Fg是已知的，以便估算混合比處理部分422通過利用幀#n-1、#n、以及#n+1的像素值可獲得未覆蓋背景區(qū)中的像素的估算混合比αu。
如果區(qū)域信息AR表示靜止區(qū)，那么混合比確定部分423將混合比α設置為1(α＝1)，并且如果其表示運動區(qū)，那么將該比率設置為0(α＝0)，并且輸出該比率。此外，如果區(qū)域信息AR表示覆蓋背景區(qū)或者未覆蓋背景區(qū)，那么它分別輸出估算混合比處理部分421所計算的估算混合比αc或者估算混合比處理部分422所計算的估算混合比αu作為混合比α。
圖13給出了前景/背景分離部分43的結構方框圖。將提供給前景/背景分離部分43的圖像數據DVa以及區(qū)域標識部分41所提供的區(qū)域信息AR提供給分離部分431、開關部分432、以及另一開關部分433。將混合比計算部分42所提供的混合比α提供給分離部分431。
根據區(qū)域信息AR，分離部分431從圖像數據DVa分離出覆蓋背景區(qū)和未覆蓋背景區(qū)中的像素的數據。根據所分離的數據以及混合比α，它使其已產生運動的前景對象成分與處于靜止的背景成分彼此相分離，以將是前景對象成分的前景成分提供給合成部分434，并且將背景成分提供給另一合成部分435。
例如，在圖9的幀#n中，像素位置P22-P25屬于覆蓋背景區(qū)，并且如果該像素位置P22-P25分別具有α22-α25，那么在幀#n-1中的像素位置P22的像素值是“B22j”的假定之下，可由下式10來給出像素位置P22的像素值DP22DP22＝B22/v+F06/v+F07/V+F08/v+F09/v＝α22·B22j+F06/v+F07/v+F08/v+F09/v...(10)可由下式11來給出幀#n中的像素位置P22的前景成分FE22FE22＝F06/v+F07/v+F08/v+F09/v＝DP22-α22·B22j ...(11)也就是說，如果假定幀#n-1中的像素位置Pg的像素值是“Bgj”，那么利用下式12可獲得幀#n中的覆蓋背景區(qū)中的像素位置Pg的前景成分FEgcFEgc＝DPg-αc·Bgj ...(12)此外，與覆蓋背景區(qū)中的前景成分FEgc的情況相同，還可獲得未覆蓋背景區(qū)中的前景成分FEgu。
例如，在幀#n中，如果假定幀#n+1中的像素位置P16的像素值是“B16k”，那么可由下式13來給出未覆蓋背景區(qū)中的像素位置P16的像素值DP16DP16＝B16/v+F01/v+F02/v+F03/v+F04/v＝α16·B16k+F01/v+F02/v+F03/v+F04/v...(13)可由下式14來給出幀#n中的像素位置P16的前景成分FE16FE16＝F01/v+F02/v+F03/v+F04/v＝DP16-α16·B16k ...(14)也就是說，如果假定幀#n+1中的像素位置Pg的像素值是“Bgk”，那么利用下式15可獲得幀#n中的未覆蓋背景區(qū)中的像素位置Pgu的前景成分FEguFEgu＝DPg-αu·Bk ...(15)分離部分431由此通過利用圖像數據DVa、區(qū)域標識部分41所產生的區(qū)域信息AR、以及混合比計算部分所計算的混合比α可使前景成分與背景成分彼此相分離。
開關部分432根據區(qū)域信息AR來進行開關控制，從而從圖像數據DVa中選擇運動區(qū)中的像素的數據并且將其提供給合成部分434。開關部分433根據區(qū)域信息AR來進行開關控制，從而從圖像數據DVa中選擇靜止區(qū)中的像素的數據并且將其提供給合成部分435。
合成部分434通過利用分離部分431所提供的前景對象成分以及開關部分432所提供的運動區(qū)的數據來對前景成分圖像數據DBe進行合成，并且將其提供給運動模糊調節(jié)部分44。此外，在首先所執(zhí)行的以產生前景成分圖像數據DBe的初始化過程中，合成部分434將像素值全為0的原始數據存儲在內置幀存儲器中，并且用圖像數據改寫該原始數據。因此，與背景區(qū)相對應的部分將是原始數據的狀態(tài)。
合成部分435通過利用分離部分431所提供的背景成分以及開關部分433所提供的靜止區(qū)的數據來對背景成分圖像數據DBb進行合成，并且將其提供給輸出部分45。此外，在首先所執(zhí)行的以產生背景成分圖像數據DBb的初始化過程中，合成部分435將像素值全為0的圖像存儲在內置幀存儲器中，并且用圖像數據改寫該原始數據。因此，與前景區(qū)相對應的部分將是原始數據的狀態(tài)。
圖14給出了運動模糊調節(jié)部分44的結構方框圖。將運動矢量檢測部分30所提供的運動矢量MVC提供給調節(jié)處理單元確定部分441以及建模部分442。將區(qū)域標識部分41所提供的區(qū)域信息AR提供給調節(jié)處理單元確定部分441。將前景/背景分離部分43所提供的前景成分圖像數據DBe提供給補加部分444。
調節(jié)處理單元確定部分441根據區(qū)域信息AR和運動矢量MVC，將前景成分圖像中的排列在從覆蓋背景區(qū)朝向未覆蓋背景區(qū)的運動方向上的連續(xù)像素設置為調節(jié)處理單元?；蛘?，它將排列在從未覆蓋背景區(qū)朝向覆蓋背景區(qū)的運動方向上的連續(xù)像素設置為調節(jié)處理單元。它將表示所設置的調節(jié)處理單元的調節(jié)處理單元信息HC提供給建模部分442以及補加部分444。圖15給出了在例如將圖9的幀#n中的每個像素位置P13-P25設置為調節(jié)處理單元的情況下的調節(jié)處理單元。值得注意的是，如果運動方向與橫向或者縱向方向不同，那么通過在調節(jié)處理單元確定部分441中執(zhí)行仿射變換而可將運動方向改變?yōu)闄M向或者縱向方向，以按照與其是橫向或者縱向方向之一的情況相同的方式來執(zhí)行處理。
建模部分442根據運動矢量MVC以及所設置的調節(jié)處理單元信息HC來執(zhí)行建模。在該建模過程中，預先存儲與包含在調節(jié)處理單元之中的像素數目、圖像數據Dva在時間方向上的虛擬劃分數目、以及像素特定的前景成分的像素數目相對應的多個模型，以便可根據調節(jié)處理單元以及像素值的時間方向上的虛擬劃分數目來選擇用于指定圖像數據Dva與前景成分之間的相關性的模型MD。
建模部分442將所選擇的模型MD提供給等式產生部分443。等式產生部分443根據建模部分442所所提供的模型MD而產生一等式。如上所述，假定調節(jié)處理單元是幀#n中的像素位置P13-P25、運動量是“五個像素”、并且虛擬劃分數目是“五”，那么可由下式16-28來表示處于調節(jié)處理單元之內的像素位置C01上的前景成分FE01以及各個像素位置C02-C13上的前景成分FE02-FE13FE01＝F01/v...(16)FE02＝F02/v+F01/v ...(17)FE03＝F03/v+F02/v+F01/v...(18)FE04＝F04/v+F03/v+F02/v+F01/v ...(19)FE05＝F05/v+F04/v+F03/v+F02/v+F01/v...(20)FE06＝F06/v+F05/v+F04/v+F03/v+F02/v...(21)FE07＝F07/v+F06/v+F05/v+F04/v+F03/v...(22)FE08＝F08/v+F07/v+F06/v+F05/v+F04/v...(23)FE09＝F09/v+F08/v+F07/v+F06/v+F05/v...(24)
FE10＝F09/v+F08/v+F07/v+F06/v ...(25)FE11＝F09/v+F08/v+F07/v ...(26)FE12＝F09/v+F08/v ...(27)FE13＝F09/v ...(28)等式產生部分443改變所產生的等式以產生新的等式。等式產生部分443產生了下列等式29-41FE01＝1·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(29)FE02＝1·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(30)FE03＝1·F01/v+1·F02/v+1·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(31)FE04＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(32)FE05＝1·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+0·F06/v+0·F07/v+0·F08/v+0·F09/v...(33)FE06＝0·F01/v+1·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+0·F07/v+0·F08/v+0·F09/v...(34)FE07＝0·F01/v+0·F02/v+1·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+0·F08/v+0·F09/v...(35)FE08＝0·F01/v+0·F02/v+0·F03/v+1·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+0·F09/v...(36)FE09＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+1·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(37)FE10＝0·F01/v+1·F02/v+0·F03/v+0·F04/v+0·F05/v+1·F06/v+1·F07/v+1·F08/v+1·F09/v...(38)FE11＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+1·F07/v+1·F08/v+1·F09/v...(39)FE12＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v
+0·F06/v+0·F07/v+1·F08/v+1·F09/v...(40)FE13＝0·F01/v+0·F02/v+0·F03/v+0·F04/v+0·F05/v+0·F06/v+0·F07/v+0·F08/v+1·F09/v...(41)還可在下列等式42中表示這些等式29-41FEj=Σi=0109aij·Fi/v---(42)]]>在等式42中，“j”表示調節(jié)處理單元中的像素位置。在該示例中，j采用值1-13中的任何一個。此外，“i”表示前景成分的位置。在該示例中，i采用值1-9中的任何一個。根據i和j的值，aij采用值0和1中的任何一個。
考慮到誤差，等式42可由下列等式43來表示FEj=Σi=0109aij·Fi/v+ej---(43)]]>在等式43中，ej表示包含在目標像素Cj之中的誤差?？蓪⒌仁?3改寫成下列等式44ej=FEj-Σi=0109aij·Fi/v---(44)]]>為了應用最小平方法，將該誤差的平方和E定義為如下列等式45所給出的E=Σj=0113ej2---(45)]]>為了將誤差降低到最小，使由于用于誤差的平方和E的變量Fk所造成的偏微分值為0，以便可獲得Fk以使其滿足下列等式46∂E∂Fk=2·Σj=0113ej·(∂ej/∂Fk)]]>=2·Σj=0113((FEj-Σi=0109aij·Fi/v)·(-akj/v))=0---(46)]]>在等式46中，運動量v是固定的，以便可獲得下列等式47Σj=0113akj·(FEj-Σi=0109aij·Fi/v)=0---(47)]]>
展開等式47并對其進行移項以提供下列等式48Σj=0113(akj·Σi=0109aij·Fi)=v·Σj=0113akj·FEj---(48)]]>通過用整數1-9中的任何一個代替其中的k而將等式48擴展為九個等式。接著通過利用一個矩陣而可將所獲得的這九個等式表示為一個等式。該等式被稱為標準方程。
下列等式49給出了等式產生部分443根據最小平方法所產生的標準方程的一個示例543210000454321000345432100234543210123454321012345432001234543000123454000012345·F01F02F03F04F05F06F07F08F09=v·Σi=0105FEiΣi=0206FEiΣi=0307FEiΣi=0408FEiΣi=0509FEiΣi=0610FEiΣi=0711FEiΣi=0812FEiΣi=0913FEi---(49)]]>如果將等式49表示為A·F＝v·FE，那么處于建模時間點上的A和v是已知的。此外，通過在補加過程中輸入像素值可得知FE，留下F是未知的。
由此通過利用基于最小平方法的標準方程可計算前景成分F，因此可消除包含在像素值FE之中的誤差。等式產生部分443將由此所產生的標準方程提供給補加部分444。
補加部分444根據調節(jié)處理單元確定部分441所提供的調節(jié)處理單元信息HC，將前景成分圖像數據DBe設置到等式產生部分443所提供的行列式中。此外，補加部分444向計算部分445提供其內設置有圖像數據的行列式。
計算部分445計算下述前景成分Fi/V以產生其內的運動模糊已減輕的前景的像素值F01-F09，在所述前景成分中通過根據諸如消除法(sweeping out)(高斯約旦消除)這樣的求解方法來執(zhí)行處理而已減輕了運動模糊。通過利用調節(jié)處理單元的中心作為基準對像素值F01-F09的圖像位置進行設置，在例如一個幀周期的半階段時將由此所產生的這些像素值F01-F09提供給輸出部分45，以便使前景成分圖像位置不會改變。也就是說，如圖16所示，利用像素值F01-F09作為像素位置C03-C11的圖像數據的各個項，可在一個幀周期的1/2時間時將其內的運動模糊已減輕的前景成分圖像的圖像數據DVafc提供給輸出部分45。
應當注意的是，如果給出了偶數個像素值，例如當獲得了像素值F01-F08時，計算部分445輸出中央的兩個像素值F04和F05中的任何一個作為調節(jié)處理單元的中心。此外，如果因為執(zhí)行快門操作而使一個幀內的曝光時間比一個幀周期要短，那么在曝光時間的半階段時將其提供給輸出部分45。
輸出部分50將運動模糊調節(jié)部分44所提供的前景成分圖像數據DBf組合到運動模糊減輕對象圖像產生部分40中的前景/背景分離部分43所提供的背景成分圖像數據DBb中，以產生圖像數據DVout并將其輸出。在這種情況下，將其內的運動模糊已減輕的前景成分圖像組合到與運動矢量檢測部分30所檢測的運動矢量MVC相對應的空間-時間位置上。也就是說，將運動模糊已減輕的前景成分圖像組合到處理區(qū)域信息HZ所表示的、根據運動矢量MVC所設置的位置上，可在產生運動模糊減輕圖像之前將所適當設置的運動模糊已減輕的前景成分圖像輸出到一圖像位置上。
因此，可在對運動對象進行追蹤時對運動對象執(zhí)行運動模糊減輕處理，從而產生運動模糊已減輕的圖像中的運動對象的運動模糊減輕圖像。
此外，在一圖像的處理區(qū)域中，假定當運動對象根據運動矢量運動時在時間方向上對下述每個像素的像素值進行積分，所述每個像素中不存在有與運動對象相對應的運動模糊，則執(zhí)行建模，以提取前景對象成分與背景對象成分之間的混合比作為重要信息，從而通過利用重要信息而使運動對象的成分分離，以根據已分離的運動對象的成分來準確地減輕運動模糊。
同時，還可通過利用軟件來減輕運動模糊。作為用于對圖像進行處理的裝置的另一結構，圖17給出了通過利用軟件來減輕運動模糊這樣一種情況。中央處理單元(CPU)61根據存儲在只讀存儲器(ROM)62或者存儲部分63之中的程序來執(zhí)行各種處理。該存儲部分63是由例如硬盤組成的以存儲CPU61所執(zhí)行的程序以及各類數據。隨機存取存儲器(RAM)64適當地存儲在對CPU61所執(zhí)行的程序或者備類數據進行處理時所使用的數據等。CPU61、ROM62、存儲部分63、以及RAM64通過總線65而彼此相連。
輸入接口部分66、輸出接口部分67、通信部分68、以及驅動器69通過總線65與CPU61相連。諸如鍵盤、指示設備(例如鼠標)、或者擴音器之類的輸入設備與輸入接口66相連。另一方面，諸如顯示器或者擴聲器這樣的輸出設備與輸出接口部分67相連。CPU61根據通過輸入接口部分66所輸入的命令而執(zhí)行各類處理。此后，CPU61通過輸出接口部分67而輸出由于該處理所獲得的圖像、語音等等。通信部分68通過互聯網或者任何其他網絡與外部設備進行通信。通信部分68用于接收從圖像傳感器10所輸出的圖像數據DVa、獲取程序等等。當將磁盤、光盤、磁光盤、或者半導體存儲器裝配在驅動器69上時，驅動器69驅動它以獲取記錄在其上或其內的程序或數據。根據需要，將所獲取的程序或數據傳送到存儲部分63以將其存儲在其中。
下面參考圖18的流程圖對用于處理圖像的裝置的操作進行描述。在步驟ST1，CPU 61通過輸入部分、通信部分等獲取圖像傳感器10所產生的圖像數據DVa，并且可使存儲部分63將所獲取的圖像數據DVa存儲在其中。
在步驟ST2，CPU 61按照來自外部的指令對處理區(qū)域進行設置。
在步驟ST3，CPU 61通過利用圖像數據DVa來對與在步驟ST2所確定的處理區(qū)域中的前景相對應的運動對象OBf的運動矢量進行檢測。
在步驟ST4，CPU 61獲取曝光時間參數，并且處理轉到步驟ST5，在步驟ST5中根據曝光時間參數來對在步驟ST3所檢測的運動矢量進行校正，并且此后處理轉到步驟ST6。
在步驟ST6，CPU 61根據所校正的運動矢量來執(zhí)行運動模糊減輕物象產生處理以便減輕運動對象OBf中的運動模糊，并且產生運動對象中的運動模糊已減輕的圖像數據。圖19給出了用于運動模糊減輕物象的產生處理的流程圖。
在步驟ST11，CPU61對在步驟ST2所確定的處理區(qū)域執(zhí)行區(qū)域標識處理，以判斷所確定的處理區(qū)域中的像素屬于背景區(qū)、前景區(qū)、覆蓋背景區(qū)、以及未覆蓋背景區(qū)中的哪一個，從而產生區(qū)域信息。在區(qū)域信息的產生過程中，如果幀#n受到該處理，那么幀#n-2、#n-1、#n、#n+1、以及#n+2的圖像數據用于計算其幀間絕對差值。根據幀間絕對差值是否大于預置閾值Th，判斷其是包含在運動部分還是靜止部分之中，并且根據該判斷結果來執(zhí)行區(qū)域判斷，從而產生區(qū)域信息。
在步驟ST12，CPU61通過利用在步驟ST11所產生的區(qū)域信息執(zhí)行混合比計算處理，以對處理區(qū)域中的每個像素計算表示包含背景成分的比率的混合比α，并且處理轉到步驟ST13。在混合比α的計算過程中，對于覆蓋背景區(qū)或未覆蓋背景區(qū)中的像素而言，幀#n-1、#n、以及#n+1的像素值用于計算估算混合比αc。此外，對于背景區(qū)而言將混合比α設置為“1”，并且對于前景區(qū)而言將混合比α設置為“0”。
在步驟ST13，根據在步驟ST11所產生的區(qū)域信息以及在步驟ST12所計算的混合比α，CPU61執(zhí)行前景/背景分離處理，以便使處理區(qū)域中的圖像數據分離成僅由前景成分所組成的前景成分圖像數據以及僅由背景成分所組成的背景成分圖像數據。也就是說，它通過對幀#n中的覆蓋背景區(qū)執(zhí)行上述等式12的操作，并且對其中的未覆蓋背景區(qū)執(zhí)行上述等式15的操作，可獲得前景成分，以使圖像數據分離成前景成分圖像數據以及僅由背景成分所組成的背景成分圖像數據。
在步驟ST14，CPU61根據在步驟ST5所獲得的校正后運動矢量以及在步驟ST11所產生的區(qū)域信息來執(zhí)行運動模糊調節(jié)處理，以確定表示包含在前景成分圖像數據之中的至少一個像素的調節(jié)處理單元，從而減輕包含在步驟ST13所分離的前景成分圖像數據之中的運動模糊。也就是說，它根據運動矢量MVC、處理區(qū)域信息HZ、以及區(qū)域信息AR來設置調節(jié)處理單元，并且根據運動矢量MVC、以及所設置的調節(jié)處理單元來執(zhí)行建模以產生標準方程。它將圖像數據設置到所產生的標準方程，并且根據消除法(高斯消除法)在其上執(zhí)行處理以產生運動模糊減輕物象的圖像數據，也就是說產生運動模糊已減輕的前景成分圖像數據。
在步驟ST7，CPU61對下述處理的結果執(zhí)行輸出處理以產生并輸出作為該處理結果的運動模糊減輕圖像的圖像數據DVout，所述處理是由于在步驟ST13所分離的背景成分圖像數據而對一圖像執(zhí)行將在步驟ST14所產生的運動模糊減輕前景成分圖像數據組合到與在步驟ST5所獲得的運動矢量相對應的空間-時間位置中。
在步驟ST8，CPU61判斷運動模糊減輕處理是否應當結束。在這種情況下，如果要對下一幀的圖像執(zhí)行運動模糊減輕處理，那么處理回到步驟ST2，否則結束該處理。由此還可通過利用軟件來執(zhí)行運動模糊減輕處理。
雖然上述實施例獲得了其運動模糊將要被減輕的對象的運動矢量，并且將包含有其運動模糊將要被減輕的對象的處理區(qū)域分離成靜止區(qū)、運動區(qū)、混合區(qū)等，以通過利用運動區(qū)和混合區(qū)的圖像數據來執(zhí)行運動模糊減輕處理，但是無需對前景、背景、以及混合區(qū)進行標識即可通過獲得每個像素的運動矢量來執(zhí)行運動模糊減輕處理而減輕運動模糊。
在這種情況下，運動矢量檢測部分30可獲得目標像素的運動矢量并且將其提供給運動模糊減輕對象圖像產生部分40。此外，它將表示目標像素的像素位置的處理區(qū)域信息HD提供給輸出部分。
圖20給出了無需對前景、背景、以及混合區(qū)進行標識即可減輕運動模糊的運動模糊減輕對象圖像產生部分40a的結構。運動模糊減輕對象圖像產生部分40a中的處理區(qū)域設置部分48按照下述方式對其運動模糊將要被減輕的圖像上的目標像素設置處理區(qū)域，所述方式是使這個處理區(qū)域與該目標像素的運動矢量的運動方向對齊，并且此后處理區(qū)域設置部分將其通知給計算部分49。此外，它將目標像素的位置提供給輸出部分45a。圖21給出了這樣一個處理區(qū)域，該處理區(qū)域被設置成以目標像素為中心在運動方向上具有(2N+1)個像素。圖22給出了對處理區(qū)域進行設置的示例；如果相對于其運動模糊將要被減輕的運動對象OBf的像素而言運動矢量例如如箭頭B所示橫向延伸，那么如圖22A所示將處理區(qū)域WA設置成橫向。另一方面，如果運動矢量傾斜延伸，那么如圖22B所示將處理區(qū)域WA設置成適當角度的方向。然而，為了傾斜地設置處理區(qū)域，必須通過插值法等獲得與處理區(qū)域的像素位置相對應的像素值。
在這種情況下，在處理區(qū)域中，如圖23所示，實際世界變量(Y-8，...，Y0，...，Y8)按照時間順序(time-wise)混合。應當注意的是圖23給出了這樣一種情況，其中將運動量v設置成5(v＝5)，并且處理區(qū)域包括13個像素(N＝6，其中N是目標像素的處理寬度的像素數目)。
計算部分49對該處理區(qū)域執(zhí)行實際世界估算，以僅輸出所估算的實際世界的中心像素變量Y0作為其運動模糊已消除的目標像素的像素值。
在這里假定處理區(qū)域中的像素的像素值是X-N，X-N+1，...，X0，...，XN-1，XN，那么可建立諸如等式50所示的(2N+1)個混合等式。在該等式中，常數h表示通過使運動量乘以(1/2)所獲得的整數部分的值(其小數位被舍去)。
Σi=t-ht+h(Yi/v)=xt---(50)]]>(t＝-N，··，0，··，N )然而，將要獲得的有(2N+v)個實際世界變量(Y-N-h，Y0，YN+ h)。也就是說，等式數目小于變量數目，從而使得根據等式50不可能獲得實際世界變量(Y-N-h，Y0，YN+h)。
因此，通過利用下列等式51而使等式數目增加以大于實際世界變量的數目，利用最小平方法可獲得實際世界變量的值，其中所述等式51是使用空間相關的約束方程。
Yt-Yt+1＝0 ...(51)(t＝-N-h，...，0，...，N+h-1)也就是說，通過利用下述總共(4N+v)個等式可獲得(2N+v)個未知的實際世界變量(Y-N-h，...，Y0，...，YN+h)，上述等式是通過將等式50所表示的(2n+1)個混合等式與等式51所表示的(2N+V-1)個約束方程累加在一起所獲得的。
應當注意的是，通過按照使這些等式中所存在的誤差的平方和最小化這樣的方式來執(zhí)行估算，當執(zhí)行運動模糊減輕圖像產生處理時可抑制實際世界中的像素值的波動。
下列等式52表示如圖23所示對處理區(qū)域進行設置這樣一種情況，其中將等式中所存在的誤差添加到各個等式50和51上。
...(52)可將等式52變成等式53，以便獲得如等式55所示的Y(Yi)，該Y可使等式54所給出的誤差的平方和E最小。在等式55中，T表示轉置矩陣。
AY＝X+e ...(53)E＝|e|2＝∑emi2+∑ebi2...(54)Y＝(ATA)-1ATX ...(55)應當注意的是，誤差的平方和例如是由等式56給出的，以便通過對誤差的平方和進行偏微分，使得偏微分值可以是如等式57所給出的0，因此可獲得其可使誤差的平方和最小化的等式55。
E＝(A·Y-X)T(A·Y-X)＝YT·AT·A·Y-2·YT·AT·X+XT·X ...(56)∂E∂Y=2(AT·A·Y-AT·X)=0---(57)]]>對等式55執(zhí)行線性組合，可分別獲得實際世界變量(Y-N-h，...，Y0，...，YN+h)，以輸出中心像素變量Y0的像素值作為目標像素的像素值。例如，計算部分49存儲預先為每個運動量所獲得的矩陣(ATA)-1AT，并且根據與該運動量相對應的矩陣以及處理區(qū)域中的像素的像素值而將中心像素變量Y0的像素值輸出作為目標值。對處理區(qū)域中的所有像素執(zhí)行這種處理，可獲得用戶所指定的整個屏幕或整個區(qū)域的、其每一個之內的運動模糊已減輕的實際世界變量。
雖然上述實施例通過按照使AY＝X+e中的誤差的平方和E最小化這樣的方式使用最小平方法而獲得了實際世界變量(Y-N-h，...，Y0，...，YN+h)，但是可給出下列等式58以便使等式數目等于變量數目。通過將等式表示為AY＝X并且將其改成Y＝A-1X，可獲得實際世界變量(Y-N-h，...，Y0，...，YN+h)。
...(58)輸出部分50a將運動模糊減輕對象圖像產生部分40所獲得的中心像素變量Y0的像素值帶入目標像素的像素值。此外，如果因為表示出了背景區(qū)或者混合區(qū)而不能獲得中心像素變量Y0，那么在執(zhí)行運動模糊減輕圖像的產生處理之前的目標像素的像素值用于產生圖像數據DVout。
按照這種方式，即使每個像素來說運動對象的運動彼此不同，也可通過利用與目標像素相對應的運動矢量來估算實際世界，因此可執(zhí)行準確的運動模糊減輕圖像產生處理。例如，即使假定運動對象是剛性的，也可減輕運動對象的圖像的運動模糊。
同時，在上述實施例中，減輕運動對象OBf的運動模糊以輸出其圖像，以便如圖24所示即使當運動對象OBf按照圖24A、24B、以及24C的順序運動時，也可在對其進行追蹤時減輕運動對象OBf的運動模糊，因此可輸出其內的運動對象OBf的運動模糊已減輕的良好圖像。然而或者，通過對圖像的顯示位置進行控制以便根據運動對象OBf使運動模糊減輕運動對象OBf的圖像位于屏幕的預定位置上，可對該圖像進行輸出以便對運動對象OBf進行追蹤。
在這種情況下，運動矢量檢測部分30根據運動矢量MV使在區(qū)域選擇信息HA所示區(qū)域中所設置的追蹤點運動，以將表示這個運動之后的追蹤點的坐標信息HG提供給輸出部分50。輸出部分50產生圖像數據DVout以便使坐標信息HG所示的追蹤點位于屏幕的預定位置上。由此可對圖像進行輸出，就好象對運動對象OBf正進行追蹤一樣。
此外，通過利用運動模糊減輕圖像數據DVout產生擴展圖像，可將擴展圖像輸出到時間方向上與運動矢量相對應的一位置上。也就是說，通過利用運動對象OBf作為參考，通過利用在區(qū)域選擇信息HA所示區(qū)域中所設置的追蹤點作為參考，并且按照使追蹤點位于屏幕上預定位置的方式輸出擴展圖像，即使運動對象如圖25A-25C所示進行運動，也可在如圖25D-25F所示對運動對象OBf進行追蹤時輸出運動對象OBf的擴展圖像。在這種情況下，因為對運動對象OBf的擴展圖像進行顯示以直至該圖像的圖像幀的大小，因此即使顯示圖像運動以便使追蹤點位于屏幕的預定位置上，也可防止在屏幕上出現未顯示部分。此外，通過使其內的運動模糊已減輕的像素的像素值重復可產生擴展圖像。例如，通過使每個像素值重復兩次，可產生其縱向和橫向尺寸加倍的擴展圖像。此外，通過使用相鄰像素的平均值等作為新的像素值，可在相鄰像素之間放置新的像素以產生擴展圖像。此外，通過利用運動模糊減輕圖像創(chuàng)建空間分辨率，可輸出運動模糊更小的高清晰度擴展圖像。下面對執(zhí)行空間分辨率創(chuàng)建以產生擴展圖像這樣一種情況進行描述。
圖26給出了用于對圖像進行處理的裝置的另一結構，通過此裝置可執(zhí)行空間分辨率創(chuàng)建以允許產生擴展圖像。應該注意的是，在圖26中與圖5中的部件相對應的相似部件是由相似符號來表示的，因而省略對其的詳細說明。
將運動矢量檢測部分30所產生的坐標信息HG提供給空間分辨率創(chuàng)建部分70。此外，還將輸出部分50所輸出的運動模糊減輕圖像的圖像數據DVout提供給空間分辨率創(chuàng)建部分70。
圖27給出了空間分辨率創(chuàng)建部分的結構。將運動模糊減輕圖像數據DVout提供給空間分辨率創(chuàng)建部分70。
空間分辨率創(chuàng)建部分70包括類別分類部分71，用于對圖像數據DVout的目標像素進行分類；預測系數存儲器72，用于輸出與類別分類部分71的分類結果相對應的預測系數；預測計算部分73，用于通過利用預測系數存儲器72所輸出的預測系數以及圖像數據DVout來執(zhí)行預測計算而產生插值像素數據DH；以及擴展圖像輸出部分74，用于根據運動矢量檢測部分30所提供的坐標信息HG而讀取空間分辨率創(chuàng)建之后的與顯示像素一樣多的圖像，并且輸出擴展圖像的圖像數據DVz。
將圖像數據DVout提供給類別分類部分71中的類別像素組剪切部分711、預測計算部分73中的預測像素組剪切部分731、以及擴展圖像輸出部分74。類別像素組剪切部分711剪切掉為了表示運動程度而要進行類別分類(運動類別)所必需的像素。將類別像素組剪切部分711所剪切的像素組提供給類別值確定部分712。類別值確定部分712計算與類別像素組剪切部分711所剪切的像素組的像素數據有關的幀間差，并且例如通過對這些均值與多個預置閾值進行比較而對這些幀內差的絕對均值進行分類，從而確定類別值CL。
預測系數存儲器72將預測系數存儲在其中，并且將與類別分類部分71所確定的類別值CL相對應的預測系數KE提供給預測計算部分73。
預測計算部分73中的預測像素組剪切部分731剪切掉圖像數據DVout當中的在預測計算中所使用的像素數據(即預測抽頭)TP，并且將其提供給計算處理部分732。計算處理部分732通過利用預測系數存儲器72所提供的預測系數KE以及預測抽頭TP來執(zhí)行一維線性操作，從而計算與目標像素相對應的插值像素數據DH，并且將其提供給擴展圖像輸出部分74。
擴展圖像輸出部分74通過從圖像數據Dvout以及插值像素數據DH中讀取與顯示尺寸一樣多的圖像數據而產生擴展圖像的圖像數據DVz并將其輸出，以便使基于坐標信息HG的位置可位于屏幕的預定位置上。
通過由此產生擴展圖像并且利用所產生的插值像素數據DH以及圖像數據DVout，可輸出其中運動模糊已減輕的擴展高質量圖像。例如，通過產生插值像素數據DH并且使橫向和縱向像素數目加倍，可輸出這樣的其運動模糊已減輕的高質量圖像以便使運動對象OBf的縱向和橫向加倍。
應當注意的是可以通過利用圖28所示的學習設備來創(chuàng)建存儲在預測系數存儲器72中的預測系數。在圖28中，與圖27中的部件相對應的相似部件是由相似符號來表示的。
學習設備75包括類別分類部分71、預測系數存儲器72、以及系數計算部分76。將通過降低教師圖像的像素數目所產生的學生圖像的圖像數據GS提供給類別分類部分71和系數計算部分76。
類別分類部分71通過利用類別像素組剪切部分711而從學生圖像的圖像數據GS中剪切掉類別分類所必需的像素，并且通過利用該組的像素數據來對所剪切的像素組進行分類，從而確定類別值。
系數計算部分76中的學生像素組剪切部分761從學生圖像的圖像數據GS中剪切掉在計算預測系數過程中所使用的像素數據，并且將其提供給預測系數學習部分762。
預測系數學習部分762通過利用教師圖像的圖像數據GT、來自學生像素組剪切部分761的圖像數據、以及預測系數而為由類別分類部分71所提供的類別值所示的每個類別產生一標準方程。此外，它通過利用諸如消除法這樣的一般矩陣解法而按照預測系數來對標準方程進行求解，并且將所獲得的系數存儲在預測系數存儲器72中。
圖29給出了對空間分辨率創(chuàng)建處理進行組合這樣一種情況的操作流程圖。
在步驟ST21，CPU61獲取圖像數據DVa，并且處理轉到步驟ST22。
在步驟ST22，CPU61對處理區(qū)域進行設置，并且處理轉到步驟ST23。
在步驟ST23，CPU61將變量i設置為0(i＝0)，并且處理轉到步驟ST24。
在步驟ST24，CPU61判斷變量i是否不等于0(i≠0)。如果不是i≠0，那么處理轉到步驟ST25，并且如果i≠0，那么處理轉到步驟ST29。
在步驟ST25，CPU61對與在步驟ST22所設置的處理區(qū)域有關的運動矢量進行檢測，并且處理轉到步驟ST26。
在步驟ST26，CPU61獲取曝光時間參數，并且處理轉到步驟ST27，在該步驟中根據曝光時間參數對在步驟ST25所檢測的運動矢量進行校正，并且處理轉到步驟ST28。
在步驟ST28，CPU61通過利用校正后運動矢量以及圖像數據DVa來執(zhí)行圖19所示的運動模糊減輕物象產生處理，以產生運動對象的運動模糊減輕圖像，并且處理轉到步驟ST33。
在步驟ST33，CPU61產生了一處理結果，并且在與在步驟ST27所獲得的運動矢量相對應的一空間-時間位置處將其中運動模糊已減輕的前景成分圖像數據組合到背景成分圖像數據中，從而作為該處理的結果產生圖像數據DVout。
在步驟ST34，CPU61通過利用在步驟ST33所產生的圖像數據DVout來執(zhí)行空間分辨率創(chuàng)建處理，并且產生具有顯示屏尺寸的擴展圖像的圖像數據DVz，以便使坐標信息HG所示的位置位于屏幕的固定位置上。
在步驟ST35，CPU61根據運動對象的運動而使處理區(qū)域運動，以對追蹤后處理區(qū)域進行設置，并且處理轉到步驟ST36。在追蹤后處理區(qū)域的設置過程中，例如，檢測并使用運動對象OBf的運動矢量MV?；蛘?，使用在步驟ST25或ST29所檢測的運動矢量。
在步驟ST36，CPU61將變量i設置為i+1(i＝i+1)，并且處理轉到步驟ST37。
在步驟ST37，CPU61判斷處理是否應當結束。如果在該步驟判斷出處理不應當結束，那么處理回到步驟ST24。
如果處理從步驟ST37回到步驟ST24以使CPU61執(zhí)行其處理，那么因為變量i不等于0(i≠0)而使處理轉到步驟ST29，以在步驟ST29對與追蹤后處理區(qū)域有關的運動矢量進行檢測，并且處理轉到步驟ST30。
在步驟ST30-ST32，CPU61執(zhí)行與步驟ST26-ST28所執(zhí)行的處理相同的處理，并且處理轉到步驟ST33。CPU61重復從步驟ST33開始的處理。此后，如果圖像數據DVa已結束或者執(zhí)行停止操作，那么判斷出操作已結束，從而結束處理。
應當注意的是，根據圖29所示的處理，當根據在步驟ST33所產生的處理結果顯示圖像時，可獲得圖24所示的所顯示圖像。
由此，在對運動對象OBf追蹤時可輸出運動對象OBf的擴展圖像。
工業(yè)實用性如上所述，本發(fā)明所涉及的用于處理圖像的裝置、用于處理圖像的方法、以及其程序可用于減輕圖像中的運動模糊，由此非常適用于減輕攝像機所拍攝的圖像中的運動模糊。
權利要求
1.一種用于處理圖像的裝置，所述裝置包括運動矢量檢測裝置，用于對與在下述多個圖像中進行運動的一運動對象有關的運動矢量進行檢測，并且對該運動對象進行追蹤，其中所述多個圖像的每一個均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生裝置，用于通過利用運動矢量檢測裝置所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出裝置，用于將在運動模糊減輕對象圖像產生裝置中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，以將其輸出為運動模糊減輕圖像，其中所述運動矢量是由運動矢量檢測裝置所檢測的。
2.根據權利要求1的用于處理圖像的裝置，其中運動矢量檢測裝置對下述目標像素進行設置，所述目標像素與時間上連續(xù)的至少第一圖像和第二圖像的任何一個中的運動對象的位置相對應，并且運動矢量檢測裝置通過利用第一和第二圖像來對與目標像素相對應的運動矢量進行檢測；并且其中輸出裝置將運動模糊減輕對象圖像組合到所述圖像之一中的目標像素的位置上或者與另一圖像中的目標像素相對應的位置上，所述位置均與所檢測的運動矢量相對應。
3.根據權利要求1的用于處理圖像的裝置，其中在圖像的處理區(qū)域中，使運動模糊減輕對象圖像產生裝置成為一個模型，以便使其內未出現有與運動對象相對應的運動模糊的每個像素的像素值成為這樣的值，該值是在像素對應于運動矢量運動時通過在時間方向上對像素值進行積分而獲得的，并且運動模糊減輕對象圖像產生裝置根據該處理區(qū)域中的像素的像素值，產生這樣的運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中包含在處理區(qū)域中的運動對象的運動模糊已被減輕。
4.根據權利要求3的用于處理圖像的裝置，其中運動模糊減輕對象圖像產生裝置包括區(qū)域標識裝置，用于對處理區(qū)域中的前景區(qū)、背景區(qū)、以及混合區(qū)進行標識，所述前景區(qū)僅是由構成了是運動對象的前景對象的前景對象成分所組成的，所述背景區(qū)僅是由構成了背景對象的背景對象成分組成的，并且所述混合區(qū)中混合有前景對象成分以及背景對象成分；混合比檢測裝置，用于對混合區(qū)中的前景對象成分和背景對象成分的混合比進行檢測；分離裝置，用于根據該混合比將該圖像的至少一部分區(qū)域分離成前景對象和背景對象；以及運動模糊調節(jié)裝置，用于根據運動矢量來減輕由分離裝置所分離的前景對象的運動模糊。
5.根據權利要求3的用于處理圖像的裝置，其中運動矢量檢測裝置對于圖像中的每個像素檢測運動矢量；并且其中運動模糊減輕對象圖像產生裝置根據圖像中的目標像素的運動矢量來設置處理區(qū)域，以便處理區(qū)域包括目標像素，并且根據目標像素的運動矢量以像素為單位輸出其中目標像素的運動模糊已減輕的像素值。
6.根據權利要求1的用于處理圖像的裝置，進一步包括用于根據運動模糊減輕圖像產生擴展圖像的擴展圖像產生裝置，其中輸出裝置將擴展圖像輸出到時間方向上與運動矢量相對應的位置上。
7.根據權利要求6的用于處理圖像的裝置，其中擴展圖像產生裝置包括類別確定裝置，用于從運動模糊減輕圖像中提取與擴展圖像中的目標像素相對應的多個像素作為類別抽頭，并且根據該類別抽頭的像素值來確定與目標像素相對應的類別；存儲裝置，用于存儲預測系數，所述預測系數每個均用于從第一圖像中的多個像素中預測出目標像素，所述多個像素與第二圖像中的目標像素相對應，所述預測系數是通過在第一與第二圖像之間對每個類別進行學習所獲得的，所述第一圖像具有與運動模糊減輕圖像相對應的像素數目，并且所述第二圖像具有比第一圖像更多的像素數目；以及預測值產生裝置，用于從存儲裝置中檢測出其每個均與類別檢測裝置所檢測的類別相對應的預測系數，從運動模糊減輕圖像中提取與擴展圖像中的目標像素相對應的多個像素作為預測抽頭，并且根據從存儲裝置所檢測的預測系數與預測抽頭的一維線性組合而產生與目標像素相對應的預測值。
8.一種用于處理圖像的方法，所述方法包括運動矢量檢測步驟，用于對與在下述多個圖像中進行運動的一運動對象有關的運動矢量進行檢測，并且對該運動對象進行追蹤，其中所述多個圖像的每一個均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生步驟，用于通過利用運動矢量檢測步驟所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出步驟，用于將在運動模糊減輕對象圖像產生步驟中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，以將其輸出為運動模糊減輕圖像，其中所述運動矢量是在運動矢量檢測步驟所檢測的。
9.根據權利要求8的用于處理圖像的方法，其中運動矢量檢測步驟對下述目標像素進行設置，所述目標像素與時間上連續(xù)的至少第一圖像和第二圖像的任何一個中的運動對象的位置相對應，并且運動矢量檢測步驟通過利用第一和第二圖像來對與目標像素相對應的運動矢量進行檢測；并且其中輸出步驟將運動模糊減輕對象圖像組合到所述圖像之一中的目標像素的位置上或者與另一圖像中的目標像素相對應的位置上，所述位置均與所檢測的運動矢量相對應。
10.根據權利要求8的用于處理圖像的方法，其中在圖像的處理區(qū)域中，使運動模糊減輕對象圖像產生步驟成為一個模型，以便使其內未出現有與運動對象相對應的運動模糊的每個像素的像素值成為這樣的值，該值是在像素對應于運動矢量運動時通過在時間方向上對像素值進行積分而獲得的，并且運動模糊減輕對象圖像產生步驟根據該處理區(qū)域中的像素的像素值，產生這樣的運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中包含在處理區(qū)域中的運動對象的運動模糊已被減輕。
11.根據權利要求10的用于處理圖像的方法，其中運動模糊減輕對象圖像產生步驟包括區(qū)域標識步驟，用于對處理區(qū)域中的前景區(qū)、背景區(qū)、以及混合區(qū)進行標識，所述前景區(qū)僅是由構成了是運動對象的前景對象的前景對象成分所組成的，所述背景區(qū)僅是由構成了背景對象的背景對象成分組成的，并且所述混合區(qū)中混合有前景對象成分以及背景對象成分；混合比檢測步驟，用于對混合區(qū)中的前景對象成分和背景對象成分的混合比進行檢測；分離步驟，用于根據該混合比將該圖像的至少一部分區(qū)域分離成前景對象和背景對象；以及運動模糊調節(jié)步驟，用于根據運動矢量來減輕在分離步驟中所分離的前景對象的運動模糊。
12.根據權利要求10的用于處理圖像的方法，其中運動矢量檢測步驟對于圖像中的每個像素檢測運動矢量；并且其中運動模糊減輕對象圖像產生步驟根據圖像中的目標像素的運動矢量來設置處理區(qū)域，以便處理區(qū)域包括目標像素，并且根據目標像素的運動矢量以像素為單位輸出其中目標像素的運動模糊已減輕的像素值。
13.根據權利要求8的用于處理圖像的方法，進一步包括用于根據運動模糊減輕圖像來產生擴展圖像的擴展圖像產生步驟，其中在輸出步驟中將擴展圖像輸出到時間方向上與運動矢量相對應的位置上。
14.根據權利要求13的用于處理圖像的方法，其中擴展圖像產生步驟包括類別確定步驟，用于從運動模糊減輕圖像中提取與擴展圖像中的目標像素相對應的多個像素作為類別抽頭，并且根據該類別抽頭的像素值來確定與目標像素相對應的類別；存儲步驟，用于存儲預測系數，所述預測系數每個均用于從第一圖像中的多個像素中預測出目標像素，所述多個像素與第二圖像中的目標像素相對應，所述預測系數是通過在第一與第二圖像之間對每個類別進行學習所獲得的，所述第一圖像具有與運動模糊減輕圖像相對應的像素數目，并且所述第二圖像具有比第一圖像更多的像素數目；以及預測值產生步驟，用于對存儲步驟中的、其每個均與類別檢測步驟所檢測的類別相對應的預測系數進行檢測，從運動模糊減輕圖像中提取與擴展圖像中的目標像素相對應的多個像素作為預測抽頭，并且根據從存儲步驟所檢測的預測系數與預測抽頭的一維線性組合而產生與目標像素相對應的預測值。
15.一種可使計算機執(zhí)行下述步驟的程序運動矢量檢測步驟，用于對與在下述多個圖像中進行運動的運動對象有關的運動矢量進行檢測，并且對該運動對象進行追蹤，其中所述多個圖像的每一個均是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的；運動模糊減輕對象圖像產生步驟，用于通過利用運動矢量檢測步驟所檢測到的運動矢量產生運動模糊減輕對象圖像，在該運動模糊減輕對象圖像中減輕了多個圖像的每一個圖像中的運動對象中所存在的運動模糊；以及輸出步驟，用于將在運動模糊減輕對象圖像產生步驟中所產生的運動模糊減輕對象圖像組合到每個圖像中的與運動矢量相對應的空間-時間位置上，以將其輸出為運動模糊減輕圖像，其中所述運動矢量是在運動矢量檢測步驟所檢測的。
全文摘要
有可能對圖像中的運動對象進行追蹤并且減輕運動對象的運動模糊。運動矢量檢測單元(30)通過利用圖像的圖像數據DVa來對圖像中的運動對象的運動矢量進行檢測，其中所述圖像是由多個像素所組成的且是通過具有時間積分效果的圖像傳感器所獲取的。運動模糊減輕對象圖像產生單元(40)利用所檢測的運動矢量以便減輕圖像中的運動對象中所產生的運動模糊，并且產生運動模糊減輕對象圖像的圖像數據DBf。輸出單元(50)根據背景成分圖像數據DBb而將運動模糊減輕對象圖像的圖像數據DBf組合到與圖像中所檢測到的運動矢量相對應的時間/空間位置上，并且產生運動模糊減輕圖像的圖像數據DVout。
文檔編號G06T7/20GK1765124SQ200580000139
公開日2006年4月26日 申請日期2005年2月10日 優(yōu)先權日2004年2月13日
發(fā)明者近藤哲二郎, 金丸昌宏 申請人:索尼株式會社