圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序的制作方法
【專利摘要】本發(fā)明涉及能夠相對(duì)于局部運(yùn)動(dòng)被攝體、照明強(qiáng)度改變等魯棒的并提供用于執(zhí)行高度精確的全局運(yùn)動(dòng)搜索處理的特征的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序。圖像處理裝置裝備有：圖像劃分部件，配置為將經(jīng)歷處理的圖像劃分為多個(gè)圖像；劃分圖像選擇部件，配置為從多個(gè)劃分圖像中選擇對(duì)于其運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理部件，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理部件，配置為基于對(duì)于所選的劃分圖像的第一運(yùn)動(dòng)搜索處理部件的運(yùn)動(dòng)搜索處理有關(guān)的信息，對(duì)于不經(jīng)歷圖像劃分的整個(gè)圖像執(zhí)行運(yùn)動(dòng)搜索處理。
【專利說(shuō)明】圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序
【技術(shù)領(lǐng)域】
[0001]本說(shuō)明書中公開的技術(shù)涉及圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序。更具體地，其涉及用于執(zhí)行運(yùn)動(dòng)矢量搜索(ME:運(yùn)動(dòng)估計(jì))以估計(jì)圖像序列中的圖像之間的全局運(yùn)動(dòng)的量的技術(shù)(也稱為“全局運(yùn)動(dòng)搜索處理”)。
【背景技術(shù)】
[0002]塊匹配熟知為用于運(yùn)動(dòng)估計(jì)的最典型的方法。為了估計(jì)圖像序列中的多個(gè)圖像(典型地包括一個(gè)當(dāng)前圖像和一個(gè)參考圖像的兩個(gè)圖像)之間的全局運(yùn)動(dòng)量，基本上采取在整體圖像上的對(duì)于每一劃分的塊產(chǎn)生的運(yùn)動(dòng)矢量(MV:運(yùn)動(dòng)矢量，也稱為“局部MV”)的加權(quán)平均。在這種情況下，可以通過(guò)減小具有更少不可靠的局部MV的塊的權(quán)重來(lái)改進(jìn)魯棒性(例如，參見日本專利申請(qǐng)?zhí)亻_N0.5-289159和日本專利申請(qǐng)?zhí)亻_N0.2006-222933)。然而，因?yàn)樾枰罅繅K匹配的計(jì)算資源來(lái)獲得每個(gè)塊的運(yùn)動(dòng)矢量MV，所以用于執(zhí)行塊匹配的方法總的來(lái)說(shuō)不是很有效。
[0003]作為另一運(yùn)動(dòng)估計(jì)方法，存在對(duì)于整體圖像的運(yùn)動(dòng)估計(jì)。作為對(duì)于整體圖像的運(yùn)動(dòng)估計(jì)方法，已知 LK 方法(Lucas-Kanade 方法)(參見“An Iterative Image RegistrationTechnique with an Application to Stereo Vision，，，B.D.Lucas, T.Kanade, Intl.JointConf.0n AI，pp.674-679，1981，也稱為非專利文件I)。當(dāng)使用用于整體圖像的LK方法時(shí)，與塊匹配相比，可以執(zhí)行具有好的計(jì)算效率的全局運(yùn)動(dòng)搜索處理GME。
[0004]另一方面，作為改進(jìn)魯棒性的運(yùn)動(dòng)估計(jì)方法，已知執(zhí)行圖像分割(也稱為屏幕分害I])(參見日本專利申請(qǐng)?zhí)亻_N0.2004-015376)。在執(zhí)行該圖像分割的方法中，輸入圖像被劃分為多個(gè)圖像并對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)估計(jì)。通過(guò)加權(quán)基于劃分圖像的可靠性對(duì)于每一劃分圖像計(jì)算出的運(yùn)動(dòng)矢量MV，可以改進(jìn)魯棒性。
[0005]引文列表
[0006]專利文件
[0007]專利文件1:日本專利申請(qǐng)?zhí)亻_N0.5-289159
[0008]專利文件2:日本專利申請(qǐng)?zhí)亻_N0.2006-222933
[0009]專利文件3:日本專利申請(qǐng)?zhí)亻_N0.2004-015376
[0010]非專利文件
[0011]非專利文件 1:“An Iterative Image Registration Technique with anApplication to Stereo Vision，，，B.D.Lucas, T.Kanade, Intl.Joint Conf.0n Al,pp.674-679，1981。

【發(fā)明內(nèi)容】

[0012]技術(shù)問(wèn)題
[0013]然而，雖然LK方法可以執(zhí)行與塊匹配相比具有顯著更大的計(jì)算效率的全局運(yùn)動(dòng)搜索處理GME，但是因?yàn)橛糜谡w圖像的LK方法不計(jì)算局部MV，所以不能改進(jìn)魯棒性。非專利文件I公開了執(zhí)行圖像分割，使用LK方法執(zhí)行運(yùn)動(dòng)搜索處理，對(duì)于運(yùn)動(dòng)搜索處理結(jié)果執(zhí)行非正常值消除，并執(zhí)行對(duì)于整體圖像的運(yùn)動(dòng)搜索處理。然而，考慮到精度仍然存在困難。另外，在用于執(zhí)行圖像分割的方法中，對(duì)于每一劃分圖像執(zhí)行加權(quán)，確定在確定為其可靠性低的劃分圖像中的全部像素的可靠性。當(dāng)在確定為其可靠性低的劃分圖像中存在高度可靠的像素時(shí)，因?yàn)橥ㄟ^(guò)加權(quán)劃分圖像而使得高度可靠的像素的信息具有低可靠性，所以即使像素實(shí)際具有高可靠性，在運(yùn)動(dòng)估計(jì)中也不能有效地使用其信息，結(jié)果是使得運(yùn)動(dòng)估計(jì)的精度降低。
[0014]由此，本公開具有提供能夠執(zhí)行對(duì)局部移動(dòng)被攝體、照明強(qiáng)度改變等魯棒并具有高精度的全局運(yùn)動(dòng)搜索處理的技術(shù)的目的。優(yōu)選地，目的進(jìn)一步在于提供能夠執(zhí)行對(duì)局部移動(dòng)被攝體、照明強(qiáng)度改變等魯棒并具有高精度的全局運(yùn)動(dòng)搜索處理同時(shí)保持高計(jì)算效率的技術(shù)。
[0015]技術(shù)方案
[0016]根據(jù)本公開第一方面的圖像處理裝置包括:圖像分割單元，配置為使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像；劃分圖像選擇單元，配置為從多個(gè)劃分圖像中選擇劃分圖像，其選擇運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理單元，配置為基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。在從屬于根據(jù)本公開第一方面的圖像處理裝置的權(quán)利要求中描述的每一圖像處理裝置指定根據(jù)本公開第一方面的圖像處理裝置的其他有益的說(shuō)明性示例。
[0017]根據(jù)本公開第二方面的圖像處理方法包括:圖像分割步驟，使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像；劃分圖像選擇步驟，從多個(gè)劃分圖像中選擇劃分圖像，其選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理步驟，對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理步驟，基于第一運(yùn)動(dòng)搜索處理步驟對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
[0018]根據(jù)本公開第三方面的成像裝置包括:固態(tài)成像裝置；光學(xué)系統(tǒng)，配置為形成在固態(tài)成像裝置的成像區(qū)域中獲得的被攝體圖像的圖像；第一存儲(chǔ)單元，配置為存儲(chǔ)由固態(tài)成像裝置獲得的圖像；第一信號(hào)處理單元，配置為對(duì)由固態(tài)成像裝置獲得的圖像執(zhí)行預(yù)定信號(hào)處理；第二存儲(chǔ)單元，配置為存儲(chǔ)第一信號(hào)處理單元中處理的圖像；圖像分割單元，配置為使得從第二存儲(chǔ)單元讀取的圖像變?yōu)槎鄠€(gè)劃分圖像；劃分圖像選擇單元，配置為從多個(gè)劃分圖像選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；第二運(yùn)動(dòng)搜索處理單元，配置為基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二信號(hào)處理單元，配置為通過(guò)參考第二運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的結(jié)果，對(duì)于從第一存儲(chǔ)單元讀取的圖像執(zhí)行校正處理。
[0019]根據(jù)本公開第四方面的電子設(shè)備包括:第一存儲(chǔ)單元，配置為存儲(chǔ)輸入的圖像；第一信號(hào)處理單元，配置為執(zhí)行輸入圖像的預(yù)定信號(hào)處理；第二存儲(chǔ)單元，配置為存儲(chǔ)第一信號(hào)處理單元中處理的圖像；圖像分割單元，配置為使得從第二存儲(chǔ)單元讀取的圖像變?yōu)槎鄠€(gè)劃分圖像；劃分圖像選擇單元，配置為從多個(gè)劃分圖像選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第二運(yùn)動(dòng)搜索處理單元，配置為基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二信號(hào)處理單元，配置為通過(guò)參考第二運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的結(jié)果，對(duì)于從第一存儲(chǔ)單元讀取的圖像執(zhí)行運(yùn)動(dòng)校正處理。
[0020]根據(jù)本公開第五方面的程序使得計(jì)算機(jī)用作:圖像分割單元，配置為使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像；劃分圖像選擇單元，配置為從多個(gè)劃分圖像選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理單元，配置為基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。根據(jù)本公開的程序優(yōu)選地通過(guò)使用電子計(jì)算機(jī)(計(jì)算機(jī))以軟件實(shí)現(xiàn)根據(jù)本公開的圖像處理裝置。該程序可以通過(guò)存儲(chǔ)在可由計(jì)算機(jī)讀取的存儲(chǔ)介質(zhì)中而提供或者可以通過(guò)經(jīng)由有線或者無(wú)線通信方法分布而提供。
[0021]根據(jù)本公開的第一方面的圖像處理裝置的從屬權(quán)利要求中描述的各個(gè)配置、技術(shù)和方法可以應(yīng)用于根據(jù)本公開第二方面的圖像處理方法、根據(jù)本公開第三方面的成像裝置、根據(jù)本公開第四方面的電子設(shè)備和根據(jù)本公開第五方面的程序，且應(yīng)用這些的配置指定其他有益的說(shuō)明性示例。
[0022]簡(jiǎn)而言之，根據(jù)本說(shuō)明書中公開的技術(shù)，要處理的圖像被劃分為多個(gè)圖像且對(duì)于每一劃分圖像執(zhí)行第一運(yùn)動(dòng)搜索處理。換句話說(shuō)，執(zhí)行運(yùn)動(dòng)估計(jì)并基于運(yùn)動(dòng)估計(jì)結(jié)果的結(jié)果計(jì)算比如運(yùn)動(dòng)矢量之類的運(yùn)動(dòng)信息。接下來(lái)，從多個(gè)劃分圖像中選出其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于預(yù)定閾值(高可靠性的運(yùn)動(dòng)搜索處理)的劃分圖像。然后，在第二運(yùn)動(dòng)搜索處理中，基于所選的劃分圖像的第一運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。換句話說(shuō)，在第二次時(shí)，基于具有高可靠性的所選的劃分圖像的第一運(yùn)動(dòng)搜索處理的信息，對(duì)于其中未執(zhí)行圖像分割的整體圖像中的每一像素執(zhí)行運(yùn)動(dòng)估計(jì)，且基于運(yùn)動(dòng)估計(jì)的結(jié)果計(jì)算整體圖像的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量等)。
[0023]總體來(lái)看，因?yàn)榭梢酝ㄟ^(guò)使用圖像分割執(zhí)行具有高魯棒性的運(yùn)動(dòng)估計(jì)且還可以對(duì)于高度可靠的劃分圖像執(zhí)行基于第一運(yùn)動(dòng)搜索處理結(jié)果的包括非正常值消除處理的第二運(yùn)動(dòng)搜索處理，所以可以執(zhí)行不浪費(fèi)信息的運(yùn)動(dòng)估計(jì)。確定是否是高度可靠的像素，且可以執(zhí)行運(yùn)動(dòng)估計(jì)而不丟棄高度可靠的像素的信息(相反地，丟棄具有不高的可靠性的像素的信息)。具體地，雖然使用圖像分割方法，但是在不執(zhí)行每一劃分圖像的加權(quán)且基于高度可靠的劃分圖像的運(yùn)動(dòng)搜索處理結(jié)果選擇高度可靠的像素的情況下，對(duì)于整體圖像中的每一像素，使用高度可靠的像素執(zhí)行運(yùn)動(dòng)估計(jì)，且可以計(jì)算整體圖像的運(yùn)動(dòng)信息。因?yàn)榇_定為具有低可靠性的劃分圖像中的全部像素不被確定為具有低可靠性且將不丟棄高度可靠的像素的信息，所以可以執(zhí)行具有高精度的全局運(yùn)動(dòng)搜索處理。因?yàn)槭褂脠D像分割方法，所以可以執(zhí)行對(duì)局部移動(dòng)被攝體、照明強(qiáng)度改變等魯棒的運(yùn)動(dòng)估計(jì)。
[0024]另外，在根據(jù)第一方面的圖像處理裝置、根據(jù)第二方面的圖像處理方法、根據(jù)第三方面的成像裝置、根據(jù)第四方面的電子設(shè)備和根據(jù)第五方面的程序中，優(yōu)選地包括以下配置作為優(yōu)選的方面。例如,各個(gè)運(yùn)動(dòng)搜索處理單元中的至少一個(gè)使用Lucas-Kanade方法(LK方法)執(zhí)行運(yùn)動(dòng)搜索處理。通過(guò)使用LK方法，可以以小計(jì)算量執(zhí)行運(yùn)動(dòng)估計(jì)且可以改進(jìn)計(jì)算效率。這里，當(dāng)使用LK方法時(shí)，優(yōu)選地另外包括以下配置。首先，第一運(yùn)動(dòng)搜索處理單元優(yōu)選地基于加法計(jì)算結(jié)果計(jì)算運(yùn)動(dòng)信息，該加法計(jì)算結(jié)果是基于一計(jì)算公式執(zhí)行的對(duì)于整個(gè)劃分圖像的加法計(jì)算出的加法計(jì)算結(jié)果，該計(jì)算公式由與每一劃分圖像中的每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量相關(guān)的至少一條信息表示。另外，當(dāng)執(zhí)行加法計(jì)算時(shí)，對(duì)于整體圖像，基于由與每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量相關(guān)的至少幾條信息表示的計(jì)算公式，第二運(yùn)動(dòng)搜索處理單元優(yōu)選地基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，根據(jù)設(shè)置條件確定其是否是高度可靠的像素，并當(dāng)滿足設(shè)置條件時(shí)執(zhí)行加法計(jì)算。
[0025]技術(shù)效果
[0026]關(guān)于根據(jù)第一方面的圖像處理裝置、根據(jù)第二方面的圖像處理方法、根據(jù)第三方面的成像裝置、根據(jù)第四方面的電子設(shè)備和根據(jù)第五方面的程序，因?yàn)槭褂脠D像分割方法，所以可以執(zhí)行對(duì)局部移動(dòng)被攝體、照明強(qiáng)度改變等魯棒的運(yùn)動(dòng)估計(jì)。雖然使用圖像分割，但是因?yàn)椴粊G棄高度可靠的像素的信息，所以能夠執(zhí)行具有高精度的運(yùn)動(dòng)估計(jì)。因?yàn)榭梢曰诰哂懈呔鹊倪\(yùn)動(dòng)估計(jì)結(jié)果計(jì)算精確圖像校正信息，所以可以通過(guò)應(yīng)用于圖像模糊校正處理、超分辨率處理等來(lái)執(zhí)行有保證的圖像處理。另外，在優(yōu)選的方面中，可以執(zhí)行對(duì)局部移動(dòng)被攝體、照明強(qiáng)度改變等魯棒并具有高精度的運(yùn)動(dòng)估計(jì)，同時(shí)保持大的計(jì)算效率。
【專利附圖】

【附圖說(shuō)明】
[0027]圖1 (A)和圖1 (B)是解釋根據(jù)第一實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0028]圖2是解釋由根據(jù)第一實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置執(zhí)行的全局運(yùn)動(dòng)搜索處理的過(guò)程的整體概況的流程圖。
[0029]圖3是解釋圖像分割單元的圖像分割處理的過(guò)程的流程圖。
[0030]圖4是解釋在圖3所示的圖像分割處理過(guò)程中劃分的劃分圖像和指定劃分圖像的位置的坐標(biāo)信息之間的關(guān)系的簡(jiǎn)圖。
[0031]圖5是解釋第一運(yùn)動(dòng)搜索處理單元的根據(jù)第一實(shí)施例的第一運(yùn)動(dòng)搜索處理(S21)的流程圖。
[0032]圖6是解釋第一運(yùn)動(dòng)搜索處理單元的偏微分值計(jì)算處理(S218)的流程圖。
[0033]圖7是解釋劃分圖像選擇單元的劃分圖像選擇處理(S30)的流程圖。
[0034]圖8 (A)到圖8 (D)是解釋在圖7所示的劃分圖像選擇處理中選擇的劃分圖像和劃分圖像編號(hào)之間的關(guān)系的簡(jiǎn)圖。
[0035]圖9是解釋根據(jù)第一實(shí)施例的運(yùn)動(dòng)搜索確定單元的運(yùn)動(dòng)搜索處理中的有效性確定處理的流程圖。
[0036]圖10是解釋第二運(yùn)動(dòng)搜索處理單元的根據(jù)第一實(shí)施例的第二運(yùn)動(dòng)搜索處理(S51)的流程圖。
[0037]圖11是圖示具有全局運(yùn)動(dòng)搜索處理應(yīng)用于的圖像處理裝置的成像裝置的配置示例的簡(jiǎn)圖。[0038]圖12是圖示成像裝置中安裝的圖像處理裝置的詳細(xì)配置示例的簡(jiǎn)圖。
[0039]圖13 (A)和圖13 (B)是圖示根據(jù)第二實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0040]圖14是解釋由根據(jù)第二實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置執(zhí)行的全局運(yùn)動(dòng)搜索處理的過(guò)程的整體概況的流程圖。
[0041]圖15 (A)和圖15 (B)是圖示根據(jù)第三實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0042]圖16是解釋圖像分割單元的圖像分割處理(步驟S12C)的過(guò)程的流程圖。
[0043]圖17是圖示圖16所示的圖像分割處理過(guò)程中劃分的劃分圖像和指定劃分圖像的位置的坐標(biāo)信息之間的關(guān)系的簡(jiǎn)圖。
[0044]圖18 (A)和圖18 (B)是圖示根據(jù)第四實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0045]圖19是解釋由根據(jù)第四實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置執(zhí)行的全局運(yùn)動(dòng)搜索處理的過(guò)程的整體配置的流程圖。
[0046]圖20 (A)和圖20 (B)是圖示根據(jù)第五實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0047]圖21是解釋由根據(jù)第五實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置執(zhí)行的全局運(yùn)動(dòng)搜索處理的過(guò)程的整體配置的流程圖。
[0048]圖22 (A)和圖22 (B)是圖示根據(jù)第六實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0049]圖23是解釋由根據(jù)第六實(shí)施例的運(yùn)動(dòng)搜索確定單元執(zhí)行的運(yùn)動(dòng)搜索處理中的有效性確定處理(步驟S40F)的流程圖。
[0050]圖24 (A)和圖24 (B)是圖示根據(jù)第七實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置和具有其的圖像處理裝置的簡(jiǎn)圖。
[0051]圖25是解釋根據(jù)第七實(shí)施例的運(yùn)動(dòng)搜索確定單元的運(yùn)動(dòng)搜索處理中的有效性確定處理的流程圖。
【具體實(shí)施方式】
[0052]在下文中，將參考附圖詳細(xì)說(shuō)明由該說(shuō)明書公開的技術(shù)的實(shí)施例。當(dāng)在每一實(shí)施例中區(qū)分各個(gè)功能元件時(shí)，附上字母的標(biāo)記“_n” (n是數(shù)字)或者其組合，當(dāng)給出說(shuō)明而不區(qū)分功能元件時(shí)，省略那些標(biāo)記。這在所有圖中是相同的。
[0053]以以下次序做出說(shuō)明。
[0054]1.整體概況
[0055]2.第一實(shí)施例:每一裝置的基本配置
[0056]3.第二實(shí)施例:仿射信息的應(yīng)用
[0057]4.第三實(shí)施例:使用對(duì)象信息的圖像分割
[0058]5.第四實(shí)施例:其中對(duì)于劃分圖像執(zhí)行非正常值消除的新的第二運(yùn)動(dòng)搜索處理
[0059]6.第五實(shí)施例:其中對(duì)于整體圖像的非正常值消除的新的第三運(yùn)動(dòng)搜索處理
[0060]7.第六實(shí)施例:在第一處理后使用邊緣量信息的運(yùn)動(dòng)估計(jì)的可靠性確定[0061]8.第七實(shí)施例:在第一處理循環(huán)中使用邊緣量信息的運(yùn)動(dòng)估計(jì)的可靠性確定
[0062]<整體概況>
[0063]首先，將解釋基本主題。在本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序中，圖像分割單元首先在執(zhí)行全局運(yùn)動(dòng)搜索處理時(shí)將要處理的圖像劃分為多個(gè)圖像。第一運(yùn)動(dòng)搜索處理單元執(zhí)行每一劃分圖像的運(yùn)動(dòng)估計(jì)并基于運(yùn)動(dòng)估計(jì)的結(jié)果計(jì)算運(yùn)動(dòng)矢量等的運(yùn)動(dòng)信息。劃分圖像選擇單元從多個(gè)劃分圖像選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像(在下文中，也簡(jiǎn)稱為“高度可靠的劃分圖像”)。劃分圖像選擇單元優(yōu)選地基于第一運(yùn)動(dòng)搜索處理單元的每一劃分圖像的運(yùn)動(dòng)搜索處理的信息選擇具有運(yùn)動(dòng)搜索處理結(jié)果的高可靠性的劃分圖像。
[0064]關(guān)于“第一運(yùn)動(dòng)搜索處理單元的每一劃分圖像的運(yùn)動(dòng)搜索處理的信息”中的“運(yùn)動(dòng)搜索處理的信息”，例如，可以使用作為運(yùn)動(dòng)搜索處理結(jié)果計(jì)算出的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量)。然而，不限于本示例且可以使用與運(yùn)動(dòng)估計(jì)有關(guān)的各種信息。計(jì)算使用信息根據(jù)某一規(guī)則用于判斷(確定)的指標(biāo)值，并確定是否是“高度可靠的劃分圖像”。
[0065]可以通過(guò)比較根據(jù)某一規(guī)則計(jì)算出的指標(biāo)值與預(yù)定閾值來(lái)基于絕對(duì)標(biāo)準(zhǔn)確定是否是“高度可靠的劃分圖像”。替代地，基于其中從全部劃分圖像中選出具有相對(duì)高的指標(biāo)值(例如，值越大則可靠性越高)的劃分圖像(可以多于一個(gè)圖像)的相對(duì)標(biāo)準(zhǔn)進(jìn)行確定。在前一示例中，在下面的處理(第二運(yùn)動(dòng)搜索處理等)中使用的劃分圖像的數(shù)目取決于怎樣設(shè)置閾值而變化，以使得存在可能需要重復(fù)設(shè)置閾值且因?yàn)橛袝r(shí)可能沒(méi)有選擇圖像而再次重復(fù)相同處理的困難。在后一示例中，雖然可以使得在下面的處理(第二運(yùn)動(dòng)搜索處理等)中使用的劃分圖像的數(shù)目恒定，但是存在在執(zhí)行全部劃分圖像的指標(biāo)值的計(jì)算之后處理不能進(jìn)行到確定處理的困難。
[0066]在第二運(yùn)動(dòng)搜索處理中，第二運(yùn)動(dòng)搜索處理單元對(duì)于由劃分圖像選擇單元選擇的劃分圖像基于第一運(yùn)動(dòng)搜索處理單元的第一運(yùn)動(dòng)搜索處理的信息執(zhí)行其中未執(zhí)行圖像分割的整體圖像的運(yùn)動(dòng)估計(jì)，并基于運(yùn)動(dòng)估計(jì)的結(jié)果重新計(jì)算整體圖像的運(yùn)動(dòng)信息。換句話說(shuō)，基于第一運(yùn)動(dòng)搜索處理的信息重新執(zhí)行運(yùn)動(dòng)搜索處理。在這種情況下，可以基于第一運(yùn)動(dòng)搜索處理單元的第一運(yùn)動(dòng)搜索處理的信息執(zhí)行非正常值消除處理。例如，第二運(yùn)動(dòng)搜索處理單元確定是否要處理的像素的運(yùn)動(dòng)搜索處理的可靠性等于或者大于預(yù)定閾值(是否是高度可靠的像素)(執(zhí)行非正常值消除)，并通過(guò)使用具有等于或者大于閾值的可靠性(高可靠性)的像素來(lái)執(zhí)行對(duì)于未劃分的整體圖像的運(yùn)動(dòng)搜索處理。換句話說(shuō)，對(duì)于第二次，基于確定為具有高可靠性的所選的劃分圖像的第一運(yùn)動(dòng)搜索處理的信息對(duì)于每一像素確定其是否是高度可靠的像素，執(zhí)行運(yùn)動(dòng)估計(jì)而不丟棄高度可靠的像素的信息(相反地，同時(shí)丟棄具有不高的可靠性的像素的信息)，且基于運(yùn)動(dòng)估計(jì)的結(jié)果對(duì)于整體圖像計(jì)算運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量等)。
[0067]作為在“對(duì)于由劃分圖像選擇單元選擇的劃分圖像的第一運(yùn)動(dòng)搜索處理單元的第一運(yùn)動(dòng)搜索處理的信息”中的“運(yùn)動(dòng)搜索處理的信息”，可以使用與運(yùn)動(dòng)估計(jì)有關(guān)的各種信息，比如作為運(yùn)動(dòng)搜索處理結(jié)果計(jì)算出的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量)，例如，在計(jì)算運(yùn)動(dòng)信息的處理中的積和操作結(jié)果，不與運(yùn)動(dòng)信息的計(jì)算有關(guān)的像素值變化量自身的加法值等。計(jì)算使用信息根據(jù)某一規(guī)則用于判斷(確定)的指標(biāo)值，并確定是否是“高度可靠的像素”。
[0068]是否是“高度可靠的像素”的確定可以通過(guò)比較基于所選的劃分圖像的第一運(yùn)動(dòng)搜索處理的信息而根據(jù)某一規(guī)則計(jì)算出的指標(biāo)值與閾值而基于絕對(duì)標(biāo)準(zhǔn)進(jìn)行。或者可以通過(guò)基于相對(duì)標(biāo)準(zhǔn)的閾值比較來(lái)進(jìn)行確定，在該相對(duì)標(biāo)準(zhǔn)中，在整體圖像的全部像素當(dāng)中丟棄那些具有相對(duì)低的指標(biāo)值的像素(例如，當(dāng)可靠性變得更高時(shí)為更大的值)。在前一示例中，因?yàn)樵诤竺娴奶幚?具體地，在積和操作處理)中使用的全部像素的數(shù)目取決于怎樣設(shè)置閾值而變化，所以存在雖然確定地計(jì)算對(duì)運(yùn)動(dòng)信息做出貢獻(xiàn)的像素的數(shù)目但是順序地執(zhí)行確定處理和積和操作處理的優(yōu)點(diǎn)。在后一示例中，雖然可以使得在下面的處理(積和操作處理)中使用的全部像素的數(shù)目恒定，但是存在在不計(jì)算全部像素的指標(biāo)值的情況下處理不能進(jìn)行到確定處理或者積和操作處理的困難。
[0069]在第二運(yùn)動(dòng)搜索處理中，在整體圖像中應(yīng)用圖像分割，基于關(guān)于每一像素的高度可靠的劃分圖像的運(yùn)動(dòng)搜索處理結(jié)果來(lái)選擇高度可靠的像素。因?yàn)椴粚?duì)于每一劃分圖像執(zhí)行加權(quán)，所以可以防止不使得確定為具有低可靠性的劃分圖像中的全部像素為低可靠的。當(dāng)在確定為具有低可靠性的劃分圖像中存在高度可靠的像素時(shí)，該像素被適當(dāng)?shù)剡x擇為高度可靠的像素。結(jié)果，無(wú)論哪個(gè)劃分圖像存在高度可靠的像素，可以安全地選擇高度可靠的像素的信息而不被浪費(fèi)以執(zhí)行運(yùn)動(dòng)估計(jì)，以使得可以執(zhí)行具有高精度的運(yùn)動(dòng)估計(jì)。這允許執(zhí)行具有高魯棒性且不浪費(fèi)高度可靠的像素的信息的高度精確的運(yùn)動(dòng)估計(jì)。
[0070]當(dāng)成像裝置或者電子設(shè)備通過(guò)在早期步驟中使用上述的全局運(yùn)動(dòng)搜索處理執(zhí)行圖像模糊校正、超分辨率處理、時(shí)間軸積分處理、高動(dòng)態(tài)范圍處理、縫合處理、立體視覺(jué)匹配處理等時(shí)，因?yàn)榭梢曰诟叨染_的運(yùn)動(dòng)估計(jì)結(jié)果計(jì)算高度精確的圖像校正信息，所以可以實(shí)現(xiàn)有保證的圖像模糊校正、超分辨率處理等。
[0071]在本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序優(yōu)選地另外包括代表性特征值計(jì)算單元。這是為應(yīng)對(duì)劃分圖像選擇單元選擇具有高可靠性的運(yùn)動(dòng)搜索處理結(jié)果的多于一個(gè)劃分圖像的情況。在這種情況下，代表性特征值計(jì)算單元基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的多個(gè)劃分圖像的運(yùn)動(dòng)搜索處理的信息來(lái)計(jì)算與運(yùn)動(dòng)搜索處理有關(guān)的代表性特征值。響應(yīng)于該結(jié)果，第二運(yùn)動(dòng)搜索處理單元執(zhí)行第二運(yùn)動(dòng)搜索處理。換句話說(shuō)，第二運(yùn)動(dòng)搜索處理單元對(duì)于所選的多個(gè)劃分圖像基于由代表性特征值計(jì)算單元計(jì)算出的代表性特征值來(lái)確定是否是具有高可靠性的運(yùn)動(dòng)搜索處理結(jié)果的像素，并通過(guò)使用高度可靠的像素執(zhí)行整體圖像的運(yùn)動(dòng)搜索處理。
[0072]本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序優(yōu)選地包括確定單元，其通過(guò)基于第一運(yùn)動(dòng)搜索處理單元的對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息確定全局運(yùn)動(dòng)搜索的難度是否等于或者大于預(yù)定閾值(難度是否是高的)，來(lái)確定第一運(yùn)動(dòng)搜索處理的運(yùn)動(dòng)搜索結(jié)果是否是無(wú)效的。當(dāng)確定單元確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果無(wú)效時(shí)，可以使得第二運(yùn)動(dòng)搜索處理單元不執(zhí)行運(yùn)動(dòng)搜索處理。這是由于不能執(zhí)行有效的運(yùn)動(dòng)估計(jì)。替代地，在改變選擇劃分圖像的選擇條件之后可以再次執(zhí)行處理。
[0073]作為在“第一運(yùn)動(dòng)搜索處理單元的對(duì)于每一劃分圖像的第一運(yùn)動(dòng)搜索處理的信息”中的“運(yùn)動(dòng)搜索處理的信息”，例如，可以使用與運(yùn)動(dòng)估計(jì)有關(guān)的各種信息，比如作為運(yùn)動(dòng)搜索處理結(jié)果計(jì)算出的運(yùn)動(dòng)信息(運(yùn)動(dòng)矢量)，在計(jì)算運(yùn)動(dòng)信息的處理中的積和操作結(jié)果，不與運(yùn)動(dòng)信息的計(jì)算直接有關(guān)的像素值變化量自身的加法值等。計(jì)算使用信息根據(jù)某一規(guī)則用于判斷(確定)的指標(biāo)值，并確定是否是“高度可靠的像素”。例如，對(duì)于全部劃分圖像獲得基于由與每一像素中的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量有關(guān)的至少一條信息表示的計(jì)算公式的整體劃分圖像的加法計(jì)算結(jié)果，和基于整體劃分圖像的加法計(jì)算結(jié)果計(jì)算出的運(yùn)動(dòng)信息，且根據(jù)由獲得的值表示的條件表達(dá)式來(lái)確定全局運(yùn)動(dòng)搜索的難度是否高。作為“由獲得的值表示的條件表達(dá)式”，存在與LK方法的整體圖像中的誤差函數(shù)值的分布的標(biāo)準(zhǔn)偏差有關(guān)的條件表達(dá)式，或者與每一像素的時(shí)間方向上像素值變化的絕對(duì)值有關(guān)的條件表達(dá)式。
[0074]該說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序優(yōu)選地包括第三運(yùn)動(dòng)搜索處理單元，其在基于第一運(yùn)動(dòng)搜索處理單元的對(duì)于劃分圖像的運(yùn)動(dòng)搜索處理的信息確定是否是高度可靠的像素時(shí)執(zhí)行每一劃分圖像的運(yùn)動(dòng)搜索處理(稱為第一方法)。在這種情況下，第二運(yùn)動(dòng)搜索處理單元基于第三運(yùn)動(dòng)搜索處理單元的每一劃分圖像的運(yùn)動(dòng)搜索處理的信息，執(zhí)行其中未執(zhí)行圖像分割的整體圖像的運(yùn)動(dòng)搜索處理。替代地，可以包括基于第二運(yùn)動(dòng)搜索處理單元的整體圖像的運(yùn)動(dòng)搜索處理的信息來(lái)執(zhí)行其中未執(zhí)行圖像分割的整體圖像的運(yùn)動(dòng)搜索處理的第三運(yùn)動(dòng)搜索處理單元(稱為第二方法)。當(dāng)采用第二方法時(shí)，第三運(yùn)動(dòng)搜索處理單元也可以基于第二運(yùn)動(dòng)搜索處理單元的第二運(yùn)動(dòng)搜索處理的信息執(zhí)行非正常值消除處理。換句話說(shuō)，可以在確定是否是高度可靠的像素之后通過(guò)使用高度可靠的像素對(duì)于整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
[0075]簡(jiǎn)而言之,在第一方法和第二方法中，通過(guò)使用包括非正常值消除處理的運(yùn)動(dòng)搜索處理的信息再次執(zhí)行包括非正常值消除處理的運(yùn)動(dòng)搜索處理。因?yàn)榭梢酝ㄟ^(guò)使用更精確的運(yùn)動(dòng)估計(jì)的信息執(zhí)行非正常值消除，所以可以執(zhí)行有保證的運(yùn)動(dòng)搜索處理。在第一方法中，通過(guò)對(duì)于每一劃分圖像再次執(zhí)行運(yùn)動(dòng)搜索處理和圖像選擇，雖然處理量與第二方法相比增加，但是可以計(jì)算用于非正常值消除的精確的值。另一方面，在第二方法中，因?yàn)閳?zhí)行整體圖像的包括非正常值消除的運(yùn)動(dòng)搜索處理且通過(guò)使用該信息再次執(zhí)行整體圖像的包括非正常值消除的運(yùn)動(dòng)搜索處理，每一劃分圖像的運(yùn)動(dòng)搜索處理和圖像選擇僅需要一次，且與第一方法相比處理量減小。
[0076]在本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序中，基于要處理的圖像的圖像特征值執(zhí)行圖像分割和/或運(yùn)動(dòng)搜索處理。作為“要處理的圖像的圖像特征值”，存在圖像的對(duì)象信息和邊緣信息。
[0077]例如，當(dāng)“要處理的圖像的圖像特征值”是對(duì)象信息時(shí)，可以使得圖像分割單元是其中要處理的圖像可以基于作為圖像特征值的圖像中的對(duì)象信息而不平均地劃分為多個(gè)劃分圖像的配置。通過(guò)使用對(duì)象信息根據(jù)聚焦被攝體的運(yùn)動(dòng)執(zhí)行圖像分割，圖像可以被劃分為局部運(yùn)動(dòng)的圖像和不具有(或者具有很少)局部運(yùn)動(dòng)的圖像，以使得可以執(zhí)行有保證的運(yùn)動(dòng)搜索處理。
[0078]替代地，當(dāng)“要處理的圖像的圖像特征值”是邊緣信息時(shí)，使得其是如下配置:包括確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效的確定單元，且確定單元可以通過(guò)基于作為圖像特征值的邊緣信息確定全局運(yùn)動(dòng)搜索的難度是否高來(lái)確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效。因?yàn)榛谶吘壭畔⒋_定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的可靠性，且在具有低可靠性的運(yùn)動(dòng)估計(jì)結(jié)果的圖像中使得運(yùn)動(dòng)估計(jì)結(jié)果無(wú)效，所以不執(zhí)行錯(cuò)誤的校正。換句話說(shuō)，為了避免錯(cuò)誤的校正，計(jì)算整體圖像的邊緣量，且當(dāng)在整體圖像中存在很少邊緣時(shí)，可以確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理結(jié)果是無(wú)效的。
[0079]替代地，當(dāng)“要處理的圖像的圖像特征值”是邊緣信息時(shí)，使得其是如下配置:包括確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效的確定單元，且該確定單元可以基于作為圖像特征值的邊緣信息對(duì)于每一劃分圖像確定第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效，且當(dāng)無(wú)效時(shí)，可以確定第一運(yùn)動(dòng)搜索處理單元的劃分圖像的運(yùn)動(dòng)搜索處理結(jié)果是無(wú)效的。在這種情況下，劃分圖像選擇單元在確定單元的處理之后基于第一運(yùn)動(dòng)搜索處理單元對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息選擇具有高可靠性的運(yùn)動(dòng)搜索處理結(jié)果的劃分圖像。另外，確定單元可以在上述確定之后通過(guò)基于全部劃分圖像的第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的信息確定全局運(yùn)動(dòng)搜索的難度是否高來(lái)確定運(yùn)動(dòng)搜索結(jié)果是否無(wú)效。在這種配置中，對(duì)于每一劃分圖像計(jì)算邊緣量，且當(dāng)在劃分圖像中存在很少邊緣時(shí)，使得劃分圖像的運(yùn)動(dòng)搜索處理結(jié)果無(wú)效。由此，不使用不正確的運(yùn)動(dòng)搜索處理結(jié)果執(zhí)行圖像分割，可以執(zhí)行有保證的圖像分割。另外，因?yàn)榭梢詧?zhí)行具有高精度的非正常值消除，所以可以在第二次或者隨后的運(yùn)動(dòng)搜索處理中執(zhí)行有保證的運(yùn)動(dòng)搜索處理。
[0080]在本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序中，作為作為運(yùn)動(dòng)搜索處理的結(jié)果計(jì)算出的運(yùn)動(dòng)信息，可以計(jì)算關(guān)于圖像的平行位移的運(yùn)動(dòng)信息且可以計(jì)算關(guān)于圖像的旋轉(zhuǎn)位移的運(yùn)動(dòng)信息。當(dāng)計(jì)算結(jié)果僅是平行位移信息時(shí)，處理變得容易，但是不能使用除了線性位移信息之外的高級(jí)位移信息。另一方面，當(dāng)計(jì)算結(jié)果包括仿射信息時(shí)，雖然變?yōu)槎鄠€(gè)處理，但是可以計(jì)算旋轉(zhuǎn)、縮放、剪切、兩個(gè)圖像之間的平行位移的信息，且可以使用另外的高級(jí)位移信息。這允許除平行位移的校正之外還執(zhí)行旋轉(zhuǎn)、縮放和剪切的校正，且可以輸出進(jìn)一步穩(wěn)定化的圖像序列。
[0081]在本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序中，優(yōu)選地,各個(gè)運(yùn)動(dòng)搜索處理單元中的至少一個(gè)使用LK方法執(zhí)行運(yùn)動(dòng)搜索處理。通過(guò)采用LK方法，除了執(zhí)行對(duì)局部移動(dòng)被攝體和照明強(qiáng)度改變魯棒的高度精確的運(yùn)動(dòng)估計(jì)之外，可以保持進(jìn)一步改進(jìn)的計(jì)算效率。
[0082]當(dāng)使用LK方法時(shí)，進(jìn)一步優(yōu)選地，第一運(yùn)動(dòng)搜索處理單元基于由關(guān)于每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量的至少一條信息表示的計(jì)算公式，基于對(duì)于輸入的劃分圖像執(zhí)行的加法計(jì)算出的加法計(jì)算結(jié)果，對(duì)于劃分圖像計(jì)算運(yùn)動(dòng)信息。例如，第一運(yùn)動(dòng)搜索處理單元可以基于由關(guān)于每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量的至少一條信息表示的計(jì)算公式，基于對(duì)于整體劃分圖像執(zhí)行的加法計(jì)算出的加法計(jì)算結(jié)果，對(duì)于每一劃分圖像計(jì)算運(yùn)動(dòng)信息。
[0083]替代地，當(dāng)使用LK方法時(shí)，進(jìn)一步優(yōu)選地，第二運(yùn)動(dòng)搜索處理單元可以基于由關(guān)于每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量的至少一條信息表示的計(jì)算公式對(duì)于整體圖像執(zhí)行加法計(jì)算。在這種情況下，第二運(yùn)動(dòng)搜索處理單元可以基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，根據(jù)設(shè)置條件確定是否是高度可靠的像素，并當(dāng)滿足設(shè)置條件時(shí)執(zhí)行加法計(jì)算。例如，作為用于確定是否是具有高可靠性的運(yùn)動(dòng)搜索處理結(jié)果的像素的信息，第二運(yùn)動(dòng)搜索處理單元基于由關(guān)于每一像素的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量的至少一個(gè)信息表示的計(jì)算公式，獲得整體劃分圖像的加法計(jì)算結(jié)果，并根據(jù)由獲得的各個(gè)值表示的設(shè)置條件來(lái)確定對(duì)于每一像素是否相加。另外，第二運(yùn)動(dòng)搜索處理單元可以使用關(guān)于指示在LK方法中從其選擇誤差函數(shù)值的跨越各個(gè)整體圖像的分布狀態(tài)的指標(biāo)值的設(shè)置條件，或者關(guān)于指示在LK方法中從其選擇像素值變化的跨越各個(gè)整體劃分圖像的分布狀態(tài)的指標(biāo)值的設(shè)置條件。
[0084]固態(tài)成像裝置包括電荷檢測(cè)單元(典型地,光電轉(zhuǎn)換單元),該電荷檢測(cè)單元響應(yīng)于電磁波且可應(yīng)用于以電荷檢測(cè)單元捕獲圖像的圖像捕獲單元，且通過(guò)安裝到使用該固態(tài)成像裝置的整體成像裝置或者電子設(shè)備而被采用。例如，其用于比如數(shù)碼相機(jī)、攝像機(jī)等的成像裝置，且作為電子設(shè)備，存在具有成像功能的便攜式終端裝置，比如移動(dòng)電話、使用固態(tài)成像裝置或者成像裝置作為圖像掃描儀的復(fù)印機(jī)等。固態(tài)成像裝置和成像裝置包括線性傳感器和區(qū)域傳感器。換句話說(shuō)，固態(tài)成像裝置可以被認(rèn)為是其中線性地或者以矩陣布置響應(yīng)于從外部輸入的比如光、輻射線等電磁波的多個(gè)單元組成元件(例如，像素)的物理量分布檢測(cè)半導(dǎo)體器件的一方面，且成像裝置可以被認(rèn)為是使用物理量分布檢測(cè)半導(dǎo)體器件的物理信息獲取裝置(物理量分布檢測(cè)裝置)的一方面。
[0085]除包括響應(yīng)于從外部輸入的比如光、輻射線等的電磁波的電荷檢測(cè)單元的固態(tài)成像裝置之外，本實(shí)施例的配置可以應(yīng)用于作為電荷量的改變檢測(cè)各種物理量的改變的各種東西。例如，其可以應(yīng)用于檢測(cè)其他物理變化的裝置，比如通過(guò)基于根據(jù)壓力的電特性改變或者光學(xué)特性改變來(lái)檢測(cè)關(guān)于指紋的信息而檢測(cè)指紋的圖像的指紋驗(yàn)證裝置。公開的技術(shù)可以應(yīng)用于例如觸摸板中的檢測(cè)單元。替代地，在計(jì)算機(jī)的領(lǐng)域中，使用用于通過(guò)基于根據(jù)壓力的電特性改變或者光學(xué)特性改變來(lái)檢測(cè)關(guān)于指紋的信息而檢測(cè)指紋的圖像的指紋驗(yàn)證裝置等。這些裝置讀取作為電信號(hào)的被使用單元組成元件(固態(tài)成像裝置中的像素)轉(zhuǎn)換為電信號(hào)的物理量分布，以使得可以應(yīng)用公開的技術(shù)。安裝在電子設(shè)備上的相機(jī)模塊有時(shí)被稱為成像裝置。在以下解釋的配置中，使用到固態(tài)成像裝置和包括固態(tài)成像裝置的成像裝置的應(yīng)用來(lái)代表性地解釋。然而，除此之外，其可以應(yīng)用于具有成像功能的各種電子設(shè)備。從以上可以理解，除權(quán)利要求中描述的技術(shù)之外，包括類似于固態(tài)成像裝置等的功能單元的物理量分布檢測(cè)半導(dǎo)體器件和物理信息獲取裝置可以被提取為由本說(shuō)明書提出的技術(shù)。這里，在本說(shuō)明書中，在沒(méi)有例外標(biāo)記(例如，在該部分中區(qū)別地解釋的問(wèn)題)的情況下，物理量分布檢測(cè)半導(dǎo)體器件被代表性地描述為固態(tài)成像裝置(換句話說(shuō)，物理量分布檢測(cè)半導(dǎo)體器件包括固態(tài)成像裝置)，且物理信息獲取裝置被代表性地描述為成像裝置(換句話說(shuō)，物理信息獲取裝置包括成像裝置)。
[0086]<具體應(yīng)用示例>
[0087]將解釋本說(shuō)明書中公開的圖像處理裝置、圖像處理方法、成像裝置、電子設(shè)備和程序的具體應(yīng)用示例。
[0088][第一實(shí)施例]
[0089][全局運(yùn)動(dòng)搜索處理裝置和圖像處理裝置]
[0090]圖1是解釋全局運(yùn)動(dòng)搜索處理裝置和包括全局運(yùn)動(dòng)搜索處理裝置的圖像處理裝置的第一實(shí)施例的簡(jiǎn)圖。圖1 (A)圖示包括全局運(yùn)動(dòng)搜索處理裝置3A的圖像處理裝置IA的第一實(shí)施例；且圖1 (B)是圖示第一實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置的基本配置的框圖。
[0091]如圖1 (A)所示，第一實(shí)施例的圖像處理裝置IA包括全局運(yùn)動(dòng)搜索處理裝置3A。第一實(shí)施例的全局運(yùn)動(dòng)搜索處理裝置3A執(zhí)行全局運(yùn)動(dòng)搜索處理，其引入包括當(dāng)前圖像CM和參考圖像RM (例如，前一幀的圖像)的兩個(gè)圖像并輸出一對(duì)運(yùn)動(dòng)矢量MV (具體地，作為第二運(yùn)動(dòng)搜索處理(第二 ME)結(jié)果的運(yùn)動(dòng)矢量MV’)。不同于之后描述的第二實(shí)施例，指示圖像中的運(yùn)動(dòng)的運(yùn)動(dòng)矢量MV’僅表示平行位移。
[0092]如圖1 (B)所示，全局運(yùn)動(dòng)搜索處理裝置3A包括第一運(yùn)動(dòng)搜索處理單元10 (第一ME)(第一運(yùn)動(dòng)搜索處理單元)、運(yùn)動(dòng)搜索確定單元20、第二運(yùn)動(dòng)搜索處理單元30 (第二 ME)(第二運(yùn)動(dòng)搜索處理器)和存儲(chǔ)單元50 (存儲(chǔ)器)。運(yùn)動(dòng)搜索確定單元20確定第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效，且包括標(biāo)準(zhǔn)差確定單元22和像素值變化確定單元24作為基于第一運(yùn)動(dòng)搜索處理對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理信息確定全局運(yùn)動(dòng)搜索的難度是否高的功能單元。標(biāo)準(zhǔn)差確定單元22使用第一運(yùn)動(dòng)搜索處理單元10 (第一 ME)的處理結(jié)果、加法結(jié)果等計(jì)算關(guān)于誤差函數(shù)值的標(biāo)準(zhǔn)差Se，并將標(biāo)準(zhǔn)差Se與閾值比較。像素值變化確定單元24使用第一運(yùn)動(dòng)搜索處理單元10 (第一 ME)的處理結(jié)果、加法結(jié)果等計(jì)算像素值變化的絕對(duì)值D，并將絕對(duì)值D與閾值比較。運(yùn)動(dòng)搜索確定單元20基于標(biāo)準(zhǔn)差確定單元22和像素值變化確定單元24的閾值比較結(jié)果中的至少一個(gè)來(lái)確定第一運(yùn)動(dòng)搜索處理單元10的第一運(yùn)動(dòng)搜索處理(第一 ME)是否有效。
[0093]這里，將使用包括運(yùn)動(dòng)搜索確定單元20的配置解釋本實(shí)施例。然而，可以采用沒(méi)有運(yùn)動(dòng)搜索確定單元20的配置。在這種情況下，第二運(yùn)動(dòng)搜索處理單元30執(zhí)行第二運(yùn)動(dòng)搜索處理而不參考運(yùn)動(dòng)搜索確定單元20的處理結(jié)果。
[0094]作為本實(shí)施例的特征，全局運(yùn)動(dòng)搜索處理裝置3A包括劃分圖像和從劃分圖像計(jì)算代表性運(yùn)動(dòng)矢量MV的圖像分割和選擇處理單元60。本實(shí)施例的第一運(yùn)動(dòng)搜索處理單元10執(zhí)行由圖像分割和選擇處理單元60劃分的每一劃分圖像(劃分區(qū)域)的運(yùn)動(dòng)搜索處理并具有作為劃分區(qū)域運(yùn)動(dòng)矢量計(jì)算單元的功能。圖像分割和選擇處理單元60將圖像區(qū)域劃分為多個(gè)圖像并基于由第一運(yùn)動(dòng)搜索處理單元10計(jì)算出的每一劃分區(qū)域中的一對(duì)每一特征量選擇具有高可靠性的一個(gè)或多個(gè)圖像區(qū)域。當(dāng)選擇單個(gè)圖像區(qū)域時(shí)，所選的值用作代表性特征值，且當(dāng)選擇多個(gè)圖像區(qū)域時(shí)，基于所選的圖像區(qū)域計(jì)算代表性特征值。
[0095]為了執(zhí)行這些處理，具體地，圖像分割和選擇處理單元60首先包括圖像分割單元62和劃分圖像選擇單元66。另外，提供基于第一運(yùn)動(dòng)搜索處理單元10對(duì)于所選的多個(gè)劃分圖像的運(yùn)動(dòng)搜索處理的信息來(lái)計(jì)算關(guān)于運(yùn)動(dòng)搜索處理的代表性特征值(代表性運(yùn)動(dòng)矢量)的代表性特征值計(jì)算單元(代表性運(yùn)動(dòng)矢量計(jì)算單元)。在圖中的示例圖示第二運(yùn)動(dòng)搜索處理單元30包括代表性特征值計(jì)算單元38的示例。在這種情況下，在第二運(yùn)動(dòng)搜索處理期間，計(jì)算代表性特征值。這里，代表性特征值計(jì)算單元可以作為第二運(yùn)動(dòng)搜索處理單元30的替代被提供給圖像分割和選擇處理單元60，且在這種情況下，應(yīng)用在執(zhí)行第二運(yùn)動(dòng)搜索處理之前計(jì)算代表性特征值的配置(參見第四和第五實(shí)施例)。
[0096]在整體圖像區(qū)域中，第二運(yùn)動(dòng)搜索處理單元30基于圖像分割和選擇處理單元60中獲得的代表性特征值(運(yùn)動(dòng)矢量MV)選擇每一像素中的高度可靠的像素，并使用高度可靠的像素執(zhí)行運(yùn)動(dòng)估計(jì)。第二運(yùn)動(dòng)搜索處理單元30基于該結(jié)果計(jì)算整體圖像區(qū)域的一組運(yùn)動(dòng)信息。
[0097]全局運(yùn)動(dòng)搜索處理裝置3A具有對(duì)于整體圖像多次(兩次或者更多)執(zhí)行LK方法以在兩個(gè)圖像序列I(x，y，t)之間執(zhí)行全局運(yùn)動(dòng)搜索處理GME (全局ME)的功能，其中該圖像序列I(x，y，t)表示為二維圖像的水平方向(X)、垂直方向(y)和時(shí)間方向(t)的函數(shù)。這里，全局運(yùn)動(dòng)搜索處理裝置3A具有在第一運(yùn)動(dòng)搜索處理(第一 ME)中對(duì)于由圖像分割和選擇處理單元60劃分的每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理且在第二運(yùn)動(dòng)搜索處理(第二 ME)中基于由圖像分割和選擇處理單元60獲得的代表性運(yùn)動(dòng)矢量MV對(duì)于整體圖像執(zhí)行運(yùn)動(dòng)搜索處理從而執(zhí)行高度可靠的估計(jì)的特征。在該運(yùn)動(dòng)估計(jì)方法中，輸入圖像被劃分為多個(gè)圖像區(qū)域，在每一劃分圖像中執(zhí)行第一運(yùn)動(dòng)估計(jì)，基于第一運(yùn)動(dòng)估計(jì)的結(jié)果計(jì)算特征值，且基于計(jì)算出的特征值對(duì)于整體輸入圖像執(zhí)行第二運(yùn)動(dòng)估計(jì)。通過(guò)此，可以執(zhí)行具有高魯棒性和高精度的運(yùn)動(dòng)估計(jì)。在下文中，將簡(jiǎn)要地解釋每一功能單元的基本處理。
[0098]這里，例如，執(zhí)行運(yùn)動(dòng)矢量的檢測(cè)的方法可以是梯度方法(其不限于LK方法且可以使用其他方法)、塊匹配方法、Hesse方法、SIFT方法等中的任意方法。另外，雖然多于一次地執(zhí)行運(yùn)動(dòng)矢量的檢測(cè)，但是在每一檢測(cè)中使用的方法可以不同。為了說(shuō)明書的簡(jiǎn)化的緣故，作為優(yōu)選的示例，將解釋對(duì)于運(yùn)動(dòng)矢量的每一檢測(cè)使用基于LK方法的方法的示例。
[0099](圖像分割和選擇處理單元60:劃分圖像和選擇高度可靠的劃分圖像)
[0100]作為圖像分割方法，存在比如在日本專利申請(qǐng)?zhí)亻_N0.2004-015376中描述的圖像分割等的各種方法。然而，可以采用任意方法。另外，對(duì)于采用的任意方法，不限于均勻地劃分圖像的方法且可以是不均勻的圖像分割。
[0101]存在用于選擇高度可靠的劃分圖像的各種方法。然而，可以采用任意方法，只要可以選擇高度可靠的圖像區(qū)域即可。例如，圖像分割單元62將要處理的圖像序列I (x，y，t)的區(qū)域劃分為多個(gè)區(qū)域且第一運(yùn)動(dòng)搜索處理單元10計(jì)算每一劃分區(qū)域的特征量(在這種情況下，運(yùn)動(dòng)矢量MV)。劃分圖像選擇單元66從各個(gè)特征量(運(yùn)動(dòng)矢量MV)選擇具有高可靠性的特征量的一個(gè)或多個(gè)劃分區(qū)域。當(dāng)由劃分圖像選擇單元66選擇的劃分區(qū)域的數(shù)目是一時(shí)，代表性運(yùn)動(dòng)矢量計(jì)算單元68將劃分區(qū)域的特征量設(shè)置為代表性特征值，且當(dāng)由劃分圖像選擇單元66選擇的劃分區(qū)域的數(shù)目大于一時(shí)，代表性運(yùn)動(dòng)矢量計(jì)算單元68基于各個(gè)劃分區(qū)域的特征量來(lái)計(jì)算代表性特征值。
[0102]這里，當(dāng)選擇一個(gè)或多個(gè)劃分區(qū)域時(shí)，優(yōu)選地使用分類處理。例如，通過(guò)基于第一運(yùn)動(dòng)搜索處理(第一 ME)的結(jié)果獲得運(yùn)動(dòng)矢量MV與另一劃分圖像的運(yùn)動(dòng)矢量MV的差異并以計(jì)算出的值作為分類關(guān)鍵·進(jìn)行分類，選擇與另一劃分圖像具有運(yùn)動(dòng)矢量MV的小的差異的預(yù)定數(shù)目的劃分圖像且在存儲(chǔ)單元50中存儲(chǔ)該信息。優(yōu)選地改變要在每一運(yùn)動(dòng)估計(jì)處理中選擇的劃分圖像的數(shù)目。
[0103](第一運(yùn)動(dòng)搜索處理單元10:第一運(yùn)動(dòng)搜索處理(第一 ME))
[0104]在第一運(yùn)動(dòng)搜索處理中，對(duì)于每一劃分圖像作為L(zhǎng)K方法的結(jié)果計(jì)算一對(duì)運(yùn)動(dòng)矢量MV (Vx, Vy)，且在存儲(chǔ)單元50中存儲(chǔ)計(jì)算出的結(jié)果。例如，存儲(chǔ)的運(yùn)動(dòng)矢量MV用于選擇劃分圖像或者用在第二運(yùn)動(dòng)搜索處理中。在這種情況下，在存儲(chǔ)單元50中存儲(chǔ)獲得運(yùn)動(dòng)矢量MV(Vx, Vy)所需的處理的計(jì)算結(jié)果,其是 Axx(=2 (Ix)2)、Ayy (=2 (Iy)2)、Axy (=2 (Ix ? Iy))、Axt (=2 (Ix ? It))和Ayt (=2 (Iy ? It))以便之后用于ME無(wú)效確定、第二和隨后的運(yùn)動(dòng)搜索處理等。另外，也計(jì)算在初始LK方法中不需要的比如Ax (=2 Ix) ,Ay (=2 Iy)、At (=2 It)、Att (=2 (It)2)之類的加法信息，且計(jì)算結(jié)果被存儲(chǔ)在存儲(chǔ)單元50中。這里，Ix、Iy和It表示在圖像序列I U，y, t)的水平、垂直和時(shí)間方向上像素的像素值變化量，以使得例如可以采用比如計(jì)算偏微分值的各種計(jì)算方法。由Ix、Iy、It組成的加法值2的項(xiàng)表示跨越整體劃分圖像將每一分量相加的值(總和)(根據(jù)需要也加上時(shí)間分量)。例如，雖然在本實(shí)施例中不使用，但考慮水平、垂直和時(shí)間方向的全部的加法值E是由在水平方向上的像素值變化量、在垂直方向上的像素值變化量和在時(shí)間方向上的像素值變化量構(gòu)成的任意計(jì)算公式的計(jì)算結(jié)果跨越整體圖像相加的值?？紤]水平方向和垂直方向的加法值E是由水平方向上的像素值變化量和垂直方向上的像素值變化量構(gòu)成的任意計(jì)算公式的計(jì)算結(jié)果跨越整體圖像相加的值?？紤]水平方向(或者垂直方向)和時(shí)間方向的加法值E是由水平方向上(或者垂直方向上)的像素值變化量和時(shí)間方向上的像素值變化量構(gòu)成的任意計(jì)算公式的計(jì)算結(jié)果跨越整體圖像相加的值。
[0105](運(yùn)動(dòng)搜索確定單元20:第一運(yùn)動(dòng)搜索處理結(jié)果的有效/無(wú)效的確定)
[0106]運(yùn)動(dòng)搜索確定單元20通過(guò)使用第一運(yùn)動(dòng)搜索處理結(jié)果和該處理中的計(jì)算結(jié)果來(lái)確定第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理是有效還是無(wú)效。例如，運(yùn)動(dòng)搜索確定單元20在其基于由第一運(yùn)動(dòng)搜索處理單元10獲得的運(yùn)動(dòng)矢量MV(Vx，Vy)確定全局運(yùn)動(dòng)搜索處理GME的難度高時(shí)確定第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理結(jié)果無(wú)效。在這種情況下，第二運(yùn)動(dòng)搜索處理單元30不需要執(zhí)行第二 LK方法。在該確定的情況下，第二運(yùn)動(dòng)搜索處理單元30使用第一運(yùn)動(dòng)搜索處理結(jié)果和該處理中的計(jì)算結(jié)果來(lái)獲得標(biāo)準(zhǔn)差Se (=oe,其是LK方法的整體圖像中的誤差函數(shù)值的分布的標(biāo)準(zhǔn)差)和絕對(duì)值D (=S，其是每一像素的時(shí)間方向上的像素值變化的絕對(duì)值)，并執(zhí)行用于將標(biāo)準(zhǔn)差Se和/或絕對(duì)值D與閾值參數(shù)比較的處理(閾值比較)。運(yùn)動(dòng)搜索確定單元20在各個(gè)值“低于”閾值時(shí)確定第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理“有效”。對(duì)應(yīng)于此，第二運(yùn)動(dòng)搜索處理單元30使用第一運(yùn)動(dòng)搜索處理結(jié)果和該處理中的計(jì)算結(jié)果并執(zhí)行第二運(yùn)動(dòng)搜索處理。另一方面，運(yùn)動(dòng)搜索確定單元20在各個(gè)值“大于”閾值時(shí)確定第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理“無(wú)效”，并將第一運(yùn)動(dòng)搜索處理結(jié)果的運(yùn)動(dòng)矢量MV (Vx=DVx, Vy=DVx)設(shè)置為“0:零”。在這種情況下，全局運(yùn)動(dòng)搜索處理裝置3A結(jié)束整體處理而不執(zhí)行第二運(yùn)動(dòng)搜索處理單元30的第二運(yùn)動(dòng)搜索處理。應(yīng)當(dāng)注意，“低于”可以是“等于或者低于”或者“少于”。對(duì)應(yīng)于此“低于”，關(guān)于“高”，“高于”可以與“等于或低于”一起使用，且“等于或高于”可以與“少于”一起使用。
[0107]通過(guò)這種運(yùn)動(dòng)搜索確定單元20的標(biāo)準(zhǔn)差Se和絕對(duì)值D的閾值比較，可以避免錯(cuò)誤地使用當(dāng)圖像內(nèi)的局部運(yùn)動(dòng)過(guò)大時(shí)更可能產(chǎn)生的不需要的運(yùn)動(dòng)矢量MV。類似地，通過(guò)標(biāo)準(zhǔn)差Se和絕對(duì)值D的閾值比較，可以避免錯(cuò)誤地使用當(dāng)圖像內(nèi)中的照明強(qiáng)度的改變過(guò)大時(shí)更可能產(chǎn)生的不需要的運(yùn)動(dòng)矢量MV。這里，`當(dāng)執(zhí)行閾值比較時(shí)，可以通過(guò)在也使用過(guò)去的標(biāo)準(zhǔn)差Se和絕對(duì)值D的平均濾波器之后與閾值比較來(lái)獲得優(yōu)選的結(jié)果?？梢酝ㄟ^(guò)與具有滯后特性的閾值比較來(lái)獲得進(jìn)一步優(yōu)選的結(jié)果。
[0108](第二運(yùn)動(dòng)搜索處理單元30:第二運(yùn)動(dòng)搜索處理(第二 ME))
[0109]在第二運(yùn)動(dòng)搜索處理中，基本上類似于第一運(yùn)動(dòng)搜索處理，作為L(zhǎng)K方法的結(jié)果重新計(jì)算一對(duì)運(yùn)動(dòng)矢量W，(Yx ,Yy ),且在存儲(chǔ)單元50中存儲(chǔ)計(jì)算結(jié)果。這里，與第一運(yùn)動(dòng)搜索處理的差異將確定當(dāng)獲得計(jì)算MV’需要的該處理中的計(jì)算結(jié)果或者加法信息時(shí)是否在每一像素中執(zhí)行加法。該處理中的計(jì)算結(jié)果是Axx’(=2(I’x)2)、Ayy’(=2(I’y)2)、Axy' (=2 (rx ? ry))、Axt’(=2 (rx ? rt))和 Ayt’(=2 (ry ? rt))。加法信息包括Ax’(=2I’x)、Ay’(=2I’y)、At’(=2I’t)和 Att’(=2 (I’t)2)。這里，在之后描述的實(shí)施例中，計(jì)算結(jié)果Axx’、Ayy’、Axy’、Axt’和Ayt’以及加法信息Ax’、Ay’、At’和Att’存儲(chǔ)在存儲(chǔ)單元50中以用于另外的隨后的運(yùn)動(dòng)搜索處理等。放置撇號(hào)(’)以區(qū)分第一計(jì)算和第二計(jì)算。然而，因?yàn)殛P(guān)于同一對(duì)圖像執(zhí)行LK方法兩次，所以I’實(shí)際上等于I。另一方面，因?yàn)閳?zhí)行是否相加的確定，所以每一計(jì)算值變?yōu)椴煌诘谝恢档闹?。[0110]這里，第二運(yùn)動(dòng)搜索處理單元30使用第一運(yùn)動(dòng)搜索處理結(jié)果和該處理中的計(jì)算結(jié)果來(lái)確定是否相加，并獲得誤差函數(shù)值的分布平均Me’和標(biāo)準(zhǔn)差Se’以及像素值變化的分布平均Mi’和標(biāo)準(zhǔn)差Si’。另外，第二運(yùn)動(dòng)搜索處理單元30計(jì)算每一像素中非正常值相對(duì)于分布平均的程度，并執(zhí)行將非正常值的程度與預(yù)定閾值參數(shù)(例如，標(biāo)準(zhǔn)差)比較的處理(閾值比較)。
[0111]分布平均Me’是LK方法中所選的劃分圖像(所選的圖像)內(nèi)誤差函數(shù)值的分布的平均ye’。標(biāo)準(zhǔn)差Se’是LK方法中所選的劃分圖像內(nèi)誤差函數(shù)值的分布的標(biāo)準(zhǔn)差o e’。分布平均Mi’是所選的劃分圖像內(nèi)時(shí)間方向上的像素值變化的分布的平均U i’。Si’是所選的劃分圖像內(nèi)時(shí)間方向上的像素值變化的分布的標(biāo)準(zhǔn)差O i’。
[0112]當(dāng)它們中之一或者它們兩者都滿足時(shí)(非正常值的程度大于閾值，在下文中，也稱為“是非正常值”)，第二運(yùn)動(dòng)搜索處理單元30進(jìn)行到下一像素而不獲得每一加法值I:(這里，具體的Axx’、Ayy’、Axy’、Axt’和Ayt’)。換句話說(shuō),第二運(yùn)動(dòng)搜索處理單元30基于LK方法中誤差函數(shù)值的平均和標(biāo)準(zhǔn)差從每一像素的誤差函數(shù)值計(jì)算非正常值的程度，確定計(jì)算出的值是否大于閾值，且當(dāng)滿足時(shí)不使用該像素來(lái)計(jì)算運(yùn)動(dòng)矢量MV’。第二運(yùn)動(dòng)搜索處理單元30基于時(shí)間方向上像素值變化的平均和標(biāo)準(zhǔn)差從每一像素的像素值變化計(jì)算非正常值的程度，確定計(jì)算出的值是否大于閾值，且當(dāng)滿足時(shí)不使用該像素來(lái)計(jì)算運(yùn)動(dòng)矢量MV’。通過(guò)該方式，可以除去以某種程度的局部運(yùn)動(dòng)和工作為噪聲的亮度的改變且可以獲得作為全局運(yùn)動(dòng)矢量MV’的期望結(jié)果。
[0113]具體來(lái)說(shuō)，在第一實(shí)施例中(與在后面描述的實(shí)施例相同)，因?yàn)榈谝惶幚斫Y(jié)果和計(jì)算處理中的信息用于在第二 LK方法中消除非正常值，所以與包括非專利文件I中公開的非正常值消除的LK方法的情況(其中不使用第一處理結(jié)果和計(jì)算處理中的信息)相比可以減小處理量。由此，可以執(zhí)行對(duì)局部移動(dòng)被攝體或者照明強(qiáng)度改變魯棒的全局運(yùn)動(dòng)搜索處理，同時(shí)保持LK方法的高計(jì)算效率。
[0114][全局運(yùn)動(dòng)搜索處理裝置的具體處理]
[0115](處理過(guò)程的整體概況)
[0116]圖2是解釋第一實(shí)施例中全局運(yùn)動(dòng)搜索處理裝置3A執(zhí)行的全局運(yùn)動(dòng)搜索處理的過(guò)程的整體概況的流程圖。
[0117]首先，圖像分割和選擇處理單元60的圖像分割單元62接收?qǐng)D像分割數(shù)目N的設(shè)置(SlO)并根據(jù)圖像分割數(shù)目N劃分要處理的幀圖像(當(dāng)前圖像CM)和參考圖像RM(S12:在之后詳細(xì)地描述)。這里，如以下將要描述的，可以接收水平分割數(shù)目X和垂直分割數(shù)目Y的設(shè)置且可以基于接收的設(shè)置來(lái)設(shè)置圖像分割數(shù)目N。
[0118]接下來(lái)，第一運(yùn)動(dòng)搜索處理單元10對(duì)于每一劃分圖像使用LK方法執(zhí)行第一運(yùn)動(dòng)搜索處理(第一ME)。具體地，第一運(yùn)動(dòng)搜索處理單元10首先將對(duì)應(yīng)于劃分圖像編號(hào)的運(yùn)算符n設(shè)置為“0”(S20)，并對(duì)于第n(=0)個(gè)劃分圖像使用LK方法執(zhí)行運(yùn)動(dòng)搜索處理(第一ME)(S21:在之后詳細(xì)地描述)。第一運(yùn)動(dòng)搜索處理單元10在存儲(chǔ)單元50中存儲(chǔ)作為在“n(=0)”的條件下執(zhí)行的處理的結(jié)果的運(yùn)動(dòng)矢量MV (Vx, Vy)作為運(yùn)動(dòng)矢量MDV (DVx [n]，DVy [n])(S26)。然后，第一運(yùn)動(dòng)搜索處理單元10將運(yùn)算符n遞增“I”并重復(fù)相同處理直到完成運(yùn)算符n=N-l的條件下的處理(S20，S28-N)。
[0119]當(dāng)?shù)谝贿\(yùn)動(dòng)搜索處理單元10對(duì)于全部劃分圖像完成第一運(yùn)動(dòng)搜索處理(第一 ME)時(shí)(S28-Y)，圖像分割和選擇處理單元60的劃分圖像選擇單元66使用每一劃分圖像的運(yùn)動(dòng)搜索處理(第一 ME)的結(jié)果選擇高度可靠的劃分圖像(S30:在之后詳細(xì)地描述)。
[0120]接下來(lái)，運(yùn)動(dòng)搜索確定單元20使用第一運(yùn)動(dòng)搜索處理結(jié)果和第一運(yùn)動(dòng)搜索處理單元10的處理期間的計(jì)算結(jié)果來(lái)確定全局運(yùn)動(dòng)搜索處理GME的難度和可靠性，并確定第一運(yùn)動(dòng)搜索處理(第一 ME)是否無(wú)效(有效)(S40:在之后詳細(xì)地描述)。當(dāng)確定全局運(yùn)動(dòng)搜索處理GME的難度高時(shí)，運(yùn)動(dòng)搜索確定單元20取消第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理(S48-Y)，將作為第一運(yùn)動(dòng)搜索處理結(jié)果的運(yùn)動(dòng)矢量MV (Vx=DVx, Vy=DVx)設(shè)置為“0:零〃，并將其作為全局運(yùn)動(dòng)搜索處理GME的結(jié)果(運(yùn)動(dòng)矢量MV)輸出(S92)。在這種情況下，不必須由第二運(yùn)動(dòng)搜索處理單元30執(zhí)行第二 LK方法，且全局運(yùn)動(dòng)搜索處理裝置3A結(jié)束整個(gè)處理。另一方面，當(dāng)確定全局運(yùn)動(dòng)搜索處理GME的難度低時(shí)，運(yùn)動(dòng)搜索確定單元20驗(yàn)證第一運(yùn)動(dòng)搜索處理單元10的運(yùn)動(dòng)搜索處理(S48-N)，且響應(yīng)于此，第二運(yùn)動(dòng)搜索處理單元30使用第一運(yùn)動(dòng)搜索處理結(jié)果和處理期間的計(jì)算結(jié)果來(lái)執(zhí)行第二運(yùn)動(dòng)搜索處理(S51:在之后詳細(xì)地描述)。第二運(yùn)動(dòng)搜索處理單元30作為全局運(yùn)動(dòng)搜索處理GME的結(jié)果(運(yùn)動(dòng)矢量MV)輸出第二運(yùn)動(dòng)搜索處理(第二 ME)的結(jié)果的運(yùn)動(dòng)矢量MV’(Vx’，Vy’)并結(jié)束整個(gè)處理(S94)。當(dāng)?shù)谝贿\(yùn)動(dòng)搜索處理單元10的第一運(yùn)動(dòng)搜索處理(第一 ME)無(wú)效時(shí)(S48-Y)，不由第二運(yùn)動(dòng)搜索處理單元30執(zhí)行第二運(yùn)動(dòng)搜索處理(第二 ME)。這防止不期望的運(yùn)動(dòng)矢量MV的誤用并減小處理負(fù)擔(dān)。
[0121](圖像分割處理)
[0122]圖3和圖4是解釋圖像分割和選擇處理單元60的圖像分割單元62的第一實(shí)施例的圖像分割處理(S12)的簡(jiǎn)圖。這里，圖3是解釋圖像分割單元62的圖像分割處理的過(guò)程的流程圖。圖4是解釋圖3所示的圖像分割處理過(guò)程中劃分的劃分圖像和指定劃分圖像的位置的坐標(biāo)信息之間的關(guān)系的簡(jiǎn)圖。應(yīng)當(dāng)注意，關(guān)于每一劃分圖像的編號(hào)，在從左上開始到左下，然后移動(dòng)到在右邊的下一列且從上移動(dòng)到下時(shí)，左上位置設(shè)置為0且右下位置設(shè)置為最后編號(hào)(N-1 )。
·[0123]圖像分割單元62首先接收要處理的圖像(當(dāng)前圖像CM)的寬度W (由像素的數(shù)目指定)、高度H (由像素的數(shù)目指定)、水平分割數(shù)目X和垂直分割數(shù)目Y和參考圖像RIM (緊接在要處理的圖像之前的幀的圖像)的設(shè)置(S120)。第一實(shí)施例的圖像分割處理方法是均勻地劃分圖像且水平分割數(shù)目X和垂直分割數(shù)目Y的乘積為圖像分割數(shù)目N的方法。
[0124]接下來(lái)，圖像分割單元62根據(jù)設(shè)置的水平分割數(shù)目X和垂直分割數(shù)目Y執(zhí)行圖像分割，并將指定每一劃分圖像的位置的坐標(biāo)信息存儲(chǔ)到存儲(chǔ)單元50。具體地，圖像分割單元62在設(shè)置對(duì)應(yīng)于水平分割數(shù)目X陣列改變要素a從0到“X-1 ”并設(shè)置對(duì)應(yīng)于垂直分割數(shù)目Y的陣列改變要素b為從0到“Y-1”時(shí)計(jì)算劃分圖像的位置信息，并開始要存儲(chǔ)在存儲(chǔ)單元50中的二維循環(huán)(S124)。當(dāng)處理開始時(shí)，圖像分割單元62分別首先設(shè)置陣列改變要素a和陣列改變要素b為“0”(S124)，并計(jì)算指定第“a*X+b”個(gè)劃分圖像的位置的在垂直方向上的坐標(biāo)信息Dy [a ? X+b]和在水平方向上的坐標(biāo)信息Dx[a ? X+b] (S126)。例如，為獲得每一劃分圖像的左上點(diǎn)坐標(biāo)信息，坐標(biāo)信息Dx [a ? X+b設(shè)置為W/X ? a且坐標(biāo)信息Dy [a ? X+b]設(shè)置為H/Y*b (S126)。這里描述的坐標(biāo)信息的計(jì)算公式是示例且可以使用比如左下點(diǎn)或者中心點(diǎn)的其它計(jì)算公式。圖像分割單元62將獲得的坐標(biāo)信息Dx[a ? X+b]和坐標(biāo)信息Dy [a-X+b]存儲(chǔ)到存儲(chǔ)單元50以在第一運(yùn)動(dòng)搜索處理(第一 ME)中使用(S126)。然后，圖像分割單元62確定a，b循環(huán)是否結(jié)束。當(dāng)其未結(jié)束時(shí)，處理返回到步驟S124(S128-N)，且當(dāng)其結(jié)束時(shí)，處理進(jìn)行到下一步驟。換句話說(shuō)，圖像分割單元62將陣列改變要素a或者陣列改變要素b遞增“I”并重復(fù)相同的處理直到完成其中陣列改變要素a是X-1且陣列改變要素b是Y-1的處理(S128-N)。
[0125]例如，圖4圖示在設(shè)置水平分割數(shù)目X為2且垂直分割數(shù)目Y為2時(shí)在水平方向上具有1400個(gè)像素作為寬度W和在垂直方向上具有1000個(gè)像素作為高度H的圖像總體上被劃分為四個(gè)圖像的示例情況。當(dāng)a=0且b=0時(shí)，坐標(biāo)信息Dx [0 *2+0]計(jì)算為1400/2 ?()=()且坐標(biāo)信息Dy [0 *2+0]計(jì)算為1000/2.0=0。換句話說(shuō)，第0 (= “a ? X+b”)個(gè)劃分圖像在左上，且劃分圖像的左上點(diǎn)具有為0的水平方向坐標(biāo)信息Dx[0]和為0的垂直方向坐標(biāo)信息Dy [O]。當(dāng)a=0且b=l時(shí)，坐標(biāo)信息Dx [0 *2+1]計(jì)算為1400/2 ?()=()且坐標(biāo)信息Dy [0 *2+1]計(jì)算為1000/2 ? 1=500。換句話說(shuō)，第I (= “a ? X+b”)個(gè)劃分圖像在左下，且劃分圖像的左上點(diǎn)具有為0的水平方向坐標(biāo)信息Dx[l]和為500的垂直方向坐標(biāo)信息Dy[l]。當(dāng)a=l且b=0時(shí)，坐標(biāo)信息Dx[l ? 2+0]計(jì)算為1400/2 ? 1=700且坐標(biāo)信息Dy[l ? 2+0]計(jì)算為1000/2 *0=0。換句話說(shuō)，第2 (= “a* X+b”)個(gè)劃分圖像在右下，且劃分圖像的左上點(diǎn)具有為700的水平方向坐標(biāo)信息Dx[2]和為0的垂直方向坐標(biāo)信息Dy [2]。當(dāng)a=l且b=l時(shí),坐標(biāo)信息 Dx [I ? 2+1]計(jì)算為 1400/2 ? 1=700 且坐標(biāo)信息 Dy [I ? 2+1]計(jì)算為 1000/2 ? 1=500。換句話說(shuō)，第3 (= “a ? X+b”)個(gè)劃分圖像在右下，且劃分圖像的左上點(diǎn)具有為700的水平方向坐標(biāo)信息Dx [3]和為500的垂直方向坐標(biāo)信息Dy [3]。
[0126](第一運(yùn)動(dòng)搜索處理(第一ME))
[0127]圖5是圖示第一運(yùn)動(dòng)搜索處理單元10的第一實(shí)施例的第一運(yùn)動(dòng)搜索處理(S21)的流程圖。這里圖示的運(yùn)動(dòng)搜索處理是放大LK方法的示例，且基本上，第一運(yùn)動(dòng)搜索處理單元10根據(jù)以下等式(稱為等式(I))獲得運(yùn)動(dòng)矢量MV (Vx, Vy)。注意到，Axx (= I: (Ix)2)、Ayy (= 2 (Iy)2)、Axy (= I: (Ix ? Iy)) > Axt (= I: (Ix ? It)) > Ayt (= I: (Iy ? It))且 div=AXX ? Ayy-Axy ? Axy=Axx ? Ayy-(Axy)2。
[0128][數(shù)學(xué)公式I]
【權(quán)利要求】
1.一種圖像處理裝置，包括: 圖像分割單元，配置為使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像； 劃分圖像選擇單元，配置為從多個(gè)劃分圖像中選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像； 第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理單元，配置為基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述劃分圖像選擇單元基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息來(lái)選擇劃分圖像。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，進(jìn)一步包括: 代表性特征值計(jì)算單元，其中， 所述劃分圖像選擇單元選擇多個(gè)劃分圖像； 所述代表性特征值計(jì)算單元基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的多個(gè)劃分圖像的運(yùn)動(dòng)搜索處理的信息，計(jì)算關(guān)于所述運(yùn)動(dòng)搜索處理的代表性特征值；和 所述第二運(yùn)動(dòng)搜索處理單元基于所述代表性特征值計(jì)算單元計(jì)算對(duì)于所選的多個(gè)劃分圖像的代表性特征值 ，關(guān)于其中未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括: 確定單元，配置為確定所述第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效，其中，所述確定單元通過(guò)基于所示第一運(yùn)動(dòng)搜索處理單元對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息，確定全局運(yùn)動(dòng)搜索的難度是否等于或者大于閾值，來(lái)確定所述運(yùn)動(dòng)搜索結(jié)果是否無(wú)效。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 作為所述第一運(yùn)動(dòng)搜索處理單元對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息，所述確定單元 對(duì)于全部劃分圖像，獲得 基于由與像素中的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量有關(guān)的至少一條信息表示的計(jì)算公式的對(duì)于整個(gè)劃分圖像的加法計(jì)算結(jié)果，和基于對(duì)于整個(gè)劃分圖像的加法計(jì)算結(jié)果計(jì)算出的運(yùn)動(dòng)信息，并且根據(jù)由各個(gè)獲得的值表示的條件表達(dá)式確定所述全局運(yùn)動(dòng)搜索的難度是否等于或者大于閾值。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括: 第三運(yùn)動(dòng)搜索處理單元，配置為在基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于每一劃分圖像的運(yùn)動(dòng)搜索處理的信息確定每一像素是否具有等于或者大于閾值的可靠性時(shí)對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理， 其中，所述第二運(yùn)動(dòng)搜索處理單元基于所述第三運(yùn)動(dòng)搜索處理單元對(duì)于劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，包括第三運(yùn)動(dòng)搜索處理單元，配置為基于所述第二運(yùn)動(dòng)搜索處理單元對(duì)于整體圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于在其上未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
8.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，基于要處理的圖像的圖像特征值執(zhí)行圖像分割和/或運(yùn)動(dòng)搜索處理。
9.根據(jù)權(quán)利要求8所述的圖像處理裝置，其中，所述圖像分割單元能夠基于作為圖像特征值的圖像中的對(duì)象信息將要處理的圖像不均勻地劃分為多個(gè)劃分圖像。
10.根據(jù)權(quán)利要求8所述的圖像處理裝置，包括: 確定單元，配置為確定所述第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效， 其中，所述確定單元通過(guò)基于作為圖像特征值的邊緣信息確定所述全局運(yùn)動(dòng)搜索的難度是否等于或者大于閾值來(lái)確定所述第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效。
11.根據(jù)權(quán)利要求8所述的圖像處理裝置，包括: 確定單元，配置為確定所述第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效， 其中，所述確定單元基于作為圖像特征值的邊緣信息對(duì)于每一圖像確定所述第一運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索結(jié)果是否無(wú)效，且在無(wú)效時(shí)使所述第一運(yùn)動(dòng)搜索處理單元的劃分圖像的運(yùn)動(dòng)搜索處理結(jié)果無(wú)效。
12.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，各個(gè)運(yùn)動(dòng)搜索處理單元計(jì)算與圖像的平行位移有關(guān)的運(yùn)動(dòng)信息和/或計(jì)算與圖像的旋轉(zhuǎn)位移有關(guān)的運(yùn)動(dòng)信息。
13.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，各個(gè)運(yùn)動(dòng)搜索處理單元的至少一個(gè)使用Lucas-Kanade方法執(zhí)行運(yùn)動(dòng)搜索處理。
14.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中，所述第一運(yùn)動(dòng)搜索處理單元對(duì)于整個(gè)劃分圖像，基于由與每一劃分圖像的像素中的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量有關(guān)的至少一條信息表示的計(jì)算公式來(lái)執(zhí)行加法計(jì)算，并基于加法計(jì)算結(jié)果計(jì)算運(yùn)動(dòng)信息。
15.根據(jù)權(quán)利要求13所述的圖像處理裝置，其中， 當(dāng)對(duì)于整體圖像執(zhí)行基于由與每一像素中的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量有關(guān)的至少一條信息表示的計(jì)算公式的加法計(jì)算時(shí)， 所述第二運(yùn)動(dòng)搜索處理單元基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息根據(jù)設(shè)置條件確定每一像素是否具有等于或者大于閾值的可靠性，并在滿足設(shè)置條件的情況下執(zhí)行加法計(jì)算。
16.根據(jù)權(quán)利要求15所述的圖像處理裝置，其中，所述第二運(yùn)動(dòng)搜索處理單元 關(guān)于所選的劃分圖像，獲得 基于由與每一像素中的水平方向像素值變化量、垂直方向像素值變化量和時(shí)間方向像素值變化量有關(guān)的至少一條信息表示的計(jì)算公式的對(duì)于整個(gè)劃分圖像的加法計(jì)算結(jié)果，和基于對(duì)于整個(gè)劃分圖像的加法計(jì)算結(jié)果計(jì)算出的運(yùn)動(dòng)信息， 作為確定所述運(yùn)動(dòng)搜索處理結(jié)果是否具有等于或者大于閾值的可 靠性的信息，并且 根據(jù)由各個(gè)獲得的值表示的設(shè)置條件執(zhí)行是否在每一像素中執(zhí)行加法。
17.—種圖像處理方法,包括: 圖像分割步驟，使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像； 劃分圖像選擇步驟，選擇劃分圖像，其從多個(gè)劃分圖像中選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像；第一運(yùn)動(dòng)搜索處理步驟，對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理步驟，基于第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于其中未執(zhí)行圖像分割的整體圖像執(zhí)行運(yùn)動(dòng)搜索處理。
18.—種成像裝置，包括: 固態(tài)成像裝置； 光學(xué)系統(tǒng)，配置為形成在所述固態(tài)成像裝置的成像區(qū)域中獲得的被攝體圖像的圖像； 第一存儲(chǔ)單元，配置為存儲(chǔ)由所述固態(tài)成像裝置獲得的圖像； 第一信號(hào)處理單元，配置為對(duì)由所述固態(tài)成像裝置獲得的圖像執(zhí)行預(yù)定信號(hào)處理； 第二存儲(chǔ)單元，配置為存儲(chǔ)所述第一信號(hào)處理單元中處理的圖像； 圖像分割單元，配置為使得從所述第二存儲(chǔ)單元讀取的圖像變?yōu)槎鄠€(gè)劃分圖像； 劃分圖像選擇單元，配置為從多個(gè)劃分圖像中選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像； 第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理； 第二運(yùn)動(dòng)搜索處理單元，配置為基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于其中未執(zhí)行圖像分割的整個(gè)圖像執(zhí)行運(yùn)動(dòng)搜索處理；和 第二信號(hào)處理單元，配置為通過(guò)參考所述第二運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的結(jié)果，對(duì)于從所述第一存儲(chǔ)單元讀取的圖像執(zhí)行校正處理。
19.一種電子設(shè)備,包括:` 第一存儲(chǔ)單元，配置為存儲(chǔ)輸入的圖像； 第一信號(hào)處理單元，配置為執(zhí)行輸入圖像的預(yù)定信號(hào)處理； 第二存儲(chǔ)單元，配置為存儲(chǔ)所述第一信號(hào)處理單元中處理的圖像； 圖像分割單元，配置為使得從所述第二存儲(chǔ)單元讀取的圖像變?yōu)槎鄠€(gè)劃分圖像； 劃分圖像選擇單元，配置為從多個(gè)劃分圖像選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像； 第二運(yùn)動(dòng)搜索處理單元，配置為基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于其中未執(zhí)行圖像分割的整個(gè)圖像執(zhí)行運(yùn)動(dòng)搜索處理；和 第二信號(hào)處理單元，配置為通過(guò)參考所述第二運(yùn)動(dòng)搜索處理單元的運(yùn)動(dòng)搜索處理的結(jié)果，對(duì)于從所述第一存儲(chǔ)單元讀取的圖像執(zhí)行運(yùn)動(dòng)校正處理。
20.一種用于使得計(jì)算機(jī)用作以下單元的程序: 圖像分割單元，配置為使得要處理的圖像變?yōu)槎鄠€(gè)劃分圖像； 劃分圖像選擇單元，配置為從多個(gè)劃分圖像中選擇其中運(yùn)動(dòng)搜索處理的可靠性等于或者大于閾值或者可靠性相對(duì)高的劃分圖像； 第一運(yùn)動(dòng)搜索處理單元，配置為對(duì)于每一劃分圖像執(zhí)行運(yùn)動(dòng)搜索處理；和第二運(yùn)動(dòng)搜索處理單元，配置為基于所述第一運(yùn)動(dòng)搜索處理單元對(duì)于所選的劃分圖像的運(yùn)動(dòng)搜索處理的信息，對(duì)于其中未執(zhí)行圖像分割的整個(gè)圖像執(zhí)行運(yùn)動(dòng)搜索處理。
【文檔編號(hào)】G06T7/20GK103797514SQ201280045116
【公開日】2014年5月14日 申請(qǐng)日期:2012年8月1日 優(yōu)先權(quán)日:2011年8月15日
【發(fā)明者】益浦健, 松浦俊, 葛谷直規(guī) 申請(qǐng)人:索尼公司