專(zhuān)利名稱(chēng)：圖像處理設(shè)備和方法、手抖模糊區(qū)域估計(jì)設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理設(shè)備、圖像處理方法、手抖模糊區(qū)域估計(jì)設(shè) 備、手抖模糊區(qū)域估計(jì)方法和程序，并特別涉及適于在例如估計(jì)和校 正捕獲圖像時(shí)發(fā)生的手抖模糊的情況下使用的圖像處理設(shè)備、圖像處 理方法、手抖模糊區(qū)域估計(jì)設(shè)備、手抖模糊區(qū)域估計(jì)方法和程序。
背景技術(shù)：
已經(jīng)提出了各種手抖模糊校正方法，例如用于根據(jù)通過(guò)攝像機(jī)中 提供的角速度傳感器、陀螺傳感器等檢測(cè)到的攝像機(jī)的運(yùn)動(dòng)來(lái)校正手 動(dòng)模糊的方法，和用于根據(jù)從攝像機(jī)捕獲的捕獲圖像檢測(cè)到的運(yùn)動(dòng)向 量計(jì)算手動(dòng)抖動(dòng)要被校正的校正量，并根據(jù)所計(jì)算的校正量來(lái)校正手 抖模糊的方法。
即，例如在相關(guān)技術(shù)的手抖模糊校正方法中，在代表攝像機(jī)的運(yùn) 動(dòng)的特定運(yùn)動(dòng)量等于或大于預(yù)定閾值時(shí)，則確定攝影師有意地執(zhí)行了 例如搖攝或者俯仰的畫(huà)面構(gòu)成改變操作。因此，畫(huà)面構(gòu)成改變操作所 導(dǎo)致的捕獲圖像中的圖像模糊不被校正，或者圖像模糊被校正的程度 被降低。
同時(shí)，在攝像機(jī)的運(yùn)動(dòng)量小于預(yù)定閾值的情況下，則確定攝像機(jī) 因?yàn)閿z影師的手抖而震動(dòng)。因此，攝影師手抖所導(dǎo)致的捕獲圖像中的
才莫糊^^交正。
在例如No. 11-183951號(hào)未審查日本專(zhuān)利申請(qǐng)中，描述了用于根 據(jù)角速度傳感器獲取的角速度檢測(cè)代表攝像機(jī)的運(yùn)動(dòng)的特定運(yùn)動(dòng)量， 并在該運(yùn)動(dòng)量在預(yù)定時(shí)間段期間保持等于或大于閾值的情況下確定已經(jīng)執(zhí)行了搖攝或者俯仰的方法。
此外，在例如No. 8-331430號(hào)未審查日本專(zhuān)利申請(qǐng)中，描述了用 于當(dāng)在對(duì)應(yīng)于30個(gè)場(chǎng)的預(yù)定時(shí)間段期間運(yùn)動(dòng)向量數(shù)據(jù)未超過(guò)預(yù)定閾 值時(shí)，設(shè)置把校正量如在搖攝或俯仰的情況下那樣盡可能減小的會(huì)聚 才莫式的方法。

發(fā)明內(nèi)容
4旦是，在No. 11-183951和No. 8-331430號(hào)未審查日本專(zhuān)利申請(qǐng) 中描述的方法中，由于手抖的程度因攝影師而異，所以很難設(shè)置用于 確定攝像機(jī)的運(yùn)動(dòng)是和攝影師所執(zhí)行的搖攝或俯仰操作相關(guān)還是和 攝影師的手抖相關(guān)的最佳閾值。
因此，有可能不正確地執(zhí)行確定攝像機(jī)的運(yùn)動(dòng)是和攝影師所執(zhí)行 的搖攝或俯仰操作相關(guān)還是和攝影師的手抖相關(guān)。在這種情況下，手 抖模糊未得到恰當(dāng)校正。
即，例如在把較小的值設(shè)置為關(guān)于攝像機(jī)的運(yùn)動(dòng)量的閾值以便快 速檢測(cè)搖攝或俯仰操作的情況下，只是手抖也可能被不正確地確定為 有意的搖攝或俯仰操作。在這種情況下，手抖模糊未得到恰當(dāng)校正。
同時(shí)，在把較大的值設(shè)置為關(guān)于攝像機(jī)的運(yùn)動(dòng)量的閾值以便防止 把手抖不正確地確定為搖攝或俯仰操作的情況下，有意的搖攝或俯仰 操作則可能被不正確地確定為手抖。在這種情況下，攝影師有意地執(zhí) 行的搖攝或俯仰操作可能被確定為手抖，因而可能校正手抖模糊。
人們期望估計(jì)手抖(其程度因攝影師而異)，并恰當(dāng)?shù)匦Ｕ侄赌：?br> 根據(jù)本發(fā)明的第一個(gè)實(shí)施例， 一種用于校正在捕獲運(yùn)動(dòng)圖像時(shí)發(fā) 生的手抖模糊的圖像處理設(shè)備包括下列部件，或者用于使計(jì)算機(jī)起到 用于校正在捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的圖像處理設(shè)備作用的 程序使計(jì)算機(jī)起到下列部件的作用產(chǎn)生裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng) 圖像的多個(gè)圖像中的特定圖像設(shè)置為用作手抖模糊校正處理的參考 的參考圖像，并把剩余圖像設(shè)置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖像相對(duì)于參考圖像的位置位移要被校正的校
正量；估計(jì)裝置，用于根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，估計(jì)代表發(fā)生了 相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域；檢測(cè)裝置，用于 根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu) 成改變操作；和更新裝置，用于根據(jù)估計(jì)裝置估計(jì)的手抖模糊區(qū)域和 檢測(cè)裝置執(zhí)行的檢測(cè)的結(jié)果，把設(shè)置的校正區(qū)域更新為校正目標(biāo)圖像 中相對(duì)于參考圖像的手抖模糊要被校正的區(qū)域。
在所述圖像處理設(shè)備或者程序中，校正目標(biāo)圖像可以按圖像被捕 獲的順序跟隨參考圖像。在用于第 一校正目標(biāo)圖像的校正量的水平分 量和垂直分量中的至少一個(gè)大于用于跟在第一校正目標(biāo)圖像之后的 第二校正目標(biāo)圖像的校正量的對(duì)應(yīng)分量的情況下，估計(jì)裝置可以根據(jù) 用于第一校正目標(biāo)圖像的校正量估計(jì)手抖模糊區(qū)域。檢測(cè)裝置可以根 據(jù)用于第 一校正目標(biāo)圖像的校正量檢測(cè)在捕獲第 一校正目標(biāo)圖像時(shí) 是否執(zhí)行了搖攝或俯仰其中至少 一個(gè)。更新裝置可以根據(jù)估計(jì)裝置估 計(jì)的手抖模糊區(qū)域和檢測(cè)裝置執(zhí)行的檢測(cè)的結(jié)果，更新用于第二校正 目標(biāo)圖像的校正區(qū)域。
所述圖像處理設(shè)備或者程序還可以包括限制裝置，用于根據(jù)校 正區(qū)域，把用于校正目標(biāo)圖像的校正量限制到校正目標(biāo)圖像中相對(duì)于 參考圖像的手抖模糊要被校正的實(shí)際校正量；和校正裝置，用于根據(jù) 實(shí)際校正量，產(chǎn)生校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊已被校 正的校正圖像。
在所述圖像處理設(shè)備或者程序中，在預(yù)定時(shí)間段期間校正區(qū)域未 被更新的情況下，更新裝置可以減小校正區(qū)域的尺寸。
在所述圖像處理設(shè)備或者程序中，在預(yù)定時(shí)間段期間校正區(qū)域未 被更新的情況下，更新裝置可以根據(jù)產(chǎn)生裝置產(chǎn)生的校正量的分布減 小校正區(qū)域的尺寸。
在所述圖像處理設(shè)備或者程序中，在預(yù)定時(shí)間段期間校正區(qū)域未 被更新的情況下，更新裝置可以以特定的減小比減小校正區(qū)域的尺 寸。在所述圖像處理設(shè)備或者程序中，在估計(jì)裝置所估計(jì)的手抖模糊 區(qū)域未落入校正區(qū)域內(nèi)，并且無(wú)論捕獲校正目標(biāo)圖像時(shí)的搖攝還是俯 仰都未被檢測(cè)裝置檢測(cè)到的情況下，更新裝置可以根據(jù)手抖模糊區(qū)域 更新校正區(qū)域。
在所述圖像處理設(shè)備或者程序中，校正裝置可以通過(guò)根據(jù)實(shí)際校 正量提取校正目標(biāo)圖像內(nèi)的特定區(qū)域并放大所提取的特定區(qū)域來(lái)產(chǎn) 生校正圖像。
所述圖像處理設(shè)備或者程序還可以包括用于捕獲運(yùn)動(dòng)圖像的捕 獲裝置。
根據(jù)本發(fā)明的第一實(shí)施例， 一種供在用于校正由捕獲運(yùn)動(dòng)圖像時(shí) 發(fā)生的手抖所引起的運(yùn)動(dòng)圖像中的手抖模糊的圖像處理設(shè)備中使用
的圖像處理方法包括以下步驟把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定 圖像設(shè)置為用作手抖模糊校正處理的參考的參考圖像；通過(guò)把剩余圖 像設(shè)置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖 像相對(duì)于參考圖像的位置位移要被校正的校正量；根據(jù)產(chǎn)生的校正 量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū) 域；根據(jù)產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu)成改 變操作；和根據(jù)估計(jì)的手抖模糊區(qū)域和檢測(cè)結(jié)果，把設(shè)置的校正區(qū)域 更新為校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊要被校正的區(qū)域。
根據(jù)本發(fā)明的第 一實(shí)施例，通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的 特定圖像設(shè)置為用作手抖模糊校正處理的參考的參考圖像，并把剩余 圖像設(shè)置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo) 圖像相對(duì)于參考圖像的位置位移要被校正的校正量。根據(jù)產(chǎn)生的校正 量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū) 域。根據(jù)產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu)成改 變操作。根據(jù)估計(jì)的手抖模糊區(qū)域和檢測(cè)的結(jié)果，把設(shè)置的校正區(qū)域 更新為校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊要被校正的區(qū)域。
根據(jù)本發(fā)明的第二實(shí)施例， 一種用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的 手抖所引起的運(yùn)動(dòng)圖像中的手抖模糊的手抖模糊區(qū)域估計(jì)設(shè)備包括下列部件，或者用于使計(jì)算機(jī)起到用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手 抖所引起的運(yùn)動(dòng)圖像中的手抖模糊的手抖模糊區(qū)域估計(jì)設(shè)備作用的
程序使計(jì)算機(jī)起到下列部件的作用檢測(cè)裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng) 圖像的多個(gè)圖像中的特定圖像設(shè)置為用作手抖模糊區(qū)域估計(jì)處理的 參考的參考圖像，檢測(cè)代表每一個(gè)剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的 運(yùn)動(dòng)向量；和估計(jì)裝置，用于根據(jù)檢測(cè)裝置檢測(cè)到的運(yùn)動(dòng)向量，估計(jì) 代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域。
根據(jù)本發(fā)明的第二實(shí)施例， 一種供在用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā) 生的手抖模糊的手抖模糊區(qū)域估計(jì)設(shè)備中使用的手抖模糊區(qū)域估計(jì) 方法，包括下列步驟通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像 設(shè)置為用作手抖模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè)代表每一 個(gè)剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量；和根據(jù)檢測(cè)到的運(yùn)動(dòng) 向量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊 區(qū)域。
根據(jù)本發(fā)明的第二實(shí)施例，通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的 特定圖像設(shè)置為用作手抖模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè) 代表每一個(gè)剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量。根據(jù)檢測(cè)到 的運(yùn)動(dòng)向量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手 抖模糊區(qū)域。
根據(jù)本發(fā)明的實(shí)施例，可以估計(jì)手抖(其程度因攝影師而異)， 并且可以恰當(dāng)?shù)匦Ｕ侄赌：?br>

圖1是示出了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)的例子 的框圖2是用于說(shuō)明檢測(cè)運(yùn)動(dòng)向量的檢測(cè)方法的說(shuō)明圖； 圖3A和圖3B是用于說(shuō)明手抖模糊校正處理的概觀的說(shuō)明圖； 圖4A和圖4B是用于i兌明才吏正顯示可能區(qū)域(corrected disply possible area )的說(shuō)明圖；圖5是示出了圖1中所示手抖模糊校正單元的詳細(xì)結(jié)構(gòu)的例子的
框圖6是用于說(shuō)明產(chǎn)生校正量的產(chǎn)生方法的說(shuō)明圖7是用于說(shuō)明估計(jì)手抖模糊區(qū)域的估計(jì)方法的說(shuō)明圖8是用于說(shuō)明檢測(cè)有意的畫(huà)面構(gòu)成改變操作的檢測(cè)方法的說(shuō)
明圖9是用于說(shuō)明確定校正區(qū)域的確定方法的第一個(gè)圖IO是用于說(shuō)明確定校正區(qū)域的確定方法的第二個(gè)圖11是用于說(shuō)明確定校正區(qū)域的確定方法的第三個(gè)圖12是用于說(shuō)明確定校正區(qū)域的確定方法的第四個(gè)圖13是用于說(shuō)明確定校正區(qū)域的確定方法的第五個(gè)圖14是用于說(shuō)明確定實(shí)際校正量的確定方法的第一個(gè)圖15是用于說(shuō)明確定實(shí)際校正量的確定方法的第二個(gè)圖16是用于說(shuō)明確定實(shí)際校正量的確定方法的第三個(gè)圖17A、17B和圖17C是用于說(shuō)明產(chǎn)生校正圖像的產(chǎn)生方法的說(shuō)
明圖18A、 18B和圖18C是說(shuō)明圖，用于說(shuō)明即使在校正量的端點(diǎn) 由于攝影師的手抖而被移動(dòng)到校正區(qū)域以外的情況下，校正圖像中的 對(duì)象的位置也僅位移了可忽略的量的特點(diǎn)；
圖19A和圖19B是用于說(shuō)明執(zhí)行了搖攝以后的手抖模糊校正的 第一個(gè)圖20A和圖20B是用于說(shuō)明執(zhí)行了搖攝以后的手抖模糊校正的 第二個(gè)圖21是用于說(shuō)明手抖模糊校正處理的流程圖； 圖22是用于說(shuō)明校正量產(chǎn)生處理的流程圖； 圖23是用于說(shuō)明手抖^莫糊區(qū)域估計(jì)處理的流程圖； 圖24是用于說(shuō)明搖攝/俯仰檢測(cè)處理的流程圖； 圖25是用于說(shuō)明校正區(qū)域確定處理的流程圖； 圖26是用于說(shuō)明校正量控制處理的流程圖；圖27是用于說(shuō)明校正區(qū)域的第一減小方法的說(shuō)明圖 圖28是用于說(shuō)明校正區(qū)域的第二減小方法的說(shuō)明圖 圖29是用于說(shuō)明另一種校正區(qū)域確定處理的流程圖；和 圖30是示出了計(jì)算機(jī)結(jié)構(gòu)的例子的框圖。
具體實(shí)施例方式
現(xiàn)在將參考附圖描述本發(fā)明的實(shí)施例。
圖1示出了根據(jù)本發(fā)明實(shí)施例的圖像處理設(shè)備的結(jié)構(gòu)的例子。
圖像處理設(shè)備1包括運(yùn)動(dòng)向量檢測(cè)單元31、手抖模糊校正單元 32、控制單元33和操作單元34。
由多個(gè)幀(或場(chǎng))構(gòu)成的運(yùn)動(dòng)圖像被從存儲(chǔ)單元(未示出)提供 到運(yùn)動(dòng)向量檢測(cè)單元31和手抖模糊校正單元32，所述多個(gè)幀(或場(chǎng)) 按所述幀(或場(chǎng))被捕獲的順序是連續(xù)的。注意，由包括例如電荷耦 合器件(CCD)或互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)的圖像拾取器件 的攝像機(jī)捕獲的運(yùn)動(dòng)圖像被預(yù)先存儲(chǔ)在存儲(chǔ)單元中。
運(yùn)動(dòng)向量檢測(cè)單元31例如根據(jù)塊匹配方法檢測(cè)被提供的運(yùn)動(dòng)圖 像的各個(gè)幀的運(yùn)動(dòng)向量，并把檢測(cè)到的運(yùn)動(dòng)向量提供給手抖模糊校正 單元32。后面將參考圖2描述塊匹配方法的細(xì)節(jié)。
手抖模糊校正單元32根據(jù)從運(yùn)動(dòng)向量檢測(cè)單元31提供的運(yùn)動(dòng)圖 像的各個(gè)幀的運(yùn)動(dòng)向量校正在所提供的運(yùn)動(dòng)圖像的各個(gè)幀中由捕獲 圖像時(shí)發(fā)生的手抖導(dǎo)致的手抖模糊，并把作為結(jié)果的校正圖像輸出到 后續(xù)單元(例如監(jiān)視器，未示出)。
控制單元33根據(jù)來(lái)自操作單元34的操作信號(hào)控制運(yùn)動(dòng)向量檢測(cè) 單元31和手抖模糊校正單元32。
操作單元34包括例如要被用于指定被指定位置41 (見(jiàn)圖3A和 圖3B)的按鍵、要被用于改變校正顯示可能區(qū)域L(見(jiàn)圖4A和圖4B) 的按鍵，等等，在區(qū)域L內(nèi)，被提取框e的被提取中心可以被移動(dòng)。 響應(yīng)于用戶(hù)所執(zhí)行的按鍵操作，操作單元34把對(duì)應(yīng)于按鍵操作的操 作信號(hào)提供給控制單元33。圖2是用于說(shuō)明由運(yùn)動(dòng)向量檢測(cè)單元31根據(jù)塊匹配方法檢測(cè)運(yùn) 動(dòng)向量的檢測(cè)方法的說(shuō)明圖。
運(yùn)動(dòng)向量檢測(cè)單元31順序地把運(yùn)動(dòng)圖像的各個(gè)幀設(shè)置為目標(biāo) 幀，并把一個(gè)目標(biāo)幀劃分為mxn塊，如圖2中所示。然后，運(yùn)動(dòng)向 量檢測(cè)單元31從跟在該目標(biāo)幀之后的幀獲取和該目標(biāo)幀中的各個(gè)塊 最類(lèi)似的區(qū)域(類(lèi)似區(qū)域)。因此，運(yùn)動(dòng)向量檢測(cè)單元31檢測(cè)代表 特定幀中的類(lèi)似區(qū)域相對(duì)于目標(biāo)幀中對(duì)應(yīng)塊的運(yùn)動(dòng)的運(yùn)動(dòng)向量。
圖3A和圖3B是用于說(shuō)明由圖像處理設(shè)備1校正在捕獲圖像時(shí) 發(fā)生的手抖所引起的手抖模糊的手抖模糊校正處理的概觀的說(shuō)明圖。
在圖3A的左手側(cè)上示出的幀O代表構(gòu)成運(yùn)動(dòng)圖像的多個(gè)幀中的 特定幀。在圖3A的右手側(cè)上示出的幀代表對(duì)應(yīng)于幀0的校正圖像。
在圖3B的左手側(cè)上示出的幀n代表跟在幀0之后n個(gè)幀的 一 幀。 在圖3B的右手側(cè)上示出的幀代表對(duì)應(yīng)于幀n的校正圖像。
在手抖模糊校正處理中，如圖3A的左手側(cè)和圖3B的左手側(cè)所 示，在對(duì)應(yīng)于攝像機(jī)所捕獲的整個(gè)捕獲圖像的尺寸的捕獲區(qū)域E內(nèi)部 設(shè)置被提取框e，它限定了要被提取并被放大到特定尺寸的區(qū)域的尺 寸。通過(guò)根據(jù)手抖模糊要被校正的實(shí)際校正量42在捕獲區(qū)域E內(nèi)移 動(dòng)被提取框e，手抖模糊得到校正。
即，例如在圖3A的左手側(cè)上所示，圖像處理設(shè)備l(手抖模糊 校正單元32 )把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)幀中的特定幀設(shè)置為參考幀(幀 0)，它用作用于校正捕獲圖像時(shí)發(fā)生的手抖模糊的手抖模糊校正處 理的參考。
此外，圖像處理設(shè)備l從幀0提取區(qū)域41a (區(qū)域41a由以根據(jù) 用戶(hù)執(zhí)行的按鍵操作指定的被指定位置41為中心的被提取框e限 定)，并把區(qū)域41a放大到特定尺寸，例如和捕獲區(qū)域E相同的尺寸。 然后，圖像處理設(shè)備l輸出作為結(jié)果的校正圖像(見(jiàn)圖3A的右手側(cè))。 注意，在圖3A的左手側(cè)，被指定位置41代表幀0的中心。
圖像處理設(shè)備l產(chǎn)生幀n(見(jiàn)圖3B的左手側(cè))中相對(duì)于幀O(見(jiàn) 圖3A的左手側(cè))的手抖模糊要被校正的實(shí)際校正量42。
13此外，如圖3B的左手側(cè)上所示，圖像處理設(shè)備l根據(jù)相對(duì)于幀 0的手抖模糊要被校正的實(shí)際校正量42,將代表被提取框e的中心的 被提取中心從被指定位置41移動(dòng)到位置41，。
此外，圖像處理設(shè)備l從幀n提取由以被移動(dòng)的被提取中心41， 為中心的被提取框e限定的區(qū)域41，b，并把區(qū)域41，b放大到特定尺 寸，例如和捕獲區(qū)域E相同的尺寸。然后，圖像處理設(shè)備l作為結(jié)果 的校正圖像(見(jiàn)圖3B的右手側(cè))，其中，幀n中的手抖模糊已經(jīng)被 校正。
將參考圖4A和圖4B描述代表被提取框e的被提取中心可在其 內(nèi)移動(dòng)的區(qū)域的校正顯示可能區(qū)域L。
由于已經(jīng)參考圖3A和圖3B描述了捕獲區(qū)域E和被提取框e， 將不參考圖4A和圖4B描述捕獲區(qū)域E和被提取框e。此后，同樣適 用于其他附圖。
此外，在圖4A和圖4B中，提供了把捕獲區(qū)域E劃分為具有相 同形狀的十六個(gè)矩形部分(沿水平方向四個(gè)部分，并且沿垂直方向四 個(gè)部分)的虛線(xiàn)，以便闡明被提取框e的位置等。
此外，在圖4A和圖4B中，在十六個(gè)矩形部分中，四個(gè)矩形部 分，即存在于捕獲區(qū)域E的中心的沿水平方向的兩個(gè)部分和沿垂直方 向的兩個(gè)部分被設(shè)置為校正顯示可能區(qū)域L。此外，被提取框e的尺 寸和這四個(gè)矩形部分(即沿水平方向的兩個(gè)部分和沿垂直方向的兩個(gè) 部分)的尺寸相同。
如圖4A的左手側(cè)上所示，在被提取中心41，存在于校正顯示可 能區(qū)域L內(nèi)的情況下，由于以被提取中心41，為中心的被提取框e存 在于捕獲區(qū)域E內(nèi)，因此可以從捕獲區(qū)域E提取整個(gè)被提取框e。
因此，如圖4A的右手側(cè)上所示，在通過(guò)把根據(jù)被提取框e提取 的矩形部分的水平長(zhǎng)度和垂直長(zhǎng)度加倍到具有和捕獲區(qū)域E相同的 尺寸而獲得的校正圖像中不存在圖像缺失。
同時(shí)，如圖4B的左手側(cè)上所示，在被提取中心41，不存在于校 正顯示可能區(qū)域L內(nèi)的情況下，以被提取中心41，為中心的被提取框e延伸超過(guò)了捕獲區(qū)域E。因此，在被提取框e內(nèi)可能存在不包括要 被提取的被捕獲圖像的部分。
因此，如圖4B的右手側(cè)上所示，在通過(guò)把根據(jù)被提取框e提取 的矩形部分的水平長(zhǎng)度和垂直長(zhǎng)度加倍到具有和捕獲區(qū)域E相同的 尺寸而獲得的校正圖像的右側(cè)部分(以黑色示出)中發(fā)生了圖像缺失。
因此，在手抖模糊校正處理中，為了不在校正圖像中產(chǎn)生圖像缺 失，有必要把被提取中心設(shè)置在校正顯示可能區(qū)域L內(nèi)。
注意，隨著被提取框e的尺寸增大，在捕獲區(qū)域E中，被提取 框e可以在其內(nèi)移動(dòng)的范圍，即被提取框e的被提取中心可以在其內(nèi) 移動(dòng)的校正顯示可能區(qū)域L的尺寸被減小。
圖5是框圖，示出了圖1中所示的手抖模糊校正單元32的詳細(xì) 結(jié)構(gòu)的例子。
手抖模糊校正單元32包括校正量產(chǎn)生部分61、手抖模糊區(qū)域估 計(jì)部分62、搖纟聶/俯仰檢測(cè)部分63、 4交正區(qū)域確定部分64、校正量控 制部分65、以及才交正圖〗象產(chǎn)生部分66。
構(gòu)成運(yùn)動(dòng)圖像的各個(gè)幀的運(yùn)動(dòng)向量被從圖1中所示的運(yùn)動(dòng)向量 檢測(cè)單元31提供到校正量產(chǎn)生部分61。
校正量產(chǎn)生部分61把多個(gè)幀中的特定幀設(shè)置為參考幀，它被用 作手抖模糊校正處理的參考。
校正量產(chǎn)生部分61根據(jù)從運(yùn)動(dòng)向量檢測(cè)單元31提供的各個(gè)幀的 運(yùn)動(dòng)向量產(chǎn)生代表幀n相對(duì)于參考幀(幀0)的運(yùn)動(dòng)的運(yùn)動(dòng)向量作為 幀n相對(duì)于參考幀的位置位移(圖像模糊、手抖模糊，等等)要被校 正的校正量(此后稱(chēng)作幀n的校正量)。
即，例如當(dāng)幀n相對(duì)于幀n-l的運(yùn)動(dòng)向量(此后稱(chēng)作幀n的運(yùn)動(dòng) 向量)被從運(yùn)動(dòng)向量檢測(cè)單元31提供時(shí)，校正量產(chǎn)生部分61把幀n 的運(yùn)動(dòng)向量加到存儲(chǔ)在內(nèi)部存儲(chǔ)器中的幀n-l的校正量。然后，校正 量產(chǎn)生部分61把相加結(jié)果設(shè)置為幀n的校正量。
注意，校正量產(chǎn)生部分61包括內(nèi)部存儲(chǔ)器，例如快閃存儲(chǔ)器， 用于暫時(shí)存儲(chǔ)信息。先前已產(chǎn)生的幀n-l的校正量被存儲(chǔ)在存儲(chǔ)器中。校正量產(chǎn)生部分61把根據(jù)從運(yùn)動(dòng)向量檢測(cè)單元31提供的各個(gè)幀 的運(yùn)動(dòng)向量產(chǎn)生的幀n的校正量提供到手抖模糊區(qū)域估計(jì)部分62、搖 攝/俯仰檢測(cè)部分63和校正量控制部分65。
校正量產(chǎn)生部分61還把幀n的運(yùn)動(dòng)向量提供給校正量控制部分65。
此外，響應(yīng)于來(lái)自校正量控制部分65的幀n中的手抖模糊要被 校正的實(shí)際校正量(幀n的實(shí)際校正量)的反饋，校正量產(chǎn)生部分61 指定開(kāi)始于被指定位置41的幀n的實(shí)際校正量的端點(diǎn)作為新的被指 定位置，并把幀n設(shè)置為新的參考幀。
手抖模糊區(qū)域估計(jì)部分62根據(jù)存儲(chǔ)在內(nèi)部存儲(chǔ)器中的幀n-l的 校正量和從校正量產(chǎn)生部分61提供的幀n的校正量估計(jì)手抖模糊區(qū) 域(所述區(qū)域代表發(fā)生了相對(duì)于參考幀的手抖模糊的區(qū)域)，并把關(guān) 于所估計(jì)的手抖模糊區(qū)域的信息提供給校正區(qū)域確定部分64。
即，例如手抖才莫糊區(qū)域估計(jì)部分62確定從才交正量產(chǎn)生部分61 提供的幀n的校正量的水平分量(絕對(duì)值)和垂直分量(絕對(duì)值)中 的每一個(gè)是否小于內(nèi)部存儲(chǔ)器中存儲(chǔ)的幀n-l的校正量的對(duì)應(yīng)分量 (絕對(duì)值)。只有在確定幀n的校正量的水平分量和垂直分量中的至 少一個(gè)小于幀n-l的校正量的對(duì)應(yīng)分量的情況下，手抖模糊區(qū)域估計(jì) 部分62才根據(jù)幀n-l的校正量估計(jì)手抖模糊區(qū)域，并把關(guān)于所估計(jì)的 手抖模糊區(qū)域的信息提供給校正區(qū)域確定部分64。
注意，手抖模糊區(qū)域估計(jì)部分62包括內(nèi)部存儲(chǔ)器，例如快閃存 儲(chǔ)器，用于暫時(shí)存儲(chǔ)信息。先前從校正量產(chǎn)生部分61提供的幀n-l 的校正量被存儲(chǔ)在存儲(chǔ)器中。
此外，只有在確定幀n的校正量的水平分量和垂直分量中的至少 一個(gè)小于幀n-l的校正量的對(duì)應(yīng)分量的情況下，手抖模糊區(qū)域估計(jì)部 分62才把指示大于幀n的校正量的對(duì)應(yīng)分量的幀n-l的校正量的分 量的分量信息提供給校正區(qū)域確定部分64。
搖攝/俯仰檢測(cè)部分63根據(jù)從校正量產(chǎn)生部分61提供的幀n的 校正量，檢測(cè)在捕獲幀n時(shí)發(fā)生有意的畫(huà)面構(gòu)成改變操作(即搖攝、俯仰，等等)。然后，搖攝/俯仰檢測(cè)部分63把檢測(cè)結(jié)果提供到校正 區(qū)域確定部分64。
校正區(qū)域確定部分64根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的分 量信息和手抖模糊區(qū)域以及從搖攝/俯仰檢測(cè)部分63提供的檢測(cè)結(jié) 果，把設(shè)置的校正區(qū)域更新為幀n中相對(duì)于參考幀的手抖模糊要被校 正的區(qū)域。然后，校正區(qū)域確定部分64把關(guān)于被更新的校正區(qū)域的 信息提供到校正量控制部分65。
注意，對(duì)于校正區(qū)域，例如，根據(jù)關(guān)于一般用戶(hù)在捕獲圖像時(shí)發(fā) 生的手抖的假設(shè)所確定的手抖模糊區(qū)域的尺寸被預(yù)先設(shè)置為初始值。
校正量控制部分65根據(jù)從校正區(qū)域確定部分64提供的幀n的校 正區(qū)域，把從校正量產(chǎn)生部分61提供的幀n的校正量限制為幀n中
相對(duì)于參考幀的手抖模糊要被校正的實(shí)際校正量(此后稱(chēng)作幀n的實(shí) 際校正量)。然后，校正量控制部分65把經(jīng)限制的校正量提供到校 正圖像產(chǎn)生部分66。
即，例如，校正量控制部分65把先前已經(jīng)獲取并存儲(chǔ)在內(nèi)部存 儲(chǔ)器中的幀n-l的實(shí)際校正量加到從校正量產(chǎn)生部分61提供的幀n 的運(yùn)動(dòng)向量，并獲取相加的結(jié)果作為幀n的候選校正量。
注意，校正量控制部分65包括內(nèi)部存儲(chǔ)器，例如快閃存儲(chǔ)器， 用于暫時(shí)存儲(chǔ)信息。先前已經(jīng)獲取的幀n-l的實(shí)際校正量被存儲(chǔ)在存 儲(chǔ)器中。
然后，校正量控制部分65根據(jù)幀n的候選校正量、從校正量產(chǎn) 生部分61提供的幀n的校正量，以及從校正區(qū)域確定部分64提供的 幀n的校正區(qū)域，確定幀n的實(shí)際校正量。然后，校正量控制部分65 把確定的幀n的實(shí)際校正量提供到校正圖像產(chǎn)生部分66。
校正圖像產(chǎn)生部分66從被提供的幀n產(chǎn)生校正圖像，其中幀n 中的手抖模糊已被根據(jù)從校正量控制部分65提供的幀n的實(shí)際校正 量校正。然后，校正圖像產(chǎn)生部分66輸出產(chǎn)生的校正圖像。
圖6是用于說(shuō)明由圖5中所示的校正量產(chǎn)生部分61產(chǎn)生幀n的 校正量的產(chǎn)生方法的說(shuō)明圖。參考圖6，被指定位置41由用戶(hù)指定。例如，被指定位置41被 預(yù)先設(shè)置在代表幀的中心的中央位置。
此外，參考圖6，箭頭92j'j 926代表幀1到幀6的運(yùn)動(dòng)向量。 箭頭936代表幀6的校正量。
例如，當(dāng)幀1的運(yùn)動(dòng)向量92i被從運(yùn)動(dòng)向量檢測(cè)單元31提供時(shí)， 校正量產(chǎn)生部分61把幀1的運(yùn)動(dòng)向量92j殳置為幀1的校正量93p
此外，當(dāng)幀2的運(yùn)動(dòng)向量922被從運(yùn)動(dòng)向量檢測(cè)單元31提供時(shí)， 校正量產(chǎn)生部分61把幀2的運(yùn)動(dòng)向量922加到存儲(chǔ)在內(nèi)部存儲(chǔ)器中的 幀1的校正量93i (即幀1的運(yùn)動(dòng)向量92!)，并把相加結(jié)果設(shè)置為幀 2的校正量932。
類(lèi)似地，當(dāng)幀6的運(yùn)動(dòng)向量926被從運(yùn)動(dòng)向量檢測(cè)單元31提供 時(shí)，校正量產(chǎn)生部分61把幀6的運(yùn)動(dòng)向量926加到存儲(chǔ)在內(nèi)部存儲(chǔ)器 中的幀5的校正量935 (即，把運(yùn)動(dòng)向量92t到925相加的結(jié)果)，并 把相加結(jié)果設(shè)置為幀6的校正量936。
注意，在下面的描述中，幀n的運(yùn)動(dòng)向量92n代表幀n的運(yùn)動(dòng)向 量，并且?guī)琻的校正量93 代表幀n的校正量。
圖7是用于說(shuō)明由圖5中所示的手抖模糊區(qū)域估計(jì)部分62估計(jì) 發(fā)生了相對(duì)于參考幀手抖模糊的手抖模糊區(qū)域的估計(jì)方法的說(shuō)明圖。
圖7的X和Y坐標(biāo)代表基于被指定位置41作為原點(diǎn)，由彼此相 互正交的X軸和Y軸定義的正交坐標(biāo)。X軸代表校正量的水平分量， 并且Y軸代表校正量的垂直分量。此后，同樣適用于其他附圖。
手抖模糊區(qū)域估計(jì)部分62確定從校正量產(chǎn)生部分61提供的幀n 的校正量93 的水平分量(絕對(duì)值)是否小于先前從校正量產(chǎn)生部分 61提供的幀n-l的校正量93^的水平分量(絕對(duì)值)。
類(lèi)似地，手抖模糊區(qū)域估計(jì)部分62還確定從校正量產(chǎn)生部分61 提供的幀n的校正量93 的垂直分量(絕對(duì)值)是否小于先前從校正 量產(chǎn)生部分61提供的幀n-l的校正量93^的垂直分量(絕對(duì)值)。
只有在確定幀n的校正量93n的水平分量和垂直分量中的至少一 個(gè)小于幀n-l的校正量93^的對(duì)應(yīng)分量的情況下，手抖模糊區(qū)域估計(jì)部分62才估計(jì)一個(gè)矩形區(qū)域作為手抖模糊區(qū)域，所述矩形區(qū)域具有 從被指定位置41延伸到開(kāi)始于被指定位置41的幀n-l的校正量93^ 的端點(diǎn)的線(xiàn)段作為其對(duì)角線(xiàn)。然后，手抖模糊區(qū)域估計(jì)部分62把關(guān) 于所估計(jì)的手抖模糊區(qū)域的信息提供給校正區(qū)域確定部分64。
此外，只有在確定幀n的校正量93n的水平分量和垂直分量中的 至少一個(gè)小于幀n-1的校正量93^的對(duì)應(yīng)分量的情況下，手抖模糊區(qū) 域估計(jì)部分62才把指示大于幀n的校正量93n的對(duì)應(yīng)分量的幀n-l的 校正量93^的分量的分量信息提供給校正區(qū)域確定部分64。
即，例如，如圖7中所示，在幀7的校正量937的水平分量x7 小于幀6的校正量936的水平分量x6，并且?guī)?的校正量937的垂直 分量y7小于幀6的校正量936的垂直分量y6的情況下，手抖模糊區(qū)域 估計(jì)部分62把一個(gè)矩形區(qū)域作為手抖模糊區(qū)域956提供給校正區(qū)域確 定部分64,所述矩形區(qū)域具有從被指定位置41延伸到開(kāi)始于被指定 位置41的幀6的校正量936的端點(diǎn)的線(xiàn)段作為其對(duì)角線(xiàn)。手抖模糊區(qū) 域估計(jì)部分62還把幀6的校正量936的水平分量X6和垂直分量y6作 為分量信息提供給校正區(qū)域確定部分64 。
圖8是說(shuō)明由圖5中所示的搖攝/俯仰檢測(cè)部分63檢測(cè)在捕獲幀 n時(shí)發(fā)生有意的畫(huà)面構(gòu)成改變操作(即搖攝、俯仰，等等)的搖攝/ 俯仰檢測(cè)方法的i兌明圖。
在圖8的右側(cè)部分沿垂直方向延伸的虛線(xiàn)代表校正顯示可能區(qū) 域L的邊界線(xiàn)。相對(duì)于邊界線(xiàn)位于左側(cè)并且包括該邊界線(xiàn)的區(qū)域代表 校正顯示可能區(qū)域L內(nèi)的區(qū)域。相對(duì)于邊界線(xiàn)位于右側(cè)的區(qū)域代表校 正顯示可能區(qū)域L以外的區(qū)域。
注意，在下面的描述中參考的附圖中，對(duì)于幀n的運(yùn)動(dòng)向量92n, 為了簡(jiǎn)潔將以適當(dāng)?shù)姆绞绞÷苑?hào)。
響應(yīng)于從校正量產(chǎn)生部分61提供幀n的校正量93n，搖攝/俯仰 檢測(cè)部分63確定開(kāi)始于被指定位置41的幀n的校正量93n的端點(diǎn)(此 后稱(chēng)作幀n的校正量93n的端點(diǎn))是否存在于校正顯示可能區(qū)域L內(nèi)。 然后，根據(jù)確定的結(jié)果，搖攝/俯仰檢測(cè)部分63確定在捕獲幀n時(shí)是否執(zhí)行了有意的畫(huà)面構(gòu)成改變操作。
具體來(lái)說(shuō)，例如，如圖8中所示，在幀n的校正量93n的端點(diǎn)存 在于校正顯示可能區(qū)域L外部的情況下，搖攝/俯仰檢測(cè)部分63確定 在捕獲幀n時(shí)執(zhí)行了有意的畫(huà)面構(gòu)成改變操作。然后，搖攝/俯仰檢測(cè) 部分63把確定的結(jié)果提供給校正區(qū)域確定部分64。
同時(shí)，在確定幀n的校正量93 的端點(diǎn)存在于校正顯示可能區(qū)域 L內(nèi)的情況下，搖攝/俯仰檢測(cè)部分63確定在捕獲幀n時(shí)未執(zhí)行有意 的畫(huà)面構(gòu)成改變操作。然后，搖攝/俯仰檢測(cè)部分63把確定的結(jié)果提 供給校正區(qū)域確定部分64 。
將參考圖9到圖13描述由圖5中所示的校正區(qū)域確定部分64 更新幀n的校正區(qū)域的更新方法。
例如，如圖9中所示，在從手抖模糊區(qū)域估計(jì)部分62提供的手 抖模糊區(qū)域95^落入幀n的校正區(qū)域96n內(nèi)并且整個(gè)手抖模糊區(qū)域 95^被包括在校正區(qū)域96n內(nèi)的情況下，校正區(qū)域確定部分64不更新 幀n的校正區(qū)域96n。
同時(shí)，例如如圖10和圖11中所示，在從手抖才莫糊區(qū)域估計(jì)部分 62提供的手抖模糊區(qū)域95^沒(méi)有落入幀n的校正區(qū)域96n內(nèi)并且并非 整個(gè)手抖模糊區(qū)域95^都被包括在校正區(qū)域96n內(nèi)的情況下，校正區(qū) 域確定部分64根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的分量信息，更 新幀n的4交正區(qū)域96n。
在圖IO的情況中，由于幀n的校正量93n的垂直分量yn小于幀 n-l的校正量93^的垂直分量y^，幀n-l的校正量93n.,的垂直分量 被作為分量信息從手抖模糊區(qū)域估計(jì)部分62提供到校正區(qū)域確定 部分64。
根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的垂直分量y^，校正區(qū) 域確定部分64更新要在垂直方向(Y軸方向)被放大的校正區(qū)域96n。 即，例如，校正區(qū)域確定部分64以使校正區(qū)域96n的右上頂點(diǎn)(a，b) 處的Y坐標(biāo)b與手抖模糊區(qū)域95^的右上頂點(diǎn)(Xn小y^)處的Y坐 標(biāo)匹配的方式，把校正區(qū)域96n更新為新的校正區(qū)域97n (即幀n+l的校正區(qū)域96n+J 。
在圖ll所示的情況中，由于幀n的校正量93n的水平分量Xn和 垂直分量yn小于幀n-l的校正量93^的水平分量和垂直分量， 所以幀n-l的校正量93^的水平分量x^和垂直分量y^被作為分量 信息從手抖模糊區(qū)域估計(jì)部分62提供到校正區(qū)域確定部分64。
根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的水平分量x^和垂直分 量y^，校正區(qū)域確定部分64把才交正區(qū)域96 更新為沿水平方向(x 軸方向)和垂直方向放大。即，例如，校正區(qū)域確定部分64以使得 校正區(qū)域96 的右上頂點(diǎn)(a，b)處的X坐標(biāo)a和Y坐標(biāo)b與手抖模 糊區(qū)域95^的右上頂點(diǎn)(Xn小y^)處的X坐標(biāo)x^和Y坐標(biāo)y^匹 配的方式，把校正區(qū)域96。更新為新的校正區(qū)域97n (即幀n+l的校 正區(qū)域96 +1)。
在圖10和圖11中，幀n的校正區(qū)域在更新前是校正區(qū)域96n， 并且更新的校正區(qū)域97n是下一幀n+l的校正區(qū)域96 +1。
此外，例如，如圖12中所示，在校正顯示可能區(qū)域L的尺寸被 根據(jù)用戶(hù)的按鍵操作減小，并且?guī)琻的校正區(qū)域96n從校正顯示可能 區(qū)域L的邊界延伸出區(qū)域96An的情況下，幀n的才交正區(qū)域96j皮更 新為區(qū)域97n,它落入了校正顯示可能區(qū)域L內(nèi)，所以消除了校正區(qū) 域96n從校正顯示可能區(qū)域L的邊界延伸超出的區(qū)域96An 。
根據(jù)用戶(hù)的按鍵操作更新的校正區(qū)域97n被設(shè)置為幀n的新的校 正區(qū)域96n。
此外，在搖攝/俯仰檢測(cè)部分63檢測(cè)到在捕獲幀n-l時(shí)發(fā)生了和 用于估計(jì)手抖模糊區(qū)域95w的校正量93^相對(duì)應(yīng)的有意的畫(huà)面構(gòu)成 改變操作的情況下，即在例如圖13中所示的情況下，幀n-l的校正量 93^的端點(diǎn)位于校正顯示可能區(qū)域L的邊界的外部，即使從手抖模糊 區(qū)域估計(jì)部分62提供的手抖模糊區(qū)域95^沒(méi)有落入幀n的校正區(qū)域 96n，并且并非整個(gè)手抖模糊區(qū)域95^都被包括在校正區(qū)域96n內(nèi)， 校正區(qū)域確定部分64也不更新幀n的校正區(qū)域96 。
如上面參考圖9到圖13所描述的那樣，除了校正區(qū)域被根據(jù)用戶(hù)的按鍵操作更新的情況以外，更新的校正區(qū)域被用作后續(xù)幀的校正 區(qū)域。
校正量控制部分65把幀n-l的實(shí)際校正量98^和從校正量產(chǎn)生 部分61提供的幀n的運(yùn)動(dòng)向量92n相加，并獲取相加的結(jié)果作為幀n 的候選校正量。
然后，校正量控制部分65根據(jù)幀n的候選校正量、從校正量產(chǎn) 生部分61提供的幀n的校正量93n、以及從才交正區(qū)域確定部分64提 供的幀n的校正區(qū)域96 ，確定幀n的實(shí)際校正量。
將參考圖14到圖16描述由圖5中所示的校正量控制部分65確 定幀n的實(shí)際校正量的確定方法。
圖14是用于說(shuō)明幀n的校正量93n被直接設(shè)置為幀n的實(shí)際校 正量98n的情況的例子的說(shuō)明圖。
如圖14中所示，在從校正量產(chǎn)生部分61提供的幀n的校正量 93n的端點(diǎn)41，和開(kāi)始于被指定位置41 (即幀n-l的實(shí)際校正量98^ 與幀n的運(yùn)動(dòng)向量92n相加的結(jié)果)的幀n的候選校正量的端點(diǎn)(此 后稱(chēng)作幀n的候選校正量的端點(diǎn))相同，并且端點(diǎn)41，存在于從校正 區(qū)域確定部分64提供的幀n的校正區(qū)域96 內(nèi)的情況下，校正量控制 部分65把幀n的校正量93 作為幀n的實(shí)際校正量98 提供到校正圖 像產(chǎn)生部分66。
圖15是用于說(shuō)明幀n的校正量93 被根據(jù)幀n的校正量96n限 制，并且?guī)琻的被限制的校正量被設(shè)置為幀n的實(shí)際校正量98n的情 況的例子的說(shuō)明圖。
如圖15中所示，在幀n的候選校正量的端點(diǎn)(即幀n-l的實(shí)際 校正量98^和幀n的運(yùn)動(dòng)向量92n相加的結(jié)果)和幀n的校正量93n 的端點(diǎn)沒(méi)有落入幀n的校正區(qū)域96 內(nèi)的情況下，幀n的校正量93n 的端點(diǎn)被限制在幀n的校正區(qū)域96n內(nèi)。然后，校正量控制部分65 把幀n的被限制的校正量作為幀n的實(shí)際校正量98 提供到校正圖像 產(chǎn)生部分66。
即，例如，4交正量控制部分65把幀n的才交正量93J艮制為幀n的實(shí)際校正量98n，幀n的實(shí)際校正量98n開(kāi)始于被指定位置41，并 終止于幀n的校正區(qū)域96n的四個(gè)頂點(diǎn)中最靠近幀n的校正量93n的 端點(diǎn)的一個(gè)頂點(diǎn)。
或者，例如，校正量控制部分65可以把幀n的^JE量93 限制 為幀n的實(shí)際校正量98n，幀n的實(shí)際校正量98 開(kāi)始于被指定位置 41,并終止于從被指定位置41延伸到幀n的校正量93 的端點(diǎn)的線(xiàn)段 與幀n的校正區(qū)域96n的邊界線(xiàn)相交的點(diǎn)。
注意，在校正量控制部分65把幀n的校正量93n限制為終止于 幀n的校正區(qū)域96 的四個(gè)頂點(diǎn)之一的幀n的實(shí)際校正量98n的情況 下，由于預(yù)先設(shè)置的四個(gè)頂點(diǎn)之一可以被簡(jiǎn)單地選擇作為端點(diǎn)，所以 和針對(duì)每一幀計(jì)算幀n的實(shí)際校正量98 的端點(diǎn)的情況相比，幀n的 校正量93 可以被快速地限制為幀n的實(shí)際校正量98n。
圖16是用于說(shuō)明幀n的候選校正量被直接設(shè)置為幀n的實(shí)際校 正量98n的情況的例子的說(shuō)明圖。如圖16中所示，在幀n+l的校正區(qū) 域96^的尺寸大于幀n的校正區(qū)域96 的尺寸的情況下(即，在幀n 的校正區(qū)域96n被更新，并且更新的校正區(qū)域97 被設(shè)置為幀n+l的 校正區(qū)域96n+1的情況下)，幀n的候選校正量被直接設(shè)置為幀n的 實(shí)際校正量98 。
如圖16中所示，在幀n的^f夷選4交正量的端點(diǎn)41，(即幀n-l的實(shí) 際校正量98^與幀n的運(yùn)動(dòng)向量92n相加的結(jié)果)存在于幀n的校正 區(qū)域96n內(nèi)，并且?guī)琻的候選4交正量的端點(diǎn)41，與幀n的校正量93n 的端點(diǎn)不同的情況下，校正量控制部分65把幀n的候選校正量作為 幀n的實(shí)際校正量98n提供到校正量產(chǎn)生部分61和校正圖像產(chǎn)生部分 66。
注意，響應(yīng)于從校正量控制部分65提供幀n的實(shí)際校正量98n， 校正量產(chǎn)生部分61把幀n的實(shí)際校正量98n的端點(diǎn)41，設(shè)置為新的被 指定位置，把幀n設(shè)置為參考幀，并為新的參考幀產(chǎn)生校正量。
圖17A、圖17B和圖17C是用于說(shuō)明由圖5中所示的校正圖像 產(chǎn)生部分66產(chǎn)生其中手抖模糊已被校正的校正圖像的產(chǎn)生方法的說(shuō)明圖。
例如，當(dāng)幀n被提供時(shí)，校正圖像產(chǎn)生部分66根據(jù)從校正量控 制部分65提供的幀n的實(shí)際校正量98 (即開(kāi)始于被指定位置41并 且終止于位置41，的向量)，把被提取中心從被指定位置41移動(dòng)到位 置41，，并根據(jù)以被移動(dòng)的被提取中心41，為中心的被提取框e提取被 提取圖像41，a，如圖17A的左手側(cè)上所示。
校正圖像產(chǎn)生部分66把從捕獲區(qū)域E提取的被提取圖像41，a 放大到特定尺寸，以便產(chǎn)生如圖17A的右手側(cè)上所示的校正圖像，并 輸出所產(chǎn)生的校正圖像。
當(dāng)幀n+l被提供時(shí)，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部 分65提供的幀n+l的實(shí)際校正量98 +1,把被提取中心從被指定位置 41移動(dòng)到位置41，，并根據(jù)以被移動(dòng)的被提取中心41，為中心的被提 取框e提取被提取圖像41，b，如圖17B的左手側(cè)上所示。
校正圖像產(chǎn)生部分66把從捕獲區(qū)域E提取的被提取圖像41，b 放大到特定尺寸，以便產(chǎn)生如圖17B的右手側(cè)上所示的校正圖像，并 輸出所產(chǎn)生的校正圖像。
當(dāng)幀n+2被提供時(shí)，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部 分65提供的幀n+2的實(shí)際校正量98 +2，把被提取中心從被指定位置 41移動(dòng)到位置41，，并根據(jù)以被移動(dòng)的被提取中心41，為中心的被提 取框e提取4皮提取圖^f象41，c，如圖17C的左手側(cè)上所示。
校正圖像產(chǎn)生部分66把從捕獲區(qū)域E提取的被提取圖像41，c放 大到特定尺寸，以便產(chǎn)生如圖17C的右手側(cè)上所示的校正圖像，并輸 出所產(chǎn)生的校正圖像。
圖18A、圖18B和圖18C是用于說(shuō)明即使在校正量的端點(diǎn)由于 攝影師的手抖而被移動(dòng)到校正區(qū)域的外部的情況下，校正圖像中的對(duì) 象的位置也只位移可忽略的量的特征的說(shuō)明圖。圖18A到圖18C示 出了在由于攝影師的手抖致使攝像機(jī)在從幀n到幀n+l期間被沿向左 的方向移動(dòng)，并且由于攝影師的手抖致使攝像機(jī)在從幀n+l到幀n+2 期間被沿右下方向移動(dòng)的情況下執(zhí)行的手抖模糊校正處理。在圖18A的左手側(cè)上所示的幀n中，開(kāi)始于被指定位置41的幀 n的校正量93 (和幀n的候選校正量)的端點(diǎn)41，存在于校正區(qū)域96n 內(nèi)。因此，校正量控制部分65把幀n的校正量93n作為幀n的實(shí)際校 正量98 提供給校正圖像產(chǎn)生部分66。
對(duì)于幀n，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提供 的幀n的實(shí)際校正量98n，提取被提取圖像41，a,并放大被提取的圖 像41，a。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯示了 對(duì)象121,如圖18A的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖像。
在圖18B的左手側(cè)上顯示的幀n+l中，幀n+l的校正量93n+1(和 幀n+l的候選校正量)的端點(diǎn)不存在于幀n+l的校正區(qū)域96n+1內(nèi)。 因此，校正量控制部分65根據(jù)幀n+l的校正區(qū)域96n+1限制幀n+l的 校正量93n+1，并把幀n+l的被限制的校正量作為幀n+l的實(shí)際校正 量98n+1提供到校正圖像產(chǎn)生部分66。
對(duì)于幀n+l，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提 供的幀n+l的實(shí)際校正量98^提取被提取圖像41，b,并放大被提取 的圖像41，b。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯 示了對(duì)象121，如圖18B的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖 像。
如圖18B的右手側(cè)上所示，在為幀n+l產(chǎn)生的校正圖像中，幀n 的校正圖像中的對(duì)象121的位置已經(jīng)被位移了和施加在幀n+l的校正 量93n+1上的限制相對(duì)應(yīng)的量。
在圖18C的左手側(cè)上顯示的幀n+2中，幀n+2的候選才交正量(即 幀n+l的實(shí)際校正量98 +1與幀n+2的運(yùn)動(dòng)向量92n+2相加的結(jié)果)的 端點(diǎn)41，存在于幀n+2的才交正區(qū)域96n+2內(nèi)，并且?guī)琻+2的候選校正量 的端點(diǎn)41，和幀n+2的校正量93n+2(即幀n+l的校正量93n+1與幀n+2 的運(yùn)動(dòng)向量92n+2相加的結(jié)果)的端點(diǎn)不同。因此，校正量控制部分 65把幀n+2的候選校正量作為幀n+2的實(shí)際校正量98^提供到校正 量產(chǎn)生部分61和校正圖^f象產(chǎn)生部分66。
對(duì)于幀n+2，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提供的幀n+2的實(shí)際校正量98n+2提取被提取圖像41，c,并放大被提取 的圖像41，c。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯 示了對(duì)象121，如圖18C的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖 像。
如圖18C的右手側(cè)上所示，在為幀n+2產(chǎn)生的校正圖像中，對(duì) 象121在幀n+l的校正圖像中的位置被保持。
即，對(duì)于幀n+2,在幀n+2的實(shí)際校正量根據(jù)幀n+l的校正量 93 +1與幀n+2的運(yùn)動(dòng)向量92 +2相加的結(jié)果，即幀n+2相對(duì)于和幀n 相同的參考幀的位置位移要被校正的校正量93n+2而被確定的情況下， 幀n+2的實(shí)際校正量是幀n+2中相對(duì)于幀n的手抖模糊要被校正的
如上所述，在這種情況下，幀n+2的實(shí)際校正量不是幀n+2中 相對(duì)于幀n+l的手抖模糊要被校正的量。因此，校正圖像產(chǎn)生部分66 為幀n+2產(chǎn)生了校正圖像，其中，幀n+l的校正圖像中的對(duì)象121的 位置已被位移。
因此，對(duì)于幀n+2，根據(jù)幀n+l的實(shí)際校正量98 +1與幀n+2的 運(yùn)動(dòng)向量92 +2相加的結(jié)果，即幀n+2相對(duì)于幀n+l的位置位移要被 校正的校正量，確定幀n+2的實(shí)際校正量98n+2作為幀n+2的校正量。
如上所述，對(duì)于幀n+2,根椐幀n+2的校正區(qū)域96n+2，幀n+l 的實(shí)際校正量98n+1與幀n+2的運(yùn)動(dòng)向量92n+2相加的結(jié)果被設(shè)置為幀 n+2的實(shí)際校正量98n+2。因此，校正圖4象產(chǎn)生部分66產(chǎn)生幀n+2的 校正圖像，其中，對(duì)象121在幀n+l的校正圖像中的位置被保持，如 圖18C的右手側(cè)上所示。
注意，響應(yīng)于從校正量控制部分65反饋(提供)幀n+2的實(shí)際 校正量98n+2，校正量產(chǎn)生部分61把幀n+2的實(shí)際校正量98n+2的端點(diǎn) 41，設(shè)置為新的被指定位置，把幀n+2設(shè)置為參考幀，并產(chǎn)生用于新 的參考幀的校正量。
圖19A和圖19B以及圖20A和圖20B是說(shuō)明圖，用于說(shuō)明執(zhí)行 搖攝后在幀中發(fā)生的手抖模糊可以被校正的特征。圖19A和圖19B以及圖20A和圖20B示出了捕獲幀n中的對(duì)象121的圖像的攝影師 在幀n+l到幀n+3中執(zhí)行搖攝以便能夠捕獲當(dāng)從攝影師觀察時(shí)位于對(duì) 象121左邊的對(duì)象122的圖像的情況下，幀n到幀n+3的捕獲區(qū)域E 和幀n到幀n+3的校正圖像。
在圖19A的左手側(cè)上所示的幀n中，開(kāi)始于被指定位置41的幀 n的校正量93n (和幀n的候選校正量)的端點(diǎn)41，存在于幀n的校正 區(qū)域96n內(nèi)。
因此，校正量控制部分65把幀n的校正量93 作為幀n的實(shí)際 校正量98 提供到校正圖像產(chǎn)生部分66。
對(duì)于幀n，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提供 的幀n的實(shí)際校正量98n提取被提取圖像41，a，并放大被提取的圖像 41，a。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯示了對(duì)象 121，如圖19A的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖像。
在圖19B的左手側(cè)上所示的幀n+l中，幀n+l的校正量93n+1(和 幀n+l的候選校正量)的端點(diǎn)不存在于幀n+l的校正區(qū)域96n+1內(nèi)。
因此，校正量控制部分65根據(jù)幀n+l的校正區(qū)域96 +1限制幀 n+l的校正量93^,并把被限制的幀n+l的校正量作為幀n+l的實(shí)際 校正量98n+1提供到校正圖像產(chǎn)生部分66 。
對(duì)于幀n+l，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提 供的幀n+l的實(shí)際校正量98 +1提取被提取圖像41，b,并放大被提取 的圖像41，b。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像)其中顯 示了對(duì)象121和對(duì)象122，如圖19B的右手側(cè)上所示)，并輸出所產(chǎn) 生的校正圖像。
這里，在為幀n+l產(chǎn)生的校正圖像中，由于用戶(hù)執(zhí)行的有意的 搖攝操作，幀n的校正圖像中的對(duì)象121的位置已經(jīng)被向右位移。
在圖20A的左手側(cè)上所示的幀n+2中，幀n+2的候選校正量(即 幀n+l的實(shí)際校正量98 +1與幀n+2的運(yùn)動(dòng)向量92 +2相加的結(jié)果)的 端點(diǎn)和幀n+2的校正量93n+2的端點(diǎn)不存在于幀n+2的校正區(qū)域96 +2 內(nèi)。因此，校正量控制部分65根據(jù)幀n+2的校正區(qū)域96 +2限制幀 n+2的校正量93n+2，并把幀n+2的凈皮限制的校正量作為幀n+2的實(shí)際 校正量98n+2提供到校正圖像產(chǎn)生部分66 。
對(duì)于幀n+2，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提 供的幀n+2的實(shí)際校正量98n+2提取被提取圖像41，c，并放大被提取 的圖像41，c。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯 示了對(duì)象122，如圖20A的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖 像。
這里，在為幀n+2產(chǎn)生的校正圖像中，由于用戶(hù)執(zhí)行的有意的 搖攝操作，幀n+l的校正圖像中的對(duì)象122的位置已經(jīng)被向右位移。
在圖20B的左手側(cè)上所示的幀n+3中，幀n+3的候選校正量(即 幀n+2的實(shí)際校正量98 +2與幀n+3的運(yùn)動(dòng)向量92 +3相加的結(jié)果)的 端點(diǎn)41，存在于幀n+3的才交正區(qū)域96n+3內(nèi)，并且，幀n+3的4矣選4交正 量的端點(diǎn)41，和幀n+3的校正量93n+3 (即，幀n+2的校正量93n+2與 幀n+3的運(yùn)動(dòng)向量92n+3相加的結(jié)果)的端點(diǎn)不同。
因此，校正量控制部分65把幀n+3的候選校正量作為幀n+3的 實(shí)際校正量98n+3提供到校正量產(chǎn)生部分61和校正圖像產(chǎn)生部分66。
對(duì)于幀n+3，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分65提 供的幀n+3的實(shí)際校正量98 +3提取被提取圖像41，d，并放大被提取 的圖像41，d。相應(yīng)地，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像(其中顯 示了對(duì)象122，如圖20B的右手側(cè)上所示)，并輸出所產(chǎn)生的校正圖 像。
這里，在為幀n+3產(chǎn)生的校正圖像中，對(duì)象122在幀n+2的校 正圖像中的位置被保持。
即，對(duì)于幀n+3，幀n+3的4菱選校正量作為幀n+3相對(duì)于幀n+2 的位置位移要被校正的校正量被產(chǎn)生。
然后，根據(jù)幀n+3的校正區(qū)域96 +3,從幀n+3的候選校正量確 定幀n+3的實(shí)際校正量98n+3。因此，幀n+3的實(shí)際校正量98 +3是幀 n+3中相對(duì)于幀n+2的手抖模糊要被校正的量。如上所述，校正圖像產(chǎn)生部分66產(chǎn)生校正圖像，其中，幀n+3 中相對(duì)于幀n+2的手抖模糊已經(jīng)被校正。因此，在為幀n+3產(chǎn)生的校 正圖像中的對(duì)象122的位置和幀n+2的校正圖像中對(duì)象122的位置相 同。
注意，響應(yīng)于從校正量控制部分65提供幀n+3的實(shí)際校正量 98n+3，校正量產(chǎn)生部分61把幀n+3的實(shí)際校正量98n+3的端點(diǎn)41，設(shè) 置為新的被指定位置，把幀n+3設(shè)置為參考幀，并執(zhí)行用于校正相對(duì) 于新的參考幀的手抖模糊的手抖模糊校正處理。
將參考圖21中所示的流程圖描述由圖1中所示的圖像處理設(shè)備 1執(zhí)行的手抖模糊校正處理。
在步驟S31中，運(yùn)動(dòng)向量檢測(cè)單元31檢測(cè)構(gòu)成被提供的運(yùn)動(dòng)圖 像的各個(gè)幀的運(yùn)動(dòng)向量，并把檢測(cè)到的運(yùn)動(dòng)向量提供給手抖模糊校正 單元32。
在步驟S32到步驟S37中，手抖模糊校正單元32執(zhí)行校正圖像 產(chǎn)生處理，用于根據(jù)從運(yùn)動(dòng)向量檢測(cè)單元31提供的各個(gè)幀的運(yùn)動(dòng)向 量，校正在被提供的運(yùn)動(dòng)圖像中由捕獲圖像時(shí)發(fā)生的手抖導(dǎo)致的手抖 模糊，并產(chǎn)生作為結(jié)果的校正圖像。
即，在步驟S32中，手抖模糊校正單元32的校正量產(chǎn)生部分61 執(zhí)行校正量產(chǎn)生處理，用于根據(jù)從運(yùn)動(dòng)向量檢測(cè)單元31提供的各個(gè) 幀的運(yùn)動(dòng)向量產(chǎn)生幀n的校正量93n，并把所獲取的幀n的校正量93n 提供到手抖模糊區(qū)域估計(jì)部分62、搖攝/俯仰檢測(cè)部分63、以及校正 量控制部分65。
在步驟S32中，校正量產(chǎn)生部分61還把從運(yùn)動(dòng)向量檢測(cè)單元31 提供的幀n的運(yùn)動(dòng)向量92n提供到校正量控制部分65。
在步驟S33中，手抖模糊區(qū)域估計(jì)部分62執(zhí)行手抖模糊區(qū)域估 計(jì)處理，用于根據(jù)從校正量產(chǎn)生部分61提供的幀n-l的校正量93^ 和幀n的校正量93n估計(jì)手抖模糊區(qū)域。
在步驟S33中，只有在根據(jù)手抖模糊區(qū)域估計(jì)處理獲取了根據(jù)幀 n-l的校正量93^和幀n的校正量93J古計(jì)的手抖模糊區(qū)域95^的情況下，手抖模糊區(qū)域估計(jì)部分62還把手抖模糊區(qū)域95^和關(guān)于幀n-1 的校正量93^的分量信息提供到校正區(qū)域確定部分64。
在步驟S34中，搖攝/俯仰檢測(cè)部分63執(zhí)行搖纟聶/俯仰檢測(cè)處理， 用于根據(jù)從校正量產(chǎn)生部分61提供的幀n的校正量93n檢測(cè)在捕獲幀 n時(shí)發(fā)生的有意的畫(huà)面構(gòu)成改變操作，并把檢測(cè)的結(jié)果提供到校正區(qū) 域確定部分64。
在步驟S35中，校正區(qū)域確定部分64執(zhí)行校正區(qū)域確定處理， 用于根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的手抖模糊區(qū)域和分量信 息以及從搖攝/俯仰檢測(cè)部分63提供的檢測(cè)的結(jié)果，確定幀n的校正 區(qū)域96n,并把所獲得的幀n的校正區(qū)域96 提供到校正量控制部分 65。
在步驟S36中，校正量控制部分65根據(jù)從校正量產(chǎn)生部分61 提供的幀n的校正量93 和幀n的運(yùn)動(dòng)向量92n，以及從校正區(qū)域確 定部分64提供的幀n的校正區(qū)域96n，執(zhí)行校正量控制處理，用于產(chǎn) 生幀n中的手抖模糊要被校正的實(shí)際校正量98n，并把所獲得的幀n 的實(shí)際校正量98n提供到校正圖像產(chǎn)生部分66。
在步驟S37中，校正圖像產(chǎn)生部分66根據(jù)從校正量控制部分55 提供的幀n的實(shí)際校正量98n產(chǎn)生校正圖像，其中，被提供的幀n中
的手抖模糊已經(jīng)被校正。
即，例如在步驟S37中，通過(guò)#^據(jù)以幀n的實(shí)際校正量98n的端 點(diǎn)41，為中心的被提取框e從幀n提取圖像，并放大被提取的圖像， 校正圖像產(chǎn)生部分66產(chǎn)生并輸出幀n的校正圖像，如圖17A到圖17C 中所示。
如上所述，在根據(jù)步驟S32到步驟S37中的;f交正圖像產(chǎn)生處理 針對(duì)構(gòu)成運(yùn)動(dòng)圖像的各個(gè)幀中的每個(gè)幀產(chǎn)生并輸出校正圖像之后，手 抖模糊校正處理結(jié)束。
將參考圖22中所示的流程圖詳細(xì)地描述在圖21的步驟S32中由 圖5中所示的校正量產(chǎn)生部分61執(zhí)行的校正量產(chǎn)生處理。
在步驟S61中，校正量產(chǎn)生部分61確定用戶(hù)是否已經(jīng)為幀n指定了新的被指定位置41。在確定新的被指定位置41已經(jīng)被指定的情 況下，處理前進(jìn)到步驟S62。
在步驟S62中，校正量產(chǎn)生部分61把幀n-l的校正量93^初始 化到零，并設(shè)置幀n-l為新的參考幀。然后，處理前進(jìn)到步驟S63。
同時(shí)，在步驟S61中確定還沒(méi)有指定新的被指定位置41的情況 下，步驟S62的處理被跳過(guò)，并且處理前進(jìn)到步驟S63。
在步驟S63中，校正量產(chǎn)生部分61確定幀n-l的實(shí)際校正量98^ 是否已經(jīng)被從校正量控制部分65反饋。在確定幀n-l的實(shí)際校正量 98"已被反饋的情況下，處理前進(jìn)到步驟S64。在步驟S64中，校正 量產(chǎn)生部分61把從校正量控制部分65提供的幀n-l的實(shí)際校正量 98^的端點(diǎn)設(shè)置為新的被指定位置，并把幀n-l設(shè)置為新的參考幀。 然后，在步驟S65中，校正量產(chǎn)生部分61產(chǎn)生幀1的校正量93i。
同時(shí)，在步驟S63中確定幀n-l的實(shí)際校正量98^未被反饋的 情況下，步驟S64的處理被跳過(guò)，并且處理前進(jìn)到步驟S65。在步驟 S65中，如圖6中所示，校正量產(chǎn)生部分61把存儲(chǔ)在內(nèi)部存儲(chǔ)器中的 幀n-l的才交正量和從運(yùn)動(dòng)向量檢測(cè)單元31提供的幀n的運(yùn)動(dòng)向量相 加，并把相加的結(jié)果設(shè)置為幀n的校正量93n。注意，對(duì)于幀l，幀l 的運(yùn)動(dòng)向量92d皮直接設(shè)置為幀1的校正量93i。
在如上所述執(zhí)行了校正量產(chǎn)生處理之后，校正量產(chǎn)生部分61把 根據(jù)校正量產(chǎn)生處理獲得的幀n的校正量93 提供到手抖模糊區(qū)域估 計(jì)部分62、搖4菱/俯仰檢測(cè)部分63和校正量控制部分65。然后，才交正 量產(chǎn)生處理返回圖21的步驟S32。
現(xiàn)在將參考圖23中所示的流程圖詳細(xì)地描述在圖21的步驟S33 中由圖5中所示的手抖模糊區(qū)域估計(jì)部分62執(zhí)行的手抖模糊區(qū)域估 計(jì)處理。
在步驟S91中，手抖模糊區(qū)域估計(jì)部分62確定從校正量產(chǎn)生部 分61提供的幀n的校正量93n的水平分量或者垂直分量是否小于先前 從校正量產(chǎn)生部分61提供的幀n-l的校正量93^的對(duì)應(yīng)分量。
在步驟S91中確定幀n的校正量93n的水平分量和垂直分量中的至少一個(gè)小于先前從校正量產(chǎn)生部分61提供的幀n-l的校正量93^
的對(duì)應(yīng)分量的情況下，則處理前進(jìn)到步驟S92。在步驟S92中，手抖模糊區(qū)域估計(jì)部分62根據(jù)幀n-l的校正量93^估計(jì)手抖模糊區(qū)域，如圖7中所示。
在步驟S92中，手抖模糊區(qū)域估計(jì)部分62還檢測(cè)幀n-l的校正量93^的大于幀n的校正量93n的對(duì)應(yīng)分量的分量作為分量信息。然后，手抖模糊區(qū)域估計(jì)處理結(jié)束。
注意，在步驟S91中確定從校正量產(chǎn)生部分61提供的幀n的校正量93n的水平分量和垂直分量都等于或者大于先前從校正量產(chǎn)生部分61提供的幀n-l的校正量93^的水平分量和垂直分量的情況下，步驟S92的處理被跳過(guò)，并且手抖模糊區(qū)域估計(jì)處理結(jié)束。
在如上所述執(zhí)行了手抖模糊區(qū)域估計(jì)處理之后，只有在確定在手抖模糊區(qū)域估計(jì)處理中手抖模糊區(qū)域被估計(jì)并且分量信息被檢測(cè)的情況下，手抖模糊區(qū)域估計(jì)部分62才把手抖模糊區(qū)域和分量信息提供到校正區(qū)域確定部分64。然后，手抖模糊區(qū)域估計(jì)處理返回圖21的步驟S33。
現(xiàn)在將參考圖24中所示的流程圖詳細(xì)地描述在圖21的步驟S34中由圖5中所示的搖攝/俯仰檢測(cè)部分63執(zhí)行的搖攝/俯仰檢測(cè)處理。
在步驟S121中，搖攝/俯仰檢測(cè)部分63確定從校正量產(chǎn)生部分61提供的幀n的校正量93n的端點(diǎn)是否位于校正顯示可能區(qū)域L外部。
在步驟S121中確定幀n的校正量93n的端點(diǎn)如圖8中所示位于校正顯示可能區(qū)域L外部的情況下，處理前進(jìn)到步驟S122。在步驟S122中，搖攝/俯仰檢測(cè)部分63確定在捕獲幀n時(shí)執(zhí)行了有意的畫(huà)面構(gòu)成改變操作。然后，搖攝/俯仰檢測(cè)處理結(jié)束。
同時(shí)，在步驟S121中確定幀n的校正量93 的端點(diǎn)位于校正顯示可能區(qū)域L內(nèi)的情況下，處理前進(jìn)到步驟S123。在步驟S123中，搖攝/俯仰檢測(cè)部分63確定在捕獲幀n時(shí)未執(zhí)行有意的畫(huà)面構(gòu)成改變操作。然后，搖攝/俯仰檢測(cè)處理結(jié)束。
在如上所述執(zhí)行了搖攝/俯仰檢測(cè)處理結(jié)束之后，搖攝/俯仰檢測(cè)部分63把確定的結(jié)果作為搖攝/俯仰檢測(cè)處理的結(jié)果提供給校正區(qū)域確定部分64。然后，搖攝/俯仰檢測(cè)處理返回圖21的步驟S34。
現(xiàn)在將參考圖25中所示的流程圖詳細(xì)地描述在圖21的步驟S35中由圖5中所示的校正區(qū)域確定部分64執(zhí)行的校正區(qū)域確定處理。
在步驟S151中，校正區(qū)域確定部分64根據(jù)先前執(zhí)行的用于確定幀n-l的校正區(qū)域96"的校正區(qū)域確定處理的結(jié)果，設(shè)置幀n的校正區(qū)域96 。
在步驟S152中，才交正區(qū)域確定部分64確定幀n的校正區(qū)域96n是否延伸超出了校正顯示可能區(qū)域L。
在步驟S152中確定幀n的校正區(qū)域96 延伸超出校正顯示可能區(qū)域L的 情況下，例如，因?yàn)樾Ｕ@示可能區(qū)域的尺寸已經(jīng)根據(jù)用戶(hù)的按鍵操作而被減小，則處理前進(jìn)到步驟S153。在步驟S153中，如圖12中所示，校正區(qū)域確定部分64把幀n的校正區(qū)域96n的尺寸減小到校正區(qū)域97 ,以落入校正顯示可能區(qū)域L內(nèi)，并把校正區(qū)域97 設(shè)置為新的校正區(qū)域。然后，處理前進(jìn)到步驟S154。
同時(shí)，在步驟S152中確定幀n的校正區(qū)域96 落入校正顯示可能區(qū)域L內(nèi)的情況下，步驟S153的處理被跳過(guò)，并且處理前進(jìn)到步驟S154。
在步驟S154中，校正區(qū)域確定部分64確定根據(jù)幀n-l的校正量93^和幀n的校正量93J古計(jì)的手抖模糊區(qū)域95^以及分量信息是否已經(jīng)從手抖模糊區(qū)域估計(jì)部分62被提供，即，根據(jù)在圖21的步驟S33中執(zhí)行的手抖模糊區(qū)域估計(jì)處理估計(jì)的手抖模糊區(qū)域95^和分量信息是否已經(jīng)被提供。
在步驟S154中確定手抖;溪糊區(qū)域95^和分量信息已經(jīng)被提供的情況下，處理前進(jìn)到步驟S155。在步驟S155中，校正區(qū)域確定部分64確定從手抖模糊區(qū)域估計(jì)部分62提供的手抖模糊區(qū)域95"是否延伸超出了幀n的校正區(qū)域96 。
在步驟S155中確定手抖模糊區(qū)域95^延伸超出了幀n的校正區(qū)域96n的情況下，處理前進(jìn)到步驟S156。在步驟S156中，校正區(qū)域確定部分64根據(jù)搖攝/俯仰檢測(cè)部分63執(zhí)行的檢測(cè)的結(jié)果，確定是否已經(jīng)檢測(cè)到在捕獲和用于估計(jì)手抖模糊區(qū)域95^的校正量93^對(duì)應(yīng)的幀n-l時(shí)發(fā)生有意的畫(huà)面構(gòu)成改變操作。
在步驟S156中確定未檢測(cè)到捕獲幀n-l時(shí)的有意的畫(huà)面構(gòu)成改變操作的情況下，處理前進(jìn)到步驟S157。在步驟S157中，校正區(qū)域確定部分64根據(jù)從手抖模糊區(qū)域估計(jì)部分62提供的手抖模糊區(qū)域95^和分量信息，把幀n的校正區(qū)域96n放大到4交正區(qū)域97n，如圖10和圖11中所示。然后，校正區(qū)域確定處理結(jié)束。在這種情況下，幀n的校正區(qū)域是更新前的校正區(qū)域96n。在確定下一幀n+l的校正區(qū)域96n+1的校正區(qū)域確定處理的步驟S151中，被更新的校正區(qū)域97n被i殳置為幀n+l的才交正區(qū)域96^。
注意，在步驟S154中確定手抖模糊區(qū)域95^和分量信息還未被提供的情況下，在步驟S155中確定手抖模糊區(qū)域95^落入幀ii的校正區(qū)域96n的情況下，或者在步驟S156中確定已經(jīng)檢測(cè)到捕獲幀n-l時(shí)發(fā)生有意的畫(huà)面構(gòu)成改變操作的情況下，則校正區(qū)域確定處理在確定的時(shí)刻終止。在確定下一幀n+l的校正區(qū)域96n+1的校正區(qū)域確定處理的步驟S151中，幀n的校正區(qū)域96n被z沒(méi)置為幀n+l的校正區(qū)域96巾。
在如上所述執(zhí)行了校正區(qū)域確定處理之后，4史正區(qū)域確定部分64把根據(jù)校正區(qū)域確定處理確定的幀n的校正區(qū)域提供給校正量控制部分65。然后，校正區(qū)域確定處理返回圖21的步驟S35。
現(xiàn)在將參考圖26中所示的流程圖詳細(xì)地描述在圖21的步驟S36中由圖5中所示的校正量控制部分65執(zhí)行的校正量控制處理。
在步驟S181中，校正量控制部分65把幀n-l的實(shí)際校正量98"和從校正量產(chǎn)生部分61提供的幀n的運(yùn)動(dòng)向量92n相加，并獲取相加的結(jié)果作為幀n的候選校正量。
在步驟S182中，校正量控制部分65確定開(kāi)始于被指定位置41的幀n的候選校正量的端點(diǎn)是否存在于從校正區(qū)域確定部分64提供的幀n的校正區(qū)域96n內(nèi)。
34在步驟S182中確定幀n的候選校正量的端點(diǎn)存在于幀n的校正區(qū)域96n內(nèi)的情況下，處理前進(jìn)到步驟S183。在步驟S183，校正量控制部分65確定開(kāi)始于被指定位置41的幀n的候選校正量是否和開(kāi)始于被指定位置41的幀n的校正量93 相同。
在步驟S183中確定幀n的候選校正量和幀n的校正量93 相同的情況下，處理前進(jìn)到步驟S184。在步驟S184中，校正量控制部分65把幀n的校正量93n直接設(shè)置為幀n的實(shí)際校正量98n，如圖14中所示。然后，校正量控制處理結(jié)束。
同時(shí)，在步驟S183中確定幀n的候選校正量和幀n的校正量93n不相同的情況下，處理前進(jìn)到步驟S185。在步驟S185中，校正量控制部分65把幀n的候選校正量直接設(shè)置為幀n的實(shí)際校正量98n，如圖16中所示。然后，處理前進(jìn)到步驟S186。
在步驟S186中，校正量控制部分65把幀n的實(shí)際校正量98n反饋到校正量產(chǎn)生部分61。因此，在圖22中所示的校正量產(chǎn)生處理的步驟S64中，校正量產(chǎn)生部分61把從校正量控制部分65提供的幀n的實(shí)際校正量98n的端點(diǎn)設(shè)置為新的被指定位置，把幀n設(shè)置為新的參考幀，并產(chǎn)生校正量。然后，校正量控制處理結(jié)束。
同時(shí)，在步驟S182中確定幀n的候選校正量的端點(diǎn)不位于幀n的校正區(qū)域96n內(nèi)的情況下，處理前進(jìn)到步驟S187。在步驟S187中，校正量控制部分65確定幀n的校正量93n的端點(diǎn)是否位于幀n的校正區(qū)^戈96n內(nèi)。
在步驟S187中確定幀n的校正量93n的端點(diǎn)位于幀n的校正區(qū)域96n內(nèi)的情況下，處理前進(jìn)到步驟S184。
同時(shí)，在步驟S187中確定幀n的校正量93n的端點(diǎn)不位于幀n的^l正區(qū)域96n內(nèi)的情況下，處理前進(jìn)到步驟S188。在步驟S188中，校正量控制部分65根據(jù)幀n的校正區(qū)域96n限制幀n的校正量93n，如圖15中所示，并把被限制的校正量設(shè)置為幀n的實(shí)際校正量98n。然后，校正量控制處理結(jié)束。
在如上所述執(zhí)行了校正量控制處理之后，校正量控制部分65把根據(jù)校正量控制處理獲得的幀n的實(shí)際校正量98 提供到校正圖像產(chǎn)生部分66。然后，校正量控制處理返回圖21的步驟S36。
在圖21中所示的手抖模糊校正處理(即，校正圖像產(chǎn)生處理)的步驟S32到步驟S37中，根據(jù)幀n的校正量93 估計(jì)了捕獲運(yùn)動(dòng)圖像的攝影師的手抖導(dǎo)致的手抖模糊區(qū)域，根據(jù)所述手抖模糊區(qū)域確定了校正區(qū)域，因此，可以確定用于校正其程度因攝影師而異的手抖模糊的最佳校正區(qū)域。
此外，在圖21中所示的手抖模糊校正處理中，通過(guò)根據(jù)幀n的實(shí)際校正量98 把從幀n提取的圖像放大到特定尺寸，產(chǎn)生了校正圖像。因此，校正圖像內(nèi)的對(duì)象的尺寸大于捕獲圖像(幀n)內(nèi)的對(duì)象的尺寸。
如上所述，在圖21中所示的手抖模糊校正處理中，捕獲圖像內(nèi)的對(duì)象被放大。因此，和手抖模糊被簡(jiǎn)單地校正而不使用被放大的圖像作為校正圖像的情況相比，可以減小攝像機(jī)在捕獲圖像時(shí)的縮放量(放大的比例)。因此，可以減少當(dāng)攝像機(jī)在捕獲對(duì)象圖像時(shí)對(duì)對(duì)象縮放時(shí)可能發(fā)生的大量手抖模糊。
在圖25中所示的校正區(qū)域確定處理中，幀n的才吏正區(qū)域96n被根據(jù)手抖模糊區(qū)域95^放大。但是，在根據(jù)圖23中所示的手抖模糊區(qū)域估計(jì)處理估計(jì)的手抖模糊區(qū)域95^落入校正區(qū)域的情況下，并且例如校正區(qū)域在預(yù)定時(shí)間段期間未被放大的情況下，即在小于手抖模糊要被校正的校正區(qū)域的區(qū)域內(nèi)發(fā)生手抖模糊的情況下，期望減小校正區(qū)域的尺寸。
將參考圖27描述用于在預(yù)定時(shí)間段期間校正區(qū)域未被放大的情況下以特定減小比例減小校正區(qū)域的尺寸的第 一種減小方法。
如圖27中所示，在校正區(qū)域Gi在預(yù)定時(shí)間段期間未被放大的情況下，校正區(qū)域確定部分64以使得所有四條邊的長(zhǎng)度被以相同的比例減小的方式減小由所述四條邊限定的校正區(qū)域Gi的尺寸，并且把校正區(qū)域Gi更新為減小的校正區(qū)域G2。
此外，將參考圖28描述用于在預(yù)定時(shí)間段期間校正區(qū)域未被放大的情況下根據(jù)先前校正量的分布來(lái)減小校正區(qū)域的尺寸的第二種
減小方法o
如圖28中所示，在校正區(qū)域Gt在預(yù)定時(shí)間段期間未被放大的情況下，例如，當(dāng)開(kāi)始于校正區(qū)域Gi中的被指定位置41的先前校正量的端點(diǎn)的分布在校正區(qū)域&中被指定位置41右邊的區(qū)域中密集，而先前校正量的端點(diǎn)的分布在被指定位置41左邊的區(qū)域中稀疏時(shí)，校正區(qū)域確定部分64以使得被指定位置41左邊的區(qū)域收縮最大量的方式減小校正區(qū)域Gi的尺寸，并把校正區(qū)域Gi更新為被減小的校正區(qū)域G2。
將參考圖29描述在預(yù)定時(shí)間段期間校正區(qū)域未被放大的情況下減小校正區(qū)域的尺寸的另 一種校正區(qū)域確定處理。
圖29中所示的才交正區(qū)域確定處理是把步驟S218和步驟S219添加到圖25中所示的校正區(qū)域確定處理的處理。
即，在步驟S154中確定手抖模糊區(qū)域95^和分量信息還未被提供的情況下，在步驟S155中確定手抖模糊區(qū)域95^落入幀n的校正區(qū)域96n的情況下，或者在步驟S156中確定已經(jīng)檢測(cè)到捕獲幀n-l時(shí)發(fā)生有意的畫(huà)面構(gòu)成改變操作的情況下，處理前進(jìn)到步驟S218。
在步驟S218中，校正區(qū)域確定部分64確定校正區(qū)域在預(yù)定時(shí)間段期間是否已經(jīng)被放大。
在步驟S218中確定校正區(qū)域在預(yù)定時(shí)間段期間已經(jīng)被放大的情況下，步驟S219的處理被跳過(guò)，并且校正區(qū)域確定處理結(jié)束。在確定下一幀n+l的校正區(qū)域96^的校正區(qū)域確定處理的步驟S151中，幀n的校正區(qū)域96n被設(shè)置為幀n+l的校正區(qū)域96 +1。
同時(shí)，在步驟S218中確定校正區(qū)域在預(yù)定時(shí)間段期間未被放大的情況下，處理前進(jìn)到步驟S219。在步驟S219中，校正量控制部分65以使得校正區(qū)域Gi被減小到如圖27或28所示的校正區(qū)域G2的方式更新幀n的校正區(qū)域Gp然后，校正區(qū)域確定處理結(jié)束。在這種情況下，幀n的校正區(qū)域96 是更新前的校正區(qū)域GlD在確定下一幀n+l的校正區(qū)域96^的校正區(qū)域確定處理的步驟S151中，被減小的
37校正區(qū)域G2被設(shè)置為幀n+l的校正區(qū)域96 +1。
在如上所述執(zhí)行了圖29中所示的校正區(qū)域確定處理之后，校正區(qū)域確定部分64把根據(jù)圖29中所示的校正區(qū)域確定處理確定的幀n的校正區(qū)域提供到校正量控制部分65。然后，校正區(qū)域確定處理返回圖21的步驟S35。
在圖29中所示的校正區(qū)域確定處理中，在因?yàn)楦鶕?jù)圖23中所示
的手抖模糊區(qū)域估計(jì)處理估計(jì)的手抖模糊區(qū)域落入校正區(qū)域內(nèi)，所述校正區(qū)域在預(yù)定時(shí)間段期間未被放大的情況下，即，在手抖模糊發(fā)生在小于所述校正區(qū)域的區(qū)域內(nèi)的情況下，所述校正區(qū)域的尺寸被減小到接近其中發(fā)生了手抖模糊的區(qū)域。因此，可以確定更合適的校正區(qū)域。
盡管在上面描述的實(shí)施例中，塊匹配方法被圖1中所示的運(yùn)動(dòng)向量檢測(cè)單元31用作用于檢測(cè)運(yùn)動(dòng)向量的方法，但是也可以使用梯度方法?；蛘?，通過(guò)使用加速度傳感器、角速度傳感器等，可以檢測(cè)運(yùn)動(dòng)向量。
此外，盡管在上面描述的實(shí)施例中通過(guò)放大根據(jù)被提取框e提取的圖像而獲得的校正圖像被用作校正圖像，被提取的圖像也可以直接用作校正圖像。在這種情況下，和被提取圖像被放大的情況相比，可以省略用于放大被提取圖像的處理。因此，可以更快速地產(chǎn)生手抖模糊已經(jīng)被校正的校正圖像。
此外，在上面描述的實(shí)施例中，按幀被捕獲的順序跟在用作參考幀的幀0后面的幀n經(jīng)受手抖模糊校正處理。但是，按幀被捕獲的相反順序跟在用作參考幀的幀0后面的第n幀可以經(jīng)受手抖模糊校正處理。
作為根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備，例如可以使用包括被配置成存儲(chǔ)運(yùn)動(dòng)圖像的存儲(chǔ)單元并對(duì)存儲(chǔ)在存儲(chǔ)單元中的運(yùn)動(dòng)圖像執(zhí)行手抖模糊校正處理的個(gè)人計(jì)算機(jī)、捕獲運(yùn)動(dòng)圖像并對(duì)被捕獲的運(yùn)動(dòng)圖像執(zhí)行手抖模糊校正處理的攝像機(jī)等。
此外，在這樣的攝像機(jī)等被用作根據(jù)本發(fā)明的實(shí)施例的圖像處理設(shè)備的情況下，通過(guò)在每次捕獲構(gòu)成運(yùn)動(dòng)圖像的每一幀時(shí)對(duì)每一個(gè)被捕獲的幀執(zhí)行手抖模糊校正處理，在運(yùn)動(dòng)圖像中發(fā)生的手抖模糊可以
凈皮實(shí)時(shí)地校正。
由圖1中所示的圖像處理設(shè)備l執(zhí)行的上述處理序列可以由專(zhuān)用硬件或者軟件執(zhí)行。在處理序列由軟件執(zhí)行的情況下，構(gòu)成軟件的程序被從程序存儲(chǔ)介質(zhì)安裝到所謂的內(nèi)置計(jì)算機(jī)中，或者，例如能夠根據(jù)其上安裝的各種程序執(zhí)行各種功能的通用個(gè)人計(jì)算機(jī)。
圖30是框圖，示出了根據(jù)程序執(zhí)行上述處理序列的計(jì)算機(jī)的結(jié)構(gòu)的例子。
中央處理單元(CPU)根據(jù)存儲(chǔ)在只讀存儲(chǔ)器(ROM) 202或者存儲(chǔ)單元208中的程序執(zhí)行各種處理。由CPU201執(zhí)行的程序、數(shù)據(jù)等，被以適當(dāng)方式存儲(chǔ)在隨機(jī)存取存儲(chǔ)器(RAM)203中。CPU 201、ROM 202和RAM 203通過(guò)總線(xiàn)204彼此連接。
輸入/輸出接口 205通過(guò)總線(xiàn)204連接到CPU 201。包括鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等的輸入單元206,以及包括顯示器、揚(yáng)聲器等的輸出單元207被連接到輸入/輸出接口 205。 CPU 201響應(yīng)于輸入單元206所接收的指令執(zhí)行各種處理。然后，CPU201把處理結(jié)果輸出到輸出
單元207。
連接到輸入/輸出接口 205的存儲(chǔ)單元208包括例如硬盤(pán)。存儲(chǔ)單元208存儲(chǔ)由CPU 201執(zhí)行的程序和各種數(shù)據(jù)。通信單元209通過(guò)網(wǎng)絡(luò)和外部裝置通信，所述網(wǎng)絡(luò)例如互聯(lián)網(wǎng)或者局域網(wǎng)。
此外，程序可以通過(guò)通信單元209獲得，并存儲(chǔ)在存儲(chǔ)單元208中。
當(dāng)例如磁盤(pán)、光盤(pán)、磁光盤(pán)或半導(dǎo)體存儲(chǔ)器的可移動(dòng)介質(zhì)211被安裝在連接到輸入/輸出接口 205的驅(qū)動(dòng)器210中時(shí)，驅(qū)動(dòng)器210驅(qū)動(dòng)可移動(dòng)介質(zhì)211，并獲得可移動(dòng)介質(zhì)211中記錄的程序和數(shù)據(jù)。所獲得的程序和數(shù)據(jù)在必要時(shí)被轉(zhuǎn)移并存儲(chǔ)在存儲(chǔ)單元208中。
安裝在計(jì)算機(jī)上并存儲(chǔ)可由計(jì)算機(jī)執(zhí)行的程序的程序存儲(chǔ)介質(zhì)由可移動(dòng)介質(zhì)211構(gòu)成，它是包裝介質(zhì)，例如磁盤(pán)(包括軟盤(pán))、光盤(pán)(包括緊致盤(pán)只讀存儲(chǔ)器(CD-ROM )或數(shù)字多功能盤(pán)(DVD))、磁光盤(pán)(MD (迷你盤(pán)))，或者半導(dǎo)體存儲(chǔ)器、其中暫時(shí)或永久存儲(chǔ)程序的ROM202，或者形成存儲(chǔ)單元208的硬盤(pán)，如圖30中所示。在必要時(shí)，通過(guò)使用有線(xiàn)或無(wú)線(xiàn)通信介質(zhì)，經(jīng)通信單元209把程序存儲(chǔ)在程序存儲(chǔ)介質(zhì)中，所述通信介質(zhì)例如局域網(wǎng)、互聯(lián)網(wǎng)，或者數(shù)字衛(wèi)星廣播；通信單元209是接口，例如路由器或調(diào)制解調(diào)器。
在說(shuō)明書(shū)中，描述存儲(chǔ)在程序存儲(chǔ)介質(zhì)中的程序的步驟不僅包括根據(jù)書(shū)寫(xiě)順序按時(shí)間序列執(zhí)行的處理，也包括并行地或獨(dú)立地執(zhí)行的處理，所述處理不一定被按時(shí)間序列執(zhí)行。
此外，本發(fā)明的實(shí)施例不局限于上面描述的實(shí)施例，不偏離本發(fā)明的要旨，可以做出各種變化。
本申請(qǐng)包含涉及2008年4月3號(hào)在日本專(zhuān)利局遞交的JP 2008-096991日本優(yōu)先權(quán)專(zhuān)利申請(qǐng)中公開(kāi)的內(nèi)容的主題，該申請(qǐng)的全部?jī)?nèi)容通過(guò)引用被包含于此。
本領(lǐng)域技術(shù)人員應(yīng)該理解，依賴(lài)于設(shè)計(jì)要求和其他因素，只要其在所附權(quán)利要求或者其等同物的范圍內(nèi)，就可以發(fā)生各種修改、組合、子組合和更改。
權(quán)利要求
1.一種用于校正在捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的圖像處理設(shè)備，包含產(chǎn)生裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè)置為用作手抖模糊校正處理的參考的參考圖像，并把剩余圖像設(shè)置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖像相對(duì)于參考圖像的位置位移要被校正的校正量；估計(jì)裝置，用于根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域；檢測(cè)裝置，用于根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu)成改變操作；和更新裝置，用于根據(jù)估計(jì)裝置估計(jì)的手抖模糊區(qū)域和檢測(cè)裝置執(zhí)行的檢測(cè)的結(jié)果，把設(shè)置的校正區(qū)域更新為校正目標(biāo)圖像中相對(duì)于參考圖像要的手抖模糊被校正的區(qū)域。
2. 如權(quán)利要求l所述的圖像處理設(shè)備，其中校正目標(biāo)圖像按圖像被捕獲的順序跟在參考圖像之后，其中在用于第一校正目標(biāo)圖像的校正量的水平分量和垂直分量 中的至少一個(gè)大于用于跟在第 一校正目標(biāo)圖像之后的第二校正目標(biāo) 圖像的校正量的對(duì)應(yīng)分量的情況下，估計(jì)裝置根據(jù)用于第一校正目標(biāo) 圖像的校正量估計(jì)手抖模糊區(qū)域，其中檢測(cè)裝置根據(jù)用于第一校正目標(biāo)圖像的校正量檢測(cè)在捕獲 第 一校正目標(biāo)圖像時(shí)是否執(zhí)行了搖攝和俯仰中的至少一個(gè)，并且其中更新裝置根據(jù)估計(jì)裝置估計(jì)的手抖模糊區(qū)域和檢測(cè)裝置執(zhí) 行的檢測(cè)的結(jié)果，更新用于第二校正目標(biāo)圖像的校正區(qū)域。
3. 如權(quán)利要求1所述的圖像處理設(shè)備，還包含限制裝置，用于根據(jù)校正區(qū)域，把用于校正目標(biāo)圖像的校正量限 制到校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊要被校正的實(shí)際校 正量；和校正裝置，用于根據(jù)實(shí)際校正量，產(chǎn)生其中校正目標(biāo)圖像中相對(duì) 于參考圖像的手抖模糊已被校正的校正圖像。
4. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，在預(yù)定時(shí)間段期 間校正區(qū)域未被更新的情況下，更新裝置減小校正區(qū)域的尺寸。
5. 如權(quán)利要求4所述的圖像處理設(shè)備，其中，在預(yù)定時(shí)間段期 間校正區(qū)域未被更新的情況下，更新裝置根據(jù)產(chǎn)生裝置產(chǎn)生的校正量 的分布減小校正區(qū)域的尺寸。
6. 如權(quán)利要求4所述的圖像處理設(shè)備，其中，在預(yù)定時(shí)間段期 間校正區(qū)域未被更新的情況下，更新裝置以特定的減d、比減小校正區(qū) 域的尺寸。
7. 如權(quán)利要求1所述的圖像處理設(shè)備，其中，在估計(jì)裝置所估 計(jì)的手抖模糊區(qū)域未落入校正區(qū)域內(nèi)，并且檢測(cè)裝置未檢測(cè)到捕獲校 正目標(biāo)圖像時(shí)的搖攝和俯仰中的任何一個(gè)的情況下，更新裝置根據(jù)手 抖模糊區(qū)域更新校正區(qū)域。
8. 如權(quán)利要求3所述的圖像處理設(shè)備，其中，校正裝置通過(guò)根 據(jù)實(shí)際校正量提取校正目標(biāo)圖像內(nèi)的特定區(qū)域并放大所提取的特定 區(qū)域來(lái)產(chǎn)生校正圖像。
9. 如權(quán)利要求1所述的圖像處理設(shè)備，還包含用于捕獲運(yùn)動(dòng)圖 像的捕獲裝置。
10. —種在用于校正捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的圖像處 理設(shè)備中使用的圖像處理方法，包含步驟把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè)置為用作手抖模糊 校正處理的參考的參考圖像；通過(guò)把剩余圖像設(shè)置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖 像，產(chǎn)生校正目標(biāo)圖像相對(duì)于參考圖像的位置位移要被校正的校正量；根據(jù)產(chǎn)生的校正量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊 的區(qū)域的手抖模糊區(qū)域；根據(jù)產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu)成改變操作；和根據(jù)估計(jì)的手抖模糊區(qū)域和檢測(cè)結(jié)果，把設(shè)置的校正區(qū)域更新為 校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊要被校正的區(qū)域。
11. 一種用于使計(jì)算機(jī)起到用于校正在捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的 手抖模糊的圖像處理設(shè)備的作用的程序，所述計(jì)算機(jī)用作產(chǎn)生裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè) 置為用作手抖模糊校正處理的參考的參考圖像，并把剩余圖像設(shè)置為 要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖像相對(duì)于 參考圖像的位置位移要被校正的校正量；估計(jì)裝置，用于根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域；檢測(cè)裝置，用于根據(jù)產(chǎn)生裝置產(chǎn)生的校正量，檢測(cè)捕獲校正目標(biāo) 圖像時(shí)有意的畫(huà)面構(gòu)成改變操作；和更新裝置，用于根據(jù)估計(jì)裝置估計(jì)的手抖模糊區(qū)域和檢測(cè)裝置執(zhí) 行的檢測(cè)的結(jié)果，把設(shè)置的校正區(qū)域更新為校正目標(biāo)圖像中相對(duì)于參 考圖像的手抖模糊要被校正的區(qū)域。
12. —種用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的手抖模糊 區(qū)域估計(jì)設(shè)備，包含檢測(cè)裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè) 置為用作手抖模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè)代表每一個(gè) 剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量；和估計(jì)裝置，用于根據(jù)檢測(cè)裝置檢測(cè)到的運(yùn)動(dòng)向量，估計(jì)代表發(fā)生 了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域。
13. —種在用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的手抖模 糊區(qū)域估計(jì)設(shè)備中使用的手抖模糊區(qū)域估計(jì)方法，包含步驟通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè)置為用作手抖 模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè)代表每一個(gè)剩余圖像相對(duì) 于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量；和根據(jù)檢測(cè)到的運(yùn)動(dòng)向量，估計(jì)代表發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域。
14. 一種用于使計(jì)算機(jī)起到用于估計(jì)捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的孚 抖模糊的手抖模糊區(qū)域估計(jì)設(shè)備的作用的程序，所述計(jì)算機(jī)用作檢測(cè)裝置，用于通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖像設(shè) 置為用作手抖模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè)代表每一個(gè) 剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量；和估計(jì)裝置，用于根據(jù)檢測(cè)裝置檢測(cè)到的運(yùn)動(dòng)向量，估計(jì)代表發(fā)生 了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域。
15. —種用于校正捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的圖像處理 設(shè)備，包含產(chǎn)生單元，被配置成通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖 像設(shè)置為用作手抖模糊校正處理的參考的參考圖像，并把剩余圖像設(shè) 置為要經(jīng)受手抖模糊校正處理的校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖像相 對(duì)于參考圖像的位置位移要被校正的校正量；估計(jì)單元，被配置成根據(jù)產(chǎn)生單元產(chǎn)生的校正量，估計(jì)代表發(fā)生 了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域；檢測(cè)單元，被配置成根據(jù)產(chǎn)生單元產(chǎn)生的校正量，檢測(cè)捕獲校正 目標(biāo)圖像時(shí)有意的畫(huà)面構(gòu)成改變操作；和更新單元，被配置成根據(jù)估計(jì)單元估計(jì)的手抖模糊區(qū)域和檢測(cè)單 元執(zhí)行的檢測(cè)的結(jié)果，把設(shè)置的校正區(qū)域更新為校正目標(biāo)圖像中相對(duì) 于參考圖像的手抖模糊要被校正的區(qū)域。
16. —種用于估計(jì)在捕獲運(yùn)動(dòng)圖像時(shí)發(fā)生的手抖模糊的手抖模糊區(qū)域估計(jì)設(shè)備，包含檢測(cè)單元，被配置成通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的特定圖 像設(shè)置為用作手抖模糊區(qū)域估計(jì)處理的參考的參考圖像，檢測(cè)代表每一個(gè)剩余圖像相對(duì)于參考圖像的運(yùn)動(dòng)的運(yùn)動(dòng)向量；估計(jì)單元，被配置成根據(jù)檢測(cè)單元檢測(cè)到的運(yùn)動(dòng)向量，估計(jì)代表 發(fā)生了相對(duì)于參考圖像的手抖模糊的區(qū)域的手抖模糊區(qū)域。
全文摘要
一種用于校正運(yùn)動(dòng)圖像中的手抖模糊的圖像處理設(shè)備，包括產(chǎn)生單元，它通過(guò)把構(gòu)成運(yùn)動(dòng)圖像的多個(gè)圖像中的一個(gè)圖像設(shè)置為參考圖像，并把剩余圖像設(shè)置為校正目標(biāo)圖像，產(chǎn)生校正目標(biāo)圖像相對(duì)于參考圖像的位置位移被校正的校正量；估計(jì)單元，它根據(jù)校正量，估計(jì)發(fā)生了相對(duì)于參考圖像的手抖模糊的手抖模糊區(qū)域；檢測(cè)單元，它根據(jù)校正量，檢測(cè)合成改變操作；和更新單元，它根據(jù)手抖模糊區(qū)域和檢測(cè)結(jié)果，把校正區(qū)域更新為校正目標(biāo)圖像中相對(duì)于參考圖像的手抖模糊被校正的區(qū)域。
文檔編號(hào)H04N5/232GK101552872SQ200910133049
公開(kāi)日2009年10月7日 申請(qǐng)日期2009年4月2日 優(yōu)先權(quán)日2008年4月3日
發(fā)明者半田正樹(shù), 大月知之, 近藤哲二郎, 高橋健治 申請(qǐng)人:索尼株式會(huì)社