信息處理裝置、信息處理方法和成像裝置制造方法
【專利摘要】本公開涉及一種信息處理裝置、信息處理方法和成像裝置。在根據(jù)本公開的信息處理裝置中，根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，放大檢測單元檢測運動校正中的圖像的運動相對于通過運動生成的圖像的運動的放大?；诜糯髾z測單元的檢測結果，信息抑制單元抑制運動信息指示的運動，使得圖像的運動在運動校正中不被放大，并且生成運動校正中使用的校正運動信息。
【專利說明】信息處理裝置、信息處理方法和成像裝置
[0001]相關申請的交叉引用
[0002]本申請要求2013年I月23日申請的日本優(yōu)先權專利申請JP2013-010244的權益，該專利申請的整體內(nèi)容通過弓I用結合于此。
【技術領域】
[0003]本技術涉及可以提高運動校正性能的信息處理裝置、信息處理方法和成像裝置?！颈尘凹夹g】
[0004]在現(xiàn)有技術中的成像裝置中，通過由諸如角速度傳感器之類的運動檢測單元檢測成像時的攝影機抖動，并且基于檢測結果，通過移動光學系統(tǒng)和成像元件使得檢測到的攝影機抖動被取消，來執(zhí)行成像元件的成像表面上形成的光學圖像的抖動的校正。
[0005]另外，在日本待審專利申請公布第2007-074360號中，基于運動檢測結果來計算由成像裝置在按下快門按鈕并獲取捕捉圖像時的運動引起的圖像模糊，并且執(zhí)行對計算的圖像模糊的校正。

【發(fā)明內(nèi)容】

[0006]順便提及，在基于運動檢測結果來校正捕捉圖像的圖像模糊的情況下，如果運動檢測和捕捉圖像的獲取之間的時間差足夠短，則運動檢測結果更加正確地指示對圖像進行捕捉的時間點的運動，這樣一來就可以更加準確地校正圖像模糊。然而，如果運動檢測和捕捉圖像的獲取之間的時間差大，則運動檢測結果和對圖像進行捕捉的時間點的運動彼此不同，這樣一來就存在如下?lián)鷳n:運動校正亦即圖像模糊校正的性能可能惡化。
[0007]因此，在本技術中，希望提供可以提高運動校正性能的信息處理裝置、信息處理方法和成像裝置。
[0008]根據(jù)本技術的實施例，提供了一種信息處理裝置，該信息處理裝置包括:放大檢測單元，其根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過運動生成的所述圖像的運動的放大；以及信息抑制單元，其基于所述放大檢測單元的檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信息。
[0009]在這個技術中，根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，檢測運動校正中的圖像的運動相對于通過運動生成的圖像的運動的放大。例如,存在如下情況:通過計算指示對運動校正中的圖像的運動進行放大的分量比例的穩(wěn)定率，并且通過將穩(wěn)定率轉換成將要用作檢測結果的運動信息的校正率，根據(jù)指示成像裝置生成的圖像的幀速率和成像裝置的抖動的運動信息，來校正成像裝置的抖動造成的圖像的運動。例如，基于對應于預定幀數(shù)的運動信息以及從運動信息提取的對圖像的運動進行放大的分量或者不對圖像的運動進行放大的分量，來計算穩(wěn)定率。另外，通過切換其中穩(wěn)定率被轉換成校正率的轉換特性，可以切換運動校正的校正特性。例如，在其中在運動校正中強調(diào)圖像的運動的放大抑制的情況下，轉換特性被設置成使得與強調(diào)校正準確性的情況相比，在其中穩(wěn)定率低的區(qū)間中，其中抖動校正未被執(zhí)行的狀態(tài)下的校正率區(qū)間更長。以這種方式獲得基于校正率的運動信息的抑制，并且使用抑制的運動信息執(zhí)行運動校正。
[0010]另外，使用運動信息執(zhí)行運動預測，然后生成運動預測信息。在運動預測中，使用一個或多個不同的預測模型。在運動預測信息的預測誤差小于預先設置的閾值的情況下，運動預測信息用作校正運動信息；而在預測誤差等于或大于預先設置的閾值的情況下，抑制的運動信息用作校正運動信息。然后使用校正運動信息來執(zhí)行運動校正。進而，在使用多個不同的預測模型的情況下，并且在最小預測誤差小于預先設置的閾值的情況下，通過使用具有最小預測誤差的預測模型而獲得的運動預測信息用作校正運動信息。另外，在生成運動信息的運動檢測單元中，通過使用圖像的一部分生成運動信息，來減少其中執(zhí)行運動校正的圖像和運動檢測之間的時間差。
[0011]根據(jù)本技術的另一個實施例，提供了一種信息處理方法，該方法包括:根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過運動生成的所述圖像的運動的放大；以及基于檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信
肩、O
[0012]根據(jù)本技術的還有另一個實施例，提供了 一種成像裝置，該成像裝置包括:成像單元，其生成捕捉圖像的圖像信號；運動檢測單元，其檢測所述裝置的運動并且生成運動信息；放大檢測單元，其根據(jù)運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過所述裝置的運動生成的所述圖像的運動的放大；信息抑制單元，其基于所述放大檢測單元的檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信息；以及校正單元，其基于所述信息抑制單元生成的校正運動信息，執(zhí)行對所述捕捉圖像的運動校正。
[0013]根據(jù)本技術，根據(jù)指示圖像的幀速率和運動檢測結果的運動信息，檢測運動校正中的圖像的運動相對于通過運動生成的圖像的運動的放大。另外，基于放大檢測單元的檢測結果而使得圖像的運動在運動校正中不被放大的運動信息所指示的運動被抑制，然后生成運動校正中使用的校正運動信息。因此，例如通過基于校正運動信息執(zhí)行運動校正，由于可以防止圖像模糊在抖動校正中增加，所以可以提高運動校正的性能。
【專利附圖】

【附圖說明】
[0014]圖1是圖示抖動頻率和抖動校正之后的振幅放大率之間的關系的示圖；
[0015]圖2A和2B是圖示(在抖動頻率低的情況下)抖動校正之前和之后的抖動振幅的示圖；
[0016]圖3A和3B是圖示(在抖動頻率高的情況下)抖動校正之前和之后的抖動振幅的示圖；
[0017]圖4是圖示使用根據(jù)本技術的信息處理裝置的成像裝置的配置的示圖；
[0018]圖5是圖示第一實施例中的抖動校正控制單元的配置的示圖；
[0019]圖6是圖示抖動校正操作的例子的流程圖；
[0020]圖7是圖示抑制處理單元的第一配置的示圖；[0021]圖8A至8C是圖示將穩(wěn)定率轉換成校正率的情況下的轉換特性的示圖；
[0022]圖9是圖示放大檢測單元的配置的示圖；
[0023]圖10是圖示放大檢測單元的修改例子的示圖；
[0024]圖11是圖示放大檢測單元的修改例子的示圖；
[0025]圖12是圖示放大檢測單元的修改例子的示圖；
[0026]圖13是圖示在提供抑制處理單元的情況下抖動頻率和抖動校正之后的振幅放大率之間的關系的不圖；
[0027]圖14是圖示抑制處理單元的第二配置的示圖；
[0028]圖15是圖示抑制處理單元的第三配置的示圖；
[0029]圖16是圖示第二實施例中的抖動校正控制單元的配置的示圖；
[0030]圖17是圖示第二實施例中的抖動校正操作的流程圖；
[0031]圖18是用于描述多項式逼近模型的示圖；
[0032]圖19是用于描述自回歸模型的示圖；
[0033]圖20是圖示預測確定單元的第一配置的示圖；
[0034]圖21是圖示(在一幀時延的情況下)運動檢測結果、運動預測結果和抖動校正的定時的示圖；
[0035]圖22是圖示(在0.5幀時延的情況下)運動檢測結果、運動預測結果和抖動校正的定時的示圖；
[0036]圖23是圖示當使用運動預測結果執(zhí)行抖動校正時抖動頻率和抖動校正之后的振幅放大率之間的關系的示圖；
[0037]圖24是圖示預測確定單元的第二配置的示圖；
[0038]圖25是圖示使用多個運動預測的情況下的操作的流程圖；
[0039]圖26是圖示在使用運動預測結果和抑制處理來執(zhí)行抖動校正的情況下抖動頻率和抖動校正之后的振幅放大率之間的關系的示圖；
[0040]圖27是圖示使用運動檢測傳感器的成像裝置的配置的示圖；以及
[0041]圖28是用于描述通過縮短延遲時間來抑制逆校正的情況的示圖。
【具體實施方式】
[0042]在下文中描述用于實施本技術的實施例。按照以下順序進行描述。
[0043]1.關于運動校正性能的惡化
[0044]2.成像裝置的配置
[0045]3.第一實施例
[0046]3-1.第一實施例中的配置
[0047]3-2.第一實施例中的操作
[0048]3-3.抑制處理單元的第一配置和操作
[0049]3-3-1.放大檢測單元的配置和操作
[0050]3-3-2.放大檢測單元的修改例子
[0051]3-4.抑制處理單元的第二配置
[0052]3-5.抑制處理單元的第三配置[0053]4.第二實施例
[0054]4-1.第二實施例中的配置
[0055]4-2.第二實施例中的操作
[0056]4-3.關于運動預測
[0057]4-4.預測確定單元的第一配置和操作
[0058]4-5.預測確定單元的第二配置和操作
[0059]5.其它實施例
[0060]1.關于運動校正性能的惡化
[0061]當運動檢測和捕捉圖像的獲取之間的時間差大時，運動檢測結果和對圖像進行捕捉的時間點的運動之間的差異變大，存在運動校正的性能可能惡化的擔憂。
[0062]通過運動檢測在時間X檢測的運動向量MVh (X)被模型化為如方程(I)中所示的正弦波。在方程(I)中，“Fi”是運動檢測的采樣頻率，“Fh”是檢測的運動的頻率。在像這樣模型化的情況下，運動校正的效果可以如方程(2)所示。此外，當針對每個幀執(zhí)行運動校正時，方程(2)展示了如下情況:使用運動向量“VB”從幀“PO”至幀“P (t-Ι)”的累積量和一幀延遲的運動向量“VC” (=MVh (X-D)的累積量，運動向量“VA”從幀“PO”至幀“Pt”的累積量被校正為“VA- (VB+VC)”。另外，從方程(2)計算的值是運動校正之后的振幅放大率。
【權利要求】
1.一種信息處理裝置，包括: 放大檢測單元，其根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過運動生成的所述圖像的運動的放大；以及 信息抑制單元，其基于所述放大檢測單元的檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信息。
2.根據(jù)權利要求1所述的信息處理裝置，進一步包括: 濾波器，其執(zhí)行通過所述運動信息在所述運動校正中對所述圖像的運動進行放大的分量的去除， 其中，所述信息抑制單元生成關于濾波處理過的運動信息執(zhí)行運動抑制的校正運動信息。
3.根據(jù)權利要求1所述的信息處理裝置，其中，所述放大檢測單元計算指示在所述運動校正中不對所述圖像的運動進行放大的分量的比例的穩(wěn)定率，并且將所述穩(wěn)定率轉換成所述運動信息的校正率，并且 其中，所述信息抑制單元基于所述校正率來執(zhí)行所述運動信息指示的運動的抑制。
4.根據(jù)權利要求3所述的信息處理裝置，其中，基于對應于預定幀數(shù)的所述運動信息以及從所述運動信息提取的對所述圖像的運動進行放大的分量或者不對所述圖像的運動進行放大的分量，所述放大檢測單元計算所述穩(wěn)定率。
5.根據(jù)權利要求3所述的信息處理裝置，其中，通過切換其中所述穩(wěn)定率被轉換成所述校正率的轉換特性，所述放大檢測單元切換所述運動校正的校正特性。
6.根據(jù)權利要求5所述的信息處理裝置，其中，在其中在所述運動校正中強調(diào)所述圖像的運動的放大抑制的情況下，所述放大檢測單元設置所述轉換特性，使得與強調(diào)校正準確性的情況相比，在其中所述穩(wěn)定率低的區(qū)間中，其中抖動校正未被執(zhí)行的狀態(tài)下的校正率區(qū)間更長。
7.根據(jù)權利要求1所述的信息處理裝置，進一步包括: 運動預測單元，其使用所述運動信息執(zhí)行運動預測以生成運動預測信息；以及選擇處理單元，其在所述運動預測信息的預測誤差小于預先設置的閾值的情況下使用所述運動預測信息作為所述校正運動信息，并且在所述運動預測信息的預測誤差等于或大于預先設置的閾值的情況下使用所述運動的抑制的運動信息作為所述校正運動信息。
8.根據(jù)權利要求7所述的信息處理裝置，其中，所述運動預測單元針對多個不同預測模型中的每一個執(zhí)行所述運動預測以生成所述運動預測信息，并且 其中，在所述多個不同預測模型中的最小預測誤差小于預先設置的閾值的情況下，所述選擇處理單元使用通過使用具有所述最小預測誤差的預測模型而獲得的運動預測信息作為所述校正運動信息。
9.根據(jù)權利要求1所述的信息處理裝置，進一步包括: 運動檢測單元，其生成所述運動信息， 其中，通過使用所述圖像的一部分生成所述運動信息，所述運動檢測單元減少其中執(zhí)行所述運動校正的所述圖像和運動檢測之間的時間差。
10.根據(jù)權利要求3所述的信息處理裝置，其中，所述放大檢測單元包括:低通濾波器，其對所述運動信息執(zhí)行濾波過程，并且提取在所述運動校正中不對所述圖像的運動進行放大的分量作為低頻分量信號； 第一絕對值平均計算單元，其使用所述低通濾波器提取的與一直到多個以前幀的預定數(shù)目的幀相對應的低頻分量信號來計算絕對值的平均值； 第二絕對值平均計算單元，其使用與一直到所述多個以前幀的預定數(shù)目的幀相對應的所述運動信息來計算絕對值的平均值； 除法計算單元，其通過將所述第一絕對值平均計算單元計算的平均值除以所述第二絕對值平均計算單元計算的平均值來計算所述穩(wěn)定率；以及 校正率確定單元，其基于所述除法計算單元計算的穩(wěn)定率來確定所述校正率。
11.根據(jù)權利要求3所述的信息處理裝置，其中，所述放大檢測單元包括: 低通濾波器，其對所述運動信息執(zhí)行濾波過程，并且提取在所述運動校正中不對所述圖像的運動進行放大的分量作為低頻分量信號； 第一絕對值求和計算單元，其使用所述低通濾波器提取的與一直到多個以前幀的預定數(shù)目的幀相對應的低頻分量信號來計算絕對值之和； 第二絕對值求和計算單元，其使用與一直到所述多個以前幀的預定數(shù)目的幀相對應的所述運動信息來計算絕對值之和； 除法計算單元，其通過將所述第一絕對值之和計算單元計算的絕對值之和除以所述第二絕對值之和計算單元計算的絕對值之和來計算所述穩(wěn)定率；以及 校正率確定單元，其基于所述除法計算單元計算的穩(wěn)定率來確定所述校正率。
12.根據(jù)權利要求3所述的信息處理裝置，其中，所述放大檢測單元包括: 高通濾波器，其對所述運動信息執(zhí)行濾波過程，并且提取在所述運動校正中對所述圖像的運動進行放大的分量作為高頻分量信號； 第一絕對值平均計算單元，其使用所述高通濾波器提取的與一直到多個以前幀的預定數(shù)目的幀相對應的高頻分量信號來計算絕對值的平均值； 第二絕對值平均計算單元，其使用與一直到所述多個以前幀的預定數(shù)目的幀相對應的所述運動信息來計算絕對值的平均值； 除法計算單元，其通過將所述第一絕對值平均計算單元計算的平均值除以所述第二絕對值平均計算單元計算的平均值來計算比例； 穩(wěn)定率計算單元，其使用所述除法計算單元計算的比例來執(zhí)行所述穩(wěn)定率的計算；以及 校正率確定單元，其基于所述穩(wěn)定率計算單元計算的穩(wěn)定率來確定所述校正率。
13.根據(jù)權利要求3所述的信息處理裝置，其中，所述放大檢測單元包括: 低通濾波器，其對所述運動信息執(zhí)行濾波過程，并且提取在所述運動校正中不對所述圖像的運動進行放大的分量作為低頻分量信號； 第一峰值檢測單元，其從所述低通濾波器提取的與一直到多個以前幀的預定數(shù)目的幀相對應的低頻分量信號中檢測峰值； 第二峰值檢測單元，其使用與一直到所述多個以前幀的預定數(shù)目的幀相對應的所述運動信息來檢測峰值； 除法計算單元，其通過將所述第一峰值檢測單元檢測的峰值除以所述第二峰值檢測單元檢測的峰值來所述穩(wěn)定率；以及 校正率確定單元，其基于所述除法計算單元計算的穩(wěn)定率來確定所述校正率。
14.一種信息處理方法,包括: 根據(jù)指示運動檢測結果的運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過運動生成的所述圖像的運動的放大；以及 基于檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信息。
15.一種成像裝置，包括: 成像單元，其生成捕捉圖像的圖像信號； 運動檢測單元，其檢測所述裝置的運動并且生成運動信息； 放大檢測單元，其根據(jù)運動信息和圖像的幀速率，檢測運動校正中的所述圖像的運動相對于通過所述裝置的運動生成的所述圖像的運動的放大； 信息抑制單元，其基于所述放大檢測單元的檢測結果抑制所述運動信息指示的運動，使得所述圖像的運動在所述運動校正中不被放大，并且生成所述運動校正中使用的校正運動信息；以及 校正單元，其基于所 述信息抑制單元生成的校正運動信息，執(zhí)行對所述捕捉圖像的運動校正。
【文檔編號】H04N5/232GK103945111SQ201410020262
【公開日】2014年7月23日 申請日期:2014年1月16日 優(yōu)先權日:2013年1月23日
【發(fā)明者】橫川昌俊, 名云武文 申請人:索尼公司