專利名稱：圖像處理裝置以及方法、圖像處理程序以及圖像處理器的制作方法
技術領域：
本發(fā)明涉及算出多個圖像間對應點的圖像處理技術，特別涉及在多個 圖像間被攝體與光源相對位置不同的情況下也能算出位置誤差小的對應 點的圖像處理技術。
背景技術：
目前，正在廣泛研發(fā)算出多個圖像間的對應點和動態(tài)圖像運動矢量的 技術。該技術是一種在數(shù)碼視頻照相機和數(shù)碼視頻照相機的圖像手抖動補 償?shù)犬嬞|改善處理、動態(tài)圖像編碼處理、汽車安全駕駛支持系統(tǒng)、和用于 機器人的形態(tài)識別處理等中通用的基礎技術。
這里所說的"多個圖像"包含兩種視點位置不同、用多個照相機拍 攝的多視點圖像；和用一個照相機以一定時間間隔(例如1/30秒)連續(xù)拍 攝的由多張圖像組成的動態(tài)圖像。另外，由于計算多視點圖像對應點的技 術與計算動態(tài)圖像運動矢量的技術有很多共通部分，所以本申請說明書 中，對二者不加區(qū)別。
在計算多個圖像間對應點和運動矢量的技術中，具有代表性的技術在 例如專利文獻1、非專利文獻1和2中有述。具體而言就是塊匹配法， 將圖像間的矩形區(qū)域的亮度差和相關值作為評價值，求出該值為最佳時的 位置；梯度法，使用圖像亮度的空間梯度和圖像間的亮度差，求出位移量; 和相位相關法，利用傅里葉變換，根據(jù)相位相關函數(shù)的峰值，求出位移量。 但是，在這些現(xiàn)有技術中，已知存在以下課題在多個圖像間，在照明條 件不同的情況下(光源與被攝體與照相機的相對位置不同的情況和光源強 度不同的情況等)，算出的對應點的位置誤差就會變大。
另一方面，例如在專利文獻2和3中公開了一種在照明條件不同的圖 像間降低對應點位置誤差的技術。
專利文獻2所述的技術通過抽出輸入圖像的指定的亮度范圍的像素來
7降低圖像中鏡面反射區(qū)的影響并由此算出位置誤差小的運動矢量。根據(jù)該 技術，雖然可以期待縮小鏡面反射區(qū)域的運動矢量的誤差。但無法減少非 鏡面反射區(qū)的運動矢量誤差。
另一方面，專利文獻3所述的技術著眼于亮度的空間梯度和其變化較 大的邊緣或角落等區(qū)域，算出該區(qū)域的運動矢量。根據(jù)該技術，可以縮小 亮度梯度較大的邊緣區(qū)域的運動矢量的位置誤差。
專利文獻1:日本專利特許第2676978號說明書 專利文獻2:日本專利特開2000-36051號公報 專利文獻3:日本專利特開平7-66989號公報
非專禾l(文獻1: Bruce D. Lucas and Takeo Kanade. "An Iterative Image Registration Technique with an Application to Stereo Vision.", International Joint Conference on Artificial Intelligence, pages 674-679, 1981.
非專禾ll文獻2: Carlo Tomasi and Takeo Kanade. "Detection and Tracking of Point Features.", Carnegie Mellon University Technical Report CMU-CS-91-132, April 1991.
然而，像專利文獻3所述技術那樣的算出邊緣區(qū)域的運動矢量的方法 減少不了非邊緣區(qū)域運動矢量的位置誤差。因此，如果例如被攝體為立體 形狀、被攝體的運動使邊緣區(qū)域和非邊緣區(qū)域的運動矢量不同，就會帶來
以下課題非邊緣區(qū)域運動矢量的位置誤差變大。

發(fā)明內容
本發(fā)明的目的在于，在照明條件不同的多個圖像被輸入的情況下，生 成位置誤差小的對應點和運動矢量。
本發(fā)明的圖像處理裝置具備初始對應點算出部，根據(jù)N張圖像的圖
像數(shù)據(jù)，算出n組跨越所述N張圖像的對應點即n組初始對應點；基準候 補生成部，從所述n組初始對應點中選擇將s組的初始對應點的集合作為 l組的基準對應點的候補，生成M組的基準對應點的候補；系數(shù)算出部， 對于所述M組的基準對應點的候補的各組，按照使各圖像上的點的亮度 值滿足光學約束方程的方式，算出所述光學約束方程的系數(shù)即光學系數(shù)； 新候補生成部，對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組而確定的圖像間的幾何約束方程的方式，生成多組將圖像間相
互關聯(lián)對應的新的對應點的集合作為1組的關注對應點的候補；第1選擇
部，對于所述多組的關注對應點的候補的各組，根據(jù)各圖像上的點的亮度 值和算出的所述光學系數(shù)，評價滿足光學約束方程的程度，根據(jù)評價結果，
選擇l組的關注對應點的候補作為關注對應點輸出；和第2選擇部，根據(jù) 所述第1選擇部的評價結果，對所述M組的基準對應點的候補的各組進 行評價，根據(jù)評價結果，從所述M組的基準對應點的候補中選擇1組的 基準對應點的候補，將選擇的所述1組的基準對應點的候補和與選擇的所 述候補對應的關注對應點作為跨越所述N張圖像的對應點而輸出；其中， N、 n為4以上的整數(shù)，s為4以上n以下的整數(shù)，M為2以上的整數(shù)。
也可以所述基準候補生成部對由所選擇的s組的初始對應點的所述N 張圖像的亮度值組成的NXs亮度矩陣的獨立性進行評價，根據(jù)評價結果， 選擇所述M組的基準對應點的各個候補。
也可以所述基準候補生成部將所述NXs亮度矩陣的第3固有值與第 1固有值的比作為評價值，從得到更大評價值的NXs亮度矩陣所對應的s 組的初始對應點的集合開始依次選擇基準對應點的候補。
也可以所述基準候補生成部在所述NXs亮度矩陣的第3固有值與第 1固有值的比小于預先決定的閾值的情況下，將與所述NXs亮度矩陣相 對應的s組的初始對應點的集合從基準對應點的候補中排除。
也可以所述基準候補生成部對于選擇的s組的初始對應點，對各圖像 上的點附近的亮度值的空間梯度的大小進行評價，從得到更大空間梯度的 s組的初始對應點的集合開始優(yōu)先選擇基準對應點的候補。
也可以所述N張圖像是彩色圖像，所述基準候補生成部對于選擇的s 組的初始對應點，對各圖像上的點附近的各色圖像間的相關進行評價，從 得到更低相關的s組的初始對應點的集合開始優(yōu)先選擇基準對應點的候 補。
也可以所述系數(shù)算出部，將按照各圖像上的各點的點間距離和各圖像 上的被攝體的倍率中的一方確定了截止頻率的空間方向的低通濾波器應 用于所述圖像數(shù)據(jù)，將得到的亮度值作為所述各圖像上相互關聯(lián)對應的點 的亮度值而使用。
9作為所述各基準對應點候補的各圖像上的點的亮度值，所述系數(shù)算出 部也可以使用位于該點附近的至少1個點的亮度值，算出所述光學系數(shù)。
所述系數(shù)算出部也可以使用接近該點周圍、與該點亮度值的差是在規(guī) 定范圍內的至少l個點的亮度值，算出所述光學系數(shù)。
在該點亮度值與該點周圍鄰近點亮度值的差大于規(guī)定范圍時，所述系 數(shù)算出部也可以使用位于該點附近的至少1個點的亮度值，算出所述光學 系數(shù)。
所述的圖像處理裝置也可以還具備還具備-
坐標轉換部，按照規(guī)定的放大率放大N張圖像中的至少1張圖像，生 成按照所述規(guī)定的放大率來映射所述N張圖像中的至少k張圖像的各像素 值后的多個坐標轉換圖像的組，作為放大后的圖像的像素值；和圖像生成 部，選擇所述多個坐標轉換圖像中的k張坐標轉換圖像，按照使所述k張 坐標轉換圖像之間的相互對應的各坐標轉換圖像上的點的亮度值滿足光 學約束方程的方式，算出作為所述光學約束方程的系數(shù)即轉換系數(shù)，通過 用轉換系數(shù)對所述N張坐標轉換圖像進行線性組合來生成合成圖像；其中 k為3以上N以下的整數(shù)。
也可以所述圖像生成部按照由包含在轉換前的各圖像中的被攝體的 面積與包含在所述坐標轉換圖像中的被攝體的面積所決定的被攝體面積 的比的大小，選擇所述k張坐標轉換圖像。
本發(fā)明的圖像處理方法包含以下步驟根據(jù)N張圖像的圖像數(shù)據(jù)，算 出n組的跨越所述N張圖像的對應點即n組初始對應點的步驟；從所述n 組初始對應點中選擇s組的初始對應點的步驟；生成M組將s組的初始對 應點的集合作為1組的基準對應點的候補的步驟；對于所述M組的基準 對應點的候補的各組，按照使各圖像上的點的亮度值滿足光學約束方程的 方式，算出所述光學約束方程系數(shù)即光學系數(shù)的步驟；對于所述M組的 基準對應點的候補的各組，按照滿足依照所述各組確定的圖像間的幾何約 束方程的方式，生成多組將圖像間相互關聯(lián)對應的新的對應點的集合作為 1組的關注對應點的候補的步驟；對于所述多組的關注對應點的候補的各 組，根據(jù)各圖像上的點的亮度值和算出的所述光學系數(shù)，評價滿足光學約 束方程的程度的步驟；根據(jù)評價結果，選擇l組的關注對應點的候補，作
10為關注對應點輸出的步驟；根據(jù)所述評價結果，對所述M組的基準對應 點的候補的各組進行評價，根據(jù)評價結果，從所述M組的基準對應點的 候補中選擇1組的基準對應點的候補的步驟；和將選擇的所述1組的基準 對應點的候補和與選擇的所述候補對應的關注對應點作為跨越所述N張 圖像的對應點而輸出的步驟；其中，N、 n為4以上的整數(shù)，s為4以上n 以下的整數(shù)，M為2以上的整數(shù)。
本發(fā)明的記錄媒體記錄計算機程序。所述計算機程序在計算機上執(zhí)行 以下步驟根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組的跨越所述N張圖像的 對應點即n組的初始對應點的步驟；生成M組將跨越所述N張圖像的s 組的初始對應點的集合作為1組的基準對應點的候補的步驟；對于所述M 組的基準對應點的候補的各組，按照使各圖像上的點的亮度值滿足光學約 束方程的方式，算出所述光學約束方程系數(shù)即光學系數(shù)的步驟；對于所述 M組的基準對應點的候補的各組，按照滿足依照所述各組確定的圖像間的 幾何約束方程的方式，生成多組將圖像間相互關聯(lián)對應的新的對應點的集 合作為1組的關注對應點的候補的步驟；對于所述多組的關注對應點的候 補的各組，根據(jù)各圖像上的點的亮度值和算出的所述光學系數(shù)，評價滿足 光學約束方程的程度的步驟；根據(jù)評價結果，選擇1組關注對應點的候補， 作為關注對應點輸出的步驟；根據(jù)所述評價結果，對所述M組的基準對 應點的候補的各組進行評價，根據(jù)評價結果，從所述M組的基準對應點 的候補中選擇1組的基準對應點的候補的步驟；和將選擇的所述1組的基 準對應點的候補和與選擇的所述候補對應的關注對應點作為跨越所述N 張圖像的對應點輸出的步驟；其中，N、 n為4以上的整數(shù)，s為4以上n 以下的整數(shù)，M為2以上的整數(shù)。
本發(fā)明的處理器可以執(zhí)行計算機程序。所述處理器通過執(zhí)行圖像處理 程序，執(zhí)行以下步驟根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組的跨越所述N 張圖像的對應點即n組的初始對應點的步驟；生成M組將跨越所述N張 圖像的s組的初始對應點的集合作為1組的基準對應點的候補的步驟；對 于所述M組的基準對應點的候補的各組，按照使圖像間相互關聯(lián)對應的 各圖像上的點的亮度值滿足光學約束方程的方式，算出所述光學約束方程 的系數(shù)即光學系數(shù)的步驟；對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組確定的圖像間的幾何約束方程的方式，生成多組將 圖像間相互關聯(lián)對應的新的對應點的集合作為1組的關注對應點的候補的 步驟；對于所述多組關注對應點的候補的各組，根據(jù)圖像間相互關聯(lián)對應 的各圖像上的點的亮度值和算出的所述光學系數(shù)，評價滿足光學約束方程 的程度的步驟；根據(jù)評價結果，選擇1組的關注對應點的候補，作為關注 對應點輸出的步驟；根據(jù)所述評價結果，對所述M組的基準對應點的候 補的各組進行評價，根據(jù)評價結果，從所述M組的基準對應點的候補中 選擇1組的基準對應點的候補的步驟；和將選擇的所述1組的基準對應點 的候補和與選擇的所述候補對應的關注對應點作為跨越所述N張圖像的 對應點輸出的步驟；其中，N、 n為4以上的整數(shù)，M為2以上的整數(shù)。
本發(fā)明的圖像處理裝置具備初始對應點算出部，根據(jù)N張圖像的圖 像數(shù)據(jù)，算出n組的跨越所述N張圖像的對應點即n組的初始對應點；和 對應點再算出部，從所述n組的初始對應點中選擇滿足幾何約束方程和光 學約束方程的s組的初始對應點作為基準對應點輸出，并且，算出滿足基 于所述基準對應點的幾何約束方程和光學約束方程的關注對應點并進行 輸出；其中，N、 n為4以上的整數(shù)，s為4以上n以下的整數(shù)。
根據(jù)本發(fā)明，同時滿足光學約束方程和幾何約束方程的點就會作為跨 越多個圖像的相對應的對應點被指定。這里，光學約束方程是亮度變化依 賴于被攝體與光源的相對位置變化的約束方程，幾何約束方程是對應點位 置依賴于被攝體與光源的相對位置變化的約束方程。這樣，即使多個圖像 間被攝體與光源的相對位置不同，也可以算出位置誤差減低的對應點。此 外，對動態(tài)圖像使用高分辨率化處理，可以得到運動矢量位置誤差減少的 高畫質(分辨率)的影像數(shù)據(jù)。


圖1是表示根據(jù)實施方式1的圖像處理裝置100的功能模塊構成的圖。 圖2的(a)是表示使用圖像處理裝置100的圖像的拍攝環(huán)境的圖， (b)是表示所拍圖像的例子的圖。
圖3是表示用照相機101拍攝的、被存儲在圖像存儲部102中的動態(tài) 圖像的一連串圖像的例子的圖。
12圖4是表示基準對應點候補的例子的圖。
圖5 (a) (d)是表示各圖像的關注對應點的候補的例子的圖。
圖6是圖像處理裝置100的動作步驟的流程圖。
圖7是是表示根據(jù)實施方式2的圖像處理裝置120的功能模塊構成的圖。
圖8是表示實施方式2中的多張輸入圖像的例子的圖。 圖9是構圖與圖8 (c)的一個輸入圖像13 (k=3)相同的多個坐標轉
換圖像l3,j的例子。
圖10是表示實施方式2的圖像處理裝置120所生成的合成圖像的例 子的圖。
圖11的(a)表示圖10 (c)的合成圖像的放大圖，(b)是圖8 (c) 的輸入圖像的放大圖。
圖12的(a)是用根據(jù)現(xiàn)有技術的對應點算出方法得到的對應點與用 根據(jù)本發(fā)明的對應點算出方法得到的對應點的比較例的示意圖，(b)是 表示從位置誤差較多的對應點生成的合成圖像的例子的圖，(c)是表示 從位置誤差較少的對應點生成的合成圖像的例子的圖。
圖13是表示由計算機構成的圖像處理裝置的硬件構成圖
符號的說明
100、 120圖像處理裝置
101 ' 照相機
102 ' 圖像存儲部
113 ' 初始對應點算出部
103 ''，基準候補生成部
104 '>*對應點再算出部
105 '"光學系數(shù)算出部
106 ' 新候補生成部
107 '新候補選擇部
簡 ' 基準候補選擇部
109 ''*輸出部110***圖像合成部
111坐標轉換部
112圖像生成部
具體實施例方式
下面，參照附圖，對本發(fā)明的圖像處理裝置的實施方式進行說明。 本申請的說明書對拍攝在實際空間空間中所存在的被攝體而得到的 一張或多張圖像相關聯(lián)來對"對應點"這一用語進行定義。
所謂"對應點"(a corresponding point)是指與實際空間中的任意1 點對應的l個圖像上的點。
所謂"跨越多個圖像(N張)的對應點"(corresponding points across N number of images)是指與實際空間中的任意1點對應的在多個圖像(N 張)中的每一個被定義的1組對應點。它是與實際空間中的同一點相對應、 各圖像上確定的對應點的集合，具體而言就是，綜合多個圖像(N張)的 各圖像上的對應點的圖像坐標值，將其表現(xiàn)為1組圖像坐標值。希望注意 的是，就跨越多個圖像的對應點而言，相對于特定的一個圖像上的1個點， 在其它圖像上并不限定是1個點而被確定。
所謂"跨越多個圖像(N張)的多組(n組)的對應點"是指在實際 空間中分別對n個點定義的跨越多個圖像(N張)的對應點的集合。它聚 集了n組不同的"跨越多個圖像(N張)的對應點"。這時，在各圖像上 就會存在n個屬于不同組的對應點。
在本申請的說明書中，規(guī)定了 "初始對應點"、"基準對應點"等各 種"對應點"，與上述同樣的定義適用于任何一種對應點。 (實施方式1)
圖1表示本實施方式的圖像處理裝置100的功能模塊的構成。圖像處 理裝置100包括照相機101、圖像存儲部102、初始對應點算出部112、 對應點再算出部104、和輸出部109。
照相機101拍攝被攝體并輸出圖像數(shù)據(jù)。照相機101可以輸出動態(tài)圖 像和靜態(tài)圖像的任意一種圖像數(shù)據(jù)。如果是動態(tài)圖像數(shù)據(jù)，就輸出按規(guī)定 頻率(例如30Hz)切換的由多張圖像構成的圖像數(shù)據(jù)；如果是靜態(tài)圖像
14數(shù)據(jù)，就輸出一張圖像的圖像數(shù)據(jù)。
圖像存儲部102是將照相機101拍攝的圖像數(shù)據(jù)進行存儲的記錄媒 體，例如是幀存儲器或硬盤驅動器。圖像存儲部102所記錄的圖像數(shù)據(jù)被 輸入后述的初始對應點算出部113和對應點再算出部104。
初始對應點算出部113接收圖像存儲部102存儲的圖像數(shù)據(jù)，根據(jù)該 圖像數(shù)據(jù)，生成多組跨越多個圖像的對應點(以下將該對應點稱為"初始 對應點")。
對應點再算出部104接受初始對應點算出部113生成的多組初始對應 點和圖像數(shù)據(jù)，抽出將全部初始對應點組作為整個集合時的多個部分集 合。通過后述處理，"基準對應點組"從構成各部分集合的初始對應點組 中被確定。所以，以下將構成各部分集合的初始對應點組稱為"基準對應 點候補"。對應點再算出部104從多個基準對應點候補中選擇最佳的基準 對應點組。此外，輸出選擇的最佳的基準對應點組，并且輸出與該基準對 應點對應的新求出的對應點(也稱為"關注對應點")組。
對應點再算出部104包括:基準候補生成部103、光學系數(shù)算出部105、 新候補生成部106、新候補選擇部107、和基準候補選擇部108。
基準候補生成部103接受初始對應點算出部113生成的跨越多個圖像 的多組初始對應點，從所有的初始對應點組中選擇一部分的初始對應點的 部分集合，生成多組將它們作為1組基準對應點候補。
光學系數(shù)算出部105接受圖像數(shù)據(jù)和多組基準對應點候補，對多組基 準對應點候補的各組算出作為光學約束方程系數(shù)的光學系數(shù)，使圖像間相 互關聯(lián)對應的各圖像上的點的亮度值滿足該光學約束方程，
新候補生成部106接受多個基準對應點候補，重新算出滿足與各基準 對應點候補對應的幾何約束方程的多個對應點，將其作為關注對應點候補 輸出。
新候補選擇部107接受圖像數(shù)據(jù)、基于各基準對應點候補的光學系數(shù) 和關注對應點候補，根據(jù)關注對應點候補，評價滿足光學約束方程的程度， 根據(jù)評價結果，選擇l組關注對應點的候補，將其作為基于各基準對應點 候補的關注對應點輸出。
基準候補選擇部108接受多個基準對應點候補和與基準對應點候補相對應的關注對應點，根據(jù)新候補選擇部107的評價結果，對當初做成的多 個基準對應點候補進行評價，根據(jù)評價結果，從多個基準對應點候補中選 擇l組基準對應點候補。然后，將選擇的基準對應點和與選擇的基準對應 點對應的關注對應點作為圖像數(shù)據(jù)的跨越多個圖像的對應點輸出。
輸出部109成組輸出圖像存儲部102中存儲的多個圖像和由對應點再 算出部104算出的對應點。
在本實施方式中，圖像處理裝置IOO不僅具備用來算出多個圖像的對 應點的初始對應點算出部113和對應點再算出部104，還具備拍攝圖像并 進行記錄的照相機101、圖像存儲部102、和輸出所拍圖像和對應點的組 的輸出部109。由此，圖像處理裝置IOO可以算出并輸出照相機拍攝的圖 像的對應點。
為了便于理解發(fā)明內容，首先用具體例說明圖像處理裝置100的動作 概要，其后再說明圖像處理裝置100的動作原理和具體動作。 (圖像處理裝置100的動作概要說明)
圖2 (a)表示使用圖像處理裝置100的圖像拍攝環(huán)境，圖2 (b)表 示所拍圖像的實例。如圖2 (a)所示，在本實施方式中，照相機、被攝體 (雕像)、光源位置分別任意變化，與圖像處理裝置100的動作無關。圖 2 (a)環(huán)境中拍攝的一連串的多個(N張)圖像被作為輸入圖像處理。設 圖2中三維坐標系(X,Y,Z)是固定在被攝體上的坐標系。
現(xiàn)在，設例如像圖4所示的那樣，已得到4張對相同被攝體拍攝的圖 像(N=4)。如果假定被攝體上有8個點(n=8)，那么可以在各圖像上設 定與這8個點分別對應的、表示被攝體上相同位置的點(例如圖4的"〇" 和"X")。這些點的每一個為對應點，表示被攝體上相同位置的點的組 為跨越多個圖像而存在的對應點。進而，假定從8組跨越多個圖像而存在 的對應點中選擇出坐標位置被正確求出的4組，則匯集這4組(s=4)， 稱為1組基準對應點(例如圖4的"〇")。
同一被攝體上任意1點的跨越4張圖像的對應點的坐標值(位置矢量) 用跨越4張相同圖像的4個基準對應點的坐標值(位置矢量)的線性組合 記述。這時成立的式子稱為幾何約束方程。與各基準對應點的坐標值相乘 的系數(shù)在本申請的說明書中用"A"表示。此外，在得到新圖像(例如第5張圖像)的情況下，可以在該圖像上
也設定與被攝體上的8個點分別對應的點(對應點)。這種新圖像上的對 應點的坐標(位置矢量)用跨越之前的4張圖像的各對應點的坐標值(位 置矢量)的線性組合記述。這時成立的式子也稱為幾何約束方程。與各對 應點的坐標值相乘的系數(shù)在本申請的說明書中用"B"表示。該幾何約束 方程的系數(shù)"B"可以從與跨越之前的4張圖像的4個基準對應點相對應 的新圖像上的點的坐標中求出。
某個圖像上的任意的點的像素值(例如亮度值)可以用該點的其它3 張圖像上的對應點的像素值的線性組合來記述。這時成立的式子稱為光學 約束方程。與各對應點的像素值相乘的系數(shù)在本申請的說明書中用"C" 表不。
當給出4個基準對應點時，根據(jù)給出的基準對應點，得到光學約束方
程系數(shù)。
當給出4個基準對應點、希望求出跨越4張圖像的基準對應點以外的 新的對應點(關注對應點)組時，這些新對應點的組就必需分別滿足幾何 約束方程和使用上述系數(shù)的光學約束方程。
就像以后詳細說明的那樣，當給出相對于設定在最初圖像上的點(關 注點)的可以認為是第2圖像上的對應點的候補時，幾何約束方程的系數(shù) A就會被算出，另夕卜，第3和第4圖像上的對應點的坐標也會被算出。在 第2圖像上的對應點被正確給出的情況下，所求出的新的對應點的組應該 滿足光學約束方程。
因此，在本實施方式中，通過在規(guī)定范圍內改變第2圖像上的對應點 給出方，陸續(xù)求出第3和第4圖像上的對應點候補。另外，將第1 第3 圖像上的對應點候補的圖像值代入光學約束方程，如果得到的值與第4圖 像上的對應點候補的像素值一致，就可以認為對應點被正確求出。如果不 一致，就將誤差最小的對應點候補當作正確的對應點輸出。
通過上述處理，根據(jù)基準對應點算出光學系數(shù)，并且，根據(jù)幾何約束 方程算出給出的關注點的對應點的候補，用光學約束方程進行評價。所得 到的對應點一定滿足幾何約束方程，而且同時最為滿足光學約束方程。由 此，即便在多個圖像間被攝體與光源的相對位置不同，也可以算出位置誤
17差降低的對應點。
另外，在上述說明中，前提是跨4張圖像來規(guī)定的各基準對應點的組 分別作為對應點正確地被指定。然而，例如在最初給出圖像數(shù)據(jù)時，有可
能沒有正確給出基準對應點。因此，本實施方式對從8組(n=8)對應點 中選出4組(s=4)而獲得的基準對應點也設定多個候補。然后，對基準 對應點的各個候補，執(zhí)行上述處理，將誤差較小的基準對應點候補指定為 正確的基準對應點。這樣，就可以在各圖像上更正確地求出基準對應點和 基準對應點以外的新的對應點(關注對應點)。 (圖像處理裝置100的動作原理說明) 下面，參照圖2，詳細說明本實施方式的圖像處理裝置100所利用的 三個動作原理。具體而言就是，跨越多個圖像的多個對應點都被正確給出 時的對應點的坐標值應該滿足的兩個幾何約束方程和對應點的亮度值應 該滿足的光學約束方程。在推導約束方程時，設定了以下的前提條件(1) 作為拍攝對象的被攝體是剛體；(2)光平行射入被攝體；(3)在被攝體 表面，光被完全擴散反射；(4)用仿射照相機拍攝被攝體。另外，即便 實際為多個物體，相對位置不變的多個物體也可以看作是同一剛體，也就 是同一被攝體。
首先，說明作為多個圖像上的對應點的約束方程的幾何約束方程。在 作為剛體的同一被攝體上，如果設n個點Pi的三維坐標值是(&， Y,， Zi) (Fl...n)，設仿射投影照相機對其進行觀察得到的N張圖像上的點是pi. j(i二l…n，j^…N)，設點Pi.j的圖像坐標值是(Xi,j，yhj) (i=l...n，j=l.,.N)， 那么上述幾何約束方程就可以通過使用2X4矩陣的(數(shù)式l)關系式表示。
18<formula>formula see original document page 19</formula>(數(shù)式1)中的系數(shù)aj， bj意為與被攝體坐標系中的照相機位置(也包
含方向)和仿射照相機的投影相乘后的系數(shù)。
在本實施方式中，照相機101可以用(數(shù)式l)表示的仿射照相機模
式來近似表現(xiàn)。另外，與(數(shù)式1)的仿射照相機模式相比，透視投影模 式往往更近似于一般照相機模式。但是，相對而言，在例如照相機焦距較 長、被攝體進深方向厚度較小、被攝體運動較少的情況下，仿射照相機的
就會變好。
如果一邊改變照相機位置， 一邊對同一被攝體上的n個點拍攝N張圖 那么圖像上點的坐標值就會像(數(shù)式2)那樣。 [數(shù)式2]
近似精<formula>formula see original document page 19</formula>這里，假定右邊的左側的仿射投影矩陣a』，bj是獨立的，且右邊右側的
對應點的三維坐標值PJ是獨立的。這時，由于右邊會分別展開四維空間，
所以左邊也會是階為4的高階矩陣，并且下列關系式成立。設對應點Pi. j中，N張圖像(N為4以上的整數(shù))中的任意4組(s=4) 對應點Pi.j (i=1...4， j=l...N)是已知的。這時，N張圖像(j-l…N)中 的其它的對應點Pi,.j. (i，=5...n)可以用(數(shù)式3)的關系式表示。
々,14
=S々
氣w
， ，
5』)
此外，第5張以后(j，=5...N)的圖像上的n個對應點坐標值可以使 用第1 4張圖像的n組的對應點的坐標值，通過(數(shù)式4)的關系式表示。 [數(shù)式4]
/3
X14
、t3
/'4
1.4
+ 5j 、,4
y 2
乂
5

義
3V
(尸"5J)
々1
+ 4,2
'、w

i 1
4 4在上述的多個對應點的坐標值間成立的兩個算式稱作幾何約束方程。
由于這些關系式已在A. Shash叫"Trilinear Tensor: The Fundamental Construct of Multiple-view Geometry and its Applications", APAC 1997等中
公開，所以，本說明書就援用這些文獻，省略詳細說明。
接下來，對在多個對應點的亮度值之間成立的光學約束方程進行說 明。光學約束方程是一種在被攝體為完全擴散反射的物體、且照明是并列 光源的情況下、被攝體與照明相對位置不同的多個圖像的亮度值之間成立 的約束方程。
這里，圖像可以認為是灰度(單色)圖像，在N張圖像Ij (j=l...N) 中，設對應點Pi,j的像素的亮度值是Ij (Pi.j)。這時，第4張以后的圖像 上的對應點亮度值Ij， (Pi,j，) (j，=4...N)可以使用第1 3張圖像的對應 點的亮度值Ij (j=1...3)，通過(數(shù)式5)的關系式表示。
3
J講1
對于光學約束方程的詳細內容，由于已在A. Shashua、 "Geometry and Photometry in 3D Visual Recognition", Ph. D thesis, pages 79-91, Dept. Brain and Cognitive Science, MIT (1992).等中公開，本說明書就援用這些文獻，
省略詳細說明。
(圖像處理裝置100的具體動作說明) 下面，對使用了上述的動作原理的圖像處理裝置100的具體動作進行
說明。 ，
本實施方式設使用者操作照相機IOI，在圖2 (a)的拍攝環(huán)境下拍攝 一連串動態(tài)圖像。圖像處理裝置IOO將拍攝的動態(tài)圖像的數(shù)據(jù)暫時存儲在 圖像存儲部102，對該數(shù)據(jù)算出對應點，進行圖像處理。
照相機101通過使用者的操作，在圖2的拍攝環(huán)境下，拍攝動態(tài)圖像， 將圖像數(shù)據(jù)送到圖像存儲部102。圖像存儲部102對該圖像數(shù)據(jù)進行存儲。 圖3表示由照相機101拍攝的存儲在圖像存儲部102中的動態(tài)圖像的一連
21串圖像的實例。它們按照上層左、上層右、中層左、中層右、下層的順序， 在照相機與被攝體相對于照明一點一點移動的拍攝狀況下被拍攝。
圖像處理裝置100利用例如圖3所示的保存在圖像存儲部102中的第 4張以上的圖像數(shù)據(jù)，算出圖像間的對應點并輸出。設多個圖像拍攝的是 共用的一個被攝體，該被攝體是剛體。
初始對應點算出部113接受圖3所示的圖像數(shù)據(jù)，以連續(xù)的4張(N-4) 圖像為單位，算出預先決定的數(shù)量(n組)的跨越4張圖像對應點的初始 對應點。
在本實施方式中，作為算出跨越多個圖像的初始對應點的方法，可以 使用塊匹配法，將小的矩形區(qū)域間的歸一化的相互相關作為評價值，算出 相關最高的位置。就像例如在"數(shù)碼圖像處理/奧富正敏編，202-204頁， 財團法人圖像情報教育振興協(xié)會發(fā)行"等中公開的那樣，基于使用歸一化 相互相關性的塊匹配法的對應點搜索方法是眾所周知的，所以，省略詳細 說明。
另外，在初始對應點算出部113中，利用現(xiàn)有的對應點算出法算出的 初始對應點存在以下問題就像上述課題欄中說明的那樣，尤其是在多個 圖像間照明條件變動的情況下，對應點的位置誤差就會變大。因此，初始 對應點算出部113生成的n組初始對應點就會包含位置誤差較大的對應點 組，概率大到無法忽略。
因此，對應點再算出部104從初始對應點算出部113生成的、包含位 置誤差較大的對應點的組的n組初始對應點中，選擇由位置誤差最小的4 組(s=4)初始對應點構成的基準對應點，將其與以選擇的基準對應點為 基礎新生成的關注對應點一起作為新的對應點輸出。
下面，進一步詳細說明對應點再算出部104的動作。
基準候補生成部103接受n組由初始對應點算出部113算出的跨越4 張圖像的初始對應點，以4組為單位進行例如隨機選擇，將得到的4組初 始對應點的集合作為1組基準對應點候補來生成。然后，生成M組(M: 2以上的整數(shù))的該基準對應點候補并進行輸出。
圖4表示基準對應點候補的實例。在圖4中，對于用"〇"標記表示 的由4組初始對應點的集合構成的基準對應點候補，對應點幾乎都被正確算出，而對于用"X"標記表示的由4組初始對應點的集合構成的基準對
應點候補， 一部分的對應點的組(例如鼻子的位置的對應點的組)中包含 了較大的位置誤差。
光學系數(shù)算出部105接受4張輸入圖像和基準候補生成部103生成的 M組基準對應點候補，對于基準對應點候補的各組，根據(jù)構成基準對應點 候補的4組對應點中的亮度值關系式(數(shù)式5)，算出光學系數(shù)Cj，并輸出。
更加具體地講就是，設4張圖像中第1 3張圖像是I,、 12、 13，設第 4張圖像是Ij。這時，由于構成各基準對應點候補的4組對應點的亮度值 Ij (Pi,j)滿足(數(shù)式5)的關系式，所以可以算出(數(shù)式5)中的3個系 數(shù)CjM、 &2和C」，3。這3個光學系數(shù)以M組基準對應點候補的各組為單位 算出并輸出。
新候補生成部106接受M組基準對應點候補，以構成各基準對應點 候補的初始對應點的組為單位，算出滿足幾何約束方程的多個對應點，將 它們作為關注對應點候補輸出。關注對應點候補是與基準對應點候補不同 的對應點的組。以下，參照圖5，說明算出與某1組基準對應點候補對應 的關注對應點候補的方法。
圖5 (a) (d)表示各圖像中的關注對應點候補的實例。在圖5 (a) (d)中，"O"標記表示M組基準對應點候補中的1組。例如，圖5(a) (d)所示的位于被攝體雕像的額部的基準對應點候補(" "標記)作 為被攝體雕像的額部有關的對應點在圖像間關聯(lián)對應。在以下的說明中， 假定圖像間相互關聯(lián)對應的基準對應點候補幾乎沒有位置誤差來進行說 明。這時，新候補生成部106對于第1張圖像上的所有像素，在將各像素 的圖像坐標值(Xi. p yi.,)作為1個關注點的情況下，算出多個第2 4 張圖像上的對應的點的候補的圖像坐標值。
下面，對算出與某一關注點(x, p yi,,)對應的第2 4張圖像上的 對應點的候補(關注對應點候補)的步驟進行說明。
使用以點(Xi, ,， yi,,)為中心的預定的矩形搜索范圍寬度土wsx、 ± wsy，給出與關注點(Xi, p yi,。對應的第2張圖像上的對應點候補的坐
標(Xi. 2, dx， y" 2. dy)(數(shù)式6)。
23翻《(U + & 861 — IWS3C 》
h,2身頃+辦，(辦晶—沐炒)
如果已經預先給出相對于第1張的關注點(Xi. p yi.,)的第2張的對 應點候補(Xi.2.dx, yi,2.dy)，那么第3、 4張圖像上的對應點候補的坐標 、Xj, 3, dx， yi. 3. dy )、(Xi.4,dx， y"4.dy)就可以通過(數(shù)式7)算出，該算 式使用了 (數(shù)式3)變形后得到的函數(shù)F。
(:H^，J^,3,命，t',4,血，=F(^i,l'J/4，i,2,血",2々)
也就是說，數(shù)式7意味著一旦決定第1張圖像上的關注點和第2張圖像上 的對應點候補，就可以算出第3、 4張圖像上的對應點候補。
現(xiàn)在，若設圖5 (a)中的"+ "標記是第1張圖像上的關注點，那么 圖5 (b)中的矩形區(qū)域內的多個點成為第2張圖像上的對應點候補。第3、 4張圖像上的對應點候補的區(qū)域存在于圖5 (c) (d)中的被四邊形包圍 的區(qū)域中。
像以上那樣，對于第1張的某一個關注點(x,, ,， yi.,)，可以算出W 種(W: (2*wsx+l) X (2*wsy+l))相對于關注點的對應點的候補(Xi,
2. dx， Yi. 2. dy) 、 (Xi, 3, dx， yi. 3. dy) 、 (Xj. 4, dx，力，4, dy)，將它們作為1
組關注對應點候補。
新候補生成部106以第1張圖像的所有像素(S像素)為關注點，重
復上述處理，對基準對應點候補的一組生成多組(s組)關注對應點候補。
新候補生成部106對M組基準對應點候補的各組進一步進行上述處 理，生成MXS組關注對應點候補的組。像以上那樣，新候補生成部106 所生成的MX SXW種的關注對應點候補成為相對于對應的基準對應點候 補，滿足任意一個幾何約束方程(數(shù)式3)的對應點的組。
新候補選擇部107接受輸入圖像、光學系數(shù)算出部算105出的光學系 數(shù)、新候補生成部106生成的關注對應點候補，選擇并輸出最滿足光學約 束方程(數(shù)式5)的關注對應點候補。新候補選擇部107的動作原理如下。
也就是說，在與某1組的基準對應點候補對應的多組關注對應點候補 的各組中，與某一個關注點對應的多種(W種)對應點的候補中的正確對 應的對應點的候補(關注對應點)應該滿足該1組基準對應點候補所滿足的光學約束方程(數(shù)式5)。
換言之，l組(W種)關注對應點候補中的正確的關注對應點，其表 示光學系數(shù)Cj，、第1張的關注點(Xi. i， yi.》及其對應點的候補(Xi. 2, dx， y" 2. dy) 、 (Xj. 3. dx， y" 3. dy) 、 dx, y". dy)關系的誤差評價式e訂
(Xi, ,， y卜,，Xi, 2. dx， yi. 2, dy)理想中應該成為0。 [數(shù)式8]
因此，新候補選擇部107就通過計算，從1組(W種)關注對應點候
補中指定并選擇(數(shù)式8)為最小的(Xi,2， yi.2) 、 (Xi.3，yi.3)、 (Xi.
4， y,4)(數(shù)式9)。 [數(shù)式9]
(xw y,',2》欲虹s^M^^^)^，；站，)^2^》
(氣3 ， 乂， ，^ ，乂',J -雄'l ，〉，,，而，h'2)
設上述關注點(X, n yi, !)和選擇的(Xi. 2，力.2) 、 (Xl. 3， y;, 3)、 (Xi.4， yi,4)的組為關注對應點。意思是該選擇的1組關注對應點是與 某1組基準對應點候補對應的1組(W種)關注對應點候補中最為滿足相 同基準對應點候補的光學約束方程(數(shù)式5)的對應點。
新候補選擇部107對與1組基準對應點候補對應的S組關注對應點候 補重復上述處理，對1組基準對應點候補算出S組關注對應點。新候補選 擇部107還對M組基準對應點候補重復同樣處理，對基準對應點候補的 各組分別算出S組關注對應點。
在上述的新候補選擇部107的說明中，為了便于理解，認為以第l張 的關注點(Xi, p yi,,)為基準的矩形搜索范圍(土wsx， 士wsy)內的點是 第2張圖像上的對應點候補。
但是，也可以不限定為設定作為基準的關注點的圖像和設定搜索范圍 的圖像，怎么組合都可以。例如，可以以第1張的關注點(Xi, p yi.。為 基準，對第2張的x坐標Xi. 2. ^和第3張的x坐標Xi, 3, dx分別設定搜索范圍士wsx2、 士wsx3。這時，將(數(shù)式3)的算式變形，就可以算出第2張 的y坐標、第3張的y坐標和第4張的x、 y坐標(yi, 2. dy， yi. 3. dy， Xj. 4. dx， y".dy)。即便使用這種關注對應點候補，新候補選擇部107同樣也可 以選擇最為滿足光學約束方程(數(shù)式5)的關注對應點候補。
在基準候補選擇部108中，對于新候補生成部106生成的M組基準 對應點候補和與新候補選擇部107所選擇的基準對應點候補的各組，將S 組關注對應點作為輸入，選擇1組基準對應點候補，將所選擇的基準對應 點候補(基準對應點)和與其對應的關注對應點作為與輸入圖像對應的最 佳對應點輸出。
對從基準候補選擇部108的M組基準對應點候補中選擇1組的步驟 進行說明。用(數(shù)式IO)算出對于某l組基準對應點候補的評價值Em。 然后，對M組基準對應點候補分別算出評價值，選擇該評價值為最小的 基準對應點候補的組來作為最佳基準對應點。
娜
然后，基準候補選擇部108將選擇的1組基準對應點和與其對應的1 組關注對應點作為與相對于4張輸入圖像新的對應點輸出。
根據(jù)上述的各處理要素的動作步驟，就可以算出多個跨越4個圖像的 新的對應點。在動態(tài)圖像所包含的圖像大于4張的情況下，可以以連續(xù)的 4張圖像為單位，依次重復上述步驟。這樣，就可以對所有的輸入圖像算 出對應點。
上述的(數(shù)式10)的評價值Em表示相對于從某1組基準對應點候補 得到的S組關注對應點的光學約束方程(數(shù)式5)的誤差的總和。另外， 關注對應點的各組也同時滿足幾何約束方程(數(shù)式3)。這樣，(數(shù)式10) 的評價值Em成為表示某1組基準對應點候補和與其對應的S組關注對應 點滿足光學約束方程和幾何約束方程的程度的值。因此，在基準候補選擇 部108中選擇的1組基準對應點和與其對應的S組關注對應點組成的新對 應點成為M組基準對應點候補和與其對應的關注對應點中最滿足光學約
26束方程和幾何約束方程的組。
另外，雖然上述基準候補選擇部108從M組基準對應點候補和對應
的關注對應點中選擇最滿足光學約束方程和幾何約束方程的組，但也無需 一定是最滿足的組。例如，也可以在存在多個光學約束方程和幾何約束方
程的滿足程度在預先決定的基準值以內的組的情況下，在M組基準對應 點候補和與它們對應的關注對應點中，選擇滿足光學約束方程和幾何約束 方程的任何1組。
根據(jù)以上內容，本發(fā)明的實施方式1所算出的對應點即便在輸入圖像 為照明條件變化的圖像、初始對應點算出部113生成的初始對應點以某一 概率包含位置誤差的情況下，也可以從根據(jù)初始對應點生成的多個基準對 應點候補中，選擇最為滿足光學約束方程和幾何約束方程的基準對應點。 該光學約束方程是即使對照明條件變化的圖像，該圖像間的對應點的亮度 值也應該滿足的約束方程。其結果，即便是對于照明條件變化的圖像，也 可以算出合適的基準對應點候補和位置誤差較小的對應點。
圖6是表示圖像處理裝置100的動作步驟的流程圖。上述處理按照圖 6所示的一般化步驟執(zhí)行。
在步驟S61中，基準候補生成部103從圖像存儲部102讀出由N張(N: 4以上的整數(shù))圖像構成的圖像數(shù)據(jù)。
在步驟S62中，初始對應點算出部113將跨越N張圖像的對應點作為 初始對應點，算出n組(n: 4以上的整數(shù))并輸出。在步驟S63中，基準 候補生成部103從n組初始對應點中選擇s組(s: 4以上、n以下的整數(shù)) 初始對應點的集合來作為1組基準對應點的候補，生成總共M組的不同 的基準對應點不同的候補。
在步驟S64中，光學系數(shù)算出部105以M組的候補的組為單位，算 出光學系數(shù)，使各圖像上的對應點的亮度值滿足光學約束方程。
在接下來的步驟S65中，按照滿足以M組的候補的組為單位而定出 的幾何約束方程的方式，新候補生成部106生成S組與M組的候補的各 組對應，在圖像間關聯(lián)對應的新的對應點(關注對應點)的組的候補。
在步驟S66中，新候補選擇部107根據(jù)各圖像上的對應的關注對應點 的亮度值和算出的光學系數(shù)，對關注對應點的各個候補來評價滿足光學約束方程的程度(誤差)。然后，在步驟S67中，新候補選擇部107根據(jù)各 評價結果，選擇l組關注對應點候補，作為關注對應點輸出。
最后，在步驟S68中，基準候補選擇部108以每一個基準對應點的候 補組為單位，對上述評價結果進行評價，根據(jù)評價結果選擇1組基準對應 點的候補。然后，將該候補作為基準對應點而輸出。
通過以上處理，圖像處理裝置IOO可以算出最為符合多個圖像間的變 化取決于被攝體的相對運動和照明條件的變化這一假定的對應點的組。其 結果，即使輸入照明條件不同的多個圖像，也可以算出降低位置誤差的對 應點。
雖然在本實施方式中，基準候補生成部103從初始對應點的多個組中 進行隨機選擇，然后生成基準對應點候補。但是也可以在從多個初始對應 點中進行隨機選擇之后，根據(jù)4個圖像的4組初始對應點的亮度值生成4 行4列的亮度矩陣，選擇并輸出獨立性高的亮度矩陣。
上述4行4列的亮度矩陣在被攝體為完全擴散反射物體、照明為并行 光源的條件下，在4張圖像中光源方向相對于被攝體為獨立、并且4個對 應點的法線為獨立的情況下，就會變?yōu)?階矩陣。但是，在圖像間光源方 向接近或對應點間法線方向接近的情況下，有時它們的獨立性就會降低， 階數(shù)變?yōu)?以下。
上述亮度矩陣的獨立性可以通過算出亮度矩陣的固有值，用其最大的 固有值(第l固有值)與第3大的固有值(第3固有值)的比(條件數(shù)) 進行評價，該比較大時，獨立性較高。上述亮度矩陣的獨立性較高的基準 對應點候補相對于獨立性較低的基準對應點候補，在計算(數(shù)式5)的光 學約束方程的情況下的精度提高。因此，在使用亮度矩陣獨立性較高的基 準對應點候補的情況下，能夠算出位置誤差小的對應點可能性提高。
另外，在本實施方式中，基準候補生成部103從多個初始對應點中進 行隨機選擇，然后生成由4組初始對應點組成的基準對應點候補。
但是，在生成基準對應點候補時，也可以在從多個初始對應點中進行 隨機選擇后，根據(jù)跨越4個幀的4個對應點的亮度值生成4行4列亮度矩 陣，將該亮度矩陣的第3固有值對于第1固有值的比小于預定值的初始對 應點的組排除出基準對應點的候補。如上所述，在亮度矩陣的第3固有值
28對于第1固有值的比較小的情況下，在計算(數(shù)式5)的光學約束方程時， 精度會下降。因此，排除這種基準對應點的候補，會提高算出位置誤差小
的對應點的可能性。作為預定值的具體例可以是，例如在第3固有值與第 1固有值的比小于O.Ol的情況下，從基準對應點的候補中排除。如上所述，
在圖像間光源方向接近或對應點間法線方向接近的情況下，有時它們的獨
立性就會降低，階數(shù)變?yōu)?以下。但是，由于實際測量的亮度值中包含微 小誤差，所以第3固有值與第1固有值的比完全成為0的情況極為罕見。 所以，通過比預定值小時就從基準對應點的候補中排除，實質上可以除去 階數(shù)為2以下的基準對應點的候補。其結果，能夠生成獨立性較高的基準 對應點候補，可以算出位置誤差小的對應點的可能性提高。
此外，也可以代替對多個初始對應點的候補進行隨機選擇，而是優(yōu)先 選擇對應點附近的各色圖像間的相關較低的初始對應點，生成基準對應點 的候補。例如，設輸入圖像是由紅(R)綠(G)藍(B)三原色構成的彩 色圖像。然后，對各對應點附近的小區(qū)域圖像，算出G圖像和R圖像或 者G圖像和B圖像的亮度值的相關值。然后，優(yōu)先選擇包含彩色圖像間 相關值低的對應點的對應點。這里所說的"彩色圖像間的相關值"例如可 以利用圖像亮度的空間梯度來進行評價。
圖像亮度的空間梯度的變化源于兩大原因被攝體表面的紋理；和被 攝體表面的凹凸所帶來的亮度變化。當光源方向發(fā)生變化時，被攝體表面 的紋理亮度就會在小區(qū)域內以相同比率變化，與此相對，被攝體表面因凹 凸帶來的亮度變化是在局部發(fā)生。因此，在以某一像素為中心的包含其附 近(例如5像素以內)的像素群的小區(qū)域中，在亮度空間梯度相同的情況 下，其要因是紋理的情況比其要因是取決于被攝體表面凹凸的情況，更可 期待對應點位置誤差變小。另外，在因被攝體方面的凹凸而導致亮度變化 的情況下，由于各色亮度均等變化，所以在小區(qū)域中，RGB各色圖像間的 相關就會變高。這樣，即使是用現(xiàn)有的對應點算出方法計算，各色圖像間 相關性較低的對應點也可以期待其位置誤差較小。因此，從多個初始對應 點中優(yōu)先選擇這樣的初始對應點，生成基準對應點候補，作為結果，有能 夠算出位置誤差較小的對應點的可能性提高的效果。
另外，在小區(qū)域中的亮度值的空間梯度較大就意味著亮度的差較大。因此，可以說在被攝體的角度隨圖像變化而變化的情況下，容易指定該小 區(qū)域。因此，當將空間梯度較大的小區(qū)域中的像素作為基準對應點候補來 優(yōu)先選擇時，算出位置誤差較小的對應點的可能性就會提高。
在本實施方式中，構成對應點算出部104的各處理要素是對多個輸入 圖像中的4張圖像重復進行上述處理，關于第5張以后的處理，也可以在 新候補生成部106中，使用(數(shù)式4)的算式來算出關注對應點候補。另 外，在上述4張圖像的對應點為已知的情況下，算出第5張以后的對應點 的處理是眾所周知的，所以省略詳細說明。例如可以使用"A. Shashua、
'Geometry and Photometry in 3D Visual Recognition' ， Ph. D thesis, pages 107-124. Dept. Brain and Cognitive Science, MIT (1992)."等中公開的處理。
雖然在本實施方式中，基準對應點候補是由4個(s=4)初始對應點 的組構成，但也不限于4個。即使是例如5個以上的(s>=5)的初始對 應點組，由于使用最小2乘法，就可以分別算出(數(shù)式3)(數(shù)式4)的 系數(shù)，所以可以進行與上述處理相同的處理。利用最小2乘法，從5個以 上的初始對應點的組中算出系數(shù)，有不易受噪聲影響的效果。
雖然光學系數(shù)算出部105利用基準對應點候補的各對應點的坐標值的 輸入圖像的亮度值來計算光學系數(shù)，但也可以根據(jù)基準對應點的各圖像的 每一個的點間距離，使用在輸入圖像上設定了空間方向的低通濾波器的亮 度值算出光學系數(shù)。對于上述多個輸入圖像，由于被攝體與照相機的距離 因圖像而異，所以，與基準對應點候補的對應點的一個像素對應的被攝體 表面上的面積也會因圖像而異。因此，光學約束方程(數(shù)式5)作為被攝 體表面同一點的亮度值的約束方程本來就含有誤差。
為了降低誤差，最好盡可能使與對應點的一個像素對應的被攝體表面 上的面積在多個輸入圖像間盡可能恒定。例如，對于多個輸入圖像中與一 個像素相對應的被攝體表面面積更小的圖像，將進行過頻率低于截止頻率 的低通濾波器處理的像素值作為對應點像素值使用，這樣，可以降低光學 約束方程的誤差。但是，無法直接取得與一個像素相對應的被攝體表面的 面積。而另一方面可以說，基準對應點的點間距離越大，在與一個像素對 應的被攝體表面上的面積越小。
因此，對每個輸入圖像算出基準對應點候補的對應點間距的平均值，對輸入圖像進行具有依照上述比的截止頻率低通濾波器處理，由此就會等 價地使與一個像素對應的被攝體表面上的面積在多個輸入圖像間更加平 均，這樣，光學約束方程的誤差就會減少，對應點的精度就會提高。
也可以代替上述的點間距離，使用其它方法來降低光學約束方程的誤 差。例如，也可以像Exif規(guī)格等那樣，在到被攝體為止距離或焦距等倍率 的信息被附加到圖像數(shù)據(jù)的情況下，根據(jù)該倍率信息，算出與一個像素對 應的被攝體表面的面積的信息，設定設有截止頻率的低通濾波器。如果利 用該倍率信息，即便圖像上被攝體的倍率不同，也可以使與一個像素對應 的被攝體表面上的面積在多個輸入圖像間接近平均，因此，可以降低光學 約束方程上產生的誤差。
(實施方式2)
圖7表示本實施方式的圖像處理裝置120的功能模塊構成。本實施方 式的圖像處理裝置120與實施方式1的圖像處理裝置100的不同之處在于， 設置了圖像合成部110，來取代圖像處理裝置100的輸出部109。圖像合 成部IIO接受多張圖像和跨越多個圖像而被指定的對應點，輸出分辨率比 輸入圖像分辨率還高的合成圖像。這里，所謂"分辨率高"是指，在映出 被攝體同一區(qū)域的圖像中存在高空間頻率成分。
以下，對圖像合成部UO進行詳細說明。另夕卜，在圖7所示的圖像處 理裝置120的構成要素中，對與圖像處理裝置100 (圖1)的構成要素相 同的構成要素附加相同的參照符號，省略其說明。
圖像合成部110包括坐標轉換部111和圖像生成部112。
坐標轉換部lll接受多個圖像及其對應點，根據(jù)這些圖像，生成進行 過坐標轉換的圖像(坐標轉換圖像)。所謂坐標轉換圖像是指在接收的多 張圖像中，與某個圖像的相對坐標位置(構圖)相同、且圖像尺寸放大的 圖像。坐標轉換部lll生成與各圖像對應的多個坐標轉換圖像，將它們作 為1組輸出。
圖像生成部112接受多組坐標轉換圖像，在各組中，根據(jù)多個坐標轉 換圖像，算出轉換系數(shù)這一相同位置的像素亮度值所滿足的光學約束方程 的系數(shù)，通過基于多個坐標轉換圖像的轉換系數(shù)的線性組合生成合成圖像 并輸出。下面，對圖像處理裝置120的動作進行說明。由于以下的直至對應點
再算出部104為止的處理與實施方式1相同，所以省略說明，從對應點再 算出部104的輸出處理開始進行說明。此外，設對應點再輸出部104輸出 的N張輸入圖像為Ij， (j=l...N)，設跨越所輸入的多張圖像的n組的對 應點為Pi,」，(i^…n，j^…N)，將其圖像坐標表示為(Xi.j，yi.j)， (i=l...n， j-l…N)。
圖8表示本實施方式的多張輸入圖像的實例。設被輸入的圖像為6張 (N=6)，設各輸入圖像的尺寸為640像素X480像素。設對應點Pi.j，存 在于被攝體(雕像)的區(qū)域來進行說明。
坐標轉換部111接受由多張圖像構成的圖像數(shù)據(jù)及其對應點，通過對 各圖像進行坐標轉換，來生成構圖與輸入圖像相同的多個坐標轉換圖像。 這里，所謂構圖相同是指，在圖像中，被攝體的相對坐標位置是相同的。
此外，構圖與某一個輸入圖像Ik相同的坐標轉換圖像的坐標位置通過 以放大倍數(shù)r來放大輸入圖像Ik的坐標位置而算出。該放大倍數(shù)r是長度 的比率，預先由使用者的指示給出。
下面，對坐標轉換部lll的動作進行詳細說明。以下，對使用多個輸 入圖像I」(j=l...N)和對應點pi.j (i=l...n， j=l...N)，生成構圖與某一個 輸入圖像Ik相同的多個坐標轉換圖像Ik, j的動作進行說明。
坐標轉換部111通過將某一輸入圖像Ik的對應點Pl, k (i=l...n)的圖 像坐標(Xi.j， yi,」)(i=l...n)與放大倍數(shù)r相乘來算出坐標值，設它為 多個坐標轉換圖像Ik,j ("1…N)的通用的對應點q,f (r *Xl.k， r*yi.k) (i=l...n)。
另外，坐標轉換部111使用坐標轉換圖像的對應點q,k (i=l...n)、 各對應點p,.j (i=l...n， j=l...N)和各輸入圖像Ij (j=l...N)來進行紋理映 射(mapping)，由此生成多個坐標轉換圖像Ik. j (j=l...N)。
對使用紋理映射來生成坐標轉換圖像Ik.j的實例進行說明。首先，利 用狄洛尼(Ddaimay)三角形分割法，根據(jù)輸入圖像Ik的n個對應點Pi. k ，構造出多個三角形集合。然后，假定通過仿射轉換，坐標轉 換圖像上的三角形內的像素的坐標值與對應的輸入圖像上的三角形內的 像素的坐標值建立關系。這樣，就會得到坐標轉換圖像上的任意像素的坐標值與輸入圖像上的像素的坐標值的對應關系。由此，作為坐標轉換圖像 上的某個像素的像素值，通過使用對應的輸入圖像的像素值，就可以生成 坐標轉換圖像。另外，作為計算機圖像處理的方法，使用圖像和對應點、 通過紋理映射來生成合成圖像的上述手法已眾所周知，所以在此省略詳細 說明。
另外，坐標轉換部111將坐標轉換圖像Ik.j (j=l...N)中的被攝體面 積與各輸入圖像Ij(j^.,.N)中的被攝體面積的比作為面積比sk.j(j=l...N) 而算出并輸出。另外，被攝體面積的比也可以作為坐標轉換圖像中的被攝 體面積/輸入圖像中的被攝體面積求出。
按照以上步驟生成的多個坐標轉換圖像Ik.j (j=l...N)相對于輸入圖 像Ik，被攝體的相對的二維坐標位置(構圖)相同。但是，由于坐標轉換 圖像Ik.j (j=l...N)的像素值是使用多個輸入圖像Ij (j-l...N)的像素值 而生成，所以轉換前后的照明條件是不同的。另外，坐標轉換圖像Ik.j (j=l...N)相對于輸入圖像Ik具有以下特征變成為該坐標值為r倍的圖 像，也就是圖像尺寸較大的圖像。
坐標轉換部111通過上述動作，生成構圖與某一個輸入圖像Ik相同的 由多個坐標轉換圖像Ik.j (j-l...N)組成的組。另外，進行重復處理上述 動作，生成并輸出由多個組組成的輸入圖像Ik (k=l...N)和坐標轉換圖像 Ik,j (k=l...N) 、 (j=l』)。
圖8是表示6張圖像Ij的實例。各圖像的照明條件不同。設像素數(shù)都 是640像素X480像素。
圖9是構圖與圖8 (c)的1個輸入圖像I3 (k=3)相同的多個坐標轉 換圖像l3,」的實例。在本實施方式中，設放大率r為2。生成的坐標轉換圖 像的圖像尺寸是1280像素X960像素。
由圖9 (a) (f)可知相對于圖8 (c)的輸入圖像13，圖9的6 張坐標轉換圖像l3.j是構圖相同，照明條件不同，且圖像尺寸大。
坐標轉換部111對各輸入圖像Ik (k=l...N)生成多組圖9所示的坐標 轉換圖像I」,k (k=l...N)，并且算出并輸出面積比fk.j。
圖像生成部112接受多個坐標轉換圖像的組Ij,k和面積比rk,」，以各組 為單位，根據(jù)多個坐標轉換圖像，算出相同坐標位置的像素的亮度值所滿足的光學約束方程的系數(shù)(轉換系數(shù))。
下面，在圖像生成部112中算出轉換系數(shù)的方法進行說明。 圖像生成部112接受坐標轉換圖像Ik.j和面積比rk.j，在各組k中，選 擇面積比rk,j (j=l...N)之中值較小的3個坐標轉換圖像。這里，設選擇
的3個坐標轉換圖像為Ik. a、 Ik. b、 Ik. e，設任意點pi的像素值為Ik. a (Pi)、
Ik.b (Pi) 、 Ik.c (Pi)。這時，對于相當于輸入圖像Ik的放大圖像的坐標轉
換圖像Ik.k的像素值Ik.k (Pi)和像素值Ik.a (Pi) 、 Ik.b (Pi) 、 Ik. c (Pi)， (數(shù)式ll)的光學約束方程成立。 [數(shù)式11]
fw 》- dm i )+d"》(p》+n (a,)
在(數(shù)式ll)中，Dk,a、 Dk.b、 Dk.e (將它們記為Dk)是轉換系數(shù)。
該轉換系數(shù)Dk可以根據(jù)多個坐標轉換圖像上的3點以上的Pi的像素 值算出。原理上，(數(shù)式ll)的算式在坐標轉換圖像Ik.k、 Ik.a、 Ik.b、 Ik.
c的分辨率相同的情況下成立。但實際上，多個坐標轉換圖像的分辨率不
一定相同，所以(數(shù)式ll)的關系式有可能包含誤差。因此，本實施方式
采用最小二乘法，從大大多于3個點的點Pi的像素值中生成轉換系數(shù)Dk。 在圖9的例子中，在6個坐標轉換圖像l3.j中，被攝體面積是相同的。 在圖8的6個輸入圖像中，其被攝體面積由大到小的順序是16、 I5、 I4、 I3、
I2、 I,。所以，面積比S3, k由小到大的順序就會變?yōu)镾3. 6、 S3, 5、 S3. 4、 S3, 3、 S3, 2、 S3,,。因此，使用坐標轉換圖像13, 3和坐標轉換圖像13.4、 I3. 5、 I3, 6， 算出轉換系數(shù)D3。
然后，圖像生成部112將轉換系數(shù)Dk、坐標轉換圖像Ik.j代入(數(shù)式
12)，生成線性圖像I'k。 [數(shù)式12]
A (A) = 十D^i^(p》
通過(數(shù)式12)的線性組合而生成的線性圖像rk與相當于擴大輸入圖像
Ik的坐標轉換圖像Ik.k相比，有時會構圖和照明條件相同，且分辨率高。
例如，就圖8的6個輸入圖像中的被攝體面積而言，由于輸入圖像I4、 I5、 16比輸入圖像13大，輸入圖像14、 I5、 16的分辨率就比輸入圖像13高。另一方面，對于圖9的6個坐標轉換圖像l3.j，被攝體面積是相同的。因
此，比起從輸入圖像I3 (k=3)生成的坐標轉換圖像13.3 (圖9 (c))，
分別從輸入圖像14、 15、 16生成的坐標轉換圖像13.4、 13,5、 13,6 (圖9 (d)
(e) (f))的分辨率就會較高。因此，通過坐標轉換圖像13,4、 13,5、 13,
6的線性組合(數(shù)式12)而生成的線性圖像1'3的分辨率就會比坐標轉換圖
像13.3高。
相反，可以認為，從構圖與圖8 (f)所示的輸入圖像I6 (k=6)相同
的多個坐標轉換圖像l6.j (j=l...N)生成的線性圖像I，6的分辨率比坐標轉 換圖像l6.6低。這是由于在多個輸入圖像Ij中，不存在分辨率高于輸入圖 像16的圖像。
因此，圖像生成部112對線性圖像I'k和坐標轉換圖像Ik.k的空間頻率
成分進行解析，選擇高頻成分更多的一方，將其作為合成圖像r，k存儲到 圖像存儲部102中。對于通過上述動作得到的合成圖像r，k而言，構圖和
照明條件與輸入圖像Ik相同，分辨率高或相同。
圖IO表示本實施方式的圖像處理裝置120所生成的合成圖像的例子。 另外，圖11 (a)是圖10 (c)的合成圖像的放大圖，圖11 (b)是圖8 (c) 的輸入圖像的放大圖。可以認為，圖11 (a)合成圖像的分辨率比圖11 (b) 的輸入圖像高。
如上所述，將被攝體、照相機、光源位置關系不同的多個圖像(圖8) 作為輸入，就會生成分辨率高的合成圖像(圖11)?？梢哉f，尤其是利用 被攝體與照相機距離不同的多個圖像中的分辨率較高的被攝體圖像(例如 圖8 (f))的信息，就可以生成分辨率高的合成圖像。
在上述處理中，由于合成前圖像與合成中所利用的被攝體分辨率較高 的圖像之間，被攝體與光源的位置關系不同，所以如何算出位置誤差較小 的對應點是很重要的。
圖12 (a)表示通過現(xiàn)有技術的對應點算出方法得到的對應點與通過 本發(fā)明的對應點算出方法得到的對應點的比較例。
在圖12 (a)的2個輸入圖像中，"X"表示用現(xiàn)有對應點算出方法 求出的對應點。在將圖像間的矩形區(qū)域的亮度差和相關值作為評價值算出 對應點的現(xiàn)有方法中，正確求出被攝體表面亮度變化的圖像間的對應點是
35使用含有很多位置誤差的對應點，即使用圖像合成部UO生成合成圖 像，也會發(fā)生以下問題被攝體的分辨率不提高，或合成圖像的一部分亮
度包含誤差。
圖12 (b)表示根據(jù)位置誤差較多的對應點生成的合成圖像的例子。 在該圖中，在被攝體左眼附近，由于對應點位置偏移，所以合成圖像模糊。 此外，在下頜右側附近，由于位置偏移，圖像的亮度誤差較大(黑暗)。
本發(fā)明的對應點算出方法可以大大減少這種問題的發(fā)生。理由就像在 實施方式1的圖像處理裝置100的說明中所詳述的那樣，利用滿足光學約 束方程和幾何約束方程的基準對應點的選擇方法，即使被攝體與光源的相 對位置不同，也就是照明條件不同，也可以算出位置誤差降低的對應點。
圖12 (a)用標記"〇"表示本實施方式的圖像處理裝置120算出的 對應點。可以認為，即使被攝體表面的亮度發(fā)生變化，也可以正確求出圖 像間的對應點。
圖像處理裝置120的圖像合成部110在對合成圖像進行過幾何變形之 后，用相同的光學約束方程生成合成圖像。圖12 (c)表示根據(jù)位置誤差 較少的對應點生成的合成圖像的例子。通過使用按照滿足光學約束方程和 幾何約束方程的方式而算出的對應點，可以生成像圖12 (c)那樣的亮度 誤差和位置誤差較小、分辨率更高的合成圖像。
以上，說明了本發(fā)明的實施方式1和2。在上述實施方式的說明中， 在推導幾何約束方程和光學約束方程時，設定了各種前提條件((1)作 為拍攝對象的被攝體是剛體；(2)光平行射入被攝體；(3)在被攝體表 面，光被完全擴散反射；(4)用仿射照相機拍攝被攝體)。但是，這些 是對各約束方程進行數(shù)學推導所用的條件，在實施本申請發(fā)明的圖像處理 裝置和方法等時，無需嚴格滿足這些條件。
例如，雖然假定被攝體是剛體，但也可以不是嚴格的剛體。在被攝體 于多個圖像間發(fā)生局部變形的情況下，如果被攝體的局部變形相對于圖像 間的被攝體與照相機位置的相對位置變動足夠小，可以認為被攝體近似剛 體，因此，可以進行上述處理?；蛘撸淙氡粩z體的光也可以不那么嚴格 地平行，光在被攝體表面也可以不是被完全擴散反射。另外，在本發(fā)明的實施方式1和2中，說明了圖像數(shù)據(jù)中存在l個被 攝體，同一被攝體中存在多個對應點(包含初始對應點、基準對應點、關 注對應點)。即使圖像數(shù)據(jù)中存在多個物體，在物體間相對位置不變的情 況下，也可以看作是同一剛體。因此，在圖像數(shù)據(jù)中存在多個被攝體、被 攝體間相對位置不變的情況下，可以看作是同一被攝體，可以同樣處理。
另外，在圖像數(shù)據(jù)中存在多個被攝體、多個被攝體間相對位置變化的 情況下，由對應點再算出部104算出的對應點就會只輸出任意一個被攝體 中存在的對應點。原因是，在存在多個對應點相對位置變化的多個剛體(被 攝體)的情況下，這些多個對應點不滿足幾何約束方程(數(shù)式3)。由此， 在圖像數(shù)據(jù)中存在多個被攝體、多個被攝體間相對位置變化的情況下，如 果執(zhí)行一次實施方式1和2所說明的一連串動作，就可以對多個被攝體中 的某一個被攝體生成對應點或提高圖像分辨率。另外，除了執(zhí)行一次一連 串動作后生成的對應點所在的圖像區(qū)域以外，重復同樣處理，也可以對多 個被攝體中的其它的任意一個被攝體生成對應點或提高圖像分辨率。由 此，即便圖像數(shù)據(jù)中存在多個被攝體，就可以執(zhí)行與本發(fā)明的實施方式1 和2同樣的處理。
在上述實施方式中，使用圖l和圖7所示的功能模塊，對圖像處理裝 置進行了說明。這些功能模塊既可以通過硬件方式，用像數(shù)字信號處理器 (DSP)那樣的一個半導體芯片或IC實現(xiàn)，也可以用例如計算機和軟件(計 算機程序)實現(xiàn)。
例如，圖13表示由計算機構成的圖像處理裝置的硬件構成。 圖1和圖7所示的功能模塊與圖13所示的硬件的對應關系如下。也 就是說，圖1和圖7的照相機101與圖13所示的照相機1001和A/D轉換 器1002對應。此外，圖1和圖7的圖像存儲部102與圖13所示的幀存儲 器1003或硬盤驅動器(HDD) 1010對應。另外，圖1和圖7的初始對應 點算出部113和對應點再算出部104通過執(zhí)行計算機程序的圖13的 CPU1004實現(xiàn)。此外，圖7的圖像合成部110也通過執(zhí)行計算機程序的圖 13的CPU1004實現(xiàn)?？梢哉J為圖1的輸出部109有多種多樣。例如在輸 出數(shù)據(jù)被傳遞到其它程序(例如，手抖動補償程序和編碼程序)的情況下， 輸出部109就會成為圖13的RAM1006。使圖13的計算機工作的計算機程序被保持在例如ROM1005中。計算 機程序被作為處理器的CPU1004從RAM1006讀出并展開。CPU1004執(zhí) 行作為計算機程序實態(tài)的被代碼化的各個命令。
另外，計算機程序被按照例如圖6所示的流程圖的步驟記述。計算機 程序不一定保存在作為半導體的ROM1005中，也可以保存在例如光盤、 磁盤中。此外，它也可以通過有線或無線網(wǎng)絡、廣播來傳送，取入計算機 的RAM1006中。
產業(yè)上的利用可能性
本發(fā)明的圖像處理裝置作為改善照相機拍攝的圖像的畫質、對動態(tài)圖 像進行編碼、以及識別圖像中被攝體的形狀的圖像處理裝置十分有用。其 利用形態(tài)既可以是獨立的圖像處理裝置，也可以被內置在照相機和顯示器中。
38
權利要求
1.一種圖像處理裝置，具備初始對應點算出部，根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組跨越所述N張圖像的對應點即n組初始對應點；基準候補生成部，從所述n組初始對應點中選擇將s組的初始對應點的集合作為1組的基準對應點的候補，生成M組的基準對應點的候補；系數(shù)算出部，對于所述M組的基準對應點的候補的各組，按照使各圖像上的點的亮度值滿足光學約束方程的方式，算出所述光學約束方程的系數(shù)即光學系數(shù)；新候補生成部，對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組而確定的圖像間的幾何約束方程的方式，生成多組將圖像間相互關聯(lián)對應的新的對應點的集合作為1組的關注對應點的候補；第1選擇部，對于所述多組的關注對應點的候補的各組，根據(jù)各圖像上的點的亮度值和算出的所述光學系數(shù)，評價滿足光學約束方程的程度，根據(jù)評價結果，選擇1組的關注對應點的候補作為關注對應點輸出；和第2選擇部，根據(jù)所述第1選擇部的評價結果，對所述M組的基準對應點的候補的各組進行評價，根據(jù)評價結果，從所述M組的基準對應點的候補中選擇1組的基準對應點的候補，將選擇的所述1組的基準對應點的候補和與選擇的所述候補對應的關注對應點作為跨越所述N張圖像的對應點而輸出；其中，N、n為4以上的整數(shù)，s為4以上n以下的整數(shù)，M為2以上的整數(shù)。
2. 根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 所述基準候補生成部對由所選擇的s組的初始對應點的所述N張圖像的亮度值組成的NXs亮度矩陣的獨立性進行評價，根據(jù)評價結果，選擇 所述M組的基準對應點的各個候補。
3. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于， 所述基準候補生成部將所述NXs亮度矩陣的第3固有值與第1固有值的比作為評價值，從得到更大評價值的NXs亮度矩陣所對應的s組的初始對應點的集合開始依次選擇基準對應點的候補。
4. 根據(jù)權利要求2所述的圖像處理裝置，其特征在于， 所述基準候補生成部在所述NXs亮度矩陣的第3固有值與第1固有值的比小于預先決定的閾值的情況下，將與所述NXs亮度矩陣相對應的 s組的初始對應點的集合從基準對應點的候補中排除。
5. 根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 所述基準候補生成部對于選擇的s組的初始對應點，對各圖像上的點附近的亮度值的空間梯度的大小進行評價，從得到更大空間梯度的s組的 初始對應點的集合開始優(yōu)先選擇基準對應點的候補。
6. 根據(jù)權利要求l所述的圖像處理裝置，其特征在于，所述N張圖像是彩色圖像，所述基準候補生成部對于選擇的s組的初 始對應點，對各圖像上的點附近的各色圖像間的相關進行評價，從得到更 低相關的s組的初始對應點的集合開始優(yōu)先選擇基準對應點的候補。
7. 根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 所述系數(shù)算出部，將按照各圖像上的各點的點間距離和各圖像上的被攝體的倍率中的一方確定了截止頻率的空間方向的低通濾波器應用于所 述圖像數(shù)據(jù)，將得到的亮度值作為所述各圖像上相互關聯(lián)對應的點的亮度 值而使用。
8. 根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 作為所述各基準對應點的候補的各圖像上的點的亮度值，所述系數(shù)算出部使用位于該點附近的至少1個點的亮度值，算出所述光學系數(shù)。
9. 根據(jù)權利要求8所述的圖像處理裝置，其特征在于， 所述系數(shù)算出部使用接近該點周圍、且與該點亮度值的差在規(guī)定范圍內的至少l個點的亮度值，算出所述光學系數(shù)。
10. 根據(jù)權利要求8所述的圖像處理裝置，其特征在于， 在該點亮度值與該點周圍的鄰近點亮度值的差大于規(guī)定范圍時，所述系數(shù)算出部使用位于該點附近的至少1個點的亮度值，算出所述光學系數(shù)。
11. 根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 還具備坐標轉換部，按照規(guī)定的放大率放大N張圖像中的至少1張圖像，生成按照所述規(guī)定的放大率來映射所述N張圖像中的至少k張圖像的各像素值后的多個坐標轉換圖像的組，作為放大后的圖像的像素值；和圖像生成部，選擇所述多個坐標轉換圖像中的k張坐標轉換圖像，按 照使所述k張坐標轉換圖像之間的相互對應的各坐標轉換圖像上的點的亮 度值滿足光學約束方程的方式，算出作為所述光學約束方程的系數(shù)即轉換 系數(shù)，通過用轉換系數(shù)對所述N張坐標轉換圖像進行線性組合來生成合成 圖像；其中k為3以上N以下的整數(shù)。
12. 根據(jù)權利要求11所述的圖像處理裝置，其特征在于， 所述圖像生成部按照由包含在轉換前的各圖像中的被攝體的面積與包含在所述坐標轉換圖像中的被攝體的面積所決定的被攝體面積的比的 大小，選擇所述k張坐標轉換圖像。
13. —種圖像處理方法，包括以下步驟-根據(jù)N張圖像的圖像數(shù)據(jù)，算出ii組的跨越所述N張圖像的對應點即n組初始對應點的步驟；從所述n組初始對應點中選擇s組的初始對應點的步驟； 生成M組將s組的初始對應點的集合作為1組的基準對應點的候補的步驟；對于所述M組的基準對應點的候補的各組，按照使各圖像上的點的 亮度值滿足光學約束方程的方式，算出所述光學約束方程系數(shù)即光學系數(shù) 的步驟；對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組 確定的圖像間的幾何約束方程的方式，生成多組將圖像間相互關聯(lián)對應的 新的對應點的集合作為1組的關注對應點的候補的步驟；對于所述多組的關注對應點的候補的各組，根據(jù)各圖像上的點的亮度 值和算出的所述光學系數(shù)，評價滿足光學約束方程的程度的步驟；根據(jù)評價結果，選擇l組的關注對應點的候補，作為關注對應點輸出 的步驟；根據(jù)所述評價結果，對所述M組的基準對應點的候補的各組進行評 價，根據(jù)評價結果，從所述M組的基準對應點的候補中選擇1組的基準對應點的候補的步驟；和將選擇的所述1組的基準對應點的候補和與選擇的所述候補對應的關 注對應點作為跨越所述N張圖像的對應點而輸出的步驟；其中，N、 n為4以上的整數(shù)，s為4以上n以下的整數(shù)，M為2以上的整數(shù)。
14. 一種記錄媒體，記錄有計算機程序，所述計算機程序使計算機執(zhí)行以下步驟根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組的跨越所述N張圖像的對應點 即n組的初始對應點的步驟；生成M組將跨越所述N張圖像的s組的初始對應點的集合作為1組 的基準對應點的候補的步驟；對于所述M組的基準對應點的候補的各組，按照使各圖像上的點的 亮度值滿足光學約束方程的方式，算出所述光學約束方程系數(shù)即光學系數(shù) 的步驟；對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組 確定的圖像間的幾何約束方程的方式，生成多組將圖像間相互關聯(lián)對應的 新的對應點的集合作為1組的關注對應點的候補的步驟；對于所述多組的關注對應點的候補的各組，根據(jù)各圖像上的點的亮度 值和算出的所述光學系數(shù)，評價滿足光學約束方程的程度的步驟；根據(jù)評價結果，選擇l組關注對應點的候補，作為關注對應點輸出的 歩驟；根據(jù)所述評價結果，對所述M組的基準對應點的候補的各組進行評 價，根據(jù)評價結果，從所述M組的基準對應點的候補中選擇1組的基準 對應點的候補的步驟；和將選擇的所述1組的基準對應點的候補和與選擇的所述候補對應的關 注對應點作為跨越所述N張圖像的對應點輸出的步驟；其中，N、 n為4以上的整數(shù)，s為4以上n以下的整數(shù)，M為2以上 的整數(shù)。
15. —種處理器，能夠執(zhí)行計算機程序，通過執(zhí)行圖像處理程序，執(zhí)行以下步驟根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組的跨越所述N張圖像的對應點 即n組的初始對應點的步驟；生成M組將跨越所述N張圖像的s組的初始對應點的集合作為1組 的基準對應點的候補的步驟；對于所述M組的基準對應點的候補的各組，按照使圖像間相互關聯(lián) 對應的各圖像上的點的亮度值滿足光學約束方程的方式，算出所述光學約 束方程的系數(shù)即光學系數(shù)的步驟；對于所述M組的基準對應點的候補的各組，按照滿足依照所述各組 確定的圖像間的幾何約束方程的方式，生成多組將圖像間相互關聯(lián)對應的 新的對應點的集合作為1組的關注對應點的候補的步驟；對于所述多組關注對應點的候補的各組，根據(jù)圖像間相互關聯(lián)對應的 各圖像上的點的亮度值和算出的所述光學系數(shù)，評價滿足光學約束方程的 程度的步驟；根據(jù)評價結果，選擇l組的關注對應點的候補，作為關注對應點輸出 的步驟；根據(jù)所述評價結果，對所述M組的基準對應點的候補的各組進行評 價，根據(jù)評價結果，從所述M組的基準對應點的候補中選擇1組的基準 對應點的候補的步驟；和將選擇的所述1組的基準對應點的候補和與選擇的所述候補對應的關 注對應點作為跨越所述N張圖像的對應點輸出的步驟；其中，N、 n為4以上的整數(shù)，M為2以上的整數(shù)。
16.—種圖像處理裝置，具備初始對應點算出部，根據(jù)N張圖像的圖像數(shù)據(jù)，算出n組的跨越所述 N張圖像的對應點即n組的初始對應點；和對應點再算出部，從所述n組的初始對應點中選擇滿足幾何約束方程 和光學約束方程的s組的初始對應點作為基準對應點輸出，并且，算出滿 足基于所述基準對應點的幾何約束方程和光學約束方程的關注對應點并 進行輸出；其中，N、 n為4以上的整數(shù)，s為4以上n以下的整數(shù)。
全文摘要
即使在輸入照明條件不同的多個圖像的情況下，也會生成位置誤差較小的對應點和運動向量。圖像處理裝置(100、120)具備算出多組跨越多個圖像的對應點并輸出的初始對應點算出部(113)；使用光學約束方程和幾何約束方程，從多組初始對應點之中選擇由誤差較小的多組初始對應點構成的基準對應點，并且算出與該基準對應點對應的新的對應點即注目對應點，并將基準對應點和注目對應點作為對應點輸出的對應點再算出部(104)。
文檔編號H04N7/32GK101558427SQ20088000106
公開日2009年10月14日 申請日期2008年2月28日 優(yōu)先權日2007年3月6日
發(fā)明者登一生 申請人:松下電器產業(yè)株式會社