專利名稱：圖像處理裝置的制作方法
技術領域：
本發(fā)明涉及檢索圖像的圖像處理裝置，特別是涉及高速地檢索與模板圖像類似的圖像的圖像處理裝置、以及它們的處理方法和使計算機執(zhí)行該方法的程序。
背景技術：
近年來，由于存儲器的價格降低、與存儲器相關的技術的發(fā)展，數字靜像照相機(still camera)以及數字攝像機等攝像裝置中的存儲器的容量正在增加。與此相伴，攝像裝置中保持的靜止圖像、運動圖像的數量也在增加。在這種狀況下，找出用戶想閱覽的靜止圖像、運動圖像變得困難。
為了解決這種問題點，提出了如下的圖像檢索方法將用戶期望的圖像指定為模板圖像，從檢索對象圖像中檢索與該模板圖像匹配的圖像(例如，參照專利文獻1。)。
專利文獻1日本特開平8-263522號公報(圖2)發(fā)明內容發(fā)明要解決的問題通常，在攝像裝置中，由于裝置自身的小型化、降低成本等要求，處于難以搭載具有高運算處理能力的CPU(CentralProcessing Unit中央處理單元)的狀況。在這種攝像裝置中，即使實現了上述圖像檢索方法，在檢索的運算處理中也需要較長的時間，變得缺少實用性。為此，減少運算處理所需的時間的必要性高。另外，還需要減少運算處理所耗費的時間，并且不降低檢索精度。
因此，本發(fā)明的目的在于，提供一種以高精度高速進行圖像檢索的圖像處理裝置。
用于解決問題的方法本發(fā)明是為了解決上述問題而完成的，其第一側面是一種圖像處理裝置，其特征在于，具備目標圖像保持單元，保持成為檢索對象的多個目標圖像；區(qū)域選擇接受單元，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受了上述選擇的區(qū)域的圖像作為模板圖像生成；圖像縮小單元，將上述模板圖像以及上述目標圖像縮小到與上述模板圖像的縱寬以及橫寬相應的縮小率；以及類似圖像檢索單元，在上述縮小的目標圖像中，利用遺傳算法檢索包含與上述縮小的模板圖像類似的圖像的上述縮小的目標圖像。由此帶來如下作用將模板圖像以及目標圖像縮小到與選擇的模板圖像的橫寬以及縱寬相應的縮小率，高速檢索包含與模板圖像類似的圖像的目標圖像。即，通過縮小模板圖像以及目標圖像，減少對模板圖像和目標圖像進行對照的面積，因此能夠減少對照所需的運算量。
另外，在該第一側面中，其特征在于，在上述模板圖像的縱寬和橫寬的積是規(guī)定值以下的情況下，上述圖像縮小單元不進行上述圖像縮小單元中的縮小。由此帶來如下作用在選擇的模板圖像的橫寬以及縱寬小的情況下，不降低檢索精度。
另外，在該第一側面中，其特征在于，上述模板圖像生成單元將上述選擇的規(guī)定區(qū)域以規(guī)定倍率放大或者縮小后的圖像作為上述模板圖像生成。由此帶來如下作用，還檢索與放大、縮小以及旋轉模板圖像得到的圖像類似的圖像。
另外，特征在于，上述類似圖像檢索單元具備個體抽出單元，從上述縮小的目標圖像隨機抽出多個個體，生成染色體，其中，該染色體具有基于上述個體的坐標以及放大或者縮小上述模板圖像的上述規(guī)定倍率的染色體信息；適合度算出單元，根據上述染色體信息以及像素值，算出上述染色體的適合度；遺傳算法處理單元，對在上述適合度算出單元中算出上述適合度的上述染色體進行選擇、交配以及突然變異中至少一個處理，生成具有新染色體信息的染色體，在上述適合度算出單元中算出關于具有上述新染色體信息的染色體的適合度；處理結束指示單元，指示按照規(guī)定條件重復進行的上述遺傳算法處理單元中的處理的結束；準最佳解判斷單元，將在上述適合度算出單元中最后算出的適合度中值最大的適合度判斷為準最佳解；以及類似圖像判斷單元，在上述準最佳解超過第一閾值的情況下，判斷為與上述縮小的模板圖像類似的圖像包含在上述縮小的目標圖像中。在此，第一閾值是指判斷模板圖像是否包含在目標圖像中時成為基準的值。即，如果作為準最佳解的適合度的值超過第一閾值，則模板圖像被包含在目標圖像中；如果作為準最佳解的適合度的值沒有超過第一閾值，則模板圖像沒有被包含在目標圖像中。由此，帶來如下作用使染色體持有關于在遺傳算法中對模板圖像和目標圖像進行對照的區(qū)域的信息，根據該染色體的適合度，高速檢索包含了與模板圖像類似的圖像的目標圖像。
例外，特征在于，上述像素值是使用YUV、RGB以及HSV中的任一個表示的量。由此帶來如下作用根據YUV、RGB以及HSV算出遺傳算法中的染色體的適合度。
另外，該圖像處理裝置的特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出和上述目標圖像中的上述染色體對應的區(qū)域的上述像素值的平均值與上述模板圖像中的區(qū)域的上述像素值的平均值之間的差的絕對值，判斷上述差的絕對值是否超過第二閾值，在上述適合度預處理單元中上述差的絕對值被判斷為超過上述第二閾值的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。在此，第二閾值是指根據與目標圖像中的染色體對應的區(qū)域的像素值的平均值和模板圖像中的區(qū)域的像素值的平均值之間的差的絕對值來評價適合度時成為基準的值。由此，帶來如下作用以運算量少的方法決定遺傳算法中的染色體的適合度。
另外，該圖像處理裝置的特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出將與上述染色體對應的上述目標圖像中的區(qū)域的上述像素值的標準偏差和上述模板圖像中的區(qū)域的上述像素值的標準偏差各自平方的結果的比，判斷上述比是否在規(guī)定范圍內，在上述適合度預處理單元中上述比被判斷為在規(guī)定范圍內的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。由此，帶來如下作用以運算量少的方法決定遺傳算法中的染色體適合度。
另外，該圖像處理裝置的特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出和上述染色體對應的上述目標圖像中的區(qū)域的中央點的上述像素值與上述模板圖像中的區(qū)域的中央點的上述像素值之間的差的絕對值，判斷上述差的絕對值是否超過第二閾值，在上述適合度預處理單元中上述差的絕對值被判斷為超過第二閾值的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。在此，第二閾值是指根據目標圖像中的區(qū)域的中央點的像素值與上述模板圖像中的區(qū)域的中央點的像素值之間的差的絕對值來評價適合度時成為基準的值。由此，帶來如下作用以運算量少的方法決定遺傳算法中的染色體的適合度。
另外，其特征在于，上述適合度算出單元根據上述像素值以及上述染色體信息，利用互相關函數算出上述染色體的適合度。由此，帶來如下作用，根據目標圖像和模板圖像之間的相互的關聯性到底有多少的觀點，算出遺傳算法中的染色體的適合度。
另外，特征在于，上述適合度算出單元將對上述目標圖像及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差的積。由此，帶來如下作用關于像素值，根據目標圖像和模板圖像之間的相互關聯性到底有多少的觀點，算出遺傳算法中的染色體的適合度。
另外，該圖像處理裝置的特征在于，還具備準備值算出單元，對上述縮小的模板圖像以及上述縮小的目標圖像的所有坐標，算出將上述縮小的模板圖像以及上述縮小的目標圖像中的從原點到任意坐標為止的上述像素值進行累加得到的準備值；模板圖像準備值表，將上述縮小的模板圖像中的上述準備值與上述縮小的模板圖像的坐標相對應地保持；以及目標圖像準備值表，將上述縮小的目標圖像中的上述準備值與上述縮小的目標圖像的坐標相對應地保持，上述適合度算出單元使用上述準備值，進行對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加上述互相關函數中的上述像素值的計算，算出上述染色體的適合度。由此，帶來如下作用減少算出遺傳算法中的染色體的適合度時的運算量。
另外，特征在于，上述適合度算出單元，將對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差的積；將對關于構成上述像素值的多個要素各自的利用上述互相關函數的算出值進行平方的結果的和的平方根歸一化的結果，作為上述適合度算出。由此，帶來如下作用綜合像素值中的各要素，根據目標圖像和模板圖像之間的相互的關聯性到底有多少的觀點，算出遺傳算法中的染色體的適合度。
另外，特征在于，上述適合度算出單元將對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差的積。由此，帶來如下作用還加入目標圖像以及模板圖像的直流成分，算出染色體的適合度。即，能夠高精度地檢索包含與模板圖像類似的圖像的目標圖像。
另外，特征在于，上述適合度算出單元作為上述互相關函數使用表示坐標(X，Y)中的互相關關系的以下的式子。此外，在以下的式子中，w、h分別表示上述模板圖像的寬度和高度。另外，Target(X+i，Y+j)表示上述目標圖像的坐標(X+i，Y+j)中的像素值。另外，Template(i，j)表示上述模板圖像的坐標(i，j)處的像素值。另外，Mtarget表示上述目標圖像以及上述模板圖像互相重疊的區(qū)域中的像素值的平均值。另外，Mtemplate表示上述模板圖像的像素值的平均值。由此，帶來如下作用還加入目標圖像以及模板圖像的直流成分，算出染色體的適合度。即，能夠高精度地檢索包含與模板圖像類似的圖像的目標圖像。
f(X,Y)=Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)(Template(i,j)-MTarget)Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)2Σi=0wΣj=0h(Template(i,j)-MTarget)2]]>另外，本發(fā)明的第二側面是一種圖像處理裝置，其特征在于，具備目標圖像保持單元，保持成為檢索對象的多個目標圖像；區(qū)域選擇接受單元，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受了上述選擇的區(qū)域中的圖像以及將該區(qū)域中的圖像以規(guī)定倍率放大或者縮小后的圖像，作為模板圖像生成；個體抽出單元，從上述縮小的目標圖像隨機抽出多個個體，生成染色體，其中，該染色體具有基于上述個體的坐標以及放大或者縮小上述模板圖像的上述規(guī)定倍率的染色體信息；適合度算出單元，根據上述染色體信息以及像素值，算出上述染色體的適合度；遺傳算法處理單元，對在上述適合度算出單元中算出上述適合度的上述染色體進行選擇、交配以及突然變異中至少一個處理，生成具有新染色體信息的染色體，在上述適合度算出單元中算出關于具有上述新染色體信息的染色體的適合度；處理結束指示單元，指示按照規(guī)定條件重復進行的上述遺傳算法處理單元中的處理的結束；準最佳解判斷單元，將在上述適合度算出單元中最后算出的適合度中值最大的適合度判斷為準最佳解；附近區(qū)域準最佳解判斷單元，在包圍與上述準最佳解對應的上述目標圖像區(qū)域的所有規(guī)定區(qū)域中，算出上述規(guī)定區(qū)域中的適合度，將該適合度中值最大的適合度判斷為上述規(guī)定區(qū)域中的準最佳解；以及類似圖像判斷單元，在上述準最佳解判斷單元中判斷出的上述準最佳解以及在上述附近區(qū)域準最佳解判斷單元中判斷出的上述規(guī)定區(qū)域中的準最佳解中，最大的值超過規(guī)定閾值的情況下，判斷為與上述縮小的模板圖像類似的圖像包含在上述縮小的目標圖像中。由此，帶來如下作用降低產生包含了與模板圖像類似的圖像的目標圖像的檢索遺漏的可能性。
另外本發(fā)明的第三側面是在具備保持成為檢索對象的目標圖像的目標圖像保持單元的圖像處理裝置中執(zhí)行以下過程的處理方法、或者使計算機執(zhí)行以下過程的程序，其特征在于，具備區(qū)域選擇接受過程，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成過程，將接受了上述選擇的區(qū)域的圖像作為模板圖像生成；圖像縮小過程，將上述模板圖像以及上述目標圖像縮小到與上述模板圖像的縱寬以及橫寬相應的縮小率；以及類似圖像檢索過程，在上述縮小的目標圖像中，利用遺傳算法檢索包含與上述縮小的模板圖像類似的圖像的上述縮小的目標圖像。由此，帶來如下作用，將模板圖像以及目標圖像縮小到與選擇的模板圖像的橫寬以及縱寬相應的縮小率，高速檢索包含了與模板圖像類似的圖像的目標圖像。
發(fā)明的效果根據本發(fā)明，起到能夠以高精度高速進行圖像檢索的優(yōu)良效果。


圖1是本發(fā)明實施方式中的攝像裝置100的一例即攝像裝置100a以及100b的外觀圖。
圖2是表示本發(fā)明實施方式中的攝像裝置100的結構的圖。
圖3是表示本發(fā)明實施方式中的圖像檢索功能的結構的一例的圖。
圖4是用于說明本發(fā)明實施方式中的準備值的圖。
圖5是表示本發(fā)明實施方式中的目標圖像準備值表320的圖。
圖6是表示在本發(fā)明的實施方式中選擇模板圖像區(qū)域的情形的圖。
圖7是表示本發(fā)明實施方式中的模板圖像數據生成的情形的圖。
圖8是表示在本發(fā)明實施方式中的圖像縮小部302中縮小目標圖像以及模板圖像的情形的圖。
圖9是表示本發(fā)明實施方式中的染色體的染色體信息400的一例的圖。
圖10是表示在本發(fā)明實施方式中的遺傳算法的選擇中使用的輪盤賭410的圖。
圖11是表示本發(fā)明實施方式中的遺傳算法的交配情形的圖。
圖12是表示本發(fā)明實施方式中的遺傳算法的突然變異情形的圖。
圖13是表示本發(fā)明實施方式中的適合度算出預處理部312中的處理情形的圖。
圖14是表示利用本發(fā)明實施方式中的遺傳算法求出的準最佳解所對應的匹配區(qū)域的周邊區(qū)域的圖。
圖15是表示在本發(fā)明實施方式中檢索包含與模板圖像類似的圖像的目標圖像時的顯示畫面600的圖。
圖16是表示檢索包含與本發(fā)明實施方式中的模板圖像類似的圖像的目標圖像的流程的圖。
圖17是表示圖16中的步驟S918的準最佳解算出處理的流程的圖。
附圖標記說明10攝像部；11攝像元件部；12攝像控制部；13圖像處理部；20記錄再現處理部；21圖像編碼/解碼部；22記錄控制部；23SDRAM；30控制部；31系統(tǒng)控制部；32輸入控制部；33顯示控制部；34輸出圖像處理部；35外部設備控制部；36網絡控制部；40總線；50鍵輸入部；60觸摸面板部；61顯示部；62觸摸面板輸入部；70存儲裝置；80外部設備；90網絡網；100攝像裝置；231目標圖像保持部；301模板圖像生成部；302圖像縮小部；310類似圖像檢索部；311個體抽出部；312適合度算出預處理部；313適合度算出部；314遺傳算法處理部；315處理結束指示部；316準最佳解判斷部；317附近區(qū)域準最佳解判斷部；318類似圖像判斷部；319準備值算出部；320目標圖像準備值表；321模板圖像準備值表；601區(qū)域選擇接受部。
具體實施例方式
下面參照附圖詳細說明本發(fā)明的實施方式。此外，在本發(fā)明的實施方式中，作為圖像處理裝置的一例說明攝像裝置。
圖1是本發(fā)明實施方式中的攝像裝置100的一例即攝像裝置100a以及100b的外觀圖。攝像裝置100a主要拍攝靜止圖像，攝像裝置100b主要拍攝運動圖像。
圖1的(a)是攝像裝置100a的正面圖。攝像裝置100a從鏡頭部110a拍攝被攝體。而且，當按下快門部120a時，攝像裝置100a生成靜止圖像。圖1的(b)是攝像裝置100a的背面圖。由鏡頭部110a捕捉到的被攝體的活動映現在顯示部130a。
圖1的(c)是攝像裝置100b的正面圖。攝像裝置100b從鏡頭部110b拍攝被攝體。而且，當按下(未圖示)錄像按鈕時，攝像裝置100b生成運動圖像。圖1的(d)是攝像裝置100b的背面圖。由鏡頭部110b捕捉到的被攝體的活動映現在顯示部130b。另外，生成的運動圖像也映現在顯示部130b。另外，攝像裝置100b具有還生成靜止圖像的功能，生成的靜止圖像也映現在顯示部130b。
在本發(fā)明的實施方式中，選擇并切出映現在顯示部130a以及130b的靜止圖像的一部分，將該切出的靜止圖像設為模板圖像。在本發(fā)明的實施方式中，設想選擇靜止圖像的一部分的操作是通過直接按下顯示部130a以及130b來指定的觸摸面板方式，但不限于此。
在從內置于攝像裝置100a以及100b中的(未圖示)存儲裝置中保持的圖像中檢索期望圖像時，使用該模板圖像。下面，將成為檢索對象的保持在存儲裝置中的圖像稱為目標圖像。而且，在本發(fā)明的實施方式中，檢索包含與模板圖像類似圖像的目標圖像。當檢索時，首先將模板圖像以及目標圖像縮小到與模板圖像的縱寬以及橫寬相應的縮小率后，使用遺傳算法(GAGeneticAlgorithm)來檢索包含與模板圖像類似的圖像的目標圖像。
此外，遺傳算法是指仿效生物的進化過程通過概率論的數據處理而欲得到最佳解的方法。該方法的具體內容是首先隨機抽出個體，生成與其個體數相當的染色體，生成初始群體。接著對屬于初始群體的各染色體求出適合度。此外，適合度是指在本發(fā)明的實施方式中用于評價與模板圖像類似的圖像是否包含在目標圖像中的評價值。
求出適合度后進行選擇、交配以及突然變異的處理，生成新染色體。當生成新染色體時，與上述同樣進一步對該新染色體求出適合度。當滿足規(guī)定的結束條件時結束以上處理，適合度高的染色體被設為準最佳解。在該準最佳解超過預先決定的規(guī)定閾值的情況下，判斷為該目標圖像包含與模板圖像類似的圖像，作為檢索結果輸出。
圖2是表示本發(fā)明實施方式中的攝像裝置100的結構的圖。本發(fā)明實施方式中的攝像裝置100具備攝像部10、記錄再現處理部20、控制部30、總線40、鍵輸入部50、觸摸面板部60、以及存儲裝置70。
攝像部10具備攝像元件部11、攝像控制部12、以及圖像處理部13。攝像元件部11在內部具備用于拍攝被攝體的透鏡組(對應于圖1中的鏡頭部110a以及110b)、光圈調整機構、焦點調整機構以及例如CCD(Charge Coupled Devices電荷耦合器件)等的攝像元件等，通過透鏡組的像成像在CCD等攝像元件的成像面上。攝像元件部11接收根據快門操作從控制部30通過總線40提供的圖像取入時序信號，將成像在攝像元件的成像面上的被攝體像變換成攝像信號，提供給圖像處理部13。
攝像控制部12接收從控制部30通過總線40提供的控制信號，生成提供給攝像元件部11的控制信號。另外，攝像控制部12將生成的控制信號提供給攝像元件部11，進行縮放控制、快門控制以及曝光控制等。
圖像處理部13根據從控制部30通過總線40提供的控制信號，進行關于攝像信號的伽馬校正、AGC(Auto Gain Control自動增益控制)等的處理，并且還進行將攝像信號變換成作為數字信號的圖像信號的處理。
記錄再現處理部20具備圖像編碼/解碼部21、記錄控制部22、SDRAM(Synchronous Dynamic Random Access Memory同步動態(tài)隨機存取存儲器)23。圖像編碼/解碼部21具有編碼功能，該編碼功能對從攝像部10通過總線40提供的圖像信號等進行編碼并多路復用從而變換為壓縮數據。另外，圖像編碼/解碼部21具有從壓縮數據解碼圖像信號的解碼功能。
記錄控制部22從圖像編碼/解碼部21接收壓縮數據，寫入存儲裝置70。另外，記錄控制部22從存儲裝置70讀出壓縮數據，提供給圖像編碼/解碼部21。此外，存儲裝置70既可以外置于攝像裝置100，也可以內置于攝像裝置100。另外，作為存儲裝置70，設想將快閃存儲器(Flash memory)封裝成卡型的存儲卡、硬盤等磁盤、DVD等光盤(Optical Disk)以及MO等磁光盤(Magneto-Opticaldisk)的任一個，但是不限于此。SDRAM23作為用于編碼/解碼部21中的編碼或者解碼的作業(yè)區(qū)域使用。
控制部30具備系統(tǒng)控制部31、輸入控制部32、顯示控制部33、輸出圖像處理部34、外部設備控制部35、以及網絡控制部36。
系統(tǒng)控制部31管理整個控制部30的處理。連接到輸入控制部32的鍵輸入部50中，設置有切換拍攝模式和再現模式等其他模式的模式切換鍵、縮放調整鍵、用于曝光調整的鍵、快門鍵(對應于圖1中的快門部120a)、運動圖像攝像用鍵等多個鍵。另外，連接到輸入控制部32上的觸摸面板輸入部62接受顯示部61中顯示的菜單選擇、圖像數據的規(guī)定區(qū)域的指定。
輸入控制部32將來自鍵輸入部50以及觸摸面板輸入部62的操作信號傳遞給系統(tǒng)控制部31。系統(tǒng)控制部31判斷在鍵輸入部50以及觸摸面板輸入部62中操作了哪個鍵等，進行與該判斷結果相應的控制處理。
與顯示控制部33連接的顯示部61例如由LCD(LiquidCrystal Display液晶顯示器)等構成，在系統(tǒng)控制部31的控制下，顯示從攝像部10通過總線40提供的圖像信號、從存儲裝置70讀出的圖像信號。此外，顯示部61對應于圖1中的顯示部130a以及130b。
輸出圖像處理部34在圖像數據再現時，對圖像數據執(zhí)行規(guī)定的修飾處理。修飾處理例如設想為圖像數據的顏色校正等。此外，也可以構成為由系統(tǒng)控制部31進行由輸出圖像處理部34進行的對圖像數據的處理。
與外部設備控制部35連接的外部設備80例如設想為個人計算機(Personal Computer)等，但不限于此。此外，在外部設備80和外部設備控制部35之間，例如設想為通過USB(UniversalSerial Bus通用串行總線)線纜連接，但是不限于此。外部設備控制部35控制攝像裝置100和外部設備80之間的數據交換。
網絡控制部36控制在攝像裝置100和網絡網90之間交換的數據。此外，作為網絡網，設想為因特網、LAN(Local Area Network局域網)，但是不限于此。
圖3是表示本發(fā)明實施方式中的圖像檢索功能的結構的一例的圖。該圖像檢索功能具備區(qū)域選擇接受部601、模板圖像生成部301、圖像縮小部302、保持多個在圖1中說明的目標圖像的目標圖像保持部231、以及類似圖像檢索部310。
區(qū)域選擇接受部601接受在目標圖像保持部231中保持的多個目標圖像中任一個目標圖像的選擇、以及在該目標圖像中應作為模板圖像切出的區(qū)域的選擇。
模板圖像生成部301通過從目標圖像切出在區(qū)域選擇接受部601中接受的目標圖像中的應作為模板圖像切出的區(qū)域，生成模板圖像。
另外，模板圖像生成部301還生成將通過上述切出生成的模板圖像以規(guī)定倍率放大以及縮小后的圖像。該放大以及縮小后的圖像也用作模板圖像。另外，模板圖像生成部301還生成使通過上述切出生成的模板圖像、放大以及縮小后的圖像旋轉規(guī)定角度后的圖像。該旋轉規(guī)定角度后的圖像也用作模板圖像。
圖像縮小部302將在模板圖像生成部301中生成的模板圖像以及目標圖像縮小到與模板圖像的縱寬以及橫寬相應的縮小率。通過縮小目標圖像以及模板圖像，能夠減少后面進行的檢索處理中的計算量，能夠高速地進行檢索處理。另外，當縮小目標圖像以及模板圖像時，在檢索中難以檢測圖像細部的不是本質的差異、噪聲，因此還提高檢索精度。
然而，在模板圖像的尺寸比較小的情況下，當通過縮小而變得更小時，有檢索精度變低的可能性。為此，例如在模板圖像的縱寬和橫寬之間的積是規(guī)定值以下的情況下，通過將目標圖像以及模板圖像的縮小率設為1(不縮小)，能夠防止檢索精度的降低。
類似圖像檢索部310使用遺傳算法檢索包含與模板圖像類似的圖像的目標圖像，具備個體抽出部311、適合度算出預處理部312、適合度算出部313、遺傳算法處理部314、處理結束指示部315、準最佳解判斷部316、附近區(qū)域準最佳解判斷部317、類似圖像判斷部318、準備值算出部319、目標圖像準備值表320、以及模板圖像準備值表321。
個體抽出部311從在圖像縮小部302中縮小的目標圖像中隨機抽出多個個體，生成與個體數量相當的染色體，該染色體具有基于個體的目標圖像上的坐標以及放大或者縮小模板圖像的規(guī)定倍率的染色體信息。由此，生成在圖1中敘述的遺傳算法中的初始群體。
上述染色體信息中的個體的目標圖像上的坐標以及放大或者縮小模板圖像的規(guī)定倍率所表示的是，將目標圖像和放大或者縮小到規(guī)定倍率的模板圖像互相重疊、進行對照(匹配)的匹配區(qū)域。作為該匹配區(qū)域，例如設想為在將放大或者縮小到規(guī)定倍率的模板圖像的原點決定為模板圖像的左上端、使其左上端位于染色體的目標圖像上的坐標上的情況下，目標圖像和模板圖像互相重疊的區(qū)域。
適合度算出預處理部312算出匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值。此外，在本發(fā)明的實施方式中，像素值是指例如使用YUV、RGB以及HSV中任一個來表示的量，作為該量設想為亮度
、色差等。在該情況下，適合度算出預處理部312算出匹配區(qū)域中的目標圖像和模板圖像的亮度
或者色差的平均值的差的絕對值。
當在適合度算出預處理部312中匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值被判斷為超過規(guī)定閾值時，在后述的適合度算出部313中與該匹配區(qū)域對應的染色體的適合度成為包括零的足夠小的值。即，在適合度算出預處理部312中匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值被判斷為超過規(guī)定閾值的情況下，無需計算適合度，估計為該目標圖像的匹配區(qū)域中沒有包含與模板圖像類似的圖像。因而，該情況下由適合度算出部313設定的適合度，為了從類似判斷中除外而需要設定為足夠小的值(包括零)。
另外，適合度算出預處理部312也可以算出將匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差進行平方的結果的比，判斷是否進行適合度計算。該情況下，當在適合度算出預處理部312中將像素值的標準偏差進行平方的結果的比被判斷為不在規(guī)定范圍內時，在后述的適合度算出部313中與該匹配區(qū)域對應的染色體的適合度被設為包括零的足夠小的值。即，當在適合度算出預處理部312中將像素值的標準偏差進行平方的結果的比被判斷為不在規(guī)定范圍內的情況下，無需計算適合度，估計為該目標圖像的匹配區(qū)域中不包含與模板圖像類似的圖像。因而，該情況下由適合度算出部313設定的適合度，為了從類似判斷中除外而需要設定為足夠小的值(包括零)。
另外，適合度算出預處理部312也可以算出匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值，判斷是否進行適合度計算。在該情況下，當匹配區(qū)域的中央點的像素值的平均值的差的絕對值被判斷為超過規(guī)定閾值時，在后述的適合度算出部313中與該匹配區(qū)域對應的染色體的適合度，被設為包括零的足夠小的值。即，在匹配區(qū)域的中央點的像素值的平均值的差的絕對值被判斷為超過規(guī)定閾值的情況下，無需計算適合度，估計為該目標圖像的匹配區(qū)域中沒有包含與模板圖像類似的圖像。因而，在該情況下由適合度算出部313設定的適合度，為了從類似判斷中除外而需要設定足夠小的值(包括零)。
以上的基于匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值的染色體適合度的評價、基于將匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差進行平方的結果的比的染色體適合度的評價、以及基于匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值的染色體適合度的評價，既可以全部進行，另外也可以選擇某個來進行。此外，在后面詳細敘述對適合度算出預處理部312中的各染色體的適合度的評價。
適合度算出部313進行由根據染色體信息和像素值在個體抽出部311中抽出的個體生成的染色體的適合度的算出。利用該適合度進行在目標圖像中是否包含與模板圖像類似的圖像的評價。即，在適合度高于規(guī)定閾值的情況下，評價為目標圖像中包含與模板圖像類似的圖像。在本發(fā)明的實施方式中，作為在算出適合度時使用的函數，設想為互相關函數，在式1中表示該互相關函數的一例。
式1f(X,Y)=Σi=0wΣj=0h(Target(X+i,Y+j)-MTarget)(Template(i,j)-MTemplate)Σi=0wΣj=0h(Target(X+i,Y+j)-MTarget)2Σi=0wΣj=0h(Template(i,j)-MTemplate)2]]>式1所示的互相關函數是提供匹配區(qū)域中的目標圖像和模板圖像之間的類似程度的函數，提供-1≤f(X，Y)≤1的范圍的值。在匹配區(qū)域中的目標圖像和模板圖像完全一致的情況下，成為f(X，Y)＝1。此外，在式1中，w、h分別表示模板圖像的寬度和高度。另外，Target(X+i，Y+j)表示目標圖像的坐標(X+i，Y+j)的像素值。另外，Template(i，j)表示模板圖像的坐標(i，j)的像素值。另外，Mtarget表示目標圖像的匹配區(qū)域中的像素值的平均值。另外Mtemplate表示模板圖像的像素值的平均值。
此外，作為在適合度算出部313中算出適合度時使用的互相關函數，除了式1所示的互相關函數以外，也可以使用式2所示的互相關函數來算出適合度。式2所示的互相關函數更換了式1中的Mtarget和Mtemplate，其他與在式1中說明的相同。
式2f(X,Y)=Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)(Template(i,j)-MTarget)Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)2Σi=0wΣj=0h(Template(i,j)-MTarget)2]]>在此，將式2的式子與式1進行比較說明。式1的互相關函數中的“Target(X+i，Y+j)-Mtarget”僅表示從目標圖像中的像素值去除目標圖像中的像素值的直流成分后的、目標圖像中的像素值的交流成分；“Template(i，j)-Mtemplate”僅表示從模板圖像中的像素值去除模板圖像中的像素值的直流成分后的、模板圖像中的像素值的交流成分。根據式1，分子是目標圖像中的像素值的交流成分和模板圖像中的像素值的交流成分的積，因此得不到加入直流成分的結果。因此，將目標圖像和模板圖像進行匹配的情況下，有可能盡管兩者不類似，但作為f(X，Y)的值卻得出高的值。
另一方面，式2的互相關函數中的“Target(X+i，Y+j)-Mtemplate”從目標圖像中的像素值去除了模板圖像中的像素值的直流成分，“Template(i，j)-Mtarget”從模板圖像中的像素值去除了目標圖像中的像素值的直流成分。在該情況下，在目標圖像的直流成分和模板圖像的直流成分有差的情況下，在Target(X+i，Y+j)-Mtemplate以及Template(i，j)-Mtarget中，不僅有交流成分還殘留有直流成分。即，得出還加入直流成分的結果。為此，能夠進行比通過式1算出適合度精度高的檢索。
另外，作為利用式1以及式2在適合度算出部313中算出適合度時使用的函數，也可以使用式3所示的函數。
式3F(X,Y)=f_Y(X,Y)2+f_U(X,Y)2+f_V(X,Y)23]]>式3是算出作為像素值利用YUV表示的情況下的適合度時使用的函數。f_Y(X，Y)是表示作為式1或者式2中的f(X，Y)的像素值使用Y成分(亮度)的式子。另外，f_U(X，Y)是表示作為式1或者式2中的f(X，Y)的像素值使用U成分(亮度信號和藍色成分的差)的式子。另外，f_V(X，Y)是表示作為式1或者式2中的f(X，Y)的像素值使用V成分(亮度信號和紅色成分的差)的式子。
式3得到將各f_Y(X，Y)、f_U(X，Y)以及f_V(X，Y)進行平方后相加的結果的平方根。而且，為了將各f_Y(X，Y)、f_U(X，Y)以及f_V(X，Y)進行平方后相加的結果的平方根歸一化，除以3的平方根。在式3中以1∶1∶1合成YUV，但是也可以重視YUV的某個成分而以其他比率合成。
根據式3，能夠得到不僅加入Y成分(亮度)、還加入U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的結果，因此能夠進行高精度的匹配。
此外，以上在式1至式3中說明的f(X，Y)成為從-1到1的范圍，但是作為適合度算出部313中的算出結果設想提供表示從0到1的范圍的適合度“f′(X，Y)＝(f(X，Y)+1)/2”。
遺傳算法處理部314對在適合度算出部313中算出適合度的染色體進行選擇、交配以及突然變異的處理，生成具有新染色體信息的染色體。此外，選擇是指根據在適合度算出部313中算出的適合度來選擇規(guī)定數量的染色體的處理。另外，交配是指例如制作通過上述選擇所選擇的染色體的對、更換該成對的染色體中的染色體信息的一部分的處理。另外，突然變異是指以規(guī)定概率改變染色體中的染色體信息的一部分值的處理。
但是，由于以規(guī)定概率進行以上的選擇、交配以及突然變異，因此進行遺傳算法處理部314中的處理之后，可能成為將染色體信息中沒有變化的染色體以及具有新染色體信息的染色體混合的群體。然后，在遺傳算法處理部314中進行選擇、交配以及突然變異的處理后，再次進行適合度算出預處理部312以及適合度算出部313中的處理。
處理結束指示部315根據規(guī)定的條件，指示由適合度算出預處理部312、適合度算出部313以及遺傳算法處理部314重復進行的處理的結束。作為規(guī)定的條件，設想例如由適合度算出預處理部312、適合度算出部313以及遺傳算法處理部314進行50代的處理后結束，但不限于此。
當從處理結束指示部315接收處理結束的指示時，適合度算出部313將最后算出的多個適合度提供給準最佳解判斷部316。準最佳解判斷部316將從適合度算出部313提供的多個適合度中最高的適合度所對應的染色體判斷為準最佳解。
附近區(qū)域準最佳解判斷部317對在準最佳解判斷部316中被判斷為準最佳解的染色體所對應的匹配區(qū)域周邊的所有規(guī)定區(qū)域，進行目標圖像和模板圖像之間的對照，在進行對照的各匹配區(qū)域中例如使用上述式1至式3所示的函數來算出適合度。然后，將具有算出的適合度中最高適合度的染色體判斷為附近區(qū)域準最佳解判斷部317中的準最佳解。
在準最佳解判斷部316中被判斷為準最佳解的染色體所對應的匹配區(qū)域周邊的規(guī)定區(qū)域的寬窄，設想為例如預先設定成從匹配區(qū)域的邊界起的規(guī)定像素范圍的寬窄。對在附近區(qū)域準最佳解判斷部317中被判斷為準最佳解的染色體所對應的匹配區(qū)域周邊的規(guī)定區(qū)域進一步進行目標圖像和模板圖像的對照，這是因為在使用遺傳算法進行目標圖像和模板圖像之間的對照的情況下，并不是每次都能夠發(fā)現目標圖像和模板圖像進行對照的最佳地方。
類似圖像判斷部318判斷在準最佳解判斷部316中判斷的最高適合度、與在附近區(qū)域準最佳解判斷部317中算出的適合度中，較高的一方的適合度是否超過預先設定的規(guī)定閾值。當在類似圖像判斷部318中判斷為較高的一方的適合度超過規(guī)定閾值時，設為與模板圖像類似的圖像包含在該目標圖像中，并作為檢索結果輸出。
準備值算出部319算出將在圖像縮小部302中縮小的模板圖像以及縮小的目標圖像中的從原點到任意坐標為止的像素值累加而得到的準備值(以下稱為準備值)。對縮小的模板圖像以及縮小的目標圖像所有的坐標進行該準備值的算出。將準備值設為ii(X，Y)、將目標圖像的(X′，Y′)的像素值設為i(X′，Y′)時，表示準備值ii(X，Y)的式子表示為如式4所示。
式4ii(X,Y)=ΣX′≤X,Y′≤Yi(X′,Y′)]]>當考慮將目標圖像的左上設為原點、將左方向設為X′的正方向以及將下方向設為Y′的正方向的X′Y′坐標空間時，式4成為累加由0≤X′≤X、0≤Y′≤Y表示的區(qū)域內的各坐標處的像素值的形式。為了計算該準備值，進一步考慮中間值s(X，Y)時，準備值ii(X，Y)和目標圖像的(X′，Y′)中的像素值i(X′，Y′)和中間值s(X，Y)的關系成為如式5所示。此外，ii(0，0)的計算所需的s(X，-1)以及ii(-1，Y)的值分別設為0。
式5S(X，Y)＝S(X，Y-1)+i(X，Y)ii(X，Y)＝ii(X-1，Y)+S(X，Y)使用上述式4以及式5算出的準備值，在準備值算出部319中按目標圖像的各坐標被全部算出，其結果被保持在目標圖像準備值表320中。另外，對于模板圖像也用與上述說明相同的思路，在準備值算出部319中按模板圖像的各坐標算出準備值，其結果被保持在模板圖像準備值表321中。
另外，將各坐標處的像素值的平方的結果進行累加得到的準備值iii(X，Y)，也利用與上述相同的思路，按目標圖像以及模板圖像的各坐標全部算出，分別保持在目標圖像準備值表320以及模板圖像準備值表321中。此外，iii(X，Y)表示為如式6所示。
式6ii(X,Y)=ΣX′≤X,Y′≤Yi(X′,Y′)2]]>上述準備值在使用上述說明的式1至式3的計算中由適合度算出部313使用。關于計算式1至式3時的準備值的利用方法，在圖4中進行說明。
圖4是用于說明本發(fā)明實施方式中的準備值的圖。圖4的(a)是表示目標圖像200的圖。準備值是將由(0，0)以及(X，Y)確定的區(qū)域201內的目標圖像中的像素值進行累加得到的值。(X，Y)分別取0≤X≤Xn、0≤Y≤Yn的范圍，對于該范圍中的所有(X，Y)求出準備值。
該準備值，例如在將像素值設為亮度的情況下，越累加各坐標、值越大，因此越向右下方向、圖像越明亮，例如能夠表示為如圖4的(b)所示的灰度級(gradation)圖像202。
在算出該目標圖像200的區(qū)域203中的適合度的情況下，使用在圖3中說明的式1至式3。下面使用圖4的(c)以及圖4的(d)，說明算出區(qū)域203中的適合度時，在使用式1的情況下，在式1中使用準備值的方法。
將圖4的(c)中的點A設為(X，Y)、將AB間的長度設為w、將AC間的長度設為h時，可通過計算式1所示的式子求出區(qū)域203中的適合度。在式1的計算中，將式1的分母中與目標圖像相關的式子展開得到的式子表示在式7中。
式7Σi=0wΣj=0h(Target(X+i,Y+j)-MTarget)2]]> 在式7中項a1成為將由坐標(X，Y)的點A和坐標(X+w，Y+h)的點D確定的區(qū)域203內的像素值的平方進行累加的形式。可以使用目標圖像中的準備值iii(X，Y)計算該項a1。即，將表示圖4的(d)所示的準備值的灰度級圖像202中的區(qū)域203內的值進行平方后累加的結果是項a1。因而，使用圖3中說明的目標圖像中的iii(X，Y)，由iii(A)+iii(D)-iii(B)-iii(C)求出項a1。此外，iii(A)表示點A的坐標的準備值iii(X，Y)的值，對于其他也設為使用相同的使用方法。
項a2成為將由坐標(X，Y)的點A和坐標(X+w，Y+h)的點D確定的區(qū)域203內的像素值進行累加的結果與2Mtarget之間的積。該項a2可以使用目標圖像中的準備值ii(X，Y)來計算。項a2也與項a1同樣考慮時，由2Mtarget{ii(A)+ii(D)-ii(B)-ii(C)}求出。項a3表示為Mtargetwh。由上可知，可以使用目標圖像中的ii(X，Y)以及iii(X，Y)，求出式1的分母中與目標圖像有關的式子。也可以由相同的思路求出式1的分母中與模板圖像有關的式子。此外，ii(A)表示點A的坐標處的準備值ii(X，Y)的值，對于其他也設為使用相同的使用方法。
下面，將在式1的計算中展開式1的分子得到的式子表示在式8中。
式8Σi=0wΣj=0h(Target(X+i,Y+j)-MTarget)(Template(i,j)-MTemplate)]]>=Σi=0wΣj=0hTarget(X+i,Y+j)Template(i,j)]]>項b1 在式8中不能利用準備值計算項b1。當與上述式7同樣考慮時，使用模板圖像中的準備值ii(X，Y)，由Mtarget{ii(A)+ii(D)-ii(B)-ii(C)}求出項b2。另外，使用目標圖像中的準備值ii(X，Y)，由Mtemplate{ii(A)+ii(D)-ii(B)-ii(C)}求出項b3。另外，項b4表示為MtargetMtemplatewh。由上可知，可以使用目標圖像以及模板圖像中的ii(X，Y)以及iii(X，Y)來求出式1的分子。
此外，以上將式1作為例子說明了準備值的使用方法，但是利用相同的思路，也可以使用準備值計算式2以及式3?？赏ㄟ^使用準備值計算式1至式3來減少計算量，因此能夠實現高速的檢索處理。
圖5是表示本發(fā)明實施方式中的目標圖像準備值表320的圖。目標圖像準備值表320具備坐標3201、準備值ii(X，Y)3202、以及準備值iii(X，Y)3203。
坐標3201包含目標圖像的所有的坐標，保持有與該坐標對應的準備值ii(X，Y)3202和準備值iii(X，Y)3203。ii(A)以及iii(A)分別表示A的坐標處的準備值ii(X，Y)、準備值iii(X，Y)，關于其他也設為使用相同的使用方法。參照該目標圖像準備值表320，適合度算出部313對各染色體算出適合度。此外，關于模板圖像準備值表321，內容也可以與上述相同地考慮。
圖6是表示在本發(fā)明實施方式中選擇模板圖像區(qū)域的情形的圖。在本發(fā)明的實施方式中，能夠一次顯示在顯示畫面600中的目標圖像的張數，如圖6的(a)所示例如設為4張。在想要使其他目標圖像顯示在顯示畫面600中的情況下，例如利用觸筆(stylus)501按下“向前”按鈕621或者“向后”按鈕622。由此，顯示其他目標圖像。此外，在本發(fā)明的實施方式中，作為操作方式，設想通過直接按下顯示畫面進行操作輸入的觸摸面板方式，但是不限于此。
利用上述操作使期望的圖像顯示在顯示畫面600中之后，利用觸筆501按下期望的目標圖像，選擇OK按鈕623。由此，如圖6的(b)所示，該選擇的目標圖像611顯示在顯示畫面600中。
當在顯示畫面600中顯示圖6的(b)所示的目標圖像611時，接著選擇目標圖像中的區(qū)域。包含在該選擇的區(qū)域中的圖像成為模板圖像。在目標圖像中的區(qū)域選擇中，例如利用觸筆502選擇了點612之后，利用觸筆503選擇點613。當利用觸筆503選擇點613時，顯示將連接了點612以及點613的線設為對角線的區(qū)域614。
顯示了區(qū)域614之后選擇OK按鈕624時，生成模板圖像。另一方面，顯示了區(qū)域614之后選擇不同的區(qū)域的情況下，選擇返回的按鈕625，再次選擇目標圖像611中的區(qū)域。
圖7是表示本發(fā)明實施方式中的模板圖像數據生成的情形的圖。當選擇目標圖像中的區(qū)域時，在模板圖像生成部301中切出目標圖像中的被選擇的區(qū)域，生成圖7的(a)所示的模板圖像615。
另外，模板圖像生成部301還生成放大以及縮小模板圖像615后的圖像即模板圖像615a至615d。設想模板圖像615a至615d分別是模板圖像615例如的1.21倍、1.1倍、1.0倍、0.909倍、0.826倍。此外，在圖7的(a)中，模板圖像615以外的模板圖像數據只有四個，但是不限于此，也可以是任意個。
在此，1.21、1.1、1.0、0.909、0.826的數列是(1.1)2、(1.1)1、(1.1)0、(1.1)-1、(1.1)-2，即，是公比為1.1的等比數列。此外，使公比變大時，使用模板圖像進行圖像檢索時產生檢索遺漏的可能性變高，另一方面，使公比變小時，使用模板圖像進行圖像檢索時產生增加計算量的弊病。為此，公比最好是1.1左右，但是不限于此，例如也可以是1.09或1.2等。
另外，作為模板圖像，不僅是放大以及縮小模板圖像615后的圖像數據，也可以如圖7的(b)所示生成進一步旋轉后的模板圖像616。
圖8是表示在本發(fā)明實施方式中的圖像縮小部302中縮小目標圖像以及模板圖像的情形的圖。圖8的(a)是表示在圖像縮小部302中被縮小之前的目標圖像617以及模板圖像615的圖。
目標圖像617以及模板圖像615縮小到與模板圖像的縱寬以及橫寬相應的縮小率k。作為縮小率k，設想為例如設為如式9所示的縮小率。此外，將模板圖像615的橫寬設為a，將縱寬設為b。
式9 圖8的(b)是在圖像縮小部302中縮小目標圖像以及模板圖像后的圖。在圖像縮小部302中被縮小時，目標圖像的橫寬從c變成kc，目標圖像的縱寬從d變成kd。另外，在圖像縮小部302中被縮小時，模板圖像的橫寬從a變成ka，模板圖像的縱寬從b變成kb。
這樣，能夠通過縮小目標圖像以及模板圖像，降低后面進行的檢索處理中的計算量，高速地進行檢索處理。另外，當縮小目標圖像以及模板圖像時，在檢索中難以檢測圖像細部的不是本質的差異、噪聲，因此還提高檢索精度。
圖9是表示本發(fā)明實施方式中的染色體的染色體信息400的一例的圖。在本發(fā)明實施方式中的染色體信息400中，作為在個體抽出部311中抽出的個體的目標圖像上的坐標，設想為進行目標圖像和模板圖像的對照(匹配)的位置的X坐標401、以及進行目標圖像和模板圖像的對照(匹配)的位置的Y坐標402，作為模板圖像的放大或者縮小的規(guī)定倍率，設想為與目標圖像對照(匹配)的模板圖像的倍率403。
X坐標401以及Y坐標402分別變換到格雷碼之后編碼到染色體信息中。另外，倍率403不是將倍率本身編碼到染色體信息中，而是例如對倍率建立索引并變換為格雷碼之后編碼到染色體信息中。
圖10是表示在本發(fā)明實施方式中的遺傳算法的選擇中使用的輪盤賭410的圖。選擇是如在圖3中說明那樣，選擇規(guī)定數量的在適合度算出部313中算出適合度的染色體的處理。將輪盤賭410分割為與染色體數量相當。在該分割中，設定為占有輪盤賭410的面積與在適合度算出部313中算出的適合度f′(X，Y)成比例。
例如，假設在個體抽出部311中抽出n個個體，生成了n個染色體。該情況下，輪盤賭410被分割為n個區(qū)域。而且，染色體的適合度按染色體A、染色體B、染色體C、染色體D、......的順序從高到低。該情況下，占有輪盤賭410的面積，對適合度高的染色體提供大面積的區(qū)域，因此變成如圖10所示。
在此，將輪盤賭410向圖10所示的箭頭方向轉動。然后，在輪盤賭410所停止的地方，選擇點411所指的染色體成為通過選擇剩下的染色體。例如重復n次該處理，從n個染色體中選擇n個染色體。此外，在輪盤賭410中占有面積大的染色體剩下的概率高，因此通過輪盤賭410進行選擇之后，適合度高的染色體變多的可能性高。
圖11是表示本發(fā)明實施方式中的遺傳算法交配的情形的圖。交配如在圖3中說明那樣，是例如制作通過上述選擇所選擇的染色體的對、交換該成對的染色體中的染色體信息的一部分的處理。
圖11的(a)是作為染色體對表示染色體A421以及染色體B422的圖。選擇染色體A421以及染色體B422中的規(guī)定位置。在圖11的(a)中以虛線表示該規(guī)定的位置。交換該虛線右側的染色體信息。通過該交換，生成圖11的(b)所示的染色體C423以及染色體D424。
圖12是表示本發(fā)明實施方式中的遺傳算法的突然變異的情形的圖。突然變異如在圖3中說明那樣，是以規(guī)定概率改變染色體中的染色體信息的一部分的值的處理。該規(guī)定的概率是極低的概率，使以該概率選擇的、具有染色體信息431的染色體的隨機位置432的染色體信息進行位翻轉。由此生成新染色體。
以上，通過重復在圖10至圖12中說明的選擇、交配以及突然變異，適合度高的染色體剩得多。然后，如果達到預先設定的結束條件，則結束處理，在與其中適合度最高的染色體對應的匹配區(qū)域中包含與模板圖像類似的圖像的可能性變高。在該最高的適合度超過規(guī)定閾值的情況下，估計為與模板圖像類似的圖像包含在該目標圖像中，作為類似的圖像輸出。
圖13是表示本發(fā)明實施方式中的適合度算出預處理部312中的處理情形的圖。在從目標圖像中搜索與模板圖像640類似的區(qū)域的情況下，與圖13所示的規(guī)定的染色體對應的匹配區(qū)域631顯然不能說是類似的區(qū)域。在適合度算出部313中對如上所述的染色體進行適合度的算出，這會妨礙圖像檢索高速化。
為此，在本發(fā)明的實施方式中，為了降低適合度算出部313中的運算量，對如匹配區(qū)域631那樣的匹配區(qū)域需要省略利用式1至式3的適合度算出。在本發(fā)明的實施方式中，如在圖3中說明的那樣，在適合度算出預處理部312中，根據匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值進行染色體的適合度的評價；根據將匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差進行平方的結果的比進行染色體的適合度的評價；以及根據匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值進行染色體的適合度的評價。以上，對于適合度的評價不好的評價，不在適合度算出部313中利用式1至式3來算出適合度，而為了從類似判斷中除外將足夠小的值(包括零)設定為適合度。在下面說明適合度的評價的具體例。
在由YUV表示像素值的情況下，在式10中表示用于盡量省略染色體的適合度計算的、與匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值相關的條件的一例。此外，MYtarget、MUtarget、MVtarget分別是目標圖像中的Y成分(亮度)、U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的平均值。另外MYtemplate、MUtemplate、MVtemplate分別是模板圖像中的Y成分(亮度)、U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的平均值。
式10|MYtarget-MYtemplate|＞90|MUtarget-MUtemplate|＞20|MVtarget-MVtemplate|＞20在適合度算出預處理部312中算出的匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值，滿足式10所示的所有條件的情況下，適合度算出部313為了從類似判斷中除外將足夠小的值(包括零)設定為適合度。
在由YUV表示像素值的情況下，在式11中表示用于盡量省略染色體的適合度計算的、與將匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差進行平方的結果的比相關的條件的一例。此外σUtarget、σVtarget分別是目標圖像中的U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的平均值。另外σUtemplate、σVtemplate分別是模板圖像中的U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)的平均值。
式110.01>(σUtarget)2(σUtemplate)2,]]>或者100<(σUtarget)2(σUtemplate)2]]>0.01>(σVtarget)2(σVtemplate)2,]]>或者100<(σVtarget)2(σVtemplate)2]]>此外，當使用目標圖像中的Y成分(亮度)的平均值MYtarget時，目標圖像中的Y成分(亮度)的標準偏差σYtarget可表示成如式12所示。
式12(σYtarget)2=Σ(MYtarget)2-(ΣMYtarget)2]]>在將在適合度算出預處理部312中算出的匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差進行平方的結果的比，滿足式11所示的式子的所有條件的情況下，適合度算出部313為了從類似判斷中除外將足夠小的值(包括零)設定為適合度。
在由YUV表示像素值的情況下，在式13中表示用于盡量省略染色體的適合度計算的、與匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值相關的條件的一例。此外，CUtarget、CVtarget分別是關于目標圖像中匹配區(qū)域中央點的U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)。另外，CUtemplate、CVtemplate分別是關于模板圖像中的匹配區(qū)域中央點的U成分(亮度信號和藍色成分的差)以及V成分(亮度信號和紅色成分的差)。
式13|CUtarget-CUtemplate|＞30|CVtarget-CVtemplate|＞30在適合度算出預處理部312中算出的匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值，滿足式13所示的式子的所有條件的情況下，適合度算出部313為了從類似判斷中除外而將足夠小的值(包括零)設定為適合度。
即，利用式10、式11以及式13的某個評價適合度的結果，對于評價不好的結果，適合度算出部313在適合度的算出中不使用f(X，Y)，而為了從類似判斷中除外將足夠小的值(包括零)設定為適合度。由此，在適合度的算出中不使用f(X，Y)，因此能夠高速地檢索包含與模板圖像類似的圖像的目標圖像。
圖14是表示由本發(fā)明實施方式中的遺傳算法求出的準最佳解所對應的匹配區(qū)域的周邊區(qū)域的圖。在圖14中，模板圖像660和設為準最佳解的染色體所對應的匹配區(qū)域中的圖像652，位置稍微偏離。稍微偏離匹配區(qū)域的圖像653，能夠評價為比圖像652類似于模板圖像660的圖像。
在遺傳算法中，并不是對目標圖像的整個區(qū)域詳細地進行評價，因此在由遺傳算法求出的準最佳解的周邊區(qū)域中存在更好的準最佳解的可能性高。為此，在本發(fā)明的實施方式中，求出準最佳解之后，在與該準最佳解縮對應的匹配區(qū)域的周邊區(qū)域中使匹配區(qū)域偏離后進一步求出適合度。該適合度使用圖3中說明的式1至式3在附近區(qū)域準最佳解判斷部317中求出。此外，匹配區(qū)域的周邊區(qū)域預先決定為例如將到匹配區(qū)域的邊界為規(guī)定像素的區(qū)域設為周邊區(qū)域。
在附近區(qū)域準最佳解判斷部317中求出的上述周邊區(qū)域中的適合度中最高的適合度，高于在準最佳解判斷部316中被判斷為準最佳解的適合度的情況下，在附近區(qū)域準最佳解判斷部317中求出的上述周邊區(qū)域中的適合度中最高的適合度被設為新準最佳解。在類似圖像判斷部318中進行該判斷，在被判斷為該準最佳解的適合度超過預先決定的規(guī)定閾值的情況下，估計為在該目標圖像中包含與模板圖像類似的圖像。
圖15是表示在本發(fā)明的實施方式中檢索包含與模板圖像類似的圖像的目標圖像時的顯示畫面600的圖。圖15的(a)是表示正在檢索包含與模板圖像類似的圖像的目標圖像的顯示畫面600的圖。
當檢索出包含與模板圖像類似的圖像的目標圖像時，該目標圖像671顯示在顯示畫面600中。設想該顯示的目標圖像671為縮略圖。另外，作為顯示在顯示畫面600中的目標圖像的順序，設想為適合度從高到低的順序。另外，在顯示畫面600中一次顯示的目標圖像的張數例如設為兩張，使用滾動條(scroll)673來顯示其他檢索出的目標圖像。
而且，通過在顯示畫面600中設置表示檢索進行狀態(tài)的檢索經過顯示672，能夠讓用戶識別當前檢索進行到哪種程度。另外，當設置使檢索處理中斷的中斷按鈕674時，在用戶期望的目標圖像顯示為檢索結果、不需要進行進一步的檢索處理的情況下有用。
圖15的(b)是包含與模板圖像類似的圖像的目標圖像的檢索結束之后的顯示畫面600。當檢索結束時作為檢索結果，包含與模板圖像類似的圖像的目標圖像681顯示在顯示畫面600中。在顯示畫面600中一次顯示的目標圖像張數例如設為四張，使用滾動條682來顯示其他檢索出的目標圖像。
下面，參照

本發(fā)明實施方式中的攝像裝置100的動作。
圖16是表示檢索包含與本發(fā)明實施方式中的模板圖像類似的圖像的目標圖像的流程的圖。首先，在區(qū)域選擇接受部601中接受在目標圖像保持部231中保持的目標圖像中的任一個的選擇以及該目標圖像中的區(qū)域的選擇(步驟S911)。當該選擇被接受時，開始檢索處理。
接著，基于接受了選擇的目標圖像區(qū)域，在模板圖像生成部301中生成模板圖像(步驟S912)。此外，在步驟S912中，例如作為模板圖像還生成使接受了選擇的目標圖像的區(qū)域所對應的圖像放大或者縮小或者旋轉后的圖像。
在圖像縮小部302中由步驟S912生成的模板圖像縮小到與該模板圖像的縱寬以及橫寬相應的縮小率(步驟S913)。然后，在準備值算出部319中算出縮小的模板圖像中的準備值(步驟S914)。
下面，判斷在目標圖像保持部231中是否存在未檢索的目標圖像(步驟S915)。如果沒有未檢索的目標圖像則結束處理。另一方面，當判斷為存在未檢索的目標圖像時，在圖像縮小部302中縮小未檢索的目標圖像中的規(guī)定的目標圖像(步驟S916)。此外，步驟S916中的縮小的縮小率，與步驟S913中的模板圖像的縮小率相同。然后，在準備值算出部319中算出縮小的目標圖像中的準備值(步驟S917)。
當結束以上處理時，算出用于評價在步驟S917中縮小的規(guī)定的目標圖像中是否包含與模板圖像類似的圖像的適合度，適合度中最高的適合度被設為準最佳解(步驟S918)。
在類似圖像判斷部318中，判斷在步驟S918中作為準最佳解的適合度是否高于預先決定的規(guī)定閾值(步驟S919)。當判斷為在步驟S918中作為準最佳解的適合度高于預先決定的規(guī)定閾值時，設為該目標圖像包含與模板圖像類似的圖像，作為類似圖像輸出(步驟S920)。另一方面，當判斷為在步驟S918中被設為準最佳解的適合度低于預先決定的規(guī)定閾值時，設為該目標圖像不包含與模板圖像類似的圖像。重復以上處理，直到在步驟S915中判斷為在目標圖像保持部231中不存在未檢索的目標圖像為止，。
圖17是表示圖16中的步驟S918的準最佳解算出處理的流程的圖。首先。從目標圖像中隨機抽出個體。生成與該抽出的個體數量相當的具有規(guī)定的染色體信息的染色體(步驟S921)。根據目標圖像上的坐標以及模板圖像的放大或者縮小的規(guī)定倍率，生成該染色體信息。
接著，算出各染色體的適合度(步驟S922)。在適合度算出預處理部312以及適合度算出部313中，分為兩個階段進行該適合度的算出。
在適合度算出預處理部312中，算出各染色體所對應的匹配區(qū)域中的目標圖像和模板圖像的像素值的平均值的差的絕對值、或者各染色體所對應的匹配區(qū)域中的目標圖像和模板圖像的像素值的標準偏差的平方的比、或者各染色體所對應的匹配區(qū)域的中央點的目標圖像和模板圖像的像素值的差的絕對值。適合度算出預處理部312例如利用式10至式13評價這些值，判斷是否應該從類似判斷中除外。
在適合度算出部313中，對于在適合度算出預處理部312中沒有被判斷為應該從類似判斷中除外的染色體，例如使用式1至式3算出適合度。通過在適合度算出預處理部312中判斷應該預先從類似判斷中除外的染色體，能夠降低適合度算出部313中的計算量，因此能夠實現高速的檢索處理。
接著，從在步驟S922中算出適合度的染色體中選擇規(guī)定數量的染色體(步驟S923)。在本發(fā)明的實施方式中，設想使用例如在圖10中說明的輪盤賭進行染色體的選擇，但是不限于此。
接著，對在步驟S923中選擇的規(guī)定數量的染色體進行交配(步驟S924)。本發(fā)明實施方式中的交配，設想用例如在圖11中說明的方法進行交配，但是不限于此。
接著，對染色體進行突然變異(步驟S925)。設想用例如在圖12中說明的方法進行本發(fā)明實施方式中的突然變異，但是不限于此。
以上的步驟S922至步驟S925的處理，預先設定有用來結束例如使重復50代之后結束的等處理的條件。在處理結束指示部315中，在步驟S925之后判斷是否滿足結束該處理的條件(步驟S926)。
當判斷為結束步驟S922至步驟S925的處理時，在最后的處理中算出的適合度中最高的適合度在準最佳解判斷部316中被判斷為準最佳解(步驟S927)。接著，在步驟S927中判斷的準最佳解所對應的匹配區(qū)域的周邊區(qū)域中，在附近區(qū)域準最佳解判斷部317中進行適合度的算出(步驟S928)。
然后，判斷是否在附近區(qū)域準最佳解判斷部317中算出比在準最佳解判斷部316中判斷的準最佳解所對應的適合度好的適合度(步驟S929)。在附近區(qū)域準最佳解判斷部317中算出比在準最佳解判斷部316中判斷的準最佳解所對應的適合度好的適合度的情況下，在附近區(qū)域準最佳解判斷部317中算出的適合度中最高的適合度被設為準最佳解，其結果被重寫(步驟S930)。
這樣，根據本發(fā)明的實施方式，在圖像縮小部302中以與模板圖像的橫寬以及縱寬相應的縮小率來縮小模板圖像以及目標圖像，因此對模板圖像以及目標圖像進行對照的面積減少、運算量也減少。由此，能夠進行高速的檢索處理。另外，當縮小目標圖像以及模板圖像時，在檢索中難以檢測圖像細部的不是本質的差異、噪聲，因此也提高檢索精度。
另外，在適合度算出部313中的染色體的適合度算出前，在適合度算出預處理部312中用運算量少的方法決定適合度，由此能夠降低適合度算出部313中的運算量。另外，在適合度算出部313中的互相關函數的計算中使用準備值，由此能夠減少互相關函數的計算量。通過以上兩個效果，能夠進行高速的檢索處理。
另外，在遺傳算法中算出準最佳解之后，對于該準最佳解所對應的匹配區(qū)域的周邊，也在附近區(qū)域準最佳解判斷部317中進一步算出適合度，由此能夠算出更好的值的適合度。由此，能夠提高圖像的檢索精度。
此外，在本發(fā)明的實施方式中，以攝像裝置為例進行了說明，但是在能夠進行其他圖像處理的電子設備中可應用本發(fā)明。
此外，本發(fā)明的實施方式表示用于具體實現本發(fā)明的一例，與如下所示的權利要求書中的發(fā)明特定事項分別具有對應關系，但是不限于此，在不超出本發(fā)明要旨的范圍內能夠實施種種變形。
即，在權利要求1中，目標圖像保持單元例如對應于目標圖像保持部231。另外，區(qū)域選擇接受單元例如對應于區(qū)域選擇接受部601。另外，模板圖像生成單元例如對應于模板圖像生成部301。另外，圖像縮小單元例如對應于圖像縮小部302。另外，類似圖像檢索單元例如對應于類似圖像檢索部310。
另外，在權利要求4中，個體抽出單元例如對應于個體抽出部311。另外，適合度算出單元例如對應于適合度算出部313。另外，遺傳算法處理單元例如對應于遺傳算法處理部314。另外，處理結束指示單元例如對應于處理結束指示部315。另外，準最佳解判斷單元例如對應于準最佳解判斷部316。另外，類似圖像判斷單元例如對應于類似圖像判斷部318。
另外，在權利要求6至8中，適合度算出預處理單元例如對應于適合度算出預處理部312。
另外，在權利要求11中，準備值算出單元例如對應于準備值算出部319。另外，模板圖像準備值表例如對應于模板圖像準備值表321。另外，目標圖像準備值表例如對應于目標圖像準備值表320。
另外，在權利要求15中，目標圖像保持單元例如對應于目標圖像保持部231。另外，區(qū)域選擇接受單元例如對應于區(qū)域選擇接受部601。另外，模板圖像生成單元例如對應于模板圖像生成部301。另外，個體抽出單元例如對應于個體抽出部311。另外，適合度算出單元例如對應于適合度算出部313。另外，遺傳算法處理單元例如對應于遺傳算法處理部314。另外，處理結束指示單元例如對應于處理結束指示部315。另外，準最佳解判斷單元例如對應于準最佳解判斷部316。另外，附近區(qū)域準最佳解判斷單元例如對應于附近區(qū)域準最佳解判斷部317。另外，類似圖像判斷單元例如對應于類似圖像判斷部318。
另外，在權利要求16以及17中，目標圖像保持單元例如對應于目標圖像保持部231。另外，區(qū)域選擇接受過程例如對應于步驟S911。另外，模板圖像生成過程例如對應于步驟S912。另外，圖像縮小過程例如對應于步驟S913以及步驟S916。另外，類似圖像檢索過程例如對應于步驟S915、步驟S918以及步驟S919。
此外，在本發(fā)明的實施方式中說明的處理過程既可以理解為具有這些一系列過程的方法，另外，也可以理解為用于使計算機執(zhí)行這些一系列過程的程序以及存儲該程序的記錄介質。
權利要求
1.一種圖像處理裝置，其特征在于，具備目標圖像保持單元，保持成為檢索對象的多個目標圖像；區(qū)域選擇接受單元，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受了上述選擇的區(qū)域的圖像作為模板圖像生成；圖像縮小單元，將上述模板圖像以及上述目標圖像縮小到與上述模板圖像的縱寬以及橫寬相應的縮小率；以及類似圖像檢索單元，在上述縮小的目標圖像中，利用遺傳算法檢索包含與上述縮小的模板圖像類似的圖像的上述縮小的目標圖像。
2.根據權利要求1所述的圖像處理裝置，其特征在于，在上述模板圖像的縱寬和橫寬的積是規(guī)定值以下的情況下，上述圖像縮小單元不進行上述圖像縮小單元中的縮小。
3.根據權利要求1所述的圖像處理裝置，其特征在于，上述模板圖像生成單元將上述選擇的規(guī)定區(qū)域以規(guī)定倍率放大或者縮小后的圖像作為上述模板圖像生成。
4.根據權利要求3所述的圖像處理裝置，其特征在于，上述類似圖像檢索單元具備個體抽出單元，從上述縮小的目標圖像隨機抽出多個個體，生成染色體，其中，該染色體具有基于上述個體的坐標以及放大或者縮小上述模板圖像的上述規(guī)定倍率的染色體信息；適合度算出單元，根據上述染色體信息以及像素值，算出上述染色體的適合度；遺傳算法處理單元，對在上述適合度算出單元中算出上述適合度的上述染色體進行選擇、交配以及突然變異中至少一個處理，生成具有新染色體信息的染色體，在上述適合度算出單元中算出關于具有上述新染色體信息的染色體的適合度；處理結束指示單元，指示按照規(guī)定條件重復進行的上述遺傳算法處理單元中的處理的結束；準最佳解判斷單元，將在上述適合度算出單元中最后算出的適合度中值最大的適合度判斷為準最佳解；以及類似圖像判斷單元，在上述準最佳解超過第一閾值的情況下，判斷為與上述縮小的模板圖像類似的圖像包含在上述縮小的目標圖像中。
5.根據權利要求4所述的圖像處理裝置，其特征在于，上述像素值是使用YUV、RGB以及HSV中的任一個表示的量。
6.根據權利要求5所述的圖像處理裝置，其特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出和上述目標圖像中的上述染色體對應的區(qū)域的上述像素值的平均值與上述模板圖像中的區(qū)域的上述像素值的平均值之間的差的絕對值，判斷上述差的絕對值是否超過第二閾值，在上述適合度預處理單元中上述差的絕對值被判斷為超過上述第二閾值的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。
7.根據權利要求5所述的圖像處理裝置，其特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出將和上述染色體對應的上述目標圖像中的區(qū)域的上述像素值的標準偏差與上述模板圖像中的區(qū)域的上述像素值的標準偏差各自平方的結果的比，判斷上述比是否在規(guī)定范圍內，在上述適合度預處理單元中上述比被判斷為在規(guī)定范圍內的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。
8.根據權利要求5所述的圖像處理裝置，其特征在于，還具備適合度算出預處理單元，該適合度算出預處理單元算出和上述染色體對應的上述目標圖像中的區(qū)域的中央點的上述像素值與上述模板圖像中的區(qū)域的中央點的上述像素值之間的差的絕對值，判斷上述差的絕對值是否超過第二閾值，在上述適合度預處理單元中上述差的絕對值被判斷為超過第二閾值的情況下，上述適合度算出單元將從上述類似圖像判斷單元中的上述判斷的對象中除外的足夠小的值設定為上述適合度。
9.根據權利要求5所述的圖像處理裝置，其特征在于，上述適合度算出單元根據上述像素值以及上述染色體信息，利用互相關函數算出上述染色體的適合度。
10.根據權利要求9所述的圖像處理裝置，其特征在于，上述適合度算出單元將對上述目標圖像及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差的積。
11.根據權利要求9所述的圖像處理裝置，其特征在于，還具備準備值算出單元，對于上述縮小的模板圖像以及上述縮小的目標圖像的所有坐標，算出將上述縮小的模板圖像以及上述縮小的目標圖像中的從原點到任意坐標為止的上述像素值進行累加得到的準備值；模板圖像準備值表，將上述縮小的模板圖像中的上述準備值與上述縮小的模板圖像的坐標相對應地保持；以及目標圖像準備值表，將上述縮小的目標圖像中的上述準備值與上述縮小的目標圖像的坐標相對應地保持，上述適合度算出單元使用上述準備值，進行對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加上述互相關函數中的上述像素值的計算，算出上述染色體的適合度。
12.根據權利要求8所述的圖像處理裝置，其特征在于，上述適合度算出單元，將對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差的積；將對關于構成上述像素值的多個要素各自的利用上述互相關函數的算出值進行平方的結果的和的平方根歸一化的結果，作為上述適合度算出。
13.根據權利要求8所述的圖像處理裝置，其特征在于，上述適合度算出單元將對上述目標圖像以及上述模板圖像互相重疊的區(qū)域的所有坐標累加下述積的結果進行歸一化的函數，作為上述互相關函數使用，其中，上述積是上述目標圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述模板圖像的上述像素值的平均值之間的差、和上述模板圖像中的任意坐標的上述像素值與上述目標圖像及上述模板圖像互相重疊的區(qū)域中的上述目標圖像的上述像素值的平均值之間的差的積。
14.根據權利要求8所述的圖像處理裝置，其特征在于，上述適合度算出單元，將w設為上述模板圖像的寬度，將h設為上述模板圖像的高度，將上述目標圖像的坐標(X+i，Y+j)處的像素值設為Target(X+i，Y+j)，將上述模板圖像的坐標(i，j)處的像素值設為Template(i，j)，將上述目標圖像以及上述模板圖像互相重疊的區(qū)域中的像素值的平均值設為Mtarget，將上述模板圖像的像素值的平均值設為Mtemplate，作為上述互相關函數使用表示坐標(X，Y)處的互相關關系的以下的式子f(X,Y)=Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)(Template(i,j)-MTarget)Σi=0wΣj=0h(Target(X+i,Y+j)-MTemplate)2Σi=0wΣj=0h(Template(i,j)-MTarget)2.]]>
15.一種圖像處理裝置，其特征在于，具備目標圖像保持單元，保持成為檢索對象的多個目標圖像；區(qū)域選擇接受單元，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成單元，將接受了上述選擇的區(qū)域中的圖像以及將該區(qū)域中的圖像以規(guī)定倍率放大或者縮小后的圖像，作為模板圖像生成；個體抽出單元，從上述縮小的目標圖像隨機抽出多個個體，生成染色體，其中，該染色體具有基于上述個體的坐標以及放大或者縮小上述模板圖像的上述規(guī)定倍率的染色體信息；適合度算出單元，根據上述染色體信息以及像素值，算出上述染色體的適合度；遺傳算法處理單元，對在上述適合度算出單元中算出上述適合度的上述染色體進行選擇、交配以及突然變異中至少一個處理，生成具有新染色體信息的染色體，在上述適合度算出單元中算出關于具有上述新染色體信息的染色體的適合度；處理結束指示單元，指示按照規(guī)定條件重復進行的上述遺傳算法處理單元中的處理的結束；準最佳解判斷單元，將在上述適合度算出單元中最后算出的適合度中值最大的適合度判斷為準最佳解；附近區(qū)域準最佳解判斷單元，在包圍與上述準最佳解對應的上述目標圖像區(qū)域的所有規(guī)定區(qū)域中，算出上述規(guī)定區(qū)域中的適合度，將該適合度中值最大的適合度判斷為上述規(guī)定區(qū)域中的準最佳解；以及類似圖像判斷單元，在上述準最佳解判斷單元中被判斷的上述準最佳解以及在上述附近區(qū)域準最佳解判斷單元中被判斷的上述規(guī)定區(qū)域中的準最佳解中，最大的值超過規(guī)定閾值的情況下，判斷為與上述縮小的模板圖像類似的圖像包含在上述縮小的目標圖像中。
16.一種處理方法，是具備保持成為檢索對象的目標圖像的目標圖像保持單元的圖像處理裝置中的處理方法，其特征在于，具備區(qū)域選擇接受過程，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成過程，將接受了上述選擇的區(qū)域的圖像作為模板圖像生成；圖像縮小過程，將上述模板圖像以及上述目標圖像縮小到與上述模板圖像的縱寬以及橫寬相應的縮小率；以及類似圖像檢索過程，在上述縮小的目標圖像中，利用遺傳算法檢索包含與上述縮小的模板圖像類似的圖像的上述縮小的目標圖像。
17.一種程序，使具備保持成為檢索對象的目標圖像的目標圖像保持單元的圖像處理裝置執(zhí)行區(qū)域選擇接受過程，接受對上述多個目標圖像任一個的規(guī)定區(qū)域的選擇；模板圖像生成過程，將接受了上述選擇的區(qū)域的圖像作為模板圖像生成；圖像縮小過程，將上述模板圖像以及上述目標圖像縮小到與上述模板圖像的縱寬以及橫寬相應的縮小率；以及類似圖像檢索過程，在上述縮小的目標圖像中，利用遺傳算法檢索包含與上述縮小的模板圖像類似的圖像的上述縮小的目標圖像。
全文摘要
提供一種圖像處理裝置。以高精度高速進行包含模板圖像的圖像檢索。基于來自區(qū)域選擇接受部(601)的圖像的區(qū)域選擇，模板圖像生成部(301)生成模板圖像。該模板圖像以及成為檢索對象的目標圖像在圖像縮小部(302)中縮小到規(guī)定縮小率。使用保持在目標圖像準備值表(320)以及模板圖像準備值表(321)中的準備值，在適合度算出部(313)中算出在個體抽出部(311)中生成的染色體的適合度后，由遺傳算法處理部(314)進行選擇、交配以及突然變異，其中該染色體具有對目標圖像和模板圖像進行對照的區(qū)域的信息。將以上處理重復規(guī)定代數后，由類似圖像判斷部(318)判斷準最佳解所對應的適合度是否超過規(guī)定閾值。
文檔編號H04N5/225GK1945580SQ20061014044
公開日2007年4月11日 申請日期2006年10月8日 優(yōu)先權日2005年10月6日
發(fā)明者小川要 申請人:索尼株式會社