目標(biāo)檢索裝置、目標(biāo)檢索方法以及計(jì)算機(jī)可讀取記錄介質(zhì)的制作方法
【專利摘要】本發(fā)明提供一種目標(biāo)檢索裝置，具備：攝像單元，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)；距離計(jì)算單元，基于上述多個(gè)圖像數(shù)據(jù)，計(jì)算出從上述攝像單元到上述被攝體為止的距離；剪切單元，從上述圖像數(shù)據(jù)中剪切上述被攝體中的主要目標(biāo)；實(shí)際尺寸計(jì)算單元，根據(jù)上述剪切出的主要目標(biāo)在上述圖像數(shù)據(jù)上的大小、從上述攝像單元到被攝體為止的距離、和上述攝像單元的焦點(diǎn)距離，計(jì)算出上述主要目標(biāo)的實(shí)際尺寸；和檢索單元，通過附加上述實(shí)際尺寸的信息并訪問主要目標(biāo)的數(shù)據(jù)庫，從而檢索上述主要目標(biāo)的種類。
【專利說明】目標(biāo)檢索裝置、目標(biāo)檢索方法以及計(jì)算機(jī)可讀取記錄介質(zhì)
[0001]關(guān)聯(lián)申請(qǐng)的參照(CROSS-REFERENCETO RELATED APPLICATIONS)
[0002]關(guān)于本申請(qǐng)，主張以2012年7月24日申請(qǐng)的日本國專利申請(qǐng)?zhí)卦?012-163860號(hào)為基礎(chǔ)的優(yōu)先權(quán)，將該基礎(chǔ)申請(qǐng)的內(nèi)容全部援弓I到本申請(qǐng)中。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及從攝像到的圖像數(shù)據(jù)中剪切主要目標(biāo)的區(qū)域并檢索該主要目標(biāo)的種類的目標(biāo)檢索裝置、目標(biāo)檢索方法以及計(jì)算機(jī)可讀取的記錄介質(zhì)。
【背景技術(shù)】
[0004]有時(shí)想知道在山野或路旁看到的花的名稱。因此，提出了以下技術(shù):根據(jù)通過數(shù)碼相機(jī)等得到的花的數(shù)字圖像，采用聚類法來提取作為對(duì)象物的花的圖像，求得將根據(jù)該提取出的花的圖像得到的信息作為特征量的一個(gè)或多個(gè)特征量，采用統(tǒng)計(jì)方法對(duì)該求得的特征量和預(yù)先登記于數(shù)據(jù)庫中的各種花的特征量進(jìn)行分析并判斷花的種類(例如參照日本特開2002-203242號(hào)公報(bào))。
[0005]此外，公知采用Graph Cuts法(圖像剪切法)將包括花等主要目標(biāo)在內(nèi)的圖像分割為主要目標(biāo)區(qū)域和背景區(qū)域并剪切主要目標(biāo)的區(qū)域的現(xiàn)有技術(shù)(參照例如Y.Boykov andG.Funka-Lea Interactive Graph Cuts for Optimal Boundary&Region Segmentationof Objects in N-D Images，，，Proceedings of “Internation Conference on ComputerVision”, Vancouver, Canada, vol.1, p.105-112, July2001、以及日本特開 2011-35636 號(hào)公報(bào))。在進(jìn)行剪切的情況下，有可能根據(jù)主要目標(biāo)和背景的關(guān)系而存在其界限不明確的部分，需要進(jìn)行最佳的區(qū)域分割。在此，在該現(xiàn)有技術(shù)中，將區(qū)域分割看作能量的最小化問題，提出其最小化方案。在該現(xiàn)有技術(shù)中，生成圖像(graph)以適合區(qū)域分割，通過求得該圖形的最小切割來進(jìn)行能量函數(shù)的最小化。該最小切割通過采用最大流算法(maximum flowalgorithm)來實(shí)現(xiàn)有效的區(qū)域分割計(jì)算。
[0006]但是，在確定大小成為識(shí)別點(diǎn)的花等主要目標(biāo)的情況下，僅以圖像的特征進(jìn)行檢索時(shí)，當(dāng)特征數(shù)據(jù)相同時(shí)，即使正確地剪切出主要目標(biāo)區(qū)域，也具有不能自動(dòng)識(shí)別并確定差異的問題。

【發(fā)明內(nèi)容】

[0007]本發(fā)明的目的在于提高主要目標(biāo)的檢索精度。
[0008]本發(fā)明的目標(biāo)檢索裝置，具備:攝像單元，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)；距離計(jì)算單元，基于上述多個(gè)圖像數(shù)據(jù)，計(jì)算出從上述攝像單元到上述被攝體為止的距離；剪切單元，從上述圖像數(shù)據(jù)中剪切上述被攝體中的主要目標(biāo)；實(shí)際尺寸計(jì)算單元，根據(jù)上述剪切出的主要目標(biāo)在上述圖像數(shù)據(jù)上的大小、從上述攝像單元到被攝體為止的距離、和上述攝像單元的焦點(diǎn)距離，計(jì)算出上述主要目標(biāo)的實(shí)際尺寸；和檢索單元，通過附加上述實(shí)際尺寸的信息并訪問主要目標(biāo)的數(shù)據(jù)庫，從而檢索上述主要目標(biāo)的種類。[0009]根據(jù)本發(fā)明，基于來自取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)的攝像單元的信息，計(jì)算出主要目標(biāo)的實(shí)際尺寸并附加該信息，由此能夠提高主要目標(biāo)的檢索精度。
【專利附圖】

【附圖說明】
[0010]圖1為表示本發(fā)明的一實(shí)施方式涉及的目標(biāo)檢索裝置的硬件結(jié)構(gòu)例的框圖。
[0011]圖2為表示圖1的數(shù)碼相機(jī)101所實(shí)現(xiàn)的目標(biāo)檢索裝置的功能結(jié)構(gòu)的功能框圖。
[0012]圖3為表示本實(shí)施方式的目標(biāo)檢索處理的整體動(dòng)作的流程圖。
[0013]圖4為本實(shí)施方式的景深計(jì)算處理的說明圖。
[0014]圖5是本實(shí)施方式的實(shí)際尺寸計(jì)算處理的說明圖。
[0015]圖6是表示本實(shí)施方式的圖形切割處理的整體動(dòng)作的流程圖。
[0016]圖7是帶有權(quán)重的有向圖(directed graph)的說明圖。
[0017]圖8是直方圖Θ的說明圖。
[0018]圖9是huv (Xu, Xv)的特性圖。
[0019]圖10是示意性表示具有t-link和n-link的圖形、與區(qū)域標(biāo)號(hào)矢量X以及圖形切割之間的關(guān)系的圖。
[0020]圖11是表示區(qū)域分割處理的流程圖。
【具體實(shí)施方式】
[0021]以下，參照附圖對(duì)用于實(shí)施本發(fā)明的方式進(jìn)行詳細(xì)的說明。
[0022]圖1為表示實(shí)現(xiàn)本發(fā)明的一實(shí)施方式涉及的目標(biāo)檢索裝置的數(shù)碼相機(jī)101的硬件結(jié)構(gòu)例的框圖。
[0023]數(shù)碼相機(jī)101具備攝影鏡頭(image pickup lens) 102、校正透鏡103、鏡頭驅(qū)動(dòng)模塊104、光圈兼快門105、CCD106、垂直驅(qū)動(dòng)器107、TG(Timing Generator:定時(shí)產(chǎn)生電路)108、單元電路 109、DMA 控制器(以下稱作 DMA) 110、CPU (Central Processing Unit:中央運(yùn)算處理裝置)111、按鍵輸入部112、存儲(chǔ)器113、DRAM(Dynamic Random AccessMemory) 114、通信部 115、模糊檢測(cè)部 117、DMA (Direct Memory Access) 118、圖像生成部119、DMA120、DMA121、顯示部 122、DMA123、壓縮解壓部 124、DMA125、閃存 126、總線 127。
[0024]在數(shù)碼相機(jī)101的外部或者內(nèi)部具備花數(shù)據(jù)庫116。
[0025]在數(shù)碼相機(jī)101的外部設(shè)置花數(shù)據(jù)庫116的情況下，例如花數(shù)據(jù)庫116被安裝在通過互聯(lián)網(wǎng)連接的服務(wù)器計(jì)算機(jī)上。而且，數(shù)碼相機(jī)101的CPUlll采用通信部115并經(jīng)由互聯(lián)網(wǎng)，訪問服務(wù)器計(jì)算機(jī)上的花數(shù)據(jù)庫116。
[0026]在數(shù)碼相機(jī)101的內(nèi)部設(shè)置花數(shù)據(jù)庫116的情況下，例如在DRAM114上安裝花數(shù)據(jù)庫116。而且，CPUlll訪問DRAM114上的花數(shù)據(jù)庫116。
[0027]攝影鏡頭102包括由多個(gè)透鏡組構(gòu)成的聚焦透鏡、變焦透鏡。
[0028]另外，鏡頭驅(qū)動(dòng)模塊104包括未圖示的驅(qū)動(dòng)電路，驅(qū)動(dòng)電路按照來自CPUlll的控制信號(hào)使聚焦透鏡、變焦透鏡分別在光軸方向上移動(dòng)。
[0029]校正透鏡103為用于對(duì)手抖動(dòng)引起的像的模糊進(jìn)行校正的透鏡，校正透鏡103與鏡頭驅(qū)動(dòng)t吳塊104連接。
[0030]鏡頭驅(qū)動(dòng)模塊104使校正透鏡103在Yaw (偏轉(zhuǎn))方向以及Pitch (傾斜)方向上移動(dòng)，從而校正手抖動(dòng)。該鏡頭驅(qū)動(dòng)模塊104由使校正透鏡103在偏轉(zhuǎn)方向以及傾斜方向上移動(dòng)的電機(jī)、以及驅(qū)動(dòng)該電機(jī)的電機(jī)驅(qū)動(dòng)器構(gòu)成。
[0031]光圈兼快門105包括未圖示的驅(qū)動(dòng)電路，驅(qū)動(dòng)電路使光圈兼快門105按照從CPUlll發(fā)送來的控制信號(hào)進(jìn)行動(dòng)作。該光圈兼快門105起到光圈、快門的作用。
[0032]所謂光圈是指對(duì)入射到CCD106的光的量進(jìn)行控制的構(gòu)造，所謂快門是指對(duì)光擊中CCD106的時(shí)間進(jìn)行控制的構(gòu)造，光擊中CCD106的時(shí)間(曝光時(shí)間)隨著快門速度而變化。
[0033]曝光量由該光圈值(光圈的開口程度)和快門速度決定。
[0034]由垂直驅(qū)動(dòng)器7對(duì)(XD106進(jìn)行掃描驅(qū)動(dòng)，按每個(gè)固定周期對(duì)被攝體像的RGB (紅綠藍(lán))值的各顏色的光的強(qiáng)度進(jìn)行光電變換并作為攝像信號(hào)而輸出到單元電路109。經(jīng)由TG108,由CPUlll控制該垂直驅(qū)動(dòng)器107、單元電路109的動(dòng)作定時(shí)。
[0035]單元電路109與TG108連接，由對(duì)從(XD106輸出的攝像信號(hào)進(jìn)行相關(guān)二重采樣后保持的⑶S(Correlated Double Sampling)電路、進(jìn)行該采用后的攝像信號(hào)的自動(dòng)增益調(diào)整的AGC(Automatic Gain Control)電路、將該自動(dòng)增益調(diào)整后的模擬信號(hào)變換為數(shù)字信號(hào)的A/D (模擬/數(shù)字)變換器構(gòu)成，通過CCD106得到的攝像信號(hào)經(jīng)過單元電路109后，通過DMAllO以拜耳(bayer)數(shù)據(jù)的狀態(tài)存儲(chǔ)到緩沖存儲(chǔ)器(DRAM114)中。
[0036]CPUlll 為具有進(jìn)行 AE (Automatic Exposure)處理、AF (Automatic Focus)處理等的功能，并且是控制數(shù)碼相機(jī)101的各部分的單片機(jī)。
[0037]尤其是，在本實(shí)施方式中，CPUlll對(duì)由102?110的部分構(gòu)成的攝像單元，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)，并基于這些圖像數(shù)據(jù)執(zhí)行以下的各處理。首先，CPUlll執(zhí)行計(jì)算出到被攝體為止的距離的距離計(jì)算處理。接下來，CPUl 11執(zhí)行剪切被攝體中的主要目標(biāo)區(qū)域的圖形切割(剪切)處理。接下來，CPUl 11執(zhí)行根據(jù)從攝影鏡頭102到被攝體為止的距離和攝影鏡頭102的焦點(diǎn)距離計(jì)算出主要目標(biāo)的實(shí)際尺寸的實(shí)際尺寸計(jì)算處理。而且，CPUlll通過附加實(shí)際尺寸的信息來訪問主要目標(biāo)的數(shù)據(jù)庫116，從而執(zhí)行對(duì)主要目標(biāo)的種類進(jìn)行檢索的檢索處理。
[0038]按鍵輸入部112包括能進(jìn)行半按操作和全按操作的快門按鈕、模式切換按鍵、十字按鍵、SET按鍵等多個(gè)操作按鍵，并將與用戶的按鍵操作相對(duì)應(yīng)的操作信號(hào)輸出到CPUlll。
[0039]存儲(chǔ)器113中記錄有CPUlll控制數(shù)碼相機(jī)101的各部分所需的控制程序、以及所需的數(shù)據(jù)，CPUlll按照這些控制程序進(jìn)行動(dòng)作。
[0040]DRAMl 14被用作暫時(shí)存儲(chǔ)通過(XD106拍攝到的圖像數(shù)據(jù)的緩沖存儲(chǔ)器，并且也可用作CPUlll的工作存儲(chǔ)器。
[0041]模糊檢測(cè)部117具備未圖示的陀螺傳感器等角速度傳感器，檢測(cè)攝影者的手抖動(dòng)量。
[0042]另外，模糊檢測(cè)部117具備檢測(cè)Yaw(偏轉(zhuǎn))方向的模糊量的陀螺傳感器和檢測(cè)傾斜Pitch (傾斜)方向的模糊量的陀螺傳感器。
[0043]通過該模糊檢測(cè)部117所檢測(cè)出的模糊量被送到CPUl 11。
[0044]DMA118讀出在緩沖存儲(chǔ)器中存儲(chǔ)的拜耳數(shù)據(jù)的圖像數(shù)據(jù)并將其輸出到圖像生成部 119。[0045]圖像生成部119對(duì)從DMAl 18發(fā)送來的圖像數(shù)據(jù)實(shí)施像素插值處理、Y校正處理、白平衡處理等處理，并且還進(jìn)行亮度色差信號(hào)(YUV數(shù)據(jù))的生成。即為進(jìn)行圖像處理的部分。
[0046]DMA120使緩沖存儲(chǔ)器存儲(chǔ)由圖像生成部119進(jìn)行過圖像處理的亮度色差信號(hào)的圖像數(shù)據(jù)(YUV數(shù)據(jù))。
[0047]DMA121將在緩沖存儲(chǔ)器中存儲(chǔ)的YUV數(shù)據(jù)的圖像數(shù)據(jù)輸出到顯示部122中。
[0048]顯示部122包括彩色I(xiàn)XD及其驅(qū)動(dòng)電路，并顯示從DMA121輸出的圖像數(shù)據(jù)的圖像。
[0049]DMA123將存儲(chǔ)于緩沖存儲(chǔ)器中的YUV數(shù)據(jù)的圖像數(shù)據(jù)或被壓縮的圖像數(shù)據(jù)輸出到壓縮解壓部124中，并使緩沖存儲(chǔ)器存儲(chǔ)由壓縮解壓部124壓縮的圖像數(shù)據(jù)、由壓縮解壓部124解壓的圖像數(shù)據(jù)。
[0050]壓縮解壓部124為進(jìn)行圖像數(shù)據(jù)的壓縮/解壓(例如JPEG或MPEG形式的壓縮/解壓)的部分。
[0051]DMA125讀出存儲(chǔ)在緩沖存儲(chǔ)器中的壓縮圖像數(shù)據(jù)并記錄于閃存126中，并且使緩沖存儲(chǔ)器存儲(chǔ)記錄在閃存126中的壓縮圖像數(shù)據(jù)。
[0052]圖2為表示圖1的數(shù)碼相機(jī)101所實(shí)現(xiàn)的目標(biāo)檢索裝置的功能的構(gòu)成的功能框圖。
[0053]攝像單元201取得光軸相對(duì)于被攝體206移動(dòng)的多個(gè)圖像數(shù)據(jù)207。該攝像單元201例如具備通過使光軸移動(dòng)來校正手抖動(dòng)的校正透鏡，使該校正透鏡的光軸移動(dòng)的同時(shí)，取得多個(gè)的圖像數(shù)據(jù)207。
[0054]距離計(jì)算單元202基于多個(gè)圖像數(shù)據(jù)207，計(jì)算出從攝像單元201到被攝體206的距離208。
[0055]剪切單元203從圖像數(shù)據(jù)207中的例如I個(gè)圖像數(shù)據(jù)中剪切被攝體206中的主要目標(biāo)209的區(qū)域。該剪切單元203例如更新對(duì)圖像數(shù)據(jù)207的各像素賦予的表示主要目標(biāo)或者背景的區(qū)域標(biāo)號(hào)值的同時(shí)，基于該區(qū)域標(biāo)號(hào)值與各像素的像素值，通過例如基于GraphCuts法的能量函數(shù)的最小化處理，在圖像數(shù)據(jù)207內(nèi)對(duì)主要目標(biāo)和背景進(jìn)行區(qū)域分割來剪切出主要目標(biāo)209,該Graph Cuts法對(duì)主要目標(biāo)相似度(main object-ness)或者背景相似度(background-ness)與相鄰像素間的像素值的變化進(jìn)行評(píng)價(jià)。
[0056]實(shí)際尺寸計(jì)算單元204根據(jù)剪切出的主要目標(biāo)209在圖像數(shù)據(jù)207上的大小、從攝像單元201到被攝體206為止的距離208和攝像單元201的焦點(diǎn)距離210，計(jì)算出主要目標(biāo)208的實(shí)際尺寸211。
[0057]檢索單元205通過附加實(shí)際尺寸211的信息并訪問主要目標(biāo)的數(shù)據(jù)庫116 (參照?qǐng)D1)，來檢索主要目標(biāo)209的種類。
[0058]通過圖2所示的數(shù)碼相機(jī)101所實(shí)現(xiàn)的目標(biāo)檢索裝置的功能結(jié)構(gòu)，基于來自取得光軸相對(duì)于被攝體206移動(dòng)的多個(gè)圖像數(shù)據(jù)207的攝像單元201的信息，計(jì)算出主要目標(biāo)209的實(shí)際尺寸211并附加該信息，從而能夠提高主要目標(biāo)209的檢索精度。
[0059]圖3為表示本實(shí)施方式的目標(biāo)檢索處理的控制動(dòng)作的流程圖。作為圖1的數(shù)碼相機(jī)101內(nèi)的CPUlll將DRAMl 14用作工作存儲(chǔ)器來執(zhí)行存儲(chǔ)器113中存儲(chǔ)的控制程序的處理，實(shí)現(xiàn)該流程圖的處理、和圖6及圖11的流程圖的處理。[0060]首先，圖1的校正透鏡103在與其光軸垂直的方向上靠近一方來實(shí)施被攝體206 (參照?qǐng)D2)的拍攝，作為圖像數(shù)據(jù)207 (參照?qǐng)D2)在圖1的DRAMl 14中取得圖像A (圖3的步驟S301)。同樣地，圖1的校正透鏡103在與其光軸垂直的方向上靠近相反側(cè)來實(shí)施被攝體206的拍攝，作為圖像數(shù)據(jù)207在圖1的DRAMl 14中取得圖像B (圖3的步驟S302)。上述的步驟S301和S302的處理實(shí)現(xiàn)圖2的攝像單元201的功能。
[0061 ] 接下來，根據(jù)在DRAMl 14中得到的圖像A以及圖像B，計(jì)算出從圖1的攝影鏡頭102的透鏡面到被攝體206為止的景深(距離)d(圖3的步驟S303)。圖4為本實(shí)施方式的景深計(jì)算處理的說明圖。
[0062]圖4中，為了簡(jiǎn)化說明，考慮包括校正透鏡103的攝影鏡頭102位于鏡頭位置#1 (由多個(gè)構(gòu)成的攝影鏡頭102的虛擬的透鏡面H與光軸#1相交的點(diǎn))，且點(diǎn)光源L位于該光軸#1上的情況。在該情況下，點(diǎn)光源L在圖1的(XD106上的攝像面I的攝像點(diǎn)Pl上成像。由此，通過經(jīng)由鏡頭驅(qū)動(dòng)模塊104控制校正透鏡103，從而使包括校正透鏡103的攝影鏡頭102的鏡頭位置從與光軸#1相對(duì)應(yīng)的鏡頭位置#1向與光軸#2相對(duì)應(yīng)的鏡頭位置#2 (透鏡面H與光軸#2相交的點(diǎn))位移(移動(dòng))了距離S。其結(jié)果，點(diǎn)光源L在圖1的(XD106上的攝像面I的攝像點(diǎn)P2上成像。此時(shí)，連結(jié)點(diǎn)光源L、鏡頭位置#1以及鏡頭位置#2的三角形、與連結(jié)鏡頭位置#2、攝像點(diǎn)P2以及光軸#2與攝像面I相交的點(diǎn)的三角形成為相似形。因此，在校正透鏡103的移動(dòng)量S、與從透鏡面H到點(diǎn)光源L所處的物體面O為止的距離d(將其稱為“景深”)(與圖2的距離208相對(duì)應(yīng))之間成立以下的關(guān)系。
[0063]f: d = S，: S
[0064]因此，根據(jù)上述式1，通過下式能夠計(jì)算出景深d。
[0065]d = fX S/S，
[0066]在此，f為從透鏡面H到攝像I為止的焦點(diǎn)距離210 (參照?qǐng)D2)，S為從光軸#1到光軸#2為止的位移量，S’為從光軸#2與攝像面I相交的點(diǎn)到攝像點(diǎn)P2為止的距離。另外，S’為圖1的(XD106在攝像面I上的距離，因此在根據(jù)拍攝到的圖像進(jìn)行計(jì)算的情況下，在攝像面I的點(diǎn)數(shù)(pixel_count)上乘以攝像元件的像素傾斜尺寸(size_per_pixel)。即，
[0067]S’ = size_per_pixel Xpixel_count。
[0068]為了簡(jiǎn)化說明，上述的計(jì)算式以包括校正透鏡103的攝影鏡頭102的鏡頭位置#1位于經(jīng)過最初點(diǎn)光源L的光軸#1上的情況進(jìn)行了說明，但對(duì)于任意2點(diǎn)的鏡頭位置，都成立同樣的比例關(guān)系。
[0069]基于以上的原理執(zhí)行的圖3的步驟S303實(shí)現(xiàn)圖2的距離計(jì)算單元202的功能。
[0070]接下來，通過圖形切割處理，根據(jù)在步驟S301中計(jì)算出的圖像A(也可以是在步驟S302中計(jì)算出的圖像B)，通過圖形切割處理剪切出作為主要目標(biāo)209(參照?qǐng)D2)的花區(qū)域(圖3的步驟S304)。關(guān)于該處理的詳細(xì)內(nèi)容將在后面敘述。該步驟S304的處理實(shí)現(xiàn)圖2的剪切單元203的功能。
[0071]接下來，根據(jù)在步驟S304中剪切出的作為主要目標(biāo)209的花區(qū)域的寬度、在步驟S303中計(jì)算出的景深d、和包括圖1的校正透鏡103以及攝影鏡頭102在內(nèi)的全部透鏡的焦點(diǎn)距離210 = f，計(jì)算出花區(qū)域的實(shí)際尺寸hw (圖3的步驟S305)。圖5為本實(shí)施方式的實(shí)際尺寸計(jì)算處理的說明圖。
[0072]根據(jù)圖5，根據(jù)三角形的相似形的關(guān)系，焦點(diǎn)距離210 = f和景深d、與CXD106(圖I)的攝像面I上的作為主要目標(biāo)209的花區(qū)域的寬度W’和主要目標(biāo)209的實(shí)際的花的被攝體的寬度的實(shí)際尺寸w具有下式的關(guān)系。
[0073]f: d = W，: w
[0074]因此，能夠根據(jù)下式計(jì)算出實(shí)際的花的寬度的實(shí)際尺寸W。
[0075]w = W，X d/f
[0076]另外，w’為圖1的(XD106在攝像元件面I上的距離，因此在根據(jù)拍攝到的圖像進(jìn)行計(jì)算的情況下，在攝像面I上的作為主要目標(biāo)209的花的區(qū)域的寬度個(gè)數(shù)(floWer_pixel_count)上乘以攝像元件的像素傾斜尺寸(size_per_pixel)。即
[0077]w’ = size_per_pixelXflower_pixel_count。
[0078]基于以上的原理執(zhí)行的圖3的步驟S305實(shí)現(xiàn)圖2的實(shí)際尺寸計(jì)算單元204的功能。在這種情況下，除了作為主要目標(biāo)209的花的寬度的實(shí)際尺寸w外，還根據(jù)主要目標(biāo)209上的寬度與高度的比例關(guān)系，也可以計(jì)算出花的高度的實(shí)際尺寸h。如上所述，計(jì)算出作為主要目標(biāo)209的花的實(shí)際尺寸211 (參照?qǐng)D2) = hw(高度和寬度)。
[0079]如上所述計(jì)算出作為主要目標(biāo)209的花的實(shí)際尺寸211 = hw后，從圖3的步驟S304中剪切出的作為主要目標(biāo)209的花區(qū)域的圖像數(shù)據(jù)中提取圖像特征量(圖3的步驟S306)。
[0080]接下來，采用在步驟S306中提取出的圖像特征量來構(gòu)成花識(shí)別器，并參照?qǐng)D1的主要目標(biāo)的數(shù)據(jù)庫116中的花的種類的數(shù)據(jù)庫。其結(jié)果，從數(shù)據(jù)庫中取得識(shí)別花的標(biāo)識(shí)符(ID)的目錄，作為花的種類的候補(bǔ)目錄(圖3的步驟S307)。
[0081]接下來，參照按主要目標(biāo)的數(shù)據(jù)庫116中的花的各個(gè)標(biāo)識(shí)符(ID)存儲(chǔ)了實(shí)際尺寸HW的數(shù)據(jù)庫。而且，判定每個(gè)IDn (η = 1，2，…)的實(shí)際尺寸HW(IDn.HW)與在步驟S305中計(jì)算出的花的實(shí)際尺寸211 = hw在固定誤差范圍內(nèi)是否一致(圖3的步驟S308)。
[0082]若實(shí)際尺寸不一致且步驟S308的判定為“否”，則針對(duì)下一個(gè)IDn反復(fù)進(jìn)行步驟S308的判定。
[0083]若實(shí)際尺寸一致且步驟S308的判定為“是”，則判定該IDn是否為與在步驟S307中計(jì)算出的候補(bǔ)目錄中的花相同的花(圖3的步驟S309)。
[0084]若步驟S309的判定為“否”，則針對(duì)下一個(gè)IDn反復(fù)進(jìn)行步驟S308的判定。
[0085]若步驟S309的判定為“是”，則作為檢索結(jié)果而輸出該花，并結(jié)束花的檢索處理。
[0086]以上的步驟S306到S309的一系列的處理實(shí)現(xiàn)圖2的檢索單元205的功能。
[0087]通過以上的圖3所示的目標(biāo)檢索處理計(jì)算出作為主要目標(biāo)209的花的實(shí)際尺寸211并附加該信息，從而能夠提高作為主要目標(biāo)209的花的檢索精度。在這種情況下，通過數(shù)碼相機(jī)101原來具備的例如手抖動(dòng)校正用的校正透鏡103的控制，能夠有效地計(jì)算出主要目標(biāo)209的實(shí)際尺寸211。
[0088]圖6為表示圖3的步驟S304的圖形切割處理的流程圖。
[0089]首先，執(zhí)行矩形框決定處理(圖6的步驟S601)。在該處理中，用戶使例如圖1的顯示部122顯示例如由圖1的攝像單元102~110進(jìn)行拍攝而得到的圖像數(shù)據(jù)207(參照?qǐng)D2)中的一個(gè)(例如圖3的圖像A)。而且，在該顯示圖像上，對(duì)想要識(shí)別的物體(本實(shí)施方式中例如是花)存在的大致區(qū)域采用例如觸摸面板等輸入裝置107來指定矩形框。例如是手指在觸摸面板上進(jìn)行的滑動(dòng)動(dòng)作。[0090]接下來，對(duì)圖像范圍內(nèi)的各像素執(zhí)行對(duì)主要目標(biāo)和上述背景進(jìn)行區(qū)域分割的區(qū)域分割處理(圖形切割處理)(圖6的步驟S602)。該處理的詳細(xì)內(nèi)容將在后面敘述。
[0091]在一次區(qū)域分割處理結(jié)束之后，進(jìn)行收斂判定(圖6的步驟S603)。在滿足以下的任一個(gè)條件時(shí)，該收斂判定成為“是”的判定結(jié)果。
[0092].反復(fù)次數(shù)成為一定以上
[0093].成為上次主要目標(biāo)的區(qū)域面積和成為本次主要目標(biāo)的區(qū)域面積的差在一定以下
[0094]若在步驟S603的判定中未收斂，該判定為“否”的情況下，按照上次區(qū)域分割處理的狀況，用戶指定的矩形框內(nèi)的后述的成本函數(shù)gv(xv)如下那樣被修正后被進(jìn)行數(shù)據(jù)更新(圖6的步驟S604)。按每個(gè)彩色像素值C混合(加法運(yùn)算)通過步驟S602的區(qū)域分割處理而判定為主要目標(biāo)的區(qū)域的直方圖和事先準(zhǔn)備的后述的直方圖Θ (c，0)。由此，生成表示新的主要目標(biāo)相似度的直方圖Θ (c，0)，并基于該直方圖計(jì)算新的成本函數(shù)gv(Xv)(參照后述的式12等)。同樣地，按每個(gè)彩色像素值c例如以固定比例混合(加法運(yùn)算)通過步驟S602的區(qū)域分割處理判定為背 景的區(qū)域的直方圖和事先準(zhǔn)備的后述的直方圖Θ (c,l)0由此，生成表示新的背景相似度的直方圖Θ (C，I)，基于此計(jì)算新的成本函數(shù)gv(Xv)(參照后述的式13等)。
[0095]若步驟S603的判定收斂，該判定為“是”，則圖6的流程圖所示的區(qū)域分割處理結(jié)束，作為最終結(jié)果即主要目標(biāo)209 (參照?qǐng)D2)，輸出目前得到的主要目標(biāo)區(qū)域。
[0096]以下，說明圖6的步驟S602的區(qū)域分割處理。
[0097]設(shè)父=^...^...^)
[0098]為要素Xv表示圖像V中的相對(duì)像素V的區(qū)域標(biāo)號(hào)的區(qū)域標(biāo)號(hào)矢量。該區(qū)域標(biāo)號(hào)矢量為例如如果像素V位于主要目標(biāo)區(qū)域內(nèi)則要素Xv = O、如果像素V位于背景區(qū)域內(nèi)則要素Xv = I的二進(jìn)制矢量。即、
[0099]Xv = 0(像素V e主要目標(biāo)區(qū)域)
[0100]Xv = 1(像素V e背景區(qū)域)。
[0101]在本實(shí)施方式中執(zhí)行的區(qū)域分割處理為在圖像V中求得使由下式定義的能量函數(shù)E(X)最小這樣的式7的區(qū)域標(biāo)號(hào)矢量X的處理。
[0102]細(xì)=[紙卜
reVUlv^E
[0103]執(zhí)行能量最小化處理的結(jié)果，作為區(qū)域標(biāo)號(hào)矢量X上成為區(qū)域標(biāo)號(hào)值Xv = O的像素V的集合、得到主要目標(biāo)區(qū)域。對(duì)本實(shí)施方式的例子來說，為矩形框內(nèi)的花的區(qū)域。另外，在區(qū)域標(biāo)號(hào)矢量X上區(qū)域標(biāo)號(hào)值Xv = I的像素V的集合成為背景區(qū)域(還包括矩形框外)。
[0104]為了使式9的能量最小化，定義下式以及圖7所示的帶有權(quán)重的有向圖(以下簡(jiǎn)略為“圖形(graph)”)。
[0105]G= (E, V)
[0106]在此，V為節(jié)點(diǎn)(node)、E為邊緣(edge)。在該圖形適用于圖像的區(qū)域分割的情況下，圖像的各像素與各節(jié)點(diǎn)V相對(duì)應(yīng)。此外，作為像素以外的節(jié)點(diǎn)，追加在下式以及圖7所示的、被稱作
[0107]源(source)s e V[0108]凹陷(sink)tev
[0109]的特殊的末端(terminal)。將該源s對(duì)應(yīng)為主要目標(biāo)區(qū)域、凹陷t對(duì)應(yīng)為背景區(qū)域來考慮。此外，邊緣E表現(xiàn)節(jié)點(diǎn)V間的關(guān)系。將表示與周邊的像素的關(guān)系的邊緣E稱作n-link、將表示各像素與源s(與主要目標(biāo)區(qū)域?qū)?yīng))或者與凹陷t(與背景區(qū)域?qū)?yīng))的關(guān)系的邊緣E稱作t-link。
[0110]暫且將連結(jié)源s和與各像素對(duì)應(yīng)的節(jié)點(diǎn)的各t-link看作表示各像素與主要目標(biāo)區(qū)域相似到哪種程度的關(guān)系。而且，使表示該主要目標(biāo)區(qū)域相似度的成本值與式9第I項(xiàng)建立對(duì)應(yīng)關(guān)系，并定義為
[0111]gv(xv) = gb(0) = -log θ (I (V)，O)。
[0112]在此，θ (c、0)為表示根據(jù)為了學(xué)習(xí)而準(zhǔn)備的多個(gè)(數(shù)百個(gè)程度)主要目標(biāo)區(qū)域圖像計(jì)算出的每個(gè)彩色像素值c的直方圖(出現(xiàn)次數(shù))的函數(shù)數(shù)據(jù)，例如，如圖8(a)所示那樣預(yù)先得到。另外，歸一化為遍及Θ (c、0)的全彩色像素值c的總和成為I。此外，I(V)為輸入圖像的各像素V的彩色(RGB)像素值。實(shí)際上，還有將彩色(RGB)像素值變換為亮度值而得到的值，但如果沒有需要特別提及，則以下為了簡(jiǎn)化說明，記載為“彩色(RGB)像素值”或者“彩色像素值”。式12中，Θ (I (v),O)的值越大，成本值就越小。這意味著在預(yù)先得到的主要目標(biāo)區(qū)域的彩色像素值中出現(xiàn)次數(shù)越多，根據(jù)式12得到的成本值越小，意味著像素V相似為主要目標(biāo)區(qū)域中的像素，結(jié)果，可降低式9的能量函數(shù)E(X)的值。
[0113]接下來，將連結(jié)凹陷t和與各像素對(duì)應(yīng)的節(jié)點(diǎn)的各t-link看作表示各像素與背景區(qū)域相似到哪種程度的關(guān)系。而且，使表示該背景區(qū)域相似度的成本值與式9第I項(xiàng)建立對(duì)應(yīng)關(guān)系，并定義為
[0114]gv (Xv) = gv(l) = -log θ (I (V)，I)。
[0115]在此，θ (c、l)為表示根據(jù)為了學(xué)習(xí)而準(zhǔn)備的多個(gè)(數(shù)百個(gè)左右)背景區(qū)域圖像計(jì)算出的每個(gè)彩色像素值c的直方圖(出現(xiàn)次數(shù))的函數(shù)數(shù)據(jù)，例如如圖8(b)所示那樣預(yù)先得到。另外，歸一化為遍及Θ (cU)的全彩色像素值c的總和成為I。Kv)與式12的情況相同，為輸入圖像的各像素V的彩色(RGB)像素值。在式12中，θ (I(v)、l)的值越大，成本值就越小。這意味著在預(yù)先得到的背景區(qū)域的彩色像素值中出現(xiàn)次數(shù)越多，根據(jù)式13得到的成本值就越小，像素V相似為背景區(qū)域中的像素，結(jié)果，可降低式9的能量函數(shù)E(X)的值。
[0116]接下來，使表示對(duì)應(yīng)于各像素的節(jié)點(diǎn)與其周邊像素的關(guān)系的n-link的成本值、和式9第2項(xiàng)建立對(duì)應(yīng)關(guān)系，并定義為
【權(quán)利要求】
1.一種目標(biāo)檢索裝置，其特征在于，具備: 攝像單元，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)； 距離計(jì)算單元，基于上述多個(gè)圖像數(shù)據(jù)，計(jì)算出從上述攝像單元到上述被攝體為止的距離； 剪切單元，從上述圖像數(shù)據(jù)中剪切上述被攝體中的主要目標(biāo)； 實(shí)際尺寸計(jì)算單元，根據(jù)上述剪切出的主要目標(biāo)在上述圖像數(shù)據(jù)上的大小、從上述攝像單元到被攝體為止的距離、和上述攝像單元的焦點(diǎn)距離，計(jì)算出上述主要目標(biāo)的實(shí)際尺寸；和 檢索單元，通過附加上述實(shí)際尺寸的信息并訪問主要目標(biāo)的數(shù)據(jù)庫，從而檢索上述主要目標(biāo)的種類。
2.根據(jù)權(quán)利要求1所述的目標(biāo)檢索裝置，其特征在于， 上述攝像單元具備通過使光軸移動(dòng)來校正手抖動(dòng)的校正透鏡，使該校正透鏡的光軸移動(dòng)的同時(shí)取得上述多個(gè)圖像數(shù)據(jù)。
3.根據(jù)權(quán)利要求1所述的目標(biāo)檢索裝置，其特征在于， 上述剪切單元對(duì)賦予給上述圖像數(shù)據(jù)的各像素的表示上述主要目標(biāo)或者上述背景的區(qū)域標(biāo)號(hào)值進(jìn)行更新，同時(shí)基于該區(qū)域標(biāo)號(hào)值和上述各像素的像素值，通過評(píng)價(jià)上述主要目標(biāo)相似度與相鄰像素間的上述像素值的變化、或者上述背景相似度與相鄰像素間的上述像素值的變化的能量函數(shù)的最小化處理，在上述圖像數(shù)據(jù)內(nèi)對(duì)上述主要目標(biāo)和上述背景進(jìn)行區(qū)域分割來剪切上述主要目標(biāo)。
4.根據(jù)權(quán)利要求3所述的目標(biāo)檢索裝置，其特征在于， 上述剪切單元通過圖像剪切法執(zhí)行上述能量函數(shù)的最小化處理。
5.一種目標(biāo)檢索方法，其特征在于，包括: 攝像步驟，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)； 距離計(jì)算步驟，基于上述多個(gè)圖像數(shù)據(jù)，計(jì)算出從攝像單元到上述被攝體為止的距離； 剪切步驟，從上述圖像數(shù)據(jù)中剪切上述被攝體中的主要目標(biāo)； 實(shí)際尺寸計(jì)算步驟，根據(jù)上述剪切出的主要目標(biāo)在上述圖像數(shù)據(jù)上的大小、從上述攝像單元到被攝體為止的距離、和上述攝像步驟的焦點(diǎn)距離，計(jì)算出上述主要目標(biāo)的實(shí)際尺寸；和 檢索步驟，通過附加上述實(shí)際尺寸的信息并訪問主要目標(biāo)的數(shù)據(jù)庫，從而檢索上述主要目標(biāo)的種類。
6.一種計(jì)算機(jī)可讀取記錄介質(zhì)，其記錄了使執(zhí)行目標(biāo)檢索處理的計(jì)算機(jī)作為以下單元起作用的程序，即: 攝像單元，取得光軸相對(duì)于被攝體移動(dòng)后的多個(gè)圖像數(shù)據(jù)； 距離計(jì)算單元，基于上述多個(gè)圖像數(shù)據(jù)，計(jì)算出從上述攝像單元到上述被攝體為止的距離； 剪切單元，從上述圖像數(shù)據(jù)中剪切上述被攝體中的主要目標(biāo)； 實(shí)際尺寸計(jì)算單元，根據(jù)上述剪切出的主要目標(biāo)在上述圖像數(shù)據(jù)上的大小、從上述攝像單元到被攝體為止的距離、和上述攝像單元的焦點(diǎn)距離，計(jì)算出上述主要目標(biāo)的實(shí)際尺寸；和 檢索單元，通過附加上述實(shí)際尺寸的信息并訪問主要目標(biāo)的數(shù)據(jù)庫，從而檢索上述主要目標(biāo)的種類。
【文檔編號(hào)】G06F17/30GK103577520SQ201310311243
【公開日】2014年2月12日 申請(qǐng)日期:2013年7月23日 優(yōu)先權(quán)日:2012年7月24日
【發(fā)明者】二瓶道大, 松永和久, 廣浜雅行, 中込浩一 申請(qǐng)人:卡西歐計(jì)算機(jī)株式會(huì)社