專利名稱：顯示或檢索圖像中的目標(biāo)的方法及其裝置、計(jì)算機(jī)程序、計(jì)算機(jī)系統(tǒng)和計(jì)算機(jī)可讀存儲(chǔ)媒體的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及以檢索為目的的在多媒體數(shù)據(jù)庫(kù)中保存的圖像那樣的靜止圖像或視頻圖像中出現(xiàn)的目標(biāo)的顯示，特別是使用這樣的顯示檢索目標(biāo)的方法和裝置。
背景技術(shù)：
在圖像程序庫(kù)的圖像的應(yīng)用程序中，進(jìn)行視頻圖像或靜止圖像中出現(xiàn)的目標(biāo)的輪廓及形狀或目標(biāo)的一部分的有效的顯示和保存。在用于進(jìn)行附加形狀庫(kù)的索引和檢索的眾所周知的方法中，可以使用曲率標(biāo)度空間(CSS)顯示。關(guān)于CSS的詳細(xì)情況，可以在論文「利用曲率標(biāo)度空間的堅(jiān)固性附加有效的形狀索引」(英國(guó)機(jī)器影像會(huì)報(bào)pp.53～62、愛(ài)丁堡、英國(guó)、1996年)和「利用使用誚標(biāo)度空間的形狀內(nèi)容附加圖像數(shù)據(jù)庫(kù)的索引」(關(guān)于智能數(shù)據(jù)庫(kù)的IEE專家會(huì)議報(bào)、倫敦、1996年)中找到。兩篇論文都是Mokhtarian、S.Abbasi和J.Kittler撰寫(xiě)的，其內(nèi)容在本說(shuō)明書(shū)中是作為參考文獻(xiàn)而引用的。
在CSS顯示中，為了得到目標(biāo)的輪廓，使用曲率函數(shù)，從輪廓上的任意的點(diǎn)開(kāi)始進(jìn)行顯示。通過(guò)進(jìn)行使形狀平滑化的一連串的變形，將輪廓的形狀展開(kāi)，研究曲率函數(shù)。此外，具體而言，就是計(jì)算與高斯濾波器的族一起卷積的曲率函數(shù)的導(dǎo)函數(shù)的零交叉。作為曲率標(biāo)度空間，如所周知，零交叉繪制在曲線圖上。但是，x軸是曲線的正規(guī)化的弧長(zhǎng)，y軸是展開(kāi)參量，特別是應(yīng)用濾波器的參量。曲線圖上的點(diǎn)形成表示輪廓的特征的環(huán)。構(gòu)成目標(biāo)的輪廓的各凸?fàn)罨虬紶畹牟糠?，與CSS圖像的環(huán)對(duì)應(yīng)。在CSS圖像中，最突起的環(huán)的尖峰的縱坐標(biāo)用于進(jìn)行輪廓的顯示。
為了檢索與輸入目標(biāo)的形狀一致的數(shù)據(jù)庫(kù)中的保存圖像的目標(biāo)，計(jì)算輸入形狀的CSS顯示。通過(guò)使用匹配算法語(yǔ)言比較各CSS圖像的尖峰的位置和高度，判斷輸入形狀與保存形狀間的類似度。
作為關(guān)于眾所周知的CSS顯示的問(wèn)題，有指定的輪廓的尖峰基于從輪廓上的任意的點(diǎn)開(kāi)始進(jìn)行計(jì)算的曲率函數(shù)的問(wèn)題。改變?cè)撻_(kāi)始點(diǎn)時(shí)，發(fā)生CSS圖像的尖峰沿x軸周期地移位。因此，在計(jì)算類似度測(cè)定值時(shí)，必須考慮所有的可能的移位或至少必須考慮最容易發(fā)生的移位。結(jié)果，將增加檢索手續(xù)和匹配手續(xù)的復(fù)雜性。
因此，本發(fā)明的目的旨在提供通過(guò)處理與圖像對(duì)應(yīng)的信號(hào)來(lái)表示出現(xiàn)在靜止圖像或視頻圖像中的目標(biāo)的方法，該方法包括從輪廓上的任意的點(diǎn)開(kāi)始導(dǎo)出與在目標(biāo)的輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和對(duì)上述值應(yīng)用指定的分類而得到輪廓的顯示的步驟。最好根據(jù)上述輪廓的CSS顯示導(dǎo)出上述值，另外，上述值最好與CSS峰值對(duì)應(yīng)。
作為本發(fā)明的結(jié)果，可以不顯著地降低檢索精度而大幅度地降低關(guān)于匹配程序的計(jì)算。
發(fā)明的內(nèi)容本發(fā)明的第1方面所述的顯示圖像中的目標(biāo)的方法是通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在圖像中出現(xiàn)的目標(biāo)的方法，其特征在于包括從目標(biāo)的輪廓上的任意的點(diǎn)開(kāi)始導(dǎo)出與在輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和對(duì)該值應(yīng)用指定的分類而得到輪廓的顯示的步驟。
本發(fā)明的第2方面所述的顯示圖像中的目標(biāo)的方法，其特征在于作為結(jié)果而得到的顯示與輪廓上的開(kāi)始點(diǎn)無(wú)關(guān)地進(jìn)行指定的分類。
本發(fā)明的第3方面所述的顯示圖像中的目標(biāo)的方法，其特征在于數(shù)值反映曲線上的彎曲點(diǎn)。
本發(fā)明的第4方面所述的顯示圖像中的目標(biāo)的方法，其特征在于通過(guò)使用平滑化參量σ按多個(gè)階段將輪廓平滑而生成多個(gè)輪廓曲線和通過(guò)使用表示各輪廓曲線的曲率的最大值和最小值的值導(dǎo)出表示原來(lái)的輪廓的特征的曲線以及通過(guò)選擇作為數(shù)值表示特征的曲線的尖峰的縱坐標(biāo)，來(lái)得到輪廓的曲率標(biāo)度空間的顯示。
本發(fā)明的第5方面所述的顯示圖像中的目標(biāo)的方法，其特征在于表示特征的曲線的縱坐標(biāo)與輪廓的弧長(zhǎng)參量和平滑化參量對(duì)應(yīng)。
本發(fā)明的第6方面所述的顯示圖像中的目標(biāo)的方法，其特征在于根據(jù)與平滑化參量對(duì)應(yīng)的尖峰的高度的值將尖峰的縱坐標(biāo)值進(jìn)行分類。
本發(fā)明的第7方面所述的顯示圖像中的目標(biāo)的方法，其特征在于將數(shù)值從最大值開(kāi)始進(jìn)行分類。
本發(fā)明的第8方面所述的顯示圖像中的目標(biāo)的方法，其特征在于將數(shù)值按大小降低的順序進(jìn)行分類。
本發(fā)明的第9方面所述的顯示圖像中的目標(biāo)的方法，其特征在于將數(shù)值從最小值開(kāi)始進(jìn)行分類。
本發(fā)明的第10方面所述的顯示圖像中的目標(biāo)的方法是通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在圖像中出現(xiàn)的目標(biāo)的方法，其特征在于包括為了表示目標(biāo)的輪廓而導(dǎo)出與在輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和導(dǎo)出使用數(shù)值中的至少2個(gè)值間的關(guān)系表示顯示的可靠性的系數(shù)的步驟。
本發(fā)明的第11方面所述的顯示圖像中的目標(biāo)的方法，其特征在于系數(shù)基于數(shù)值中的2個(gè)值間的比。
本發(fā)明的第12方面所述的顯示圖像中的目標(biāo)的方法，其特征在于上述比是2個(gè)最大值之比。
本發(fā)明的第13方面所述的顯示圖像中的目標(biāo)的方法，其特征在于通過(guò)使用平滑化參量σ按多個(gè)階段將輪廓平滑而生成多個(gè)輪廓曲線和通過(guò)使用表示用于導(dǎo)出表示原來(lái)的輪廓的特征的曲線的各輪廓曲線的曲率的最大值和最小值的值以及通過(guò)選擇作為數(shù)值表示特征的曲線的尖峰的縱坐標(biāo)，來(lái)得到輪廓的曲率標(biāo)度空間的顯示。
本發(fā)明的第14方面所述的顯示圖像中的目標(biāo)的方法，其特征在于使用第1～9方面的任一方面所述的方法導(dǎo)出上述數(shù)值。
本發(fā)明第15方面所述的檢索圖像中的目標(biāo)的方法是通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)檢索圖像中的目標(biāo)的方法，其特征在于包括用2維的輪廓的形式輸入查詢的步驟、使用第1～9方面的任一方面所述的方法導(dǎo)出輪廓的描述符的步驟、取得使用第1～9方面的任一方面所述的方法導(dǎo)出的所保存的圖像中的目標(biāo)的描述符并將所保存的目標(biāo)的各描述符與查詢描述符進(jìn)行比較的步驟和根據(jù)比較而選擇顯示與包含表示查詢與目標(biāo)間的類似度的程度的對(duì)象目標(biāo)的圖像對(duì)應(yīng)的至少1個(gè)結(jié)果的步驟。
本發(fā)明第16方面所述的檢索圖像中的目標(biāo)的方法，其特征在于使用第10～12方面的任一方面所述的方法對(duì)于查詢的輪廓和各保存的輪廓導(dǎo)出系數(shù)，僅使用指定的分類或使用指定的分類和與系數(shù)有關(guān)的某個(gè)其他分類進(jìn)行比較。
本發(fā)明的第17方面所述的顯示圖像中的目標(biāo)的方法，是通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在圖像中出現(xiàn)的多個(gè)目標(biāo)的方法，其特征在于包括導(dǎo)出與在各目標(biāo)的輪廓上顯現(xiàn)的特征關(guān)聯(lián)的多個(gè)數(shù)值的步驟和應(yīng)用與表示各輪廓的值相同的指定的分類得到各輪廓的顯示的步驟。
本發(fā)明的第18方面所述的顯示或檢索圖像中的目標(biāo)的裝置，其特征在于適合于執(zhí)行第1～17方面的任一方面所述的方法。
本發(fā)明的第19方面所述的顯示或檢索圖像中的目標(biāo)的計(jì)算機(jī)程序，其特征在于適合于執(zhí)行第1～17方面的任一方面所述的方法。
本發(fā)明的第20方面所述的顯示或檢索圖像中的目標(biāo)的計(jì)算機(jī)系統(tǒng)，其特征在于編程為按照第1～17方面的任一方面所述的方法而動(dòng)作。
本發(fā)明的第21方面所述的計(jì)算機(jī)可讀存儲(chǔ)媒體，其特征在于保存用于實(shí)現(xiàn)第1～17方面的任一方面所述的方法的計(jì)算機(jī)可以執(zhí)行的處理。
本發(fā)明的第22方面所述的顯示圖像中的目標(biāo)的方法，其特征在于和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同，顯示靜止圖像或視頻圖像中的目標(biāo)。
本發(fā)明的第23方面所述的檢索圖像中的目標(biāo)的方法，其特征在于和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同，檢索靜止圖像或視頻圖像中的目標(biāo)。
本發(fā)明的第24方面所述的顯示或檢索圖像中的目標(biāo)的計(jì)算機(jī)系統(tǒng)，其特征在于和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同。
附圖的簡(jiǎn)單說(shuō)明圖1是視頻數(shù)據(jù)庫(kù)系統(tǒng)的框圖。
圖2是目標(biāo)的輪廓的圖。
圖3是表示圖2的輪廓的CSS顯示的圖。
圖4是表示檢索方法的框圖。
具體實(shí)施例方式
下面，參照


本發(fā)明的實(shí)施例。
實(shí)施例1.
圖1表示本發(fā)明的實(shí)施例進(jìn)行計(jì)算機(jī)處理的視頻數(shù)據(jù)庫(kù)系統(tǒng)。在該系統(tǒng)中，包括計(jì)算機(jī)形式的控制裝置2、監(jiān)視器形式的顯示裝置4、鼠標(biāo)形式的指示裝置6、包含保存的靜止圖像和視頻圖像的圖像數(shù)據(jù)庫(kù)8和保存在圖像數(shù)據(jù)庫(kù)8保存的圖像中出現(xiàn)的目標(biāo)或目標(biāo)的幾個(gè)部分的描述符的描述符數(shù)據(jù)庫(kù)10。
表示在圖像數(shù)據(jù)庫(kù)的圖像中出現(xiàn)的有興趣的各目標(biāo)的形狀的描述符由控制裝置2導(dǎo)出，保存導(dǎo)描述符數(shù)據(jù)庫(kù)10中。控制裝置2根據(jù)執(zhí)行以下說(shuō)明的方法的適當(dāng)?shù)某绦虻目刂贫鴦?dòng)作，導(dǎo)出描述符。
第1，對(duì)于指定的目標(biāo)的輪廓，導(dǎo)出該輪廓的CSS顯示。
使用上述論文之一所描述的眾所周知的方法進(jìn)行該CSS顯示。
此外，具體而言，就是利用映射表現(xiàn)Ψ＝{(x(u)，y(u)，u∈
)}表示該輪廓(其中，u是正規(guī)化的弧長(zhǎng)參量)。
該輪廓通過(guò)使用ID高斯核g(u，ρ)進(jìn)行卷積(convolve)而平滑，對(duì)于ρ的變化，檢查展開(kāi)(evolving)曲線的曲率零交叉。零交叉使用表示曲率的下述公式進(jìn)行特定。即k(u,σ)=Xu(u,σ)Yuu(u,σ)-Xuu(u,σ)Yu(u,σ)(Xu(u,σ)2+Yu(u,σ)2)3/2]]>其中，X(u，σ)＝ x(u)*g(u，σ)，Y(u，σ)＝y(tǒng)(u)*g(u，σ)并且，Xu(u，σ)＝x(u)*gu(u，σ) Xuu(u，σ)＝x(u)*guu(u，σ)在上述公式中，*表示卷積，腳標(biāo)表示導(dǎo)函數(shù)。
曲率零交叉的數(shù)隨ρ的變化而變化，ρ非常高時(shí)，Ψ成為零交叉的凸?fàn)畹那€。
零交叉點(diǎn)(u，ρ)描繪在作為CSS圖像空間的曲線圖上。結(jié)果，就形成表示原來(lái)的輪廓的特征的曲線。于是，特定表示該特征的曲線的尖峰，并抽出對(duì)應(yīng)的縱坐標(biāo)進(jìn)行保存。通常，上述結(jié)果給出n個(gè)坐標(biāo)對(duì)((x1，y1)、(x2，y2)、...(xn，yn))的組(其中，n是尖峰的數(shù)、xi是第i個(gè)尖峰的弧長(zhǎng)的位置、yi是尖峰的高度)。
表示該特征的曲線的分類和位置以及對(duì)應(yīng)的尖峰在CSS圖像空間中出現(xiàn)時(shí)，與上述曲率函數(shù)的開(kāi)始點(diǎn)有關(guān)。在本發(fā)明中，尖峰的縱坐標(biāo)使用專用的分類函數(shù)進(jìn)行再分類。
利用尖峰索引{1...n}與新的集合的索引{1...n}的1對(duì)1映射T進(jìn)行分類。
在本實(shí)施例中，縱坐標(biāo)的對(duì)通過(guò)考慮y縱坐標(biāo)的尺寸進(jìn)行分類。第1，選擇最大尖峰。假定第k個(gè)尖峰最突起。這時(shí)，在數(shù)值進(jìn)行了分類的集合中，(xk，yk)成為第1個(gè)坐標(biāo)。換言之，就是T(k)＝1。同樣，其他的尖峰的縱坐標(biāo)按尖峰的高度的降低順序進(jìn)行再分類。在2個(gè)尖峰具有相同的高度時(shí)，具有與上述縱坐標(biāo)對(duì)的x坐標(biāo)最接近的x坐標(biāo)的尖峰配置為第1。換言之，具有原來(lái)的索引i的各縱坐標(biāo)對(duì)被分配給新的索引。但是，T(i)＝j(luò)，并且yj＞＝y(tǒng)(j+1)。另外，各值xi符合-xk的周期的移位。
作為特定的例子，從圖2所示的輪廓可以得到圖3所示的CSS圖像的結(jié)果。CSS圖像的曲線的尖峰的縱坐標(biāo)的詳細(xì)情況示于以下的表1。
表1

這些尖峰使用上述分類方法進(jìn)行分類。即，縱坐標(biāo)按尖峰的高度降低的順序進(jìn)行分類。另外，x縱坐標(biāo)都向零的方向咬與最大尖峰的原來(lái)的x縱坐標(biāo)相等的量。結(jié)果，便形成示于以下表2中的進(jìn)行了再分類的尖峰坐標(biāo)。
表2

利用這些進(jìn)行了再分類的尖峰的縱坐標(biāo)，對(duì)保存在數(shù)據(jù)10中的目標(biāo)的輪廓形成描述符的數(shù)據(jù)庫(kù)。在本實(shí)施例中，按表2所示的分類順序保存尖峰的縱坐標(biāo)?；蛘撸部梢耘c表示新的分類順序的關(guān)聯(lián)的索引一起保存縱坐標(biāo)。
實(shí)施例2.
下面，說(shuō)明實(shí)施例2的表示目標(biāo)的輪廓的代替方法。
表示輪廓的CSS顯示按上述方式導(dǎo)出。但是，尖峰的縱坐標(biāo)的分類與上述實(shí)施例1的分類不同。此外，具體而言，第1，選擇最大尖峰。假定尖峰k是最突起的尖峰。這時(shí)，(xk，yk)在尖峰的分類集合中成為第1個(gè)尖峰。其后的尖峰對(duì)于原來(lái)的索引i的尖峰的縱坐標(biāo)，成為T(i)＝J并且xj＜＝x(j+1)。另外，所有的值xi都向下方咬與原來(lái)的尖峰k的原來(lái)的x縱坐標(biāo)相等的量xk。
換言之，在實(shí)施例2的方法中，選擇最大尖峰，配置到第1位，然后，其余的尖峰按照從最大尖峰開(kāi)始的原來(lái)的順序進(jìn)行配置。
以下的表3表示按照實(shí)施例2進(jìn)行分類的表1的峰值的表。
表3

在上述實(shí)施例1和2的展開(kāi)中，可靠性系數(shù)(CF)與形狀的各顯示相關(guān)聯(lián)。CF根據(jù)指定形狀的第2最大峰值與最大峰值之比來(lái)計(jì)算。
對(duì)于圖2所示的輪廓，CF值為CF＝1001/2120。在本例中，通過(guò)使CF最接近于0.1而進(jìn)行量化處理，減少存儲(chǔ)要件。因此，在本例中，CF＝0.5。
本例的CF值是顯示的痂度即唯一性的反映。在本例中，接近于1的CF值意味著可靠性低，接近于零的CF值表示可靠性高。換言之，如果2個(gè)最大峰值越接近，顯示正確的可能性就越小。
進(jìn)行以下說(shuō)明的匹配順序時(shí)，CF值可以成為有益的數(shù)值。
實(shí)施例3.
下面，參照作為表示檢索方法的框圖的圖4說(shuō)明根據(jù)本發(fā)明的實(shí)施例檢索圖像中的目標(biāo)的方法。
在本例中，在圖1的系統(tǒng)的描述符數(shù)據(jù)庫(kù)10中，與關(guān)聯(lián)的CF值一起保存著按照上述第1分類方法導(dǎo)出的描述符。
用戶使用指示裝置通過(guò)在顯示器上描繪目標(biāo)的輪廓，開(kāi)始進(jìn)行檢索(步驟410)。其次，控制裝置2導(dǎo)出輸入輪廓的CSS顯示，按照與對(duì)數(shù)據(jù)庫(kù)中的圖像所使用的函數(shù)相同的分類函數(shù)進(jìn)行尖峰的縱坐標(biāo)的分類，得到表示輸入輪廓的描述符(步驟420)。然后，控制裝置2通過(guò)計(jì)算第2最大峰值與最大峰值的比率，來(lái)計(jì)算輸入輪廓的CF值，并進(jìn)行該結(jié)果的量化處理(步驟430)。
然后，控制裝置2將輸入輪廓的CF值與指定的閾值進(jìn)行比較(步驟440)。在本例中，該閾值是0.75。表示對(duì)輸入描述符的精度的相對(duì)的高的可靠性，在CF值比該閾值低時(shí)，下一個(gè)步驟就是考慮現(xiàn)在考慮中的模型(即保存在數(shù)據(jù)庫(kù)中的圖像)的CF值的步驟。在模型的CF仍然比閾值低時(shí)(步驟450)，僅使用指定的分類順序的各描述符進(jìn)行輸入描述符與模型的比較(步驟460)。在輸入描述符或模型的CF大于閾值時(shí)，通過(guò)將輸入描述符中的縱坐標(biāo)值的所有的可能的不同的分類順序與數(shù)據(jù)庫(kù)中的模型描述符進(jìn)行比較，來(lái)進(jìn)行匹配(步驟470)。
在數(shù)據(jù)庫(kù)中，各描述符的類似度測(cè)定值使用作為結(jié)果而得到的適當(dāng)?shù)乃惴ㄕZ(yǔ)言進(jìn)行匹配比較。也可以使用在上述論文中說(shuō)明的眾所周知的匹配算法語(yǔ)言。下面，簡(jiǎn)單地說(shuō)明該匹配順序。
給定2個(gè)閉合的輪廓的形狀、圖像曲線Ψi和模型曲線Ψm和這些曲線的尖峰的設(shè)定值{(xi1，yi1)，(xi2，yi2)，..，(xin，yin)}和{(xm1，ym1)，(xm2，ym2)，..，(xmn，ymn)}，可以計(jì)算類似度測(cè)定值。類似度測(cè)定值定義為圖像中的尖峰與模型中的尖峰的匹配的總代價(jià)。使總成本最小化的匹配使用動(dòng)態(tài)程序設(shè)計(jì)進(jìn)行計(jì)算。利用算法語(yǔ)言，從模型得到的尖峰反饋給從圖像得到的尖峰進(jìn)行匹配，進(jìn)行這種匹配的各種代價(jià)的計(jì)算?？梢允垢髂Ｐ偷募夥迮c唯一的圖像尖峰進(jìn)行匹配，也可以使各圖像的尖峰與唯一的模型尖峰進(jìn)行匹配。在模型和/或圖像尖峰中有時(shí)也有仍然不匹配的尖峰，對(duì)于未匹配的尖峰，存在追加的損失代價(jià)。在2個(gè)尖峰的水平距離小于0.2時(shí)，可以使2個(gè)尖峰匹配。匹配的代價(jià)就是2個(gè)匹配的尖峰件的直線長(zhǎng)度。未匹配的尖峰的代價(jià)是其高度。
更詳細(xì)而言，就是算法語(yǔ)言通過(guò)作成并擴(kuò)張與節(jié)點(diǎn)匹配的尖峰對(duì)應(yīng)的樹(shù)狀的結(jié)構(gòu)而前作用。
1.作成由圖像(xik，yik)的最大值與模型(xir，yir)的最大值構(gòu)成的開(kāi)始節(jié)點(diǎn)。
2.對(duì)圖像尖峰的最大值的80％以內(nèi)的各其余的模型尖峰作成追加的開(kāi)始節(jié)點(diǎn)。
3.將上述1和2作成的各開(kāi)始節(jié)點(diǎn)的代價(jià)初始化為該開(kāi)始節(jié)點(diǎn)與鏈接的圖像尖峰和模型尖峰的y坐標(biāo)之差的絕對(duì)值。
4.對(duì)上述3的各開(kāi)始節(jié)點(diǎn)計(jì)算作為在該開(kāi)始節(jié)點(diǎn)匹配的模型尖峰與圖像尖峰的x(水平)坐標(biāo)之差而定義的CSS移位參量α。移位參量對(duì)各節(jié)點(diǎn)是不同的。
5.對(duì)各開(kāi)始節(jié)點(diǎn)作成模型尖峰的列表和圖像尖峰的列表。在該列表中包含關(guān)于哪個(gè)尖峰還未匹配的信息。對(duì)于各開(kāi)始節(jié)點(diǎn)，對(duì)于“已匹配的”，就給在該節(jié)點(diǎn)已匹配的尖峰加上標(biāo)志，而對(duì)其他所有的尖峰則作為“未匹配的”也給加上標(biāo)志。
6.反饋擴(kuò)大最低代價(jià)的節(jié)點(diǎn)，直至滿足下述8的條件(從在步驟1～6作成的各節(jié)點(diǎn)開(kāi)始，各節(jié)點(diǎn)的子節(jié)點(diǎn)位于其后)。為了擴(kuò)大節(jié)點(diǎn)，使用以下的步驟。
7.節(jié)點(diǎn)的擴(kuò)大在存在仍然未匹配的至少1個(gè)圖像還1個(gè)模型尖峰時(shí)，選擇未匹配的最大的標(biāo)度圖像曲線CSS的最大值(xip，yip)。將應(yīng)用(在步驟4計(jì)算的)開(kāi)始節(jié)點(diǎn)移位參量所選擇的最大值映射導(dǎo)模型CSS圖像上，選擇的尖峰具有坐標(biāo)(xip-alpha，yip)。決定未匹配的最近的模型曲線尖峰(xms，yms)。在2個(gè)尖峰間的水平距離小于0.2(即|xip-alpha-xms|＜0.2)時(shí)，就使2個(gè)尖峰匹配，作為2個(gè)尖峰間的直線的長(zhǎng)度，定義匹配的代價(jià)。將匹配的代價(jià)加到該節(jié)點(diǎn)的總代價(jià)上。對(duì)于匹配的尖峰，通過(guò)作為“已匹配的”加上標(biāo)志，從各列表中除去已匹配的尖峰。在2個(gè)尖峰間的水平距離大于0.2時(shí)，圖像尖峰(xip，yip)就不能進(jìn)行匹配。這時(shí)，就將圖像尖峰的高度yip加到總代價(jià)上，通過(guò)給“已匹配的”尖峰加上標(biāo)志，將尖峰(xip，yip)從圖像尖峰表中除去。
在不滿足上述條件(只存在未匹配的圖像尖峰或只存在未匹配的模型尖峰)時(shí)，就置于仍然未匹配的狀態(tài)。
作為未匹配的圖像尖峰或模型尖峰的增高的高度，定義匹配的代價(jià)，并將尖峰從列表中除去。
8.在上述7擴(kuò)大節(jié)點(diǎn)之后，在圖像列表和模型列表中都不存在未匹配的尖峰時(shí)，就結(jié)束匹配處理。該節(jié)點(diǎn)的代價(jià)就是圖像與模型曲線間的類似度測(cè)定值。在存在尖峰時(shí)，就返回到上述7，擴(kuò)大最低代價(jià)的節(jié)點(diǎn)。
將圖像曲線峰值與模型曲線峰值進(jìn)行交換，反復(fù)進(jìn)行上述步驟。最終匹配值是這2個(gè)峰值中的低的一方的值。
作為另一個(gè)例子，對(duì)于分類的順序的各位置，計(jì)算輸入的x值與和其對(duì)應(yīng)的模型的x值間的距離和輸入的y值與和其對(duì)應(yīng)的模型的y值間的距離。計(jì)算所有位置的合距離，合距離越小，匹配的程度越接近。在輸入輪廓與模型的尖峰的樹(shù)不同時(shí)，在合距離中就包含其余的未匹配的峰值的高度。
對(duì)數(shù)據(jù)庫(kù)的各模型反復(fù)進(jìn)行上述步驟(步驟480)。
將匹配比較的結(jié)果而產(chǎn)生的類似度值進(jìn)行分類(步驟490)，然后，在顯示裝置4上向用戶顯示與具有表示最近的匹配值(即，在本例中最低的類似度值)的類似度值的媒質(zhì)符對(duì)應(yīng)的目標(biāo)(步驟500)。顯示對(duì)象的目標(biāo)樹(shù)用戶可以預(yù)先設(shè)定或選擇。
在上述實(shí)施例中，在CF值大于閾值時(shí)，就考慮匹配時(shí)輸入描述符值的所有的可能的順序。但是，也可以不必考慮所有的可能的順序，而代之以僅考慮原來(lái)的CSS顯示的幾個(gè)猴所有的周期的移位的幾個(gè)可能的順序。此外，在上述實(shí)施例中，閾值設(shè)定為0.75，但是，該閾值也可以設(shè)定為不同的電平。例如，在閾值設(shè)定為零時(shí)，就通過(guò)幾個(gè)或所有的可能的順序的分析進(jìn)行所有的匹配。因此，與閾值大于零的情況相比，將增加必要的計(jì)算量，但是，尖峰已進(jìn)行了分類，峰值的x坐標(biāo)已對(duì)特定的開(kāi)始點(diǎn)或目標(biāo)旋轉(zhuǎn)進(jìn)行了調(diào)整，所以，與未進(jìn)行這樣的調(diào)整的原來(lái)的系統(tǒng)相比，所需要的計(jì)算量還是降低了。因此，通過(guò)將閾值設(shè)定為零，可以減少若干計(jì)算，檢索性能和原來(lái)的系統(tǒng)完全相同。
或者，將閾值設(shè)定為1時(shí)，使用僅保存的順序進(jìn)行匹配。這時(shí)，檢索精度只降低一點(diǎn)點(diǎn)，卻可以顯著地減少所需要的計(jì)算量。
對(duì)于上述實(shí)施例，可以進(jìn)行各種各樣的變更。例如，也可以利用其他的分類方法，取代實(shí)施例1和實(shí)施例2說(shuō)明的CSS尖峰的總坐標(biāo)值的分類。也可以按例如尖峰的高度升高的順序配置總坐標(biāo)值，取代按尖峰的高度降低的順序進(jìn)行配置。也可以在匹配步驟中進(jìn)行分類，而取代將分類的值保存在數(shù)據(jù)庫(kù)中。
產(chǎn)業(yè)上利用的可能性本發(fā)明的系統(tǒng)，可以設(shè)置在例如圖像程序庫(kù)中?；蛘撸瑪?shù)據(jù)庫(kù)可以通過(guò)因特網(wǎng)那樣的網(wǎng)絡(luò)利用電話線的暫時(shí)的鏈接與控制裝置連接，配置在距離系統(tǒng)的控制裝置遠(yuǎn)的地方。例如，圖像數(shù)據(jù)庫(kù)和描述符數(shù)據(jù)庫(kù)可以設(shè)置在永久存儲(chǔ)裝置或ROM及DVD那樣的便攜式的存儲(chǔ)媒體中。
以上說(shuō)明的系統(tǒng)的結(jié)構(gòu)要素，可以用軟件或硬件的形式進(jìn)行設(shè)置。以上用計(jì)算機(jī)系統(tǒng)的形式說(shuō)明了本發(fā)明，但是，本發(fā)明也可以使用專用芯片等用其他形式來(lái)實(shí)現(xiàn)。
以上給出了表示目標(biāo)的2D形狀的方法和計(jì)算表示2個(gè)形狀間的類似度的值的方法的特定的例子，但是，同樣也可以使用任意的適當(dāng)?shù)姆椒ā?br> 例如，為了確認(rèn)的目的，進(jìn)行目標(biāo)圖像的匹配或進(jìn)行環(huán)形濾波也可以使用本發(fā)明。
權(quán)利要求
1.一種通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在圖像中出現(xiàn)的目標(biāo)的方法，其特征在于包括從目標(biāo)的輪廓上的任意的點(diǎn)開(kāi)始導(dǎo)出與在輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和對(duì)該值應(yīng)用指定的分類而得到輪廓的顯示的步驟。
2.按權(quán)利要求1所述的顯示圖像中的目標(biāo)的方法，其特征在于作為結(jié)果而得到的顯示與輪廓上的開(kāi)始點(diǎn)無(wú)關(guān)地進(jìn)行指定的分類。
3.按權(quán)利要求1所述的顯示圖像中的目標(biāo)的方法，其特征在于上述數(shù)值反映上述曲線上的彎曲點(diǎn)。
4.按權(quán)利要求1所述的顯示圖像中的目標(biāo)的方法，其特征在于通過(guò)使用平滑化參量σ按多個(gè)階段將輪廓平滑而生成多個(gè)輪廓曲線和通過(guò)使用表示各輪廓曲線的曲率的最大值和最小值的值導(dǎo)出表示原來(lái)的輪廓的特征的曲線以及通過(guò)選擇作為上述數(shù)值表示特征的曲線的尖峰的縱坐標(biāo)，來(lái)得到上述輪廓的曲率標(biāo)度空間的顯示。
5.按權(quán)利要求4所述的顯示圖像中的目標(biāo)的方法，其特征在于表示上述特征的曲線的縱坐標(biāo)與上述輪廓的弧長(zhǎng)參量和上述平滑化參量對(duì)應(yīng)。
6.按權(quán)利要求5所述的顯示圖像中的目標(biāo)的方法，其特征在于根據(jù)與上述平滑化參量對(duì)應(yīng)的尖峰的高度的值將上述尖峰的縱坐標(biāo)值進(jìn)行分類。
7.按權(quán)利要求1～6的任一權(quán)項(xiàng)所述的顯示圖像中的目標(biāo)的方法，其特征在于上述值從最大值開(kāi)始進(jìn)行分類。
8.按權(quán)利要求7所述的顯示圖像中的目標(biāo)的方法，其特征在于上述值按大小降低的順序進(jìn)行分類。
9.按權(quán)利要求1～6的任一權(quán)項(xiàng)所述的顯示圖像中的目標(biāo)的方法，其特征在于上述值從最小值開(kāi)始進(jìn)行分類。
10.一種通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在圖像中出現(xiàn)的目標(biāo)的方法，其特征在于包括為了表示目標(biāo)的輪廓而導(dǎo)出與在上述輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和導(dǎo)出使用上述數(shù)值中的至少2個(gè)值間的關(guān)系表示上述顯示的可靠性的系數(shù)的步驟。
11.按權(quán)利要求10所述的顯示圖像中的目標(biāo)的方法，其特征在于上述系數(shù)基于上述值中的2個(gè)值間的比值。
12.按權(quán)利要求11所述的顯示圖像中的目標(biāo)的方法，其特征在于上述比是2個(gè)最大值之比。
13.按權(quán)利要求10～12的任一權(quán)項(xiàng)所述的顯示圖像中的目標(biāo)的方法，其特征在于通過(guò)使用平滑化參量σ按多個(gè)階段將輪廓平滑而生成多個(gè)輪廓曲線和通過(guò)使用表示用于導(dǎo)出表示原來(lái)的輪廓的特征的曲線的各輪廓曲線的曲率的最大值和最小值的值以及通過(guò)選擇作為上述數(shù)值表示上述特征的曲線的尖峰的縱坐標(biāo)，來(lái)得到上述輪廓的曲率標(biāo)度空間的顯示。
14.按權(quán)利要求10所述的顯示圖像中的目標(biāo)的方法，其特征在于使用權(quán)利要求1～9的任一權(quán)項(xiàng)所述的方法導(dǎo)出上述值。
15.一種通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)檢索上述圖像中的目標(biāo)的方法，其特征在于包括用2維的輪廓的形式輸入查詢的步驟、使用權(quán)利要求1～9的任一權(quán)項(xiàng)所述的方法導(dǎo)出輪廓的描述符的步驟、取得使用權(quán)利要求1～9的任一權(quán)項(xiàng)所述的方法導(dǎo)出的所保存的圖像中的目標(biāo)的描述符并將所保存的目標(biāo)的各描述符與上述查詢描述符進(jìn)行比較的步驟和根據(jù)該比較而選擇顯示與包含表示上述查詢與上述目標(biāo)間的類似度的程度的對(duì)象目標(biāo)的圖像對(duì)應(yīng)的至少1個(gè)結(jié)果的步驟。
16.按權(quán)利要求15所述的檢索圖像中的目標(biāo)的方法，其特征在于使用權(quán)利要求10～12的任一權(quán)項(xiàng)所述的方法對(duì)于上述查詢的輪廓和各保存的輪廓導(dǎo)出系數(shù)，僅使用指定的分類或使用上述指定的分類和與上述系數(shù)有關(guān)的某個(gè)其他分類進(jìn)行比較。
17.一種通過(guò)處理與靜止圖像或視頻圖像對(duì)應(yīng)的信號(hào)來(lái)表示在上述圖像中出現(xiàn)的多個(gè)目標(biāo)的方法，其特征在于包括導(dǎo)出與在各目標(biāo)的輪廓上顯現(xiàn)的特征關(guān)聯(lián)的多個(gè)數(shù)值的步驟和應(yīng)用與表示各輪廓的上述值相同的指定的分類得到各輪廓的顯示的步驟。
18.一種顯示或檢索圖像中的目標(biāo)的裝置，其特征在于適合于執(zhí)行權(quán)利要求1～17的任一權(quán)項(xiàng)所述的方法。
19.一種顯示或檢索圖像中的目標(biāo)的計(jì)算機(jī)程序，其特征在于適合于執(zhí)行權(quán)利要求1～17的任一權(quán)項(xiàng)所述的方法。
20.一種顯示或檢索已編程的圖像中的目標(biāo)的計(jì)算機(jī)系統(tǒng)，其特征在于按照權(quán)利要求1～17的任一權(quán)項(xiàng)所述的方法而動(dòng)作。
21.一種計(jì)算機(jī)可讀存儲(chǔ)媒體，其特征在于保存可以由用于實(shí)現(xiàn)權(quán)利要求1～17的任一權(quán)項(xiàng)所述的方法的計(jì)算機(jī)執(zhí)行的處理。
22.一種和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同的顯示靜止圖像或視頻圖像中的目標(biāo)的方法。
23.一種和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同的檢索靜止圖像或視頻圖像中的目標(biāo)的方法。
24.一種和參照附圖在本說(shuō)明書(shū)中說(shuō)明的實(shí)際上相同的顯示或檢索圖像中的目標(biāo)的計(jì)算機(jī)系統(tǒng)。
全文摘要
一種通過(guò)處理與圖像對(duì)應(yīng)的信號(hào)來(lái)表示在靜止圖像或視頻圖像中出現(xiàn)的目標(biāo)的方法，通過(guò)處理與圖像對(duì)應(yīng)的信號(hào)來(lái)表示在靜止圖像或視頻圖像中出現(xiàn)的目標(biāo)的方法包括從目標(biāo)的輪廓上的任意的點(diǎn)開(kāi)始導(dǎo)出與在輪廓上顯現(xiàn)的特征相關(guān)的多個(gè)數(shù)值的步驟和對(duì)該值應(yīng)用指定的分類而得到輪廓的顯示的步驟。
文檔編號(hào)G06K9/48GK1967542SQ20061014958
公開(kāi)日2007年5月23日 申請(qǐng)日期2000年7月3日 優(yōu)先權(quán)日1999年7月5日
發(fā)明者M·Z·波伯 申請(qǐng)人:三菱電機(jī)株式會(huì)社