專利名稱：用于創(chuàng)建圖像的顯著圖的設(shè)備和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于創(chuàng)建圖像的顯著圖的設(shè)備和方法。
背景技術(shù)：
人類信息處理系統(tǒng)本質(zhì)上是一種受限系統(tǒng)，尤其是對于視覺系統(tǒng)而言。盡管我們的認知資源的限制，該系統(tǒng)必須面對包含在視覺環(huán)境中的大量信息。然而，人類似乎似是而非地成功地解決了該問題，這是因為我們能夠理解我們的視覺環(huán)境。
通常，設(shè)定特定視覺屬性對于視覺系統(tǒng)是基本的，因此它們不需要感知受注意的資源。這些視覺屬性被稱為前注意(pre-attentive)屬性。
根據(jù)該視覺研究原則，人類注意行為參與了前注意和注意處理。如以上所解釋的，所謂自下而上處理(bottom-up processing)的前注意處理與無意(involuntary)注意相連接。我們的注意力容易關(guān)注于我們看到的顯著部分。當考慮所謂自上而下處理(top-downprocessing)的注意處理時，證明我們的注意力與我們所想的特定任務(wù)相連接。因為這種注意形式需要努力使我們向特定方向注視，因此該第二種注意形式是更精密且有用的。
圖像中顯著點的檢測能夠改善其它步驟，例如編碼或圖像索引、加水印、視頻質(zhì)量估計。
公知方法或多或少是基于非視覺心理屬性。與這種方法相反，此處所提出的方法依賴于模型是完全基于例如早期視覺屬性的計算的人類視覺系統(tǒng)(HVS)的事實。

發(fā)明內(nèi)容
在第一方面，本發(fā)明提出一種用于創(chuàng)建圖像的顯著圖的方法，包括步驟-根據(jù)亮度分量、如果所述圖像是彩色圖像則根據(jù)亮度分量并且根據(jù)色度分量，來投影所述圖像；-根據(jù)人眼的可見度閾值，對所述分量進行感知子波段分解；-提取與亮度分量相關(guān)聯(lián)的子波段的顯著單元；-在與亮度分量相關(guān)聯(lián)的每一個子波段中針對所述顯著單元進行輪廓增強；-針對與亮度分量相關(guān)聯(lián)的每一個子波段，根據(jù)輪廓增強來計算顯著圖；-作為針對每一個子波段所獲得的顯著圖的函數(shù)來創(chuàng)建顯著圖。
在第二方面，本發(fā)明提出一種用于創(chuàng)建圖像的顯著圖的設(shè)備，其特征在于包括裝置，所述裝置用于-根據(jù)亮度分量、如果所述圖像是彩色圖像則根據(jù)亮度分量并且根據(jù)色度分量，來投影所述圖像；-將所述亮度和色度信號轉(zhuǎn)換到頻域；-根據(jù)人眼的可見度閾值，對頻域的所述分量進行感知子波段分解；-提取與亮度分量相關(guān)聯(lián)的子波段的顯著單元；-在與亮度分量相關(guān)聯(lián)的每一個子波段中針對所述顯著單元進行輪廓增強；-針對與亮度分量相關(guān)聯(lián)的每一個子波段，根據(jù)輪廓增強來計算顯著圖；-作為針對每一個子波段所獲得的顯著圖的函數(shù)來創(chuàng)建顯著圖。


在所附附圖的幫助下，通過示出的本發(fā)明非限制性的實施例的說明，本發(fā)明的其它特征和優(yōu)點變得顯而易見，其中圖1表示根據(jù)應(yīng)用于黑和白圖像的本發(fā)明方法的優(yōu)選實施例的概括流程圖；圖2表示根據(jù)應(yīng)用于黑和白圖像的本發(fā)明方法的優(yōu)選實施例的概括流程圖；圖3表示針對無色分量的視覺心理空間頻率劃分；圖4表示針對色度分量的視覺心理空間頻率劃分；圖5表示Dally對比度靈敏度函數(shù)；圖6a和6b分別表示視覺掩蔽和掩蔽的非線性模型；圖7表示根據(jù)優(yōu)選實施例的正常步驟的流程圖；圖8表示抑制/激勵步驟；圖9表示用于對θ＝0的輔助相互作用建模的濾波器的曲線圖(profile)；圖10表示算子D(z)的演示；圖11表示色度加強步驟；圖12表示由CRF側(cè)面的相鄰區(qū)域引起的非CRF展示；圖13表示對于特定取向和徑向頻率的歸一化加權(quán)函數(shù)的曲線圖示例。
具體實施例方式
圖1表示根據(jù)應(yīng)用于黑和白圖像的本發(fā)明方法的優(yōu)選實施例的概括流程圖。
算法被劃分為三個主要部分。
第一個被稱為可見度，基于人類視覺系統(tǒng)(HVS)具有有限靈敏度的事實。例如，HVS不能以良好的準確度真實環(huán)境中的所有信號，并且不能感知較小的刺激。該第一步驟的目的是通過使用感知分解、對比度靈敏度函數(shù)(CSF)和掩蔽函數(shù)來考慮這些固有限制。
第二部分致力于感知概念。感知是從外部世界的圖像中產(chǎn)生對于觀察者有用且不與非相關(guān)信息混雜的描繪的處理。為了選擇相關(guān)信息，根據(jù)生物證據(jù)，尤其使用中心周圍機制(center surround mechanism)。
最后的步驟涉及感知分組領(lǐng)域的一些方面。感知分組是指不需要圖像內(nèi)容的任何知識、從低級原始圖像屬性中提取顯著圖像關(guān)系且將它們分組以獲得有意義的高級結(jié)構(gòu)的人類視覺能力。所提出的方法僅關(guān)注于輪廓積分和邊緣連接。
對頻域的信號執(zhí)行步驟E3、E4。
在空間域進行步驟E1、E6和E9。
在頻域或空域進行步驟E7和E8。如果在頻域進行，則在步驟E7之前必須執(zhí)行傅立葉變換，且在步驟E9之前必須執(zhí)行傅立葉逆變換。
在步驟E1中，從考慮的圖像中提取亮度分量。
在步驟E2中，通過使用例如傅立葉變換的公知變換，將亮度分量轉(zhuǎn)換到頻域，以便能夠在步驟E3中對圖像應(yīng)用感知子波段分解。
在步驟E3中，對亮度分量應(yīng)用感知分解。該分解是受皮層轉(zhuǎn)換的啟發(fā)，并且基于在文獻“The computation of visual bandwidths andtheir impact in image decomposition and coding”，InternationalConference and Signal Processing Applications and Technology，Santa-Clara，California，pp.776-770，1993中提出的分解。根據(jù)人眼的可見度閾值來進行該分解。
根據(jù)不同心理物理學(xué)實驗，通過在空間徑向頻率和取向(orientation)中分割頻域，獲得分解。分量A的感知分解產(chǎn)生了分布在4個輪周(crown)的17個視覺心理子波段，如圖3所示。
圖3上的陰影區(qū)域表示屬于第三輪周且具有從15至45度的30度角度選擇性的子波段的譜支持(spectral support)。
從I至IV標記空間頻率的四個域(輪周)I從每度0至1.5周的空間頻率；II從每度1.5至5.7周的空間頻率；III從每度5.7至14.2周的空間頻率；IV從每度14.2至28.2周的空間頻率。
角度選擇性基于所考慮的頻域。對于較低頻率，不存在角度選擇性。
這些分解的主要性質(zhì)以及與皮層轉(zhuǎn)換的主要差別是隨徑向頻率而增加的非并矢(non-dyadic)徑向選擇性和取向選擇性。
可以將產(chǎn)生的每一個子波段看作是與調(diào)諧到空間頻率范圍和特定取向的視覺細胞群相對應(yīng)的神經(jīng)系統(tǒng)圖像。實際上，這些細胞屬于初級視皮層(對于可視區(qū)域1，也被稱為紋狀皮質(zhì)或V1)。它由總共大約200百萬神經(jīng)元組成，且從橫向膝狀細胞核(lateral geniculatenucleus)接收輸入。大約80％細胞對于視覺刺激的取向和空間頻率具有選擇性。
在圖像空間譜上，應(yīng)用公知為對比度靈敏度函數(shù)(CSF)的HVS公知屬性。應(yīng)用的CSF是一種主要基于空間頻率、取向和觀看距離的多元函數(shù)。
生物證據(jù)表明視覺細胞響應(yīng)于關(guān)于特定對比度的刺激。視覺細胞所響應(yīng)的對比度值被稱為可見度閾值(該閾值以上，刺激是可見的)。該閾值隨著各種參數(shù)而變化，例如刺激的空間頻率、刺激的取向、觀看距離、…。該變化將產(chǎn)生以多元函數(shù)來表示人眼的靈敏度(該靈敏度等于對比度閾值的倒數(shù))的CSF概念。因此，CSF可以估計人眼對于給定刺激的靈敏度。
在步驟E4中，應(yīng)用由Dally設(shè)計的2D各向異性CSF。在文獻“thevisible different predictoran algorithm for the assessment ofimage fidelity”，in proceedings of SPIE Human vision，visualprocessing and digital display III，volume 1666，pages 2-15，1992中描述了這種CSF。
CSF使得能夠建立人眼的重要屬性的模型，因此SVH細胞對于空間頻率非常靈敏。
在圖5中，示出了Dally CSF。
一旦應(yīng)用了Dally函數(shù)，在步驟E5中，對信號應(yīng)用傅立葉逆變換，以便能夠應(yīng)用下一步驟E6。
對于自然畫面，可以由另一個刺激的存在來調(diào)整靈敏度(增加或減少可見度閾值)。這種人眼的靈敏度的調(diào)整被稱為視覺掩蔽，如在步驟E6中所做的。
在圖6a和6b上示出了掩蔽效果的演示。考慮兩個因素目標和掩蔽體(masker)，其中CT和CM分別是存在掩蔽體時目標的對比度閾值和掩蔽體的對比度。此外，CTO是由CSF所測量的對比度閾值(沒有掩蔽效應(yīng))。
當CM變化時，可以定義三個區(qū)域
·在CM的較小值處，檢測閾值保持恒定。目標的可見度未由掩蔽體修改。
·當CM趨向于CTO時，掩蔽體通過降低可見度閾值，使目標的檢測容易。該現(xiàn)象被稱為輔助(facilitative)或吸收時延(pedestal)效應(yīng)。
·當CM增加時，目標由掩蔽體掩蔽。其對比度閾值增加。
視覺掩蔽方法基于按照正弦圖樣的簡單信號的檢測。
存在多種其它方法來實現(xiàn)基于心理物理學(xué)實驗的視覺掩蔽建模例如，一種最佳方法是指量化噪聲的檢測。
顯而易見的是，優(yōu)選方法是關(guān)于自然畫面的固有復(fù)雜性的極大簡化。然而，與復(fù)雜性相比，關(guān)于具有有趣結(jié)果的這種原則建立多種應(yīng)用(加水印、視頻質(zhì)量估計)。
在子波段分解的上下文中，徹底地研究掩蔽以定義三種掩蔽通道內(nèi)掩蔽、通道間掩蔽和分量間掩蔽。
通道內(nèi)掩蔽出現(xiàn)在具有相同特征(頻率和取向)并因此屬于同一通道的信號之間。這是最重要的掩蔽效應(yīng)。
通道間掩蔽出現(xiàn)在屬于同一分量的不同通道的信號之間。
分量間掩蔽出現(xiàn)在不同分量的通道間(例如，分量A和一個色度分量)。下文中，這后兩個視覺掩蔽組成整體并被稱為間掩蔽。
對于無色分量，使用在題為“A visual model for Optimizing theDesign of Image Processing Algorithms”，in IEEE internationalconferences on image processing，pages 16-20，1994的文獻中由Dally設(shè)計的掩蔽函數(shù)，盡管該模型沒有考慮吸收時延效應(yīng)。該模型的有效性在于利用大量實驗結(jié)果優(yōu)化了該模型的事實。
可見度閾值的變化由下式給出Ti,j,Aintra(m,n)=(1+(k1(k2|Ri,j(m,n)|)s)b)1/b]]>其中，Ri，j是來源于感知通道分解的視覺心理通道(例如在圖2.1上的陰影區(qū)域產(chǎn)生通道RIII，2)。值k1、k2、s、b由下式給出k1＝0.0153
k2＝392.5下表給出根據(jù)所考慮子波段的s和b值。

在掩蔽步驟的輸出獲得信號Ri，j′(x，j)。
Ri，j′(x，y)＝Ri，j(x，y)/Ti，j(x，y)然后，在步驟E7中，歸一化的步驟能夠從子波段中提取最重要信息。在圖7上詳細示出了步驟E7。
在步驟S1中，選擇第一子波段R’i，j(x，y)。對于17個子波段的每一個子波段R’i，j(x，y)繼續(xù)執(zhí)行步驟S2至S4以及S8。
對于第二輪周(II)進行步驟S5至S7。
I表示空間徑向頻率波段，I屬于{I，II，III，IV)。
J表示取向，j屬于{1，2，3，4，5，6}。
(x，y)表示空間坐標。
在其它實施例中，可以對所有子波段執(zhí)行不同的步驟。
步驟S2和S3目的在于對經(jīng)典感受域(CRF)的行為進行建模。
CRF的概念允許在場景的眼膜圖象和全局感知之間建立連接。CRF被定義為在其中適當刺激(具有優(yōu)選取向和頻率)會引起來源于視覺細胞的相關(guān)響應(yīng)的視野的特定區(qū)域。因此，通過定義，外部區(qū)域(稱為周圍)中的刺激不能夠直接激活細胞。
由對于取向和頻率靈敏的Gabor濾波器實現(xiàn)步驟S2和S3中的抑制和激勵。
Gabor濾波器可以由下式表示gabor(x,y,σx,σy,f,θ)=Gσx,σy(xθ,yθ)cos(2fπxθ)]]>F是每度周(cy/°)單位的余弦調(diào)制的空間頻率。
由原始坐標(x0，y0)的平移和θ的旋轉(zhuǎn)獲得(xθ，yθ)，
xθyθ=cosθsinθ-sinθcosθx-x0y-y0]]>
A表示幅度，σx和σy分別表示沿x和y周的高斯包絡(luò)的寬度。
為了獲得橢圓形，取不同的方差σx＜σy。
最后，獲得輸出Ri,jExc(x,y)=R′i,j(x,y)*excitation(x,y,σx,σy,f,θ)]]>在步驟S3中，由下式計算抑制inhibition(x,y,σx,σy,f,θ)=0si-1/(4f)≤xθ≤1/(4f)|gabor(x,y,σx,θy,f,θ)|sinon.]]>且最后Ri,jInh(x,y)=R′i,j(x,y)*inhibition(x,y,σx,σy,f,θ)]]>在步驟S4中，獲得了激勵和抑制之間的差。保持正分量，將負分量設(shè)置為“0”。這是以下操作。
Ri,j′′(x,y)=|Ri,jExc(x,y)-Ri,jInh(x,y)|>0]]>在步驟S5中，對于第二域的每一個取向、每一個子波段，計算兩個卷積Li,j0(x,y)=Ri,j′′(x,y)*Bi,j0(x,y)]]>Li,j1(x,y)=Ri,j′′(x,y)*Bi,j1(x,y)]]>Bi，j0(x，y)和Bi，j1(x，y)是2個半蝶式濾波器。這些濾波器的曲線圖可以對圖9上給定的θ＝0的輔助相互作用進行建模。通過使用雙極性/蝶式濾波器來定義這些濾波器。
它包括方向項Dθ(x，y)和由高斯濾波器使圓Cr模糊(blur)所產(chǎn)生的近似項Gσx，σy(x，y)。
Bθi,j,α,r,σ(x,y)=Dθi,j(x,y)·Cr*Gσx,σy(x,y)]]>
其中 以及＝arctan(y′/x′)其中，(x′，y′)T是旋轉(zhuǎn)了θi，j的矢量(x，y)T。參數(shù)α定義了雙極性濾波器的孔徑角2α。其取決于所考慮的子波段的角度選擇性γ。取α＝0.4×γ。雙極性濾波器的大小大約是視覺細胞的CRF的大小的兩倍。
在步驟S6中，計算輔助系數(shù)fi,jiso(x,y)=D(Li,j1(x,y)+Li,j0(x,y)max(β,|Li,j1(x,y)-Li,j0(x,y)|))]]>其中β是常數(shù)，D(z)=0,z≤s1,α1,z≤s2,···αN-1,z≤sN-1]]>其中α1≤1，i∈
在圖9上給出了算子D(z)的演示。
為了使輔助系數(shù)的應(yīng)用簡易，算法D(z)利用圖9所示的分片(piece)確保輔助系數(shù)為常數(shù)。
在步驟S7中，將輔助系數(shù)應(yīng)用于在步驟S4中獲得的歸一化結(jié)果。
Ri,j′′′(x,y)=Ri,j′′(x,y)×(1+fi,jiso(x,y))]]>在圖7的步驟S7之后，回到圖1的步驟E8，根據(jù)下式組合對于域II所獲得的四個顯著圖，以獲得整個顯著圖fixation(x,y)=α×RII,0′′′(x,y)+β×RII,1′′′(x,y)+χ×RII,2′′′(x,y)+δ×RII,3′′′(x,y)]]>α、β、χ、δ表示基于應(yīng)用(加水印、編碼…)的加權(quán)系數(shù)。
在其它實施例中，可以通過使用整個17個子波段而不僅僅是域II的子波段的計算，獲得顯著圖。
圖2表示根據(jù)應(yīng)用于彩色圖的本發(fā)明方法的優(yōu)選實施例的概括流程圖。
在空域進行步驟T1、T4、T’4、T”4、T5和T8。
在頻域進行步驟T2、T’2、T”2、T3、T’3、T”3。
在步驟T1和步驟T2、T’2、T”2之間對三個分量應(yīng)用傅立葉變換。
分別在T3、T’3、T”3以及T4、T’4和T”4之間應(yīng)用傅立葉逆變換。
可以在頻域或空域進行步驟T6和T7。如果在頻域進行，在步驟T5和T6中間對信號進行傅立葉變換，并在步驟T7和T8之間進行傅立葉逆變換。
步驟T1是將RGB亮度變換到由基本方向(cardinal direction)A、Cr1和Cr2組成的Krauskopf對抗彩色(opponent-color)空間。
到對抗色彩空間的變換是一種使色彩信息解相關(guān)的方式。實際上，大腦使用3種不同路徑來解碼信息首先傳遞亮度信號(A)、其次傳遞紅色和綠色分量(Cr1)且第三傳遞藍色和黃色分量(Cr2)。
這些基本方向與來源于三種錐體(L，M，S)的信號精密地一致。
三個分量RGB的每一個首先經(jīng)過γ≈2.4的形式xγ的冪律非線性(稱為伽馬定律)。為了考慮顯示系統(tǒng)的轉(zhuǎn)移函數(shù)，該步驟是必須的。然后，按照下式計算形成變換到HVS色彩空間的基礎(chǔ)CIE(“commissioninternationale de l’éclairage”的法語首字母簡略詞)XYZ三色刺激值XYZ=0.4120.3580.180.2130.7150.0720.0190.1190.95RGB]]>(L，M，S)錐體的響應(yīng)計算如下LMS=0.2400.854-0.0448-0.3891.1600.085-0.0010.0020.573XYZ]]>從LMS空間，必須獲得對抗色彩空間。存在多種對抗色彩空間，其不同在于組合不同錐體響應(yīng)的方式不同。從實驗中，證實了由Krauskopf設(shè)計的色彩空間且它由下面的變換給出ACr1Cr2=1101-10-0.5-0.51LMS]]>
然后，在步驟T2中，對亮度分量應(yīng)用感知分解。在步驟T2之前且在步驟T1之后，通過使用例如傅立葉變換的公知變換，將亮度分量變換到頻域，以便能夠在步驟T2中對圖像應(yīng)用感知子波段分解。
如以上所述，步驟T2的感知子波段分解與圖1的步驟E3相同，因此在此處不進行描述。
關(guān)于圖4上所示的步驟T’2和T”2的色度分量Cr2和Cr1的分解，分解對于分布在2個輪周上的這些分量的每一個產(chǎn)生5個視覺心理子波段。在步驟T’2和T”2之后且在步驟T1之后，通過使用例如傅立葉變換的公知變換，將色度分量變換到頻域，以便能夠在步驟T’2和T”2中對圖像應(yīng)用感知子波段分解。
從I至II標記空間頻率的兩個域I從每度0至1.5周的空間頻率；II從每度1.5至5.7周的空間頻率。
在步驟T3、T’3和T”3中，應(yīng)用對比度靈敏度函數(shù)(CSF)。
在步驟T3中，對亮度分量執(zhí)行與圖1的步驟E4相同的對比度靈敏度，并因此在此處不進行描述。
在步驟T’3和T”3中，對兩個色度分量Cr1和Cr2應(yīng)用相同的CSF。對兩個色度分量，應(yīng)用由Le Callet設(shè)計的二維各向異性CSF。在Mr Le Callet，university of Nantes，2001的《critèresobjectifs avec références de qualitévisuelle des imagescouleurs》中描述了該CSF。
該CSF使用兩個低通濾波器，其中對于Cr1和Cr2分量截止頻率分別為大約每度5.5周和每度4.1周。
為了允許在來源于不同視覺形態(tài)(無色和色度分量)的早期視覺屬性之間進行直接比較，加權(quán)與可見度相關(guān)的子波段?？梢姸乳撝当欢x為在刺激剛好變?yōu)榭梢姷奶囟c處的刺激的對比度。
然后，對不同分量應(yīng)用傅立葉逆變換(圖2上未示出)，以便能夠在空間域中應(yīng)用掩蔽。
然后，在步驟T’4和T”4期間對色度分量Cr1和Cr2的不同子波段應(yīng)用內(nèi)掩蔽，且在步驟T4中對無色分量應(yīng)用內(nèi)掩蔽。在圖1的步驟E6的說明中已經(jīng)解釋了后一步驟。因此，此處不再次進行說明。
采用內(nèi)通道掩蔽，作為CSF函數(shù)的輸出的加權(quán)。掩蔽在感知中是一種非常重要的現(xiàn)象，因為它描述了刺激之間的相互作用。實際上，可以由另一個刺激的存在影響刺激的可見度閾值。
掩蔽在位于同一感知通道或位于同一子波段的刺激之間最強。對無色分量應(yīng)用Dally設(shè)計的內(nèi)掩蔽函數(shù)，如圖1的步驟E6所述，且對色彩分量應(yīng)用在P.Le Callet和D.Barba，“Frequency and spatialpooling of visual differences for still image qualityassessment”，in Proc.SPIE Human Vision and Electronic ImagingConference，San Jose，CA，Vol.3959，January 2000的文獻中所述的內(nèi)掩蔽函數(shù)。
這些掩蔽函數(shù)由如在文獻Legge和Foley，“Contrast Maskingin Human Vision”，Journal of the Optical Society of America，Vol.70，，N°12，pp.1458-1471，December 1980中所述的非線性換能器組成。
視覺掩蔽在位于同一感知通道中的刺激之間最強(內(nèi)通道掩蔽)。然而，如各種研究所表明，存在提供掩蔽或吸收時延效應(yīng)的所謂間分量掩蔽的多種相互作用。從心理物理學(xué)實驗中，選擇涉及色度分量的顯著的間分量相互作用。因此，可以使無色分量的靈敏度增加或減少Cr1分量。Cr2對無色分量的影響被認為不明顯。最后，Cr1還可以調(diào)整Cr2分量的靈敏度(反之亦然)。
然后，在步驟T5中，進行色度加強。
色彩是注意力的最強吸引物之一，并且本發(fā)明希望通過提出下面的屬性來利用該吸引物有效性存在表現(xiàn)出鮮明色彩并完全在具有完全不同色彩的區(qū)域周圍的區(qū)域，暗示了對該區(qū)域的邊界的特定吸引。
為了避免來源于無色和色度分量的聚集測量的困難問題，色彩輔助是通過使用在色度分量的低頻上計算的輔助系數(shù)來增強無色結(jié)構(gòu)的顯著性。
在優(yōu)選實施例中，僅加強無色通道集的子集。該子集包括具有角度選擇性等于π/4和空間徑向頻率(表示為cyc/deg)屬于[1.5，5.7]的4個通道。注意，這些通道Ri，j中，i表示空間徑向頻率，且j與取向相關(guān)。在示例中，j等于{0，π/4，π/2，3π/4}。為了計算輔助系數(shù)，針對Cr1和Cr2的低頻的每一個象素確定與相鄰區(qū)域的內(nèi)容以及加強的無色通道的當前取向相關(guān)聯(lián)的對比度值，如圖11所示。在圖11上，通過計算集A的平均值和集B的平均值之間的絕對差來獲得對比度值。集A和B屬于Cr1和Cr2的低頻，且朝向所考慮的無色通道的優(yōu)選取向。
對于無色(亮度)通道Ri，j(x，y)，通過下式實現(xiàn)無色加強。
Ri,j(1)(x,y)=Ri,j(x,y)×(1+|A-B|Cr1+|A-B|Cr2)|i=II]]>其中，Ri，j(1)(x，y)表示加強的無色子集，Ri，j(x，y)表示無色子波段，|A-B|k表示關(guān)于色度分量k，沿子波段Ri，j(x，y)的優(yōu)選取向的當前點所計算的對比度值，如圖7所示。在實施例中，集A和B屬于取向等于π/4的色度分量k的第一輪周(低頻子波段)的子波段。
在其它實施例中，考慮所有的子波段。
在步驟T6中，繼續(xù)中心/周圍抑制相互作用。
該操作首先是抑制/激勵步驟。
使用二維高斯函數(shù)差(DoG)來建模細胞的非CRF抑制行為。由下式給出DoGσxex，σyex，σxinh，σyinh(x，y)。
DoGσxex,σyex,σxinh,σyinh(x,y)=Gσxinh,σyinh(x,y)-Gσxex,σyex(x,y)]]>其中，Gσx,σy(x,y)=12π(σxσy)2exp(-x22σx2-y22σy2),]]>二維高斯函數(shù)。
參數(shù)(σxex，σyex)和(σxinh，σyinh)分別與沿中心高斯(CRF中心)的x和y的高斯包絡(luò)和抑制高斯(周圍)的空間延伸相對應(yīng)。根據(jù)第二輪周的徑向頻率(以周/度表示徑向頻率f∈[1.5，5.7])實驗地確定了這些參數(shù)。最后，可以通過由下式給出的歸一化加權(quán)函數(shù)wσxex，σyex，σxinh，σyinh(x，y)來建模非經(jīng)典周圍抑制。
wσxex,σyex,σxinh,σyinh(x,y)=1||H(DoGσxex,σyex,σxinh,σyinh)||1H(DoGσxex,σyex,σxinh,σyinh(x′,y′))]]>其中，H(z)=0,z≤0z,z≥0]]>通過使原始坐標系統(tǒng)平移(x0，y0)且旋轉(zhuǎn)以弧度表示的θi，j，獲得(x′，y′)。
x′y′=cosθi,jsinθi,j-sinθi,jcosθi,jx-x0y-y0]]>‖·‖1表示L1范數(shù)，即絕對值。
圖12示出了非CRF抑制的結(jié)構(gòu)。
圖13示出了歸一化加權(quán)函數(shù)wσxex，σyex，σxinh，σyinh(x，y)的曲線圖示例。
由子波段Ri，j(1)(x，y)與加權(quán)函數(shù)wσxex，σyex，σxinh，σyinh(x，y)的卷積來計算皮層細胞對特定子波段Ri，j(1)(x，y)的響應(yīng)Ri，j(2)(x，y)Ri,j(2)(x,y)=H(Ri,j(1)(x,y)-Ri,j(1)(x,y)*wσxex,σyex,σxinh,σyinh(x,y))|i=II]]>其中，H(z)按照上面所述來定義。
在步驟T7中，繼續(xù)輔助相互作用。
該輔助相互作用通常被稱為輪廓增強或輪廓積分。
輔助相互作用出現(xiàn)在CRF之外，沿優(yōu)選取向軸。當周圍刺激具有相同取向且共同對準時，這種相互作用最大。換句話說，如多個心理物理觀察所表明，當CRF中的刺激和周圍中的刺激連接以形成輪廓時，細胞的活動被增強。
使用兩個半蝶式濾波器Bi，j0和Bi，j1來模擬早期視覺預(yù)處理中的輪廓積分。在圖9上示出了這些濾波器的曲線圖，并且通過使用雙極性/蝶式濾波器來定義這些濾波器。它由方向項Dθ(x，y)以及由高斯濾波器Gσx，σy(x，y)使圓Cr模糊所產(chǎn)生的近似項組成。
Bθi,j,α,r,σ(x,y)=Dθi,j(x,y)·Cr*Gσx,σy(x,y)]]>
其中 以及＝arctan(y′/x′)其中，(x′，y′)T是旋轉(zhuǎn)了θi，j的矢量(x，y)T。參數(shù)α定義了雙極性濾波器的孔徑角2α。其取決于所考慮的子波段的角度選擇性γ。取α＝0.4×γ。雙極性濾波器的大小大約是視覺細胞的CRF的大小的兩倍。
其后，使用適當?shù)拇皬牡綖V波器中推導(dǎo)出半蝶式濾波器Bi，j0和Bi，j1。
對于每一個取向、子波段和位置，計算輔助系數(shù)fi,jiso(x,y)=D(Li,j1(x,y)+Li,j0(x,y)max(β,|Li,j1(x,y)-Li,j0(x,y)|)),]]>其中β是常數(shù)，Li,j0(x,y)=Ri,j(2)(x,y)*Bi,j0(x,y),]]>Li,j1(x,y)=Ri,j(2)(x,y)*Bi,j1(x,y),]]>D(z)=0,z≤s1,α1,z≤s2,···αN-1,z≤sN-1]]>其中在圖9上給出了算子D(z)的演示。
通過利用輔助系數(shù)fi，jiso(x，y)的局部極大值與基于在屬于空間頻率的同一范圍的所有子波段上計算的輔助系數(shù)的全局極大值的比率的因子對子波段Ri，j(2)進行加權(quán)，最終獲得從輔助相互作用中產(chǎn)生的子波段Ri，j(3)Ri,j(3)(x,y)=Ri,j(2)(x,y)×(1+ηiso×max(x,y)(fi,jiso(x,y))maxj(max(x,y)(fi,jiso(x,y)))fi,jiso(x,y))|i=II]]>從標準蝶形中，該輔助因子可以增進孤立直線的顯著。ηiso可以控制該輔助相互作用的有效性。
在步驟E8中，通過對在步驟E7中獲得的所有結(jié)果子波段進行求和，獲得顯著圖。
S(x,y)=Σi=II,jRi,j(3)(x,y)]]>在本發(fā)明的其它實施例中，可以使用所有子波段而不僅是第二輪周的子波段。
盡管調(diào)整到水平和垂直取向的皮層細胞幾乎與調(diào)整到其它取向的細胞一樣多，并不引入任何加權(quán)。HVS的這種屬性由2D各向異性CSF的應(yīng)用隱式地模擬。
權(quán)利要求
1.一種創(chuàng)建圖像的顯著圖的方法，其特征在于包括步驟-根據(jù)亮度(A)分量、如果所述圖像是彩色圖像則根據(jù)亮度(A)分量并且根據(jù)色度分量(Cr1、Cr2)，來投影(E1)所述圖像；-根據(jù)人眼的可見度閾值，對所述分量(A、Cr1、Cr2)進行感知子波段分解(E3、T2、T’2、T”2)；-提取(E7)與亮度(A)分量相關(guān)聯(lián)的子波段的顯著單元；-在與亮度(A)分量相關(guān)聯(lián)的每一個子波段中針對所述顯著單元進行輪廓增強(E8、T7)；-針對與亮度(A)分量相關(guān)聯(lián)的每一個子波段，根據(jù)輪廓增強來計算(T7)顯著圖；-作為針對每一個子波段所獲得的顯著圖的函數(shù)來創(chuàng)建(T8)顯著圖。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在感知子波段分解之后，包括-針對亮度(A)分量的無色對比度靈敏度函數(shù)(CSF)的步驟，以及如果所述圖像是彩色圖像，則-針對色度分量(Cr1、Cr2)的色度靈敏度函數(shù)的步驟。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在對比度靈敏度函數(shù)的步驟之后，包括針對亮度(A)分量和色度(Cr1、Cr2)分量的每一個子波段所進行的視覺掩蔽步驟(E6、T4、T’4、T”4)。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，當所述圖像是彩色圖像時，包括步驟(T5)加強亮度(A)子波段的色度。
5.根據(jù)前述權(quán)利要求之一所述的方法，其特征在于，通過在空間徑向頻率和取向中劃分頻域，實現(xiàn)感知子波段分解。
6.根據(jù)權(quán)利要求5所述的方法，其特征在于，亮度(A)分量的感知分解產(chǎn)生分布在四個輪周上的17個視覺心理子波段。
7.根據(jù)權(quán)利要求5或6所述的方法，其特征在于，色度分量(Cr1、Cr2)的感知分解針對每一個色度分量(Cr1、Cr2)產(chǎn)生分布在兩個輪周上的5個視覺心理子波段。
8.根據(jù)權(quán)利要求4至7之一所述的方法，其特征在于，在第二輪周的子波段上，基于色度分量(Cr1、Cr2)的第一輪周的子波段，進行亮度(A)分量的色度加強。
9.一種用于創(chuàng)建圖像的顯著圖的設(shè)備，其特征在于包括裝置，所述裝置用于-根據(jù)亮度(A)分量、如果所述圖像是彩色圖像則根據(jù)亮度(A)分量并且根據(jù)色度分量(Cr1、Cr2)，來投影所述圖像；-將所述亮度和色度信號轉(zhuǎn)換到頻域；-根據(jù)人眼的可見度閾值，對頻域的所述分量進行感知子波段分解；-提取與亮度分量相關(guān)聯(lián)的子波段的顯著單元；-在與亮度分量相關(guān)聯(lián)的每一個子波段中針對所述顯著單元進行輪廓增強；-針對與亮度分量相關(guān)聯(lián)的每一個子波段，根據(jù)輪廓增強來計算顯著圖；-作為針對每一個子波段所獲得的顯著圖的函數(shù)來創(chuàng)建顯著圖。
全文摘要
本發(fā)明涉及一種創(chuàng)建圖像的顯著圖的設(shè)備和方法。其包括步驟－根據(jù)亮度(A)分量、如果所述圖像是彩色圖像則根據(jù)亮度(A)分量并且根據(jù)色度分量(Cr1、Cr2)，來投影(E1)所述圖像；－根據(jù)人眼的可見度閾值，對所述分量(A、Cr1、Cr2)進行感知子波段分解(E3、T2、T’2、T”2)；－提取(E7)與亮度(A)分量相關(guān)聯(lián)的子波段的顯著單元；－在與亮度(A)分量相關(guān)聯(lián)的每一個子波段中，針對所述顯著單元進行輪廓增強(E8、T7)；－針對與亮度(A)分量相關(guān)聯(lián)的每一個子波段，根據(jù)輪廓增強來計算(T7)顯著圖。－作為針對每一個子波段所獲得的顯著圖的函數(shù)來創(chuàng)建(T8)顯著圖。
文檔編號G06T7/20GK1894721SQ200480037559
公開日2007年1月10日 申請日期2004年12月14日 優(yōu)先權(quán)日2003年12月18日
發(fā)明者奧立弗·勒默爾, 多米尼克·托羅, 愛德華·弗朗索瓦絲, 帕特里克·勒卡萊, 多米尼克·巴爾巴 申請人:湯姆森許可貿(mào)易公司