本發(fā)明涉及圖像處理技術領域,尤其涉及一種圖像美顏方法及其終端。
背景技術:
隨著智能終端不斷發(fā)展,可用于拍照的智能終端越來越多,如智能手機、平板電腦等。用戶在使用這些智能終端進行拍照時,為了拍出滿意的照片,越來越多的智能終端廠商內置了美顏功能?,F(xiàn)有的美顏處理方法一般是對整張圖片進行整體上的模糊處理及色調調整,以達到視覺上的美白和磨皮效果。但是,這樣的全圖模糊處理會損失人臉圖像中的面部關鍵點信息,從而使得處理后的圖像不夠清晰,效果較差。
技術實現(xiàn)要素:
本發(fā)明實施例提供一種圖像美顏方法及其終端,可提高美顏效果。
本發(fā)明實施例提供了一種圖像美顏方法,包括:
獲取當前圖像;
對當前圖像進行處理,得到人臉關鍵點;
根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
本發(fā)明實施例還提供了一種終端,包括:
獲取單元,用于獲取當前圖像;
第一處理單元,用于對當前圖像進行處理,得到人臉關鍵點;
第二處理單元,用于根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
本發(fā)明實施例中,先獲取當前圖像并對其進行處理,得到人臉關鍵點,再根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
附圖說明
為了更清楚地說明本發(fā)明實施例技術方案,下面將對實施例描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖是本發(fā)明的一些實施例,對于本領域普通技術人員來講,在不付出創(chuàng)造性勞動的前提下,還可以根據(jù)這些附圖獲得其他的附圖。
圖1是本發(fā)明第一實施例提供的一種圖像美顏方法的流程示意圖;
圖2是本發(fā)明第二實施例提供的一種圖像方法的流程示意圖;
圖3是圖2中步驟s202的子流程示意圖;
圖4是本發(fā)明一實施例提供的一種強分類器的結構示意圖;
圖5是本發(fā)明一實施例提供的一種特征模板的示意圖;
圖6是本發(fā)明一實施例提供的一種子窗口的結構示意圖;
圖7是本發(fā)明一實施例提供的另一種子窗口的結構示意圖;
圖8是本發(fā)明一實施例提供的待測人臉圖像示意圖;
圖9是步驟s204的子流程示意圖;
圖10是第一區(qū)域示意圖;
圖11是第二區(qū)域示意圖;
圖12是膚色檢測效果圖;
圖13是人臉特征示意圖;
圖14是shape-index特征描述示意圖;
圖15是分類示意圖;
圖16是本發(fā)明第一實施例提供的一種終端的結構示意圖;
圖17是本發(fā)明第二實施例提供的一種終端的結構示意;
圖18是本發(fā)明第三實施例提供的一種終端的結構示意。
具體實施方式
下面將結合本發(fā)明實施例中的附圖,對本發(fā)明實施例中的技術方案進行清楚、完整地描述。
應當理解,當在本說明書和所附權利要求書中使用時,術語“包括”和“包含”指示所描述特征、整體、步驟、操作、元素和/或組件的存在,但并不排除一個或多個其它特征、整體、步驟、操作、元素、組件和/或其集合的存在或添加。
還應當理解,在此本發(fā)明說明書中所使用的術語僅僅是出于描述特定實施例的目的而并不意在限制本發(fā)明。如在本發(fā)明說明書和所附權利要求書中所使用的那樣,除非上下文清楚地指明其它情況,否則單數(shù)形式的“一”、“一個”及“該”意在包括復數(shù)形式。
還應當進一步理解,在本發(fā)明說明書和所附權利要求書中使用的術語“和/或”是指相關聯(lián)列出的項中的一個或多個的任何組合以及所有可能組合,并且包括這些組合。
如在本說明書和所附權利要求書中所使用的那樣,術語“如果”可以依據(jù)上下文被解釋為“當...時”或“一旦”或“響應于確定”或“響應于檢測到”。類似地,短語“如果確定”或“如果檢測到[所描述條件或事件]”可以依據(jù)上下文被解釋為意指“一旦確定”或“響應于確定”或“一旦檢測到[所描述條件或事件]”或“響應于檢測到[所描述條件或事件]”。
具體實現(xiàn)中,本發(fā)明實施例中描述的終端包括但不限于諸如具有觸摸敏感表面(例如,觸摸屏顯示器和/或觸摸板)的移動電話、膝上型計算機或平板計算機之類的其它便攜式設備。還應當理解的是,在某些實施例中,所述設備并非便攜式通信設備,而是具有觸摸敏感表面(例如,觸摸屏顯示器和/或觸摸板)的臺式計算機。
在接下來的討論中,描述了包括顯示器和觸摸敏感表面的終端。然而,應當理解的是,終端可以包括諸如物理鍵盤、鼠標和/或控制桿的一個或多個其它物理用戶接口設備。
終端支持各種應用程序,例如以下中的一個或多個:繪圖應用程序、演示應用程序、文字處理應用程序、網(wǎng)站創(chuàng)建應用程序、盤刻錄應用程序、電子表格應用程序、游戲應用程序、電話應用程序、視頻會議應用程序、電子郵件應用程序、即時消息收發(fā)應用程序、鍛煉支持應用程序、照片管理應用程序、數(shù)碼相機應用程序、數(shù)字攝影機應用程序、web瀏覽應用程序、數(shù)字音樂播放器應用程序和/或數(shù)字視頻播放器應用程序。
可以在終端上執(zhí)行的各種應用程序可以使用諸如觸摸敏感表面的至少一個公共物理用戶接口設備。可以在應用程序之間和/或相應應用程序內調整和/或改變觸摸敏感表面的一個或多個功能以及終端上顯示的相應信息。這樣,終端的公共物理架構(例如,觸摸敏感表面)可以支持具有對用戶而言直觀且透明的用戶界面的各種應用程序。
請參考圖1,是本發(fā)明第一實施例提供的圖像美顏方法的流程示意圖,如圖所示,該方法可以包括以下步驟:
s101,獲取當前圖像。
用戶可以通過觸控或者語音的方式向終端發(fā)送開啟拍照應用的指令,終端在接收到用戶發(fā)送的開啟拍照應用指令的時,可以開啟拍照應用以獲取初始圖像。其中,該初始圖像以緩存的形式存儲在終端中。該初始圖像可以是yuv格式的,也可以是rgb格式的。若該初始圖像是yuv格式的,可提取y通道圖像及v通道圖像以作為當前圖像。
s102,對當前圖像進行處理,得到人臉關鍵點。
終端可以先采用人臉檢測方法對當前圖像進行人臉檢測以得到待測人臉圖像,再提取該待測人臉圖像的五官區(qū)域信息和人臉膚色邊緣信息,并根據(jù)五官區(qū)域信息和人臉膚色邊緣信息優(yōu)化初始形狀,最后根據(jù)優(yōu)化后的初始形狀檢測當前圖像的人臉關鍵點。該部分的詳細過程將在下一實施例中詳述,在此不再贅述。
s103,根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
人臉關鍵點包括眼睛、鼻尖、嘴角、眉毛以及面部輪廓等。終端檢測出該人臉關鍵點后,可對當前圖像中除上述人臉關鍵點以外的區(qū)域進行美白及磨皮等美顏處理,得到用戶想要的圖像,即目標圖像。
本發(fā)明實施例,先獲取當前圖像,并對當前圖像進行處理,得到人臉關鍵點,再根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
參見圖2,是本發(fā)明第二實施例提供的一種圖像方法的流程示意圖,如圖所示,該方法可以包括以下步驟:
s201,獲取當前圖像。
用戶可以通過觸控或者語音的方式向終端發(fā)送開啟拍照應用的指令,終端在接收到用戶發(fā)送的開啟拍照應用指令的時,可以開啟拍照應用以獲取初始圖像。該初始圖像可以是yuv格式的,也可以是rgb格式的。若該初始圖像是yuv格式的,可提取y通道圖像及v通道圖像以作為當前圖像。
s202,對當前圖像進行人臉檢測以檢測出待測人臉圖像。
請參考圖3,步驟s202可以包括以下步驟:
s2021,訓練強分類器。
作為一種可選的實施方式,訓練強分類器的具體過程如下:
(1)選定訓練樣本t={(x1,y1),(x2,y2)…(xi,yi)…(xn,yn)},并將該訓練樣本存儲于指定位置,如樣本數(shù)據(jù)庫中。其中xi表示第i個樣本,yi=0時表示其為負樣本(非人臉),yi=1時表示其為正樣本(人臉)。n為訓練樣本數(shù)量。x1表示第1個樣本,y1表示第1個樣本的值,當y1=0時表示其為負樣本(非人臉),y1=1時表示其為正樣本(人臉);x2表示第2個樣本,y2表示第2個樣本的值,當y2=0時表示其為負樣本(非人臉),y2=1時表示其為正樣本(人臉);xn表示第n個樣本,yn表示第n個樣本的值,當yn=0時表示其為負樣本(非人臉),yn=1時表示其為正樣本(人臉)。
(2)初始化訓練樣本的權值分布d1,即給每個訓練樣本設置相同的權值,可以表示為:
d1=(w11,w12…w1i…w1n),w1i=1/n,i=1,2…n
其中,w11表示第1個樣本所對應的權值,w12表示第2個樣本所對應的權值,w1i表示第i個樣本所對應的權值,w1n表示第n個樣本所對應的權值。
(3)設置迭代次數(shù)t,t=1,2,...,n,n為自然數(shù)。
(4)歸一化權值:
其中,dt(i)為第t次循環(huán)中第i個樣本的權值,qt(i)為第t次循環(huán)中第i個樣本的歸一化權值。
(5)對訓練樣本進行學習以得到多個弱分類器,并計算每一弱分類器在訓練樣本上的分類誤差率:使用具有權值分布dt的訓練樣本學習得到弱分類器h(xi,fi,pi,θi),計算弱分類器的分類錯誤率εt:
其中,一個弱分類器h(xi,fi,pi,θi)是由特征fi,閾值θi,以及偏置位置pi組成:
另外,xi為一個訓練樣本,特征fi與弱分類器hi(xi,fi,pi,θi)具有一一對應的關系,偏置位pi的作用是控制不等式的方向,使得不等式符號都是小于等于號,訓練一個弱分類器的就是找到最優(yōu)閾值值θi的過程。
(6)從(5)中確定的弱分類器中,找出一個具有最小的分類錯誤率εt(i)的弱分類器ht。
(7)根據(jù)分類誤差率計算弱分類器的系數(shù)βt:
βt=εt/(1-εt)
其中,該系數(shù)表示每一弱分類器在強分類器中所占的權值,當xi被正確地分類時,ei的值取0,當被xi錯誤地分類時,ei的值取1。并跟該系數(shù)對所有訓練樣本的權值進行更新:
(8)所有訓練樣本的權值更新后,循環(huán)執(zhí)行步驟(4)到(7),直到迭代n次后,結束迭代,得到強分類器h(x):
其中,αt=log(1/βt)。
根據(jù)上述方法所得到的強分類器可以如圖4所示。在該圖中,該強分類器由3個級聯(lián)的弱分類器組成。
s2022,按照預設縮小比例對當前圖像進行縮小以得到第一檢測圖像。
需要說明的是,終端可以按照預設縮小比例對該當前圖像進行縮小以得到第一檢測圖像,以便提高檢測人臉圖像的效率。例如,終端處理一張1300萬像素的圖像,需要20ms,如果將該1300萬像素的圖像縮小10倍,相應的處理時間也會縮小。其中,預設放大比例可以根據(jù)終端處理圖像的性能決定。
s2023,將該第一檢測圖像進行多次劃分以得到多張第二檢測圖像,每張第二檢測圖像包括多個子窗口。
終端可以將該第一檢測圖像進行多次劃分以得到多張第二檢測圖像,每張該第二檢測圖像包括多個子窗口,其中每次劃分的子窗口的個數(shù)越多,計算得出的haar特征值也越多,檢測到的人臉圖像更加準確,但是每次劃分的子窗口越多,計算haar特征值的時間也會相應增加,另外,子窗口的最大數(shù)量不能超過強分類器檢測的最大子窗口數(shù)量,所以劃分的子窗口的數(shù)量可以根據(jù)檢測人臉圖像的準確性、計算haar特征值的時間、強分類器子窗口的數(shù)量等因素綜合考慮。其中,haar特征值可以通過圖像的子窗口的像素值計算得出,并用于描述圖像的灰度變化。
舉例來說,終端初次可以將第一檢測圖像劃分為20*20個子窗口,然后可以按照等比例擴大劃分子窗口的數(shù)量,如按照3倍的比例擴大劃分子窗口的數(shù)量,即可以將該第一檢測圖像劃分為60*60個子窗口、180*180個子窗口或540*540個子窗口等。
s2024,根據(jù)積分圖計算每張第二檢測圖像中每個子窗口的haar特征值。
由于計算haar特征值需要已知每個子窗口的像素值,每個子窗口的像素值可以根據(jù)子窗口的端點處的積分圖計算出,所以可以根據(jù)積分圖計算每張第二檢測圖像的haar特征值。
作為一種可選的實施方式,上述根據(jù)積分圖計算每個子窗口的haar特征值,可以包括:根據(jù)該積分圖計算該每個子窗口對應的像素值;根據(jù)該每個子窗口的像素值計算該每個子窗口的haar特征值。
需要說明的是,當前圖像中的任意一點的積分圖是指從圖像的左上角到這點所構成的矩形區(qū)域內所有點的像素值值之和,同理對于具有多個子窗口第二檢測圖像中,每個子窗口端點處的積分圖為該端點到該圖像左上角所包含的所有子窗口的像素值之和。所以在計算出各個子窗口端點處的積分圖的情況下,可以根據(jù)積分圖計算各個子窗口的像素值,并可以根據(jù)每個子窗口的像素值計算各子窗口的haar特征值。
進一步,在計算haar特征值時,首先需要選擇合適的特征模版,特征模版是由兩個或多個的矩形組合而成,特征模板內有黑色和白色兩種矩形,其中常見的特征模版如圖5所示。其中每種特征模版僅對應一種特征,但每種特征可以對應多種特征模版,常見的特征有邊緣特征、線性特征、點特征、對角特征,然后將特征模版按照預設規(guī)則放置在灰度圖像對應的子窗口中,計算該特征模版放置區(qū)域對應的haar特征值,該haar特征值由特征模版中白色矩形區(qū)域的像素和減去黑色矩形區(qū)域的像素和計算得出。其中,預設規(guī)則包括設置特征模版的大小、特征模版在子窗口中放置的位置,預設規(guī)則根據(jù)灰度圖像劃分的子窗口的數(shù)量決定。
其中,在選定特征模版的情況下,由于特征模版的大小不同,且在每張第二檢測圖像的的子窗口中放置的位置不同,所以對于一個特征模版,每張第二檢測圖像中對應有多個haar特征,同時可以選擇多個特征模版來計算每張第二檢測圖像的haar特征,另外,該每張第二檢測圖像的劃分的子窗口的數(shù)量不一樣,所以每張第二檢測圖像的haar特征值的數(shù)量不一樣。
舉例來說,終端可以將灰度圖像縮小1000倍,并將該縮小后的灰度圖像劃分為20*20個子窗口,根據(jù)積分圖計算各個子窗口的像素值,其步驟包括:
1、計算各個子窗口端點處的積分圖,這里以計算如圖6中的子窗口d的端點(i,j)處的積分圖為例,端點(i,j)的積分圖為該點到灰度圖像左上角所包括的各子窗口的像素之和,可表示為:
integral(i,j)=子窗口d的像素值+子窗口c的像素值+子窗口b的像素值+子窗口a的像素值;
因為integral(i-1,j-1)=子窗口a的像素值;
integral(i-1,j)=子窗口a的像素值+子窗口c的像素值;
integral(i,j-1)=子窗口b的像素值+子窗口a的像素值;
所以,integral(i,j)進一步可以表示為:
integral(i,j)=integral(i,j-1)+integral(i-1,j)-integral(i-1,j-1)+子窗口d的像素值;
其中,integral(,)表示某點的積分圖,進過觀察發(fā)現(xiàn)(i,j)點的積分圖可以通過(i,j-1)點的積分圖integral(i,j-1)加上第j列的像素和columnsum(j)獲得,即(i,j)點的積分圖可以表示為:
integral(i,j)=integral(i,j-1)+columnsum(j);
其中,columnsum(0)=0,integral(0,j)=0,所以對于20*20的子窗口,灰度圖像上所有子窗口端點處的積分圖可以通過19+19+2*19*19=760次迭代求得。
2、根據(jù)各子窗口端點處的積分圖計算各個子窗口的像素值,這里以計算子窗口d的像素值為例,由步驟1可知子窗口d的像素值可以由端點(i,j)、(i,j-1),(i-1,j)及(i-1,j-1)處的積分圖計算得出,即子窗口d的像素值可表示為:
子窗口d的像素值=integral(i,j)+integral(i-1,j-1)-integral(i-1,j)-integral(i,j-1);
根據(jù)上式可知,只要已知各個子窗口端點處的積分圖,就可以計算出各個子窗口的像素值。
進一步,在獲得各個子窗口的像素值以后,可以根據(jù)各個窗口的像素值計算haar特征值,其中選擇不同的特征模版,放置的位置不同,且特征模版的尺寸不同,對應的haar特征值不同,選擇圖5中的以邊緣特征對應的特征模板為例,如圖7所示,該特征模版對應區(qū)域的haar特征值可以由子窗口a的像素值減去子窗口b的像素值。
s2025,根據(jù)強分類器及每張第二檢測圖像得到的haar特征值檢測出多張第一人臉圖像。
在計算出每張第二檢測圖像中各個子窗口的haar特征值后,終端可以根據(jù)強分類器及每張該第二檢測圖像得到的haar特征值檢測出多張第一人臉圖像,也就是說根據(jù)一張第二檢測圖像的haar特征值及強分類器可以檢測出一張第一人臉圖像。具體的,強分類器可以由若干個弱分類器組成,將每張第二檢測圖像的子窗口的haar特征值輸入到強分類器中,逐級通過各個弱分類器,相當于弱分類器判斷haar特征值是否滿足對應的預設人臉特征條件,若滿足,則允許該haar特征值通過,若不滿足,則不允許該haar特征值通過。如果有一級未通過,則該haar特征值對應的子窗口將被拒絕,并分類為非人臉,每一級都能夠通過,則對該haar特征值進一步處理以找出該haar特征值對應的子窗口,并將該haar特征值對應的子窗口分類為人臉,對每張第二檢測圖像中分類為人臉的子窗口進行合并,以得到每張第二檢測圖像對應的第一人臉圖像(例如,將子窗口數(shù)量為20*20的第二檢測圖像中檢測出的人臉子窗口進行合并得到一張對應的第一人臉圖像)。本實施例中所描述的根據(jù)強分類器及每張該第二檢測圖像得到的haar特征值檢測出多張第一人臉圖像的方法的步驟比較簡單,從而降低人臉圖像檢測的復雜度,且該強分類器可以是由多個弱分類器組成,所以提高了人臉檢測的準確率。
舉例來說,如圖4所示,該強分類器是由3個級聯(lián)的弱分類器組成,將子窗口數(shù)量為24*24的第二檢測圖像的各個子窗口的haar特征值依次輸入到3個弱分類器中,每個弱分類器判斷該haar特征值是否滿足對應的預設人臉特征條件,若滿足,則允許該haar特征值通過,若不滿足,則不允許該haar特征值通過。如果有一級未通過,則該haar特征值對應的子窗口將被拒絕,并分類為非人臉,每一級都能夠通過,則對該haar特征值進一步處理以找出該haar特征值對應的子窗口,并將該haar特征值對應的子窗口分類為人臉,將子窗口數(shù)量為24*24的第二檢測圖像中分類為人臉的子窗口進行合并,以得子窗口數(shù)量為24*24的第二檢測圖像對應的第一人臉圖像。同理可以根據(jù)以上步驟計算子窗口數(shù)量為36*36的第二檢測圖像對應的第一人臉圖像。
s2026,將該多張第一人臉圖像進行合并得到待測人臉圖像。
將該多張第一人臉圖像進行合并得到該待測人臉圖像,也就是說對不同子窗口數(shù)量的第二檢測圖像得到的多張人臉圖像進行合并得到該待測人臉圖像。具體的,將不同的第一人臉圖像進行對比,若某兩張第一人臉圖像重疊面積大于預設閾值,則認為這兩張第一人臉圖像表示同一人臉,對這兩張第一人臉進行合并,即將這兩張第一人臉的位置和大小的平均值作為合并后得到的人臉位置和大??;如果某兩張第一人臉圖像重疊面積小于預設閾值,則認為該兩張第一人臉圖像表示兩個不同的人臉,將該兩張人臉圖像合并成一張圖像,該圖像具有兩個人臉區(qū)域,經(jīng)過多次對比及合并操作可以得到待測人臉圖像。其中,所檢測出的人臉圖像如圖8所示。
s203,對該待測人臉圖像進行五官檢測,得到五官區(qū)域信息。
需要說明的是,步驟s203中是對y通道的待測人臉圖像進行五官檢測,以得到五官區(qū)域信息。
進一步地,步驟s203具體包括:
(1)按照預設縮小比例對待測人臉圖像進行縮小以得到第一處理圖像;
(2)將第一處理圖像進行多次劃分以得到多張第二處理圖像,每張第二處理圖像包括多個子窗口;
(3)根據(jù)積分圖計算每張第二處理圖像中每個子窗口的haar特征值;
(4)根據(jù)強分類器及每張第二處理圖像得到的haar特征值檢測出五官區(qū)域信息。
舉例來說,第二處理圖像的各個子窗口的haar特征值依次輸入到3個弱分類器所構成的強分類器中,該強分類器的輸出結果就是人眼、鼻子、嘴巴等五官區(qū)域信息。
需要說明的是,步驟(1)至(3)的具體過程請參考步驟s2022至s2024,在此不再贅述。且,采用步驟(1)至(4)檢測五官區(qū)域信息,由于強分類器可以是由多個弱分類器組成,因此提高了檢測的準確率。
s204,對待測人臉圖像進行膚色檢測,得到人臉膚色邊緣信息。
需要說明的是,步驟s204是對v通道的待測人臉圖像進行膚色檢測,以得到人臉膚色邊緣信息。
進一步地,如圖9所示,步驟s204可以包括:
s2041,對待測人臉圖像進行提取處理,得到第一區(qū)域。
第一區(qū)域即待測人臉圖像的中心區(qū)域rc。以如圖8所示的待測人臉圖像為例,假設人臉檢測初始坐標表示為{x,y,w,h},其中x表示待測人臉圖像左上角的橫坐標,y表示待測人臉圖像左上角的縱坐標,w表示待測人臉圖像的寬,h表示待測人臉圖像的高。采用公式(4)計算待測人臉圖像的中心區(qū)域rc:
rc={x+d*w,y+d*h,(1-2*d)*w,(1-2*d)*h}(4)
其中,d為尺度參數(shù),取值范圍為0—0.5。
所得到的中心區(qū)域如圖10所示,本實施例中,限定該中心區(qū)域內全為膚色。
s2042,對待測人臉圖像進行擴大及移動處理,得到第二區(qū)域。
第二區(qū)域即經(jīng)擴大及移動處理后的待測人臉圖像所在的區(qū)域ro。采用公式(5)對圖8所示的待測人臉圖像按比例進行擴大及移動處理,得到第二區(qū)域ro:
ro={x,y-d*h,w,(1+d)*h};(5)
所得到的第二區(qū)域如圖11所示,本實施例中,第二區(qū)域包括膚色區(qū)域和非膚色區(qū)域(如毛發(fā)、背景等等)。
舉例來說,先將如圖8所示的待測人臉圖像進行擴大處理,再將左上角的橫坐標向左上角方向移動,便可得到如圖11所示的第二區(qū)域。對比圖8及圖11可以看出,圖11中的圖像比圖8中的圖像多了更多的毛發(fā)區(qū)域及背景區(qū)域。需要說明的是,對圖8所示待測人臉圖像進行擴大處理的目的是為了提高膚色檢測的準確性。
s2043,計算第一區(qū)域在色差通道的最大色差值及最小色差值。
采用公式(6)計算第一區(qū)域rc在色差(cr)通道的最大色差值rc-max,采用公式(7)計算第一區(qū)域rc在色差(cr)通道的最小色差值rc-min:
s2044,對第二區(qū)域進行聚類,計算第二區(qū)域的原始分割閾值。
作為一種可選的實施方式,本實施例中采用大津法(又稱為最大類間方差法)來對第二區(qū)域進行聚類,以計算第二區(qū)域的原始分割閾值。其中,先對大津法做如下說明:大津法是一種確定圖像二值化分割閾值的算法。對于圖像i(x,y),前景(即目標)和背景的分割閾值記作g,屬于前景的像素點數(shù)占整幅圖像的比例記為ω0,其平均灰度μ0;背景像素點數(shù)占整幅圖像的比例為ω1,其平均灰度為μ1。圖像的總平均灰度記為μ,類間方差記為g。
假設圖像的背景較暗,并且圖像的大小為m×n,圖像中像素的灰度值小于閾值g的像素個數(shù)記作n0,像素灰度大于閾值g的像素個數(shù)記作n1,則分類閾值g=ω0ω1(μ0-μ1)2。
采用大津法對如圖12所示的、第二區(qū)域ro進行聚類,可得到第二區(qū)域ro的原始分割閾值g0。
s2045,根據(jù)最大色差值、最小色差值及原始分割閾值得到分類閾值區(qū)間。
該分類閾值區(qū)間用于檢測待測人臉圖像的膚色區(qū)域及非膚色區(qū)域。
該步驟分為兩種情況:
第一種,若原始分割閾值go<{rc-min,rc-max},則確定出目標分割閾值的最小值gmin=go,最大值gmax=rc-max+λ*d,其中,d∝(rc-min,go),λ表示正相關于,d表示正相關于閾值g和色差值r之差。因此,所確定的分類閾值區(qū)間為[gmin,gmax],即[g0,rc-max+λ*d]。
第二種,若原始分割閾值go>{rc-min,rc-max},則確定出目標分割閾值的最小值gmin=rc-min+λ*d,最大值gmax=go,其中,d∝(rc-min,go)。因此,所確定的分類閾值區(qū)間為[gmin,gmax],即[rc-min+λ*d,g0]。舉例來說,假如原始分割閾值是150,第一區(qū)域rc的最大色差值為140,最小色差值為120,則得到的分類閾值區(qū)間為(150,120+λ*d)。
s2046,根據(jù)分類閾值區(qū)間遍歷待測人臉圖像,以得到待測人臉圖像的膚色區(qū)域及非膚色區(qū)域,從而可以得到待測人臉圖像的人臉膚色邊緣信息。
若得到的分類閾值區(qū)間為(110,150),利用該分類閾值區(qū)間對待測人臉圖像進行遍歷,便可得到待測人臉圖像中的膚色區(qū)域及非膚色區(qū)域。如圖12所示,膚色檢測效果如圖所示,圖中的區(qū)域1為膚色區(qū)域,區(qū)域2為非膚色區(qū)域。
需要說明的是,本發(fā)明實施例中所描述的膚色檢測過程中,當前圖像看作是圖像序列中的一幀圖像,基于每一幀圖像,計算該幀圖像的第一區(qū)域(即中心區(qū)域),相當于在每一幀圖像上提取一小樣本,根據(jù)該小樣本的最大色差值、最小色差值以及大津法可確定出每一幀圖像的分類閾值區(qū)間,最后根據(jù)分類閾值區(qū)間確定出每一幀圖像的膚色區(qū)域及非膚色區(qū)域。與現(xiàn)有技術相比,該膚色檢測過程有如下優(yōu)點:
(1)傳統(tǒng)基于先驗信息的膚色檢測方法,通常是給定一區(qū)域,基于該區(qū)域對圖像進行膚色檢測。該區(qū)域即事先所確定的用于膚色檢測的先驗信息。該方法準確性低下,尤其是在受光照或不同膚色人群本身影響時。而本實施例中的檢測方法,是針對當幀圖像進行樣本提取以及分類閾值區(qū)間的確定,從而在當幀圖像完成膚色檢測,該方法具有實時性和動態(tài)性,且不受光照或不同膚色人群本身的影響,準確性較高;
(2)傳統(tǒng)基于模式識別的膚色檢測方法,通常是對多個膚色樣本及非膚色樣本進行處理,運算復雜度高,檢測效率低下,且該方法仍然受光照或不同膚色人群本身的影響較大。而本實施例中的檢測方法,是針對當幀圖像進行樣本提取以及分類閾值區(qū)間的確定,從而在當幀圖像完成膚色檢測,不需要事先對多個樣本進行處理,從而降低了運算復雜度,提高了檢測效率。且該方法在當幀圖像完成膚色檢測,不受其它幀圖像的影響,從而提高了檢測的準確性。
s205,根據(jù)五官區(qū)域信息和人臉膚色邊緣信息優(yōu)化初始形狀。
為了更好地描述步驟s206,先對其中所涉及的相關技術做如下介紹:
(1)級聯(lián)線性回歸模型
面部特征點檢測(定位)問題可以看作是學習一個回歸函數(shù)f,以圖象i作為輸入,輸出θ為特征點的位置(人臉形狀):θ=f(i)
簡單的說,級聯(lián)回歸模型可以統(tǒng)一為以下框架:學習多個回歸函數(shù){f1,…,fn-1,fn}來逼近函數(shù)f:
θ=f(i)=fn(fn-1(…f1(θ0,i),i),i)
θi=fi(θi-1,i),i=1,…,n
所謂的級聯(lián),即當前函數(shù)fi的輸入依賴于上一級函數(shù)fi-1的輸出θi-1,而每一個fi的學習目標都是逼近特征點的真實位置θ,θ0為初始形狀。通常情況,fi不是直接回歸真實位置θ,而是回歸當前形狀θi-1與真實位置θ之間的差:δθi=θ-θi-1。
(2)級聯(lián)形狀回歸模型(cascadedposeregression,cpr)
基于上述思想,產(chǎn)生了級聯(lián)形狀回歸模型。該模型的基本思想是:給定初始形狀θ0(通常為平均形狀),根據(jù)該初始形狀θ0提取特征(即兩個像素點的差值)作為函數(shù)f1的輸入。針對每個函數(shù)fi建模成randomfern回歸器,來預測當前形狀θi-1與目標形狀θ的差δθi,并根據(jù)δθi預測結果更新當前形狀得θi=θi-1+δθi,作為下一級函數(shù)fi+1的輸入。該方法的不足之處在于對初始化形狀θ0比較敏感,使用不同的初始化做多次測試并融合多次預測結果可以一定程度上緩解初始化對于算法的影響,但并不能完全解決該問題,且多次測試會帶來額外的運算開銷。因此,可以看出,初始形狀θ0將直接影響人臉關鍵點檢測的準確性。
(3)局部二值特征級聯(lián)模型
基于上述思想,產(chǎn)生了基于局部二值特征(localbinaryfeature,lbf)的級聯(lián)模型。該級聯(lián)模型的思想如下:
sd=sd-1+rd(i,sd-1)
其中,sd就表示了絕對形狀,rd表示一個回歸器,i表示圖像,rd表示根據(jù)圖像和形狀的位置信息預測出一個形變,并將它加到當前形狀上以組成一個新形狀,d表示級聯(lián)層數(shù)。
同樣地,在基于該模型的算法中,初始形狀(本實施例中用s0表示)仍然直接影響人臉關鍵點檢測的準確性?;诖?,本實施例中將檢測到的五官區(qū)域和人臉邊緣區(qū)域對初始形狀s0賦值。
具體地,如圖13所示,從該圖中對人臉初始形狀s0的特征點可以總結如下:(1)左眼特征點為37-42,左側眼角為37,右側眼角為40;(2)右眼特征點為43-48,左側眼角為43,右側眼角為46;(3)鼻尖特征點為32-36,中間點為34;(4)嘴角特征點為49-68,其中左側嘴外角49,左側嘴內角為61,右側嘴外角為55,右側嘴內角為65;(5)人臉的膚色邊緣點為1-17。
針對這一特定現(xiàn)象,采用如下公式,將檢測到五官區(qū)域信息和人臉膚色邊緣信息賦值給這些特征點:
pf=r(rectf)+tf
其中pf為上述相關五官的特征點,r(rectf)為關鍵點與檢測的rect之間的關系,tf為相關的閾值。
通過上述的關系束縛后,可以更加有效地確定初始形狀s0,實現(xiàn)了對初始形狀s0的優(yōu)化,從而使得檢測更加精準和快捷。
需要說明的是,初始形狀指的級聯(lián)形狀回歸模型中,用于檢測人臉關鍵點的原始人臉形狀。該初始形狀通常為根據(jù)多個人臉樣本所得到的、多個人臉樣本的平均形狀,利用平均形狀進行人臉關鍵點檢測的準確性較低。因此,本發(fā)明實施例中,先對待測人臉圖像進行五官區(qū)域信息及人臉邊緣區(qū)域信息等的檢測,再將所得到的五官區(qū)域信息及人臉邊緣區(qū)域信息賦值給初始形狀,以實現(xiàn)對初始形狀的優(yōu)化,從而提高人臉關鍵點檢測的準確性。
s206,根據(jù)優(yōu)化后的初始形狀及隨機森林得到目標局部二值特征。
s207,根據(jù)目標局部二值特征進行全局線性回歸訓練以預測形狀增量。
s208,根據(jù)形狀增量得到人臉關鍵點。
需要說明的是,鑒于前述對基于lbf級聯(lián)模型的描述,該方法中針對每個人臉關鍵點給出一個隨機森林進行預測,并將所有人臉關鍵點對應的隨機森林輸出的局部特征相互連接起來,構成局部二值特征,之后,利用該局部二值特征進行全局回歸,從而預測形變,即預測形狀增量,最后根據(jù)形狀增量得到人臉關鍵點。
進一步地,每一隨機森林又包括多個相互獨立的隨機樹。訓練隨機樹所采取的特征是形狀指數(shù)(shape-index)特征,該特征的定義為:在關鍵點附近產(chǎn)生兩個特征點,兩個特征點的像素之差就是shape-index特征。其中,shape-index特征的描述如圖所示。從圖14中可以看出,隨著級聯(lián)的深入(即t的增大),隨機點的范圍逐漸變小,以期獲得更加準確的局部特征。
具體地,在訓練隨機樹時,輸入是x={i,s},而預測目標是y=δs。實際在訓練隨機樹時,樹中的每個節(jié)點的訓練過程都是一樣的。具體地,在對某個節(jié)點(即人臉關鍵點)進行訓練時,先從事先隨機生成的shape-index特征集合f中選取一個特征,該特征能夠將所有樣本點x映射成一個實數(shù)集合。可理解地,也可臨時隨機生成一個特征集合,或整棵隨機樹使用一個特征集合,或整個隨機森林使用一個特征集合。而在本實施例中,一棵隨機樹使用一個特征集合。之后,隨機生成一個閾值,將樣本點分配到左右子樹中,其目的是期望左右子樹中的樣本點y具有相同的模式。
其中,特征選取是可以采用如下公式:
δ=s(y|y∈root)-[s(y|y∈left)+s(y|y∈right)]
在上述公式中,f表示特征函數(shù)集合,f表示選取到的特征函數(shù)(即利用隨機到的特征點計算shape-index特征),δ表示隨機生成的閾值,s用來刻畫樣本點之間的相似度或者樣本集合的熵(可表示為方差)。針對每個節(jié)點,訓練數(shù)據(jù)(x,y)將會被分成兩部分(x1,y1)和(x2,y2),用了方差來刻畫,所以選擇特征函數(shù)f時,希望方差減小最大。
上述每一棵隨機樹的輸出可表示為一個局部二值特征(如圖15所示),將隨機森林中所有隨機樹對應的局部二值特征前后連接起來,便得到了目標局部二值特征,即lbf特征。進一步地,利用該目標局部二值特征進行全局線性回歸訓練以預測形狀增量。其中,線性回歸可采用公式(8)進行表示:
其中,δs形變目標,lbf表示特征,wt是線性回歸的參數(shù),λ用來抑制模型,防止出現(xiàn)過擬合。因此,預測形狀增量時,可采用下面的公式(9):
δs=wt.lbf(9)
結合上述描述,步驟s206至s208的具體過程如下:先根據(jù)優(yōu)化后初始形狀提取shape-index特征,基于該shape-index特征進行隨機樹訓練以得到隨機森林,之后,利用該隨機森林對待測人臉圖像中的每個關鍵點進行預測,所得到的預測結果便構成了目標局部二值特征,再采用公式(8)和(9)進行全局線性回歸訓練以預測形狀增量,在得到形狀增量后,便可根據(jù)該形狀增量檢測出人臉關鍵點。
需要說明的是,步驟s201至s208實現(xiàn)了對當前圖像的人臉關鍵點檢測。在上述人臉關鍵點檢測過程中,根據(jù)對當前圖像進行處理所得到的五官區(qū)域信息和人臉膚色邊緣信息優(yōu)化了初始形狀,從而確保了人臉關鍵點檢測的準確性,同時減少了為了提高準確性而進行多次測試所帶來的運算開銷,降低了運算復雜度,確保了檢測的時效性。
s209,根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
人臉關鍵點包括眼睛、鼻尖、嘴角、眉毛以及面部輪廓等。終端檢測出該人臉關鍵點后,可對當前圖像中除上述人臉關鍵點以外的區(qū)域進行美白及磨皮等美顏處理,得到用戶想要的圖像,即目標圖像。
本發(fā)明實施例中,先獲取當前圖像,并對當前圖像進行處理,得到人臉關鍵點,再根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
參見圖16,圖16是本發(fā)明實施例提供的一種終端的結構示意圖,如圖所示,該終端可以包括:
獲取單元10,用于獲取當前圖像;
第一處理單元11,用于對當前圖像進行處理,得到人臉關鍵點;
第二處理單元12,用于根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
本發(fā)明實施例中,先通過獲取單元10獲取當前圖像,并通過第一處理單元11對當前圖像進行處理,得到人臉關鍵點,再通過第二處理單元12根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
請參見圖17,圖17是本發(fā)明第二實施例提供一種終端的結構示意圖,如圖所示,該終端可以包括:
獲取單元20,用于獲取當前圖像;
第一處理單元21,用于對當前圖像進行處理,得到人臉關鍵點;
第二處理單元22,用于根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。
作為一種可能的實施方式,第一處理單元21具體包括:
第一檢測單元211,用于對當前圖像進行人臉檢測,得到待測人臉圖像;
第二檢測單元212,用于對待測人臉圖像進行五官檢測,得到五官區(qū)域信息;
第三檢測單元213,用于對待測人臉圖像進行膚色檢測,得到人臉膚色邊緣信息;
優(yōu)化單元214,用于根據(jù)五官區(qū)域信息和人臉邊緣信息優(yōu)化初始形狀;
第四檢測單元215,用于根據(jù)優(yōu)化后的初始形狀檢測當前圖像的人臉關鍵點。
作為一種可能的實施方式,第二檢測單元212具體用于:
按照預設縮小比例對待測人臉圖像進行縮小以得到第一處理圖像;
將第一處理圖像進行多次劃分以得到多張第二處理圖像,每張第二處理圖像包括多個子窗口;
根據(jù)積分圖計算每張第二處理圖像中每個子窗口的haar特征值;
根據(jù)強分類器及每張第二處理圖像得到的haar特征值檢測出五官區(qū)域信息。
作為一種可能的實施方式,第三檢測單元213具體用于:
對待測人臉圖像進行提取處理,得到第一區(qū)域;
對待測人臉圖像進行擴大及移動處理,得到第二區(qū)域;
計算第一區(qū)域的最大色差值及最小色差值;
計算第二區(qū)域的原始分割值;
根據(jù)最大色差值、最小色差值及原始分割閾值確定分類閾值區(qū)間;
根據(jù)分類閾值區(qū)間遍歷待測人臉圖像,得到人臉膚色邊緣信息。
作為一種可能的實施方式,第四檢測單元215具體用于:
根據(jù)優(yōu)化后的初始形狀及隨機森林得到目標局部二值特征;
根據(jù)目標局部二值特征進行全局線性回歸訓練以預測形狀增量;
根據(jù)形狀增量得到人臉關鍵點。
本發(fā)明實施例中,先通過獲取單元20獲取當前圖像,并通過第一處理單元21對當前圖像進行處理,得到人臉關鍵點,再通過第二處理單元22根據(jù)人臉關鍵點對當前圖像進行美顏處理,得到目標圖像。由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
進一步地,本發(fā)明實施例中,在進行人臉關鍵點進行檢測時,根據(jù)對當前圖像進行處理所得到的五官區(qū)域信息和人臉膚色邊緣信息優(yōu)化了初始形狀,從而確保了人臉關鍵點檢測的準確性,減少了為了提高準確性而進行多次測試所帶來的運算開銷,降低了運算復雜度,確保了檢測的時效性。
進一步地,本發(fā)明實施例中,在進行膚色檢測時,是針對當幀圖像進行樣本提取以及分類閾值區(qū)間的確定,從而在當幀圖像完成膚色檢測,該方法具有實時性和動態(tài)性,且不受光照或不同膚色人群本身的影響,準確性較高;且該方法在當幀圖像完成膚色檢測,不受其它幀圖像的影響,從而提高了膚色檢測的準確性。
需要說明的是,圖16及圖17所示終端的具體工作流程已在前述方法流程部分做了詳述,在此不再贅述。
參見圖18,是本發(fā)明實施例中提供的一種終端的結構示意圖,如圖所示,該終端包括:至少一個處理器301,例如cpu(centralprocessingunit,中央處理器),至少一個用戶接口303,存儲器304,至少一個通信總線302。其中,通信總線302用于實現(xiàn)這些組件之間的連接通信。其中,用戶接口303可以包括顯示屏(display)、鍵盤(keyboard),可選用戶接口303還可以包括標準的有線接口、無線接口。存儲器304可以是高速ram存儲器(ramdomaccessmemory,易揮發(fā)性隨機存取存儲器),也可以是非不穩(wěn)定的存儲器(non-volatilememory),例如至少一個磁盤存儲器。存儲器304可選的還可以是至少一個位于遠離前述處理器301的存儲裝置。其中處理器301可以結合圖16至17所描述的終端,存儲器304中存儲一組程序代碼,且處理器301調用存儲器304中存儲的程序代碼,用于執(zhí)行以下操作:
獲取當前圖像;
對當前圖像進行處理,得到人臉關鍵點;
根據(jù)所述人臉關鍵點對所述當前圖像進行美顏處理,得到目標圖像。
作為一種可能的實施方式,處理器301還用于執(zhí)行以下操作:
對所述當前圖像進行人臉檢測,得到待測人臉圖像;
對所述待測人臉圖像進行檢測,得到五官區(qū)域信息和人臉膚色邊緣信息;
根據(jù)所述五官區(qū)域信息和人臉膚色邊緣信息優(yōu)化初始形狀;
根據(jù)優(yōu)化后的所述初始形狀檢測所述當前圖像的所述人臉關鍵點。
作為一種可能的實施方式,處理器301還用于執(zhí)行以下操作:
對待測人臉圖像進行離散余弦變換及逆離散余弦變換以得到區(qū)域圖像;
根據(jù)待測人臉圖像及區(qū)域圖像得到所述五官區(qū)域信息。
作為一種可能的實施方式,處理器301還用于執(zhí)行以下操作:
對所述待測人臉圖像進行提取處理,得到第一區(qū)域;
對所述待測人臉圖像進行擴大及移動處理,得到第二區(qū)域;
計算所述第一區(qū)域的最大色差值及最小色差值;
計算所述第二區(qū)域的原始分割值;
根據(jù)所述最大色差值、最小色差值及原始分割閾值確定分類閾值區(qū)間;
根據(jù)分類閾值區(qū)間遍歷待測人臉圖像,得到人臉膚色邊緣信息。
作為一種可能的實施方式,處理器301還用于執(zhí)行以下操作:
根據(jù)優(yōu)化后的初始形狀及隨機森林得到目標局部二值特征;
根據(jù)目標局部二值特征進行全局線性回歸訓練以預測形狀增量;
根據(jù)形狀增量得到人臉關鍵點。
本發(fā)明實施例中,由于先檢測出人臉關鍵點,因此在對當前圖像進行美顏處理時,可僅對人臉關鍵點以外的區(qū)域進行美白及磨皮處理,從而提高了美顏處理后圖像的清晰度,也提高了美顏效果。
本領域普通技術人員可以意識到,結合本文中所公開的實施例描述的各示例的單元及算法步驟,能夠以電子硬件、計算機軟件或者二者的結合來實現(xiàn),為了清楚地說明硬件和軟件的可互換性,在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行,取決于技術方案的特定應用和設計約束條件。專業(yè)技術人員可以對每個特定的應用來使用不同方法來實現(xiàn)所描述的功能,但是這種實現(xiàn)不應認為超出本發(fā)明的范圍。
所屬領域的技術人員可以清楚地了解到,為了描述的方便和簡潔,上述描述的終端和單元的具體工作過程,可以參考前述方法實施例中的對應過程,在此不再贅述。
在本申請所提供的幾個實施例中,應該理解到,所揭露的終端和方法,可以通過其它的方式實現(xiàn)。例如,以上所描述的裝置實施例僅僅是示意性的,例如,所述單元的劃分,僅僅為一種邏輯功能劃分,實際實現(xiàn)時可以有另外的劃分方式,例如多個單元或組件可以結合或者可以集成到另一個系統(tǒng),或一些特征可以忽略,或不執(zhí)行。另外,所顯示或討論的相互之間的耦合或直接耦合或通信連接可以是通過一些接口、裝置或單元的間接耦合或通信連接,也可以是電的,機械的或其它的形式連接。
所述作為分離部件說明的單元可以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單元,即可以位于一個地方,或者也可以分布到多個網(wǎng)絡單元上??梢愿鶕?jù)實際的需要選擇其中的部分或者全部單元來實現(xiàn)本發(fā)明實施例方案的目的。另外,在本發(fā)明各個實施例中的各功能單元可以集成在一個處理單元中,也可以是各個單元單獨物理存在,也可以是兩個或兩個以上單元集成在一個單元中。上述集成的單元既可以采用硬件的形式實現(xiàn),也可以采用軟件功能單元的形式實現(xiàn)。
所述集成的單元如果以軟件功能單元的形式實現(xiàn)并作為獨立的產(chǎn)品銷售或使用時,可以存儲在一個計算機可讀取存儲介質中。基于這樣的理解,本發(fā)明的技術方案本質上或者說對現(xiàn)有技術做出貢獻的部分,或者該技術方案的全部或部分可以以軟件產(chǎn)品的形式體現(xiàn)出來,該計算機軟件產(chǎn)品存儲在一個存儲介質中,包括若干指令用以使得一臺計算機設備(可以是個人計算機,服務器,或者網(wǎng)絡設備等)執(zhí)行本發(fā)明各個實施例所述方法的全部或部分步驟。而前述的存儲介質包括:u盤、移動硬盤、只讀存儲器(rom,read-onlymemory)、隨機存取存儲器(ram,randomaccessmemory)、磁碟或者光盤等各種可以存儲程序代碼的介質。
以上所述,僅為本發(fā)明的具體實施方式,但本發(fā)明的保護范圍并不局限于此,任何熟悉本技術領域的技術人員在本發(fā)明揭露的技術范圍內,可輕易想到各種等效的修改或替換,這些修改或替換都應涵蓋在本發(fā)明的保護范圍之內。因此,本發(fā)明的保護范圍應以權利要求的保護范圍為準。