專利名稱：：用于從攝像機圖片中提取面部以便在電子系統(tǒng)中表示的系統(tǒng)和方法
技術(shù)領(lǐng)域：
：本發(fā)明總體上涉及用于識別圖像的計算機視覺技術(shù)，并且尤其涉及用于從圖片中提取諸如人面部之類的圖像以便在電子系統(tǒng)中表示的計算機視覺技術(shù)。在現(xiàn)在及將來的電子系統(tǒng)中，人們能夠在所謂的“虛擬空間”彼此在線見面，并且為了在此虛擬空間中標識他們自己，他們需要由個人圖標來表示。例如，虛擬空間可以由任何P2P系統(tǒng)(例如全球聯(lián)網(wǎng))來實現(xiàn)。在另一例子中，在辦公樓的入口處，顯示器可以示出所有房間的地圖，包括當前在每個房間中的人的圖片，即人像表示。問題在于怎樣使這些種‘個人圖標’可以易于被捕獲并保持最新。可以使用面部識別系統(tǒng)來確定圖像中的面部。在美國專利號6,108,437中描述了典型的面部識別系統(tǒng)，其致力于特征提取系統(tǒng)，所述特征提取系統(tǒng)處理圖像以便確定在圖像中是否存在面部并且確定它在圖像中的位置。在美國專利號5,781,650中描述了面部識別系統(tǒng)的一個應(yīng)用，其致力于用于根據(jù)所提取的圖像來確定面部特征以便根據(jù)人的圖像來分類他/她的年齡的系統(tǒng)。題目為“MethodandMeansforDetectingPeopleinImageSequences”的美國專利號5,987,154致力于用于在視頻圖像序列中定位人以便使視覺通信便于進行的系統(tǒng)。國際專利公開號WO200310728是面部識別系統(tǒng)的另一應(yīng)用，其目標在于隱私保護。其目的在于通過首先檢測在圖像中存在的人的個人識別特征，繼而自動除去或替換那些特征來隱藏人/物體的身份。大部分面部識別系統(tǒng)使用計算機視覺來識別人和物體的身份并且這些系統(tǒng)并不輸出圖像本身(一部分)。參考文獻WO200310728是唯一的例外，但是這里目的在于隱藏人的身份。由于現(xiàn)有技術(shù)的計算機視覺系統(tǒng)都不能用來捕獲并處理人的圖像以便在另一系統(tǒng)(例如PCC或要求與人類和機器接口之類的系統(tǒng))中使用所述圖像來表示該人，所以這些系統(tǒng)都存在不足。因而，十分需要提供一種計算機視覺系統(tǒng)，其意在給出面部圖像作為人在組織或系統(tǒng)中身份的表示。本發(fā)明的目的在于提供一種計算機視覺系統(tǒng)和方法，用于給出面部圖像作為人在組織或系統(tǒng)中身份的表示。依照此目的，該計算機視覺系統(tǒng)和方法解決了想要的圖像的計時/選擇問題。例如，可以選擇其中目標人正在凝視攝像機或正在微笑等的圖像。據(jù)此，提供了一種計算機視覺系統(tǒng)和方法，其實現(xiàn)方式包括面部識別，用于捕獲人的圖片，所述人需要在另一例如使用或給出圖像的電子系統(tǒng)中被表示并且從該圖片提取或‘剪下’面部。所述系統(tǒng)和方法還能在人直視攝像機時甚至在人的臉部表情處于所要求狀態(tài)(例如微笑)時獲取快照，并且使得所提取的圖像適合在另一電子系統(tǒng)中顯示。因而，所發(fā)明的系統(tǒng)解決了所提取的想要圖像的計時/選擇問題。還提供了一種用于執(zhí)行本發(fā)明方法的計算機程序產(chǎn)品以及其中存儲所述計算機程序產(chǎn)品的程序存儲裝置。所述計算機程序產(chǎn)品可以被實現(xiàn)為計算機可讀介質(zhì)或包含在多媒體流中。結(jié)合下列描述、附加權(quán)利要求和附圖將能夠更好地理解本發(fā)明的設(shè)備和方法的這些及其它特征、方面和優(yōu)點，其中圖1圖示了用于從攝像機輸出(數(shù)字流)檢測并提取圖像的設(shè)備的實施例的示意圖；圖2圖示了用于使用所提取的人物肖像來把該人識別為在可經(jīng)由WiFi網(wǎng)絡(luò)連接的個人內(nèi)容容器裝置中的圖標的一個應(yīng)用。表示人最自然的方式是通過人的面部圖片來表示。然而，人們很難依照使圖片具有肖像照片的適當屬性的方式將自己定位在攝像機前面?，F(xiàn)在參照圖1，其中示出了用于在圖像中檢測人的設(shè)備10的示意性實施例。依照本發(fā)明，第一步驟是處理圖像以便(使用面部特征來)檢查面部的存在。例如圖1所示，適于產(chǎn)生靜止圖像或完整運動視頻圖像的攝像機裝置15分別產(chǎn)生例如一個人或一組人的第一真實世界圖像12或圖像系列(圖像序列)。此圖像可以被數(shù)字化并轉(zhuǎn)換為數(shù)字流18以便輸入到圖像識別處理器或之類的裝置20中，其可以應(yīng)用面部識別使得在提取之前從第一(較大)圖像中捕獲目標人面部的快照22。如通常為面部識別和計算機視覺領(lǐng)域的技術(shù)人員所知，可以分析圖像或圖像序列的數(shù)字流來在數(shù)據(jù)流中檢測各個可能符合確定的子串特征即人臉的特征的子串。然后，利用計算機視覺技術(shù)來從可能較大的圖片上“剪下”面部?？梢岳斫獾氖?，攝像機裝置15和圖像處理器20可以是獨立的裝置或被實現(xiàn)為單個的獨立設(shè)備。在一個實施例中，獲取并接收靜止圖像/視頻圖像的時間可以被編程并且可以由計算機視覺來確定，諸如在人微笑時或直視攝像機裝置時。也就是說，當圖像中的面部正在微笑或完全面對攝像機時，圖像序列可以提取目標人面部的快照22a。然后，把所提取的圖像22a存儲在存儲裝置系統(tǒng)或數(shù)據(jù)庫25中，包括非易失性(或易失性)存儲裝置介質(zhì)。所提取的圖像可以連同上下文數(shù)據(jù)/元數(shù)據(jù)一起被存儲，所述元數(shù)據(jù)諸如時間、地點、攝像機，以及該人的“個人ID”(如果知道的話)。最后依照本發(fā)明，所存儲的圖像22a以及相關(guān)聯(lián)的上下文/元數(shù)據(jù)可以隨后(或立即)被輸入到相同的系統(tǒng)或第二個不同系統(tǒng)30中或從其中獲取，所述系統(tǒng)用于執(zhí)行需要人的視覺識別的任何應(yīng)用。在一個例子中，例如圖2中所描述，所存儲的圖像22a可以在例如移動電話50之類的電子系統(tǒng)30的屏幕顯示45上被顯示為圖標22b。否則，可以在稍后的處理階段把所提取的圖像打印在紙上。依照本發(fā)明，上述原理可以應(yīng)用于各種攝像機/計算機視覺系統(tǒng)中1)智能安全攝像機，適于創(chuàng)建那些進入或離開特定建筑的人的‘肖像照片’的日志列表；2)便攜式“信息娛樂片”(用于信息或娛樂的內(nèi)容)播放器，諸如便攜式內(nèi)容容器(PortableContentContainerPCC)，可以支持在特別共享的情況中使用用戶圖標；3)PC或TV攝影機，可以適于使用所提取的圖像來創(chuàng)建用戶圖標，所述用戶圖標可以用來表示特定的人；例如，在虛擬社團空間中的表示(有益地是，其中所提取的照片是最新的)；4)PC、TV或浴室鏡子顯示系統(tǒng)，可以適于包括用于制作人面部的每日快照的集成攝像機。這使得此人能夠播放他/她面部的圖像序列，以便看看他/她的面部隨時間怎樣變化；5)裝備有攝像機的移動電話，可以用來迅速地制作快照并且使用此圖片來作為該人電話號碼的表示(呼叫ID，通訊錄等)。如果此人呼叫所述用戶的電話，那么該圖片會彈出；以及6)在建筑或接待處入口處的攝像機，可以制作進入人的快照，使得可以在公司建筑的入口/接待處使用攝像機和計算機視覺來利用這些快照立即地制作訪客證章。例如，可以使用‘面部掃描系統(tǒng)’來連續(xù)地掃描進入人的面部，以便看看他們是否是新到的，或者按照顯式請求來制作快照。這特別適于需要用戶標識證章的組織。即，如果可以立即打印具有照片的證章，并且特別是當將來的顯示技術(shù)變得便宜并且使訪客證章能夠用訪客或雇員最近的圖片來電子更新時，此系統(tǒng)是尤為有用的。這意味著(理論上)可以每天更新雇員證章。附加特征可以包括使用以下系統(tǒng)，所述系統(tǒng)被編程來頻繁地捕獲人的肖像圖片以便面部識別系統(tǒng)可以保持最新，并且逐漸地修改識別模式以使得能夠在很長時間內(nèi)識別人。例如，本發(fā)明可以便于并能夠維護目標用戶的電子照片畫面，可以用所述目標用戶的最近圖片來頻繁地更新(例如，每天)所述電子照片畫面。那些本領(lǐng)域技術(shù)人員應(yīng)當理解在其它系統(tǒng)中也可以有效地使用本發(fā)明，在所述系統(tǒng)中可以從第一圖像獲得面部圖像并且隨后依照有用形式輸出以便在另一系統(tǒng)中作為獨立的較小圖像來表示。雖然已經(jīng)示出并描述了本發(fā)明的說明性實施例，然而當然應(yīng)當理解，在不脫離本發(fā)明精神的前提下，可以容易地進行各種形式上或細節(jié)上的修改和改變。因此本發(fā)明并不意在局限于所描述和圖示的確切形式，而應(yīng)當被構(gòu)造為覆蓋了落入附加權(quán)利要求范圍內(nèi)的所有修改。權(quán)利要求1.一種用于在電子系統(tǒng)(30)中表示用戶的系統(tǒng)(10)，包括用于獲得包括目標人(22)的圖像的圖像(12)的裝置(15)；用于處理所述獲得圖像的裝置(18，20)，所述裝置用于識別在所述圖像中與所述目標人(22)相關(guān)聯(lián)的面部特征并且從所述圖像提取該目標人的面部部分(22a)；用于在電子系統(tǒng)顯示裝置中顯示所述提取的目標人的面部部分的裝置(45)，以便表示該目標人連接到所述電子系統(tǒng)(30)。2.如權(quán)利要求1所述的系統(tǒng)，其中用于獲得圖像的裝置包括諸如攝像機(15)之類的圖像捕獲裝置，適于產(chǎn)生靜止圖像或完整運動圖像序列。3.如權(quán)利要求1所述的系統(tǒng)，其中用于處理的裝置包括圖像識別裝置，其用于接收體現(xiàn)所述圖像的數(shù)字流(18)并且應(yīng)用面部識別技術(shù)來提取目標人的面部部分圖像。4.如權(quán)利要求2所述的系統(tǒng)，其中在目標人(22)微笑時或在目標人直視圖像捕獲裝置時可確定用于從所述捕獲裝置獲取圖像的時間。5.如權(quán)利要求3所述的系統(tǒng)，其中所述顯示裝置利用所述提取的目標人的面部部分(22a)作為圖標(22b)，所述圖標(22b)用于經(jīng)由與所述電子系統(tǒng)(30)相關(guān)聯(lián)的顯示接口(45)來表示所述目標人。6.如權(quán)利要求5所述的系統(tǒng)，其中包括所述提取的目標人的面部部分(22a)的圖標(22b)被立即或隨后輸入到所述電子系統(tǒng)(30)。7.如權(quán)利要求2所述的系統(tǒng)，還包括存儲裝置(25)，用于存儲所述提取的目標人的面部部分圖像(22a)以及與所述圖像相關(guān)聯(lián)的上下文數(shù)據(jù)。8.如權(quán)利要求6所述的系統(tǒng)，其中所述上下文數(shù)據(jù)包括元數(shù)據(jù)，所述元數(shù)據(jù)包括時間、地點以及所實現(xiàn)的圖像捕獲裝置。9.一種用于在電子系統(tǒng)(30)中表示用戶的方法，包括步驟a)獲得包括目標人(22)的圖像的圖像(12)；b)處理(20)所述獲得圖像，包括識別在所述圖像中與所述目標人相關(guān)聯(lián)的面部特征并且從所述圖像提取該目標人的面部部分(22a)；并且c)在電子系統(tǒng)(30)顯示裝置中顯示(45)所述提取的目標人的面部部分，以便表示該目標人連接到所述電子系統(tǒng)。10.如權(quán)利要求9所述的方法，其中獲得圖像的步驟a)包括實現(xiàn)適于產(chǎn)生靜止圖像或完整運動圖像序列的圖像捕獲裝置(15)，諸如攝像機。11.如權(quán)利要求9所述的方法，其中處理步驟b)包括實現(xiàn)圖像識別裝置(20)以便接收體現(xiàn)所述圖像的數(shù)字流(18)，并且應(yīng)用面部識別技術(shù)來提取對應(yīng)于所述目標人的面部部分(22a)的圖像的步驟。12.如權(quán)利要求10所述的方法，其中獲得(15)圖像的步驟a)包括把從所述捕獲裝置獲取圖像的時間設(shè)計為當目標人(22)微笑時或當目標人直視圖像捕獲裝置時的步驟。13.如權(quán)利要求11所述的方法，其中所述顯示步驟包括利用所述提取的目標人的面部部分(22a)作為圖標(22b)，所述圖標(22b)用于經(jīng)由與所述電子系統(tǒng)(30)相關(guān)聯(lián)的顯示接口(45)來表示所述目標人。14.如權(quán)利要求13所述的方法，還包括立即或隨后向所述電子系統(tǒng)(30)輸入所述圖標(22b)的步驟，所述圖標(22b)包括所述提取的目標人的面部部分(22a)。15.如權(quán)利要求10所述的方法，還包括把所述提取的目標人的面部部分圖像以及與所述圖像相關(guān)聯(lián)的上下文數(shù)據(jù)存儲在存儲裝置(25)中的步驟。16.如權(quán)利要求14所述的方法，其中所述上下文數(shù)據(jù)包括元數(shù)據(jù)，所述元數(shù)據(jù)包括時間、地點以及所實現(xiàn)的圖像捕獲裝置。17.一種用于在電子系統(tǒng)(30)中表示用戶的計算機程序產(chǎn)品，包括步驟a)獲得包括目標人(22)的圖像的圖像(12)；b)處理(20)所述獲得圖像，包括識別在所述圖像中與所述目標人相關(guān)聯(lián)的面部特征并且從所述圖像提取該目標人的面部部分(22a)；并且c)在電子系統(tǒng)(30)顯示裝置中顯示(45)所述提取的目標人的面部部分，以便表示該目標人連接到所述電子系統(tǒng)。18.如權(quán)利要求17所述的計算機程序產(chǎn)品，其中獲得圖像的步驟a)包括實現(xiàn)適于產(chǎn)生靜止圖像或完整運動圖像序列的圖像捕獲裝置(15)，使諸如攝像機。19.如權(quán)利要求17所述的計算機程序產(chǎn)品，其中處理步驟b)包括實現(xiàn)圖像識別裝置(20)以便接收體現(xiàn)所述圖像的數(shù)字流(18)，并且應(yīng)用面部識別技術(shù)來提取對應(yīng)于所述目標人的面部部分(22)的圖像的步驟。20.如權(quán)利要求18所述的計算機程序產(chǎn)品，其中獲得(15)圖像的步驟a)包括把從所述捕獲裝置獲取圖像的時間設(shè)計為當目標人(22)微笑時或當目標人直視圖像捕獲裝置時的步驟。21.如權(quán)利要求19所述的計算機程序產(chǎn)品，其中所述顯示步驟包括利用所述提取的目標人的面部部分(22a)作為圖標(22b)，所述圖標(22b)用于經(jīng)由與所述電子系統(tǒng)(30)相關(guān)聯(lián)的顯示接口(45)來表示所述目標人。22.如權(quán)利要求21所述的計算機程序產(chǎn)品，還包括立即或隨后向所述電子系統(tǒng)(30)輸入所述圖標(22b)的步驟，所述圖標(22b)包括所述提取的目標人的面部部分(22a)。23.如權(quán)利要求18所述的計算機程序產(chǎn)品，還包括把所述提取的目標人的面部部分圖像以及與所述圖像相關(guān)聯(lián)的上下文數(shù)據(jù)存儲在存儲裝置(25)中的步驟。24.如權(quán)利要求22所述的計算機程序產(chǎn)品，其中所述上下文數(shù)據(jù)包括元數(shù)據(jù)，所述元數(shù)據(jù)包括時間、地點以及所實現(xiàn)的圖像捕獲裝置。全文摘要一種用于在電子系統(tǒng)中表示人的系統(tǒng)和方法。獲得包括目標人圖像的圖像。處理所述圖像或其數(shù)字表示以便識別在所述圖像中與所述目標人相關(guān)聯(lián)的面部特征。然后從所述圖像中提取目標人的面部部分。經(jīng)由與相同的或獨立且不同的電子系統(tǒng)相關(guān)聯(lián)的顯示接口來顯示所述提取的目標人的面部部分，以便當該目標人連接到該電子系統(tǒng)時表示所述目標人。用于捕獲所獲得圖像的圖像捕獲裝置適于在目標人微笑時或在目標人直視捕獲裝置時獲取圖像?？梢援a(chǎn)生包括所述提取的目標人的面部部分的圖標，所述圖標用于經(jīng)由與電子系統(tǒng)相關(guān)聯(lián)的顯示接口來表示該目標人。文檔編號G06F1/00GK1882953SQ200480034501公開日2006年12月20日申請日期2004年11月15日優(yōu)先權(quán)日2003年11月21日發(fā)明者B·M·范德斯盧伊斯申請人:皇家飛利浦電子股份有限公司