專利名稱：使用社交數(shù)據(jù)的面部識(shí)別的制作方法
使用社交數(shù)據(jù)的面部識(shí)別
背景技術(shù)：
面部識(shí)別技術(shù)一般通過(guò)從照片中提取面部并將所提取的面部與已知面部進(jìn)行比較來(lái)運(yùn)作。通過(guò)這種比較，也許有可能確定是否所提取的面部屬于與已知面部相同的一個(gè)人。如果發(fā)現(xiàn)所提取的面部與任何一個(gè)已知面部是足夠相似的，則得出所提取的面部屬于與已知面部相同的一個(gè)人的結(jié)論。雖然視覺(jué)面部識(shí)別技術(shù)或許能夠在某些環(huán)境中識(shí)別面部，但是在許多情況中，視覺(jué)面部識(shí)別技術(shù)不足以正確地識(shí)別面部。圖像可能具有差的質(zhì)量，從而使得面部的特征難以辨別。屬于不同人員的兩個(gè)面部可能看起來(lái)彼此相似，并且視覺(jué)面部識(shí)別處理可能猜測(cè)錯(cuò)誤的面部。因而，視覺(jué)面部識(shí)別在一些情況中可能無(wú)法獨(dú)自正確地識(shí)別面部。

發(fā)明內(nèi)容
面部識(shí)別可以使用視覺(jué)技術(shù)和社交網(wǎng)絡(luò)數(shù)據(jù)來(lái)執(zhí)行。社交網(wǎng)絡(luò)數(shù)據(jù)的使用可以基于這樣的觀察，即，人們一般傾向于拍攝他們認(rèn)識(shí)的人的照片并且與他們認(rèn)識(shí)的人一起出現(xiàn)在照片中。因而，社交網(wǎng)絡(luò)數(shù)據(jù)可以用于確定人們彼此具有什么聯(lián)系(利用為了保護(hù)所涉及的各方的隱私而獲得的適當(dāng)許可)。這種人員聯(lián)系的知識(shí)可以隨后用于幫助確定誰(shuí)出現(xiàn)在照片中。為了識(shí)別照片中的面部(我們將之稱為“面部A”)，面部A可以被視覺(jué)分析，以創(chuàng)建面部A的特征的數(shù)字表示。即，面部A的物理特征可以被量化，并且可以創(chuàng)建表示面部特征的量化的矢量。該矢量的各方面隨后可以被轉(zhuǎn)換成文本串，從而產(chǎn)生代表面部A的一個(gè)或多個(gè)文本串。此外,從社交事實(shí)中導(dǎo)出的文本串也可以被添加到這些文本串上。例如,如果面部A是從被“Bob (鮑勃)”上傳的照片中提取的，并且該照片已被標(biāo)記為包含“Joe (喬)” 和“Susan (蘇珊)”，那么這些名字也是可以被添加到照片的表示上的文本。因此，如果代表面部的視覺(jué)外觀的字符串是“eruiuwe”、“dkruiwl”和“dkrudkt”，那么代表面部A的視覺(jué)和社交方面的文本可以是“eruiuwe dkruiwl dkrudkt Bob Joe Susan”。一旦存在代表面部A的文本，則可以使用那個(gè)文本來(lái)索引面部A，并且稍后在搜索中可以使用該索引條目。因而，假設(shè)新的照片包含未識(shí)別的面部(“面部B”)。面部B的視覺(jué)分析可以產(chǎn)生一個(gè)矢量，并且將那個(gè)矢量轉(zhuǎn)換成文本可以產(chǎn)生包括“eruiuwe” (這是代表面部A的視覺(jué)外觀的字符串之一)的一組字符串。此外，還可能知道該照片是由Susan上傳的。因此，文本搜索可以使用查詢“eruiuwe Susan”來(lái)執(zhí)行。由于先前段落中描述的面部A利用字符串“eruiuwe”和“Susan”進(jìn)行索引，所以面部A將作為對(duì)于面部B的潛在匹配而出現(xiàn)在文本搜索結(jié)果中。由于該搜索基于代表該面部的視覺(jué)外觀的文本項(xiàng)并且也基于代表該面部的社交上下文(social context)的文本項(xiàng),所以搜索結(jié)果中該面部的識(shí)別可以基于視覺(jué)和社交考慮二者。有關(guān)面部B是否與面部A相匹配的實(shí)際決策可以取決于匹配的強(qiáng)度以及是否其他被索引的面部是更強(qiáng)的匹配。這樣一來(lái)，普通的文本搜索技術(shù)可以用于執(zhí)行面部匹配。在一個(gè)示例中，上述技術(shù)可以用于搜索特定人員的照片。在另一個(gè)示例中，上面的技術(shù)可以用于建議出現(xiàn)在照片中的面部的身份，以便輔助用戶標(biāo)記這些照片。提供這個(gè)發(fā)明內(nèi)容部分來(lái)以簡(jiǎn)化形式介紹下面在詳細(xì)描述部分中進(jìn)一步描述的概念的選擇。這個(gè)發(fā)明內(nèi)容部分既不打算標(biāo)識(shí)所請(qǐng)求保護(hù)主題的關(guān)鍵特征或基本特征，也不打算用于限制所請(qǐng)求保護(hù)主題的范圍。


圖I是其中可以分析和索引面部的示例系統(tǒng)的框圖。圖2是其中面部可以利用其視覺(jué)和社交特性來(lái)索引的示例處理的流程圖。圖3是其中利用視覺(jué)和社交標(biāo)準(zhǔn)進(jìn)行索引的面部可以用于提供結(jié)果的示例處理的流程圖。圖4是可以與這里描述的主題的實(shí)現(xiàn)方式結(jié)合使用的示例組件的框圖。
具體實(shí)施例方式面部識(shí)別技術(shù)允許自動(dòng)識(shí)別出現(xiàn)在照片中的人員。通常，面部識(shí)別技術(shù)依靠面部的視覺(jué)分析。為了執(zhí)行這種類型的分析，從照片中提取構(gòu)成面部的照片區(qū)域，并將這個(gè)區(qū)域規(guī)范化為特定大小。該面部隨后被分析，以量化該面部的特定方面。之后，創(chuàng)建包含這些參量的矢量，其中該矢量代表該面部。通過(guò)為若干面部創(chuàng)建矢量，有可能使用矢量比較技術(shù)來(lái)比較面部的相似度。隨后可以作出有關(guān)兩個(gè)面部如何相似的判斷，并且這些判斷可以用于各種應(yīng)用。例如，想在照片中辨認(rèn)Joe的系統(tǒng)可能保持Joe的面部的標(biāo)準(zhǔn)圖像(canonical image)，并且可以采用矢量的形式來(lái)量化那個(gè)面部。然后，其他圖像中的面部能夠通過(guò)為那些圖像創(chuàng)建矢量以及比較這些矢量的相似度而與Joe的面部進(jìn)行比較。之后，與Joe的面部的標(biāo)準(zhǔn)圖像足夠相似的面部可以被認(rèn)為是Joe的圖像。但是，僅僅基于視覺(jué)分析的面部識(shí)別具有其限制。時(shí)常從存在模糊、照明受阻等問(wèn)題的不完美圖像中提取面部。一些人看起來(lái)彼此相似，因此面部特征的量化可能導(dǎo)致類似的矢量用于兩個(gè)不同人員的面部。此外，在使用視覺(jué)機(jī)制時(shí)，將面部明確地識(shí)別為屬于Joe 的能力取決于有關(guān)Joe的面部的數(shù)據(jù)(例如，新圖像可以與之相比較的Joe的標(biāo)準(zhǔn)圖像)的存在性。在一些情況中，那個(gè)信息并不存在?；蛘呒词乖夹畔⒋_實(shí)存在，它也可能沒(méi)有被提取成可用形式。這里描述的主題使用社交數(shù)據(jù)來(lái)增強(qiáng)視覺(jué)面部識(shí)別技術(shù)。人們用來(lái)互動(dòng)的社交網(wǎng)絡(luò)和其他系統(tǒng)提供豐富的能夠用于識(shí)別照片中的面部的數(shù)據(jù)。這樣的數(shù)據(jù)的使用可以基于這樣的觀察，即，如果人員A和B相互認(rèn)識(shí)，那么與兩個(gè)隨機(jī)的不相關(guān)的互不認(rèn)識(shí)的人員將一起出現(xiàn)在照片中的情況相比，更有可能A將與B —起出現(xiàn)在照片中。類似地，如果A認(rèn)識(shí) B，那么更有可能A將出現(xiàn)在由B拍攝的照片、由B上傳的照片或包含由B輸入的一個(gè)或多個(gè)標(biāo)簽的照片中。因而，有關(guān)人們彼此交互的數(shù)據(jù)可以用于確定在人員之間存在什么關(guān)系， 并且這個(gè)數(shù)據(jù)可以用于幫助識(shí)別照片中的面部。(為了維護(hù)和尊重人們的隱私期望，有關(guān)人員的信息的使用可以依照適當(dāng)許可和/或披露來(lái)使用)。除了使用有關(guān)誰(shuí)上傳照片或誰(shuí)出現(xiàn)在照片中的信息之外，也可以使用有關(guān)照片的附加信息。例如，如果兩張照片在同一相簿中，那么與針對(duì)兩張隨機(jī)選擇的照片的情況相比，可能更有可能同一個(gè)人出現(xiàn)在這些照片中。此外，如果兩張照片是在幾乎相同的時(shí)間和地點(diǎn)拍攝的話，那么與針對(duì)兩張隨機(jī)選擇的照片的情況相比，可能更有可能在這些照片中具有共同的面部。使用社交網(wǎng)絡(luò)和/或交互數(shù)據(jù)來(lái)識(shí)別面部的一種方式是使得面部的視覺(jué)特征以及圍繞面部的社交上下文是文本可搜索的。在創(chuàng)建代表面部特征的矢量時(shí)，可以創(chuàng)建一個(gè)或多個(gè)基于該矢量的文本串。這些文本串可以通過(guò)“位置敏感散列(locality sensitive hash)”來(lái)創(chuàng)建，以致彼此相似的面部具有往往生成相似的文本串集合的矢量。相反，彼此相異的面部往往生成相異的文本串集合。因而，如果Joe面部的照片被分析，那么代表Joe的面部特征的量化的矢量可能是η維矢量〈12. O, 5.6，15.2，…〉。從這個(gè)矢量中生成的文本串集合可能是“eruiuwe dkruiwl dkrudkt”。這些特定字母序列在英語(yǔ)中沒(méi)有特別的意義，但是它們具有可以在以后輔助搜索面部的少量屬性(1)它們采用文本的形式，這使得它們通過(guò)正常的基于文本的索弓I與搜索(text-based index-and-search)技術(shù)是可索引且可搜索的，以及(2)這些字符串可以采用這樣的方式來(lái)創(chuàng)建，即在視覺(jué)上彼此相似的兩個(gè)面部將生成相似的字符串集合。(將明白“文本串”并不限于自然語(yǔ)言中的字符串或使用自然語(yǔ)言的字母數(shù)字表或符號(hào)的字符串；相反，文本串可以指任何的能夠使用文本搜索技術(shù)來(lái)搜索的數(shù)據(jù))。此外，有關(guān)面部的任何已知的社交上下文也可以采用文本串的形式來(lái)表示。例如，如果Joe面部的照片是從由“Bob”上傳的照片中提取的，并且該照片已被標(biāo)記成也包含“Susan”的圖像，而且該照片是由“Mary (瑪麗)”用電子郵件發(fā)送的，那么這些名字也是可以被添加到該照片的表示上的文本。因而，表示照片的字符串可能是“eruiuwe dkruiwl dkrudkt Bob Susan Mary Joe”,其代表(通過(guò)前三項(xiàng))視覺(jué)上已知的有關(guān)面部的內(nèi)容并且也代表(通過(guò)后四項(xiàng))社交上已知的有關(guān)面部的內(nèi)容。(假設(shè)該面部已被明確地識(shí)別為Joe的面部，Joe的名字可以被包括在這個(gè)列表中；但是，理論上，即便沒(méi)有識(shí)別面部，也將有可能創(chuàng)建代表有關(guān)該面部的已知內(nèi)容的文本串。如果知道面部是從Bob上傳的、包含Susan并由Mary用電子郵件發(fā)送的照片中提取的話，即使還不知道什么人屬于那個(gè)面部，這也提供有關(guān)該面部的相關(guān)信息)。注意上述示例顯示用于索引照片的所有數(shù)據(jù)以無(wú)差別的方式被級(jí)聯(lián)在一起。然而，也有可能指定用于給定數(shù)據(jù)片的字段。例如，以上示例中的前三個(gè)文本串可以被指定為“視覺(jué)信息”字段的一部分。Bob可以被列在“上傳者(uploaded-by)”字段中。Susan可以被列在“出現(xiàn)在圖像中(appears-in-image)”字段中。諸如此類。識(shí)別每一個(gè)數(shù)據(jù)片的重要性(significance)可以輔助搜索策略，例如，如果特定搜索策略認(rèn)為 Susan與Joe—起出現(xiàn)在照片中是更為重要的而B(niǎo)ob拍攝該照片是不太重要的，那么可以設(shè)計(jì)利用這些字段的搜索策略。一旦創(chuàng)建了描述面部的視覺(jué)特征和社交上下文的適當(dāng)字符串，面部可以存儲(chǔ)在利用這些字符串索引的數(shù)據(jù)庫(kù)中。利用這些字符串對(duì)面部進(jìn)行的索引使得該面部是文本可搜索的。即，如果分析碰巧與數(shù)據(jù)庫(kù)中的某面部相似的未識(shí)別面部，那么該面部的視覺(jué)分析可能往往產(chǎn)生與數(shù)據(jù)庫(kù)中的面部相關(guān)聯(lián)的一些相同的字符串。此外，如果未識(shí)別的面部來(lái)自類似的社交上下文(例如，如果包含未識(shí)別面部的照片也是由Bob上傳的)，那么這個(gè)社交上下文也將類似于與數(shù)據(jù)庫(kù)中的已知照片相關(guān)聯(lián)的字符串。例如，如果新的照片包含產(chǎn)生視覺(jué)字符串“dkruiwl”(與在先前段落的示例中已知與Joe的面部相關(guān)聯(lián)的字符串之一相同) 的面部，并且該照片是由Bob上傳的，那么可以對(duì)照已知的索引照片的數(shù)據(jù)庫(kù)來(lái)評(píng)價(jià)查詢 "dkruiwl Bob”。數(shù)據(jù)庫(kù)中的面部匹配的項(xiàng)越多(無(wú)論那些項(xiàng)是基于視覺(jué)還是基于社交上下文的字符串)，該面部的分?jǐn)?shù)就將越高。面部的分?jǐn)?shù)越高，就越有可能具有高分的面部與形成該查詢基礎(chǔ)的未知面部相匹配。雖然基于視覺(jué)的字符串可以采用任何方式來(lái)創(chuàng)建，但是創(chuàng)建字符串的一種方式是編碼特定矢量位于若干邊界平面(bounding plane)中的哪一側(cè)邊的二元決策。例如,如果代表面部的矢量是G1, a2,…，an>，那么可以基于諸如a7〈3、a13>6. 2等等的決策點(diǎn)來(lái)創(chuàng)建假定10個(gè)布爾值。在已經(jīng)創(chuàng)建了所有10個(gè)值時(shí)，結(jié)果可以是比特序列(例如，0110001010)， 其中O代表假，而I代表真。這個(gè)比特串可以采用任何適當(dāng)?shù)姆绞竭M(jìn)行文本編碼，從而產(chǎn)生文本串。可以使用若干邊界平面集合，以致每一個(gè)邊界平面集合生成特定的字符串。如果用于創(chuàng)建量化面部特征的矢量的技術(shù)是有效的，那么相似的面部將有可能位于矢量空間中的相似位置。位于矢量空間中的相似位置上的矢量有可能位于若干邊界平面中的相同側(cè)邊上，從而產(chǎn)生至少一些相同的字符串。在將面部存入數(shù)據(jù)庫(kù)并已經(jīng)利用字符串(基于視覺(jué)和基于社交二者的字符串)進(jìn)行索引時(shí)，數(shù)據(jù)庫(kù)可以被查詢以支持各種應(yīng)用。在一個(gè)示例中，數(shù)據(jù)庫(kù)可以被查詢，以搜索特定人的照片。在另一個(gè)示例中，數(shù)據(jù)庫(kù)可以被查詢，以查找與照片中的未知面部相匹配的面部，以便提議用于那個(gè)面部的標(biāo)簽。現(xiàn)在轉(zhuǎn)到附圖，圖I顯示其中可以分析和索引面部的示例系統(tǒng)。照片存儲(chǔ)設(shè)備102 包含照片104的集合。例如，照片存儲(chǔ)設(shè)備可以是位于照片共享站點(diǎn)或社交網(wǎng)站上的照片數(shù)據(jù)庫(kù)，或者可以是位于本地或共享硬盤驅(qū)動(dòng)器上的照片文件的集合。照片爬行器(crawler) 106是從照片存儲(chǔ)設(shè)備102接收照片104并分析照片以便從照片104中提取面部的組件。例如，照片爬行器106可以采用訪問(wèn)照片存儲(chǔ)設(shè)備102中的照片的軟件的形式存在，但是也能夠采用任何適當(dāng)?shù)男问酱嬖?。如下所述，除了接收照片本身之外，照片爬行?06還可以執(zhí)行和/或便于對(duì)于照片進(jìn)行的各種分析。當(dāng)照片爬行器106從照片104中提取面部時(shí)，照片爬行器106將面部108的圖像提供給面部分類器110。面部分類器110是量化圖像中的面部特征并創(chuàng)建代表面部特征的量化的矢量112的組件(例如，軟件組件)。因而，每一個(gè)面部可以利用諸如〈&1，a2,…，an> 之類的η維矢量來(lái)表示。面部分類器110可以將這個(gè)矢量112反向提供給照片爬行器106。當(dāng)照片爬行器接收到矢量112時(shí)，它可以將矢量112提供給矢量分析器114。矢量分析器114可以是基于矢量來(lái)創(chuàng)建字符串的軟件組件。參考上面的討論，矢量分析器114 可以保持若干邊界平面集合，并且可以基于特定矢量相對(duì)于邊界平面所在的位置來(lái)創(chuàng)建字符串，例如，通過(guò)創(chuàng)建用于邊界平面集合的布爾值，并且隨后將布爾值編碼成文本的形式， 如上所述。因而，矢量分析器114可以創(chuàng)建字符串116，并且可以將這些字符串反向提供給照片爬行器106。照片爬行器106隨后具有代表面部的視覺(jué)外觀的一個(gè)或多個(gè)字符串的集
入
口 ο照片搜索器106也可以接收涉及照片的社交數(shù)據(jù)118。(如上所述，社交數(shù)據(jù)118 可以依照適當(dāng)?shù)脑S可和/或披露來(lái)使用，以便維護(hù)和尊重人們的隱私期望)。社交數(shù)據(jù)118 可以包括各種組件。這些組件的示例包括誰(shuí)和誰(shuí)是朋友(方框120)、誰(shuí)屬于相同的網(wǎng)絡(luò)(方框122)、誰(shuí)與誰(shuí)具有工作關(guān)系(方框124)、誰(shuí)拍攝(或上傳或標(biāo)記)誰(shuí)的照片(方框126)、知道哪些人是一起出現(xiàn)在照片中(方框128)、誰(shuí)給誰(shuí)發(fā)送電子郵件(方框130)或任何其他適當(dāng)?shù)男畔ⅰ?br> 這個(gè)社交數(shù)據(jù)118可以被提供給照片爬行器106。照片爬行器隨后可以使用字符串116和社交數(shù)據(jù)118來(lái)創(chuàng)建有關(guān)面部的已知內(nèi)容的文本表示132?！坝嘘P(guān)面部的已知內(nèi)容 (what is known about a face)”可以包括有關(guān)面部的視覺(jué)信息(如利用字符串116所表示的)以及有關(guān)面部的社交上下文信息(如利用社交數(shù)據(jù)118所表示的)。因而，文本表示132 可以包含代表面部特征134的文本以及代表社交上下文136的文本。在搜索索引數(shù)據(jù)庫(kù)138中可以對(duì)每一個(gè)面部(和/或包含一個(gè)或多個(gè)面部的每張照片)編制索引。因而，對(duì)每一個(gè)面部來(lái)說(shuō)，搜索索引數(shù)據(jù)庫(kù)138可以包含與面部相關(guān)聯(lián)的字符串(基于視覺(jué)的字符串和基于社交的字符串二者)。該索引可以將這些字符串與特定的面部和/或照片相關(guān)聯(lián)，從而使得面部和/或照片基于其視覺(jué)和社交特性二者而是文本可搜索的。因而，如果想查找具有特定視覺(jué)特性的面部，那么可以對(duì)表示某些視覺(jué)特性的一個(gè)或多個(gè)字符串執(zhí)行文本搜索。(例如，如果在新照片中已檢測(cè)和分析了面部，并且想搜索數(shù)據(jù)庫(kù)以明白哪些照片與那個(gè)面部相匹配，則這樣的搜索可能出現(xiàn))。或者，如果想查找在特定社交上下文中出現(xiàn)的面部，那么可以對(duì)如同“Bob”、“Susan”等等代表社交上下文的項(xiàng)執(zhí)行文本搜索。在一個(gè)示例中，在搜索中使用兩種類型的字符串，從而允許基于文本的搜索引擎查找與社交和視覺(jué)標(biāo)準(zhǔn)二者特別相關(guān)的面部。圖2顯示其中面部可以利用其視覺(jué)和社交特性來(lái)索引的示例處理。在轉(zhuǎn)到圖2的描述之前，注意這里包含的流程圖(在圖2中和在圖3中)參考圖I所示的組件、通過(guò)示例來(lái)描述，但是這些處理可以在任何系統(tǒng)中完成，并且不限于圖I所示的情景。此外，圖2-3 中的每一個(gè)流程圖顯示其中如利用連接方框的線條所示、利用特定的順序來(lái)完成處理的各個(gè)階段的示例，但是這些圖中顯示的各個(gè)階段能夠以任何的順序或以任何的組合或子組合來(lái)執(zhí)行。至圖2的處理的輸入包括面部202。面部202可以利用任何適當(dāng)?shù)臋C(jī)制來(lái)提供。 例如，面部202可以出現(xiàn)在包含對(duì)象、背景、一個(gè)或多個(gè)面部等等的照片中，并且可以使用已知的處理從那個(gè)照片中進(jìn)行提取?；蛘撸娌?02的圖像可以利用手動(dòng)機(jī)制來(lái)提供(例如，用戶控制圖形程序中的剪貼功能)。面部202可以在大小、顏色平衡等方面被規(guī)范化，以便于面部202的分析。面部202隨后可以被分類(在204)。例如，面部202的分類可以利用面部分類器 110 (如圖I所示)來(lái)執(zhí)行。面部202的分類可以包括面部202的各種可量度特征的分析， 例如，面部的垂直-水平維度之比、耳朵(或鼻子或眼睛)相對(duì)于面部的其他部分的大小、出現(xiàn)在面部中的顏色的評(píng)估(例如，頭發(fā)、眼睛、嘴唇等等)或可以被量化的面部的任何其他方面。一旦量化了面部202的這些方面，可以使用這些參量本身(在206)來(lái)創(chuàng)建矢量112 (其第一次在圖I中引入)。該矢量的特定特性以及矢量中的每一個(gè)分量的重要性可以取決于正在使用的特定面部分類方案。然而，無(wú)論使用的方案如何，源自面部分類處理的矢量112 都可能包含有關(guān)面部的足夠信息，以致視覺(jué)上相似的面部將具有相似的矢量，而在視覺(jué)上彼此相差很大的面部將具有不同的矢量。在208，基于矢量的文本串可以被創(chuàng)建。如上所述，文本表示可以包含字符串的集合，其中每一個(gè)字符串是一個(gè)或多個(gè)平面?zhèn)冗厸Q策(side-of-plane decision)的集合的編碼?？臻g2310顯示如何可以作出這些平面?zhèn)冗厸Q策的示例。為了說(shuō)明，示例空間210被顯示為三維空間。在實(shí)際的空間分類方案中，該矢量可以具有若干打分量，其中這些分量與一樣多的維度相對(duì)應(yīng)。例如，如果面部利用矢量〈a” a2,…，a5(l>來(lái)表示，那么該面部被表示在50維空間中。但是，為了說(shuō)明，所顯示的三維空間210將演示可以如何使用平面?zhèn)冗厸Q策。在空間210中，顯示兩個(gè)平面212和214。點(diǎn)216代表特定矢量在空間210中的位置。因而，如果空間210是所有可能面部的空間，并且如果矢量112 (其代表面部202)被映射到點(diǎn)216，那么點(diǎn)216代表面部202在空間210中的位置。雖然空間210中的每一個(gè)點(diǎn)具有它自己的確切位置，但是為了將面部分類為相似的或不同的，有可能建立等價(jià)類別。相交平面212和214將空間210分成四個(gè)區(qū)域，其中每一個(gè)區(qū)域是一個(gè)等價(jià)類別。因而，為了確定點(diǎn)216在什么類別，可以詢問(wèn)點(diǎn)216是處于平面212之上還是平面212之下以及它是位于平面214的左側(cè)還是右側(cè)。(在實(shí)際的實(shí)現(xiàn)方式中，這些決策將通過(guò)數(shù)學(xué)方式作出，例如，如果平面212和214分別在4和2與X和z軸相交，那么在平面212 “之上”可以被定義為z>4，而在平面214的“右側(cè)”可以被定義為x>2)。因而，點(diǎn)216的位置可以利用布爾陣列{真，真}來(lái)描述，即，“在平面212之上”=真，以及“在平面214的右側(cè)”=真。如果想像一個(gè)50維空間，其中在該空間中每一個(gè)集合的平面?zhèn)冗厸Q策包含假定10個(gè)決策，那么每一個(gè)決策集合的結(jié)果將是10個(gè)布爾值的集合。這些值可以數(shù)字地進(jìn)行編碼(例如，被編碼為O和1)，并且數(shù)字編碼的布爾值陣列隨后能夠被文本編碼，以產(chǎn)生字符串。這個(gè)字符串實(shí)際上代表對(duì)于給定的平面?zhèn)冗厸Q策集合而言特定的面部落入哪一個(gè)等價(jià)類別。如果具有假設(shè)三個(gè)平面?zhèn)冗厸Q策的集合，那么能夠產(chǎn)生三個(gè)單獨(dú)的布爾陣列，這些陣列隨后將被編碼成三個(gè)單獨(dú)的字符串。每一個(gè)字符串代表該面部在給出不同的平面?zhèn)冗厸Q策集合的情況下落入哪一個(gè)等價(jià)類別。如果兩個(gè)面部具有共同的單個(gè)字符串，那么依照一個(gè)平面?zhèn)冗厸Q策集合，它們位于相同的等價(jià)類別中。如果兩個(gè)面部具有三個(gè)共同的字符串，那么它們位于依照三個(gè)平面?zhèn)冗厸Q策集合的相同的等價(jià)類別中(這表明與這些面部?jī)H僅具有一個(gè)共同字符串的情況相比，這些面部可能是更加彼此相似的)。將明白在此上下文中，“平面”指的是η維空間中的(η-i)維表面。在圖2所示的示例中，該空間是三維的，因此“平面”正好是熟悉的二維表面。但是，在較高維數(shù)空間中， “平面”能夠?qū)嶋H上被描述為超平面，例如，在50維空間中，邊界“平面”將實(shí)際上是49維超平面。但是，為了簡(jiǎn)化這里的描述，我們將參考邊界“平面”、“平面?zhèn)冗厸Q策”等等，并且將明白“平面”指的是二維表面，但是其并不局限于此。特別地，這里的權(quán)利要求可能指的是 “平面”和“平面?zhèn)冗叀睕Q策，并且將明白這樣的“平面”指的是任何的能夠?qū)⒖臻g分成區(qū)域的幾何對(duì)象，并且具體地是二維表面，但是并不局限于此。雖然可以采用任何方式來(lái)創(chuàng)建基于矢量的文本串，但在一個(gè)示例中，文本串創(chuàng)建方法包括位置敏感散列218。當(dāng)使用位置敏感散列218時(shí)，在空間上彼此接近的矢量有可能具有相似的字符串，而在空間中彼此遠(yuǎn)離的矢量有可能具有不同的字符串。即，在位置敏感散列中，從不同矢量產(chǎn)生的字符串的相似度與這些矢量的鄰近度是正相關(guān)的。無(wú)論用于創(chuàng)建字符串的技術(shù)如何，在220顯示所創(chuàng)建的實(shí)際字符串的示例。在這個(gè)示例中，被創(chuàng)建來(lái)表示面部的視覺(jué)外觀的字符串包括“ eruiuwe ”、“ dkruiwl ”以及 “dkrudkt”。與基于面部的視覺(jué)外觀的字符串一起，可以包括社交數(shù)據(jù)118。如上所述，社交數(shù)據(jù)可以基于諸如誰(shuí)上傳了照片、誰(shuí)與誰(shuí)一起出現(xiàn)在照片中、誰(shuí)在照片中標(biāo)記了誰(shuí)、是否照片中的人員出現(xiàn)在彼此的聯(lián)系人列表中等等的事實(shí)。(如上所述，這樣的信息可以依照適當(dāng)?shù)脑S可和/或披露來(lái)使用，以便保護(hù)人們對(duì)于其信息的隱私期望)。因而，對(duì)于指定的面部，如果知道包含該面部的照片是由Joe上傳的、該面部在照片中被Bob標(biāo)記、并且Susan也出現(xiàn)在該照片中，那么字符串“Joe”、“Bob”和“Susan”可能與該面部相關(guān)聯(lián)。因而，在將該面部輸入搜索索引數(shù)據(jù)庫(kù)138時(shí),該面部可能與字符串“eruiuwe”、“dkruiwl”、“dkrudkt”、 “Joe”、“Bob”以及“Susan”相關(guān)聯(lián)(在222)。類似地，如果確定某個(gè)人的聯(lián)系人列表(或某一其他類型的列表)對(duì)于該照片提供相關(guān)的社交上下文，那么該列表中的名字(依照上文暗指的適當(dāng)?shù)碾[私披露/許可)可以被擴(kuò)展到字段中，以便可以利用這些名字來(lái)為該照片編制索引。圖3顯示其中利用視覺(jué)和社交標(biāo)準(zhǔn)進(jìn)行索引的面部可以用于提供結(jié)果的示例處理。在302，這些面部被索引?？梢允褂蒙厦娼Y(jié)合圖I和2描述的系統(tǒng)和技術(shù)來(lái)執(zhí)行這個(gè)索引，但是能夠采用任何適當(dāng)?shù)姆绞絹?lái)執(zhí)行該索引。在304，可以接收對(duì)于滿足一定標(biāo)準(zhǔn)的面部的請(qǐng)求。該標(biāo)準(zhǔn)可以是視覺(jué)和/或社交的。該請(qǐng)求可以采用任何方式產(chǎn)生。該請(qǐng)求可以產(chǎn)生的一種示例方式是通過(guò)提議標(biāo)記新的面部(方框306)。因而，如果新的照片被上傳并且尚未標(biāo)記的面部出現(xiàn)在該照片中，那么可以識(shí)別有關(guān)該面部的視覺(jué)和/或社交事實(shí)。視覺(jué)事實(shí)可以是代表面部的視覺(jué)外觀的矢量和 /或代表有關(guān)那個(gè)矢量的平面?zhèn)冗厸Q策的字符串(如上所述)。社交事實(shí)可以從照片或從圍繞照片上傳的環(huán)境(例如，誰(shuí)出現(xiàn)在照片中，誰(shuí)上傳了照片，誰(shuí)標(biāo)記了照片中的其他人等等) 中導(dǎo)出。有關(guān)該面部的這些視覺(jué)和社交事實(shí)可以用于查找為該面部所提議的身份(例如，通過(guò)查找好像是同一個(gè)人并且其身份是已知的面部)。請(qǐng)求可以產(chǎn)生的另一示例方式是查找指定人的照片(方框308)。因而，如果未識(shí)別的面部出現(xiàn)在照片中，那么能夠試圖查找同一個(gè)人的其他面部。無(wú)論請(qǐng)求產(chǎn)生的方式怎樣，都可以基于請(qǐng)求來(lái)形成文本查詢(在310)。因而，如果已從照片中提取面部，并且如果目標(biāo)是查找可能是與那個(gè)面部相同的人，那么可以創(chuàng)建從有關(guān)該面部的視覺(jué)和社交事實(shí)二者中導(dǎo)出的字符串，并且可以基于那些字符串來(lái)形成查詢。因而，如果面部的視覺(jué)元素利用字符串“eruiuwe”、“dkruiwl ”和“dkrudkt ”來(lái)表示， 并且面部的社交元素利用“Joe”、“Bob”和“Susan”來(lái)表示，那么可以形成查詢“eruiuwe dkruiwl dkrudkt Joe Bob Susan”。取決于將如何評(píng)估文本查詢,不同的變異是可能的。在一個(gè)示例中，如果任一查詢項(xiàng)與某個(gè)結(jié)果相關(guān)聯(lián)，那么可以認(rèn)為那個(gè)結(jié)果與該查詢相匹配， 因此僅與字符串“dkrudkt”相關(guān)聯(lián)的面部將與上面的查詢相匹配。在另一示例中，除非另有規(guī)定，否則所有的項(xiàng)可以被假定是結(jié)合的。因而，為了允許面部在它具有一些與查詢共同的視覺(jué)和社交特征時(shí)與該查詢相匹配，該查詢可以被形成為“(eruiuwe OR dkruiwl OR dkrudkt) AND (Joe OR Bob OR Susan)”。在另一個(gè)示例中，可以規(guī)定加權(quán)，以致能夠?qū)⒃摬樵兊哪承┨囟ǚ矫?例如，視覺(jué)方面)比其他方面更重地加權(quán)。因而，如果查詢處理系統(tǒng)允許顯性加權(quán)(explicit weighting),那么該查詢可以被形成為“2. 5*(eruiuwe OR dkruiwl OR dkrudkt) AND I. 0* (Joe OR Bob OR Susan) ”,從而表明視覺(jué)特征之一上的匹配的重要性是社交特征上的匹配的2. 5倍。(或者，特定特征的加權(quán)可以被構(gòu)建在查詢處理器的記分算法中，而不是使得加權(quán)是顯性的)。
在312，使用查詢，可以對(duì)索引的面部/照片執(zhí)行文本搜索。在314，基于查詢的結(jié)果可以被接收。在一個(gè)示例中，這些結(jié)果可以是排名次序，以致似乎與查詢相匹配的結(jié)果緊鄰結(jié)果的頂部出現(xiàn)，而與該查詢不太匹配的結(jié)果出現(xiàn)在底部附近。因而，在上面的示例中， 與許多搜索項(xiàng)(或許多重加權(quán)的搜索項(xiàng))相關(guān)聯(lián)的面部可能排在頂部附近，而與較少的搜索項(xiàng)相關(guān)聯(lián)的面部則可能排在底部附近。在一個(gè)示例中，結(jié)果的排名可以通過(guò)后查詢動(dòng)作 (post-query action)來(lái)完成。因而，可以執(zhí)行文本搜索，以識(shí)別滿足該查詢的照片，但是在這些結(jié)果之中，結(jié)果的實(shí)際排名可以通過(guò)該查詢與每一個(gè)結(jié)果之間的矢量比較來(lái)完成。例如，可以創(chuàng)建矢量來(lái)代表查詢中的項(xiàng)以及每一個(gè)搜索結(jié)果的頻率，并且這些結(jié)果可以按照結(jié)果的矢量與查詢矢量之間余弦的遞減順序進(jìn)行排名(盡管其他類型的矢量比較也是可能的)。在另一個(gè)示例中，結(jié)果的排名可以基于該查詢中有多少個(gè)字符串與用于索引照片的字符串相匹配，例如，與該查詢中較大數(shù)量的字符串相匹配的照片可以接收到比與較少數(shù)量的字符串相匹配的照片更高的排名。在316，基于這些結(jié)果，可以采取切實(shí)的行動(dòng)。例如，這些結(jié)果可以用于提議用于照片中尚未識(shí)別的面部的標(biāo)簽(方框318)。這樣的提議可以通過(guò)確定在結(jié)果中排名高的哪些面部與已知人員相關(guān)聯(lián)并提供允許用戶從已知人員的那個(gè)列表中選擇用于尚且未知的面部的標(biāo)簽的菜單來(lái)運(yùn)作。人員的列表可以按照排名的順序來(lái)呈現(xiàn)，以致與高排名的搜索結(jié)果相關(guān)聯(lián)的人員將在與較低排名的搜索結(jié)果相關(guān)聯(lián)的人員之前進(jìn)行呈現(xiàn)。作為在316執(zhí)行的行動(dòng)的另一個(gè)示例，似乎與未識(shí)別面部相匹配的照片可以被顯示給用戶(在320)。例如，如果新的照片包含未識(shí)別的面部，那么可以從那個(gè)面部獲得視覺(jué)和社交特征，并將這些特征編碼到文本串中。這些文本字符串隨后可以在查詢中進(jìn)行使用， 以搜索已知面部的數(shù)據(jù)庫(kù)。基于查詢中的社交和視覺(jué)標(biāo)準(zhǔn)二者，能夠從數(shù)據(jù)庫(kù)中檢索可能是與未識(shí)別面部相同的面部，并且可以將其顯示給用戶。用戶隨后可以被要求確認(rèn)是否檢索到的面部是與未識(shí)別面部相同的一個(gè)人。一般來(lái)說(shuō)，在316采取的行動(dòng)可以基于這些結(jié)果之中特定面部的包括和/或基于那個(gè)面部在這些結(jié)果內(nèi)的排名。圖4顯示其中可以部署這里描述的主題的各方面的示例環(huán)境。計(jì)算機(jī)400包括一個(gè)或多個(gè)處理器402和一個(gè)或多個(gè)數(shù)據(jù)記憶組件404。一個(gè)或多個(gè)處理器402通常是微處理器，諸如在個(gè)人臺(tái)式計(jì)算機(jī)或膝上型計(jì)算機(jī)、服務(wù)器、手持計(jì)算機(jī)或另一類型的計(jì)算設(shè)備中找到的微處理器。一個(gè)或多個(gè)數(shù)據(jù)記憶組件404是能夠或短期或長(zhǎng)期存儲(chǔ)數(shù)據(jù)的組件。一個(gè)或多個(gè)數(shù)據(jù)記憶組件404的示例包括硬盤、可移動(dòng)盤(包括光盤和磁盤)、易失性和非易失性隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、閃存、磁帶等等。一個(gè)或多個(gè)數(shù)據(jù)記憶組件是計(jì)算機(jī)可讀存儲(chǔ)媒體的示例。計(jì)算機(jī)400可以包括顯示器412或者與顯示器412相關(guān)聯(lián)，其中顯示器可以是陰極射線管(CRT)監(jiān)視器、液晶顯示器 (IXD)監(jiān)視器或任何其他類型的監(jiān)視器。軟件可以存儲(chǔ)在一個(gè)或多個(gè)數(shù)據(jù)記憶組件404中，并且可以運(yùn)行在一個(gè)或多個(gè)處理器402上。這樣的軟件的示例是視覺(jué)和/或社交面部處理軟件406，其可以實(shí)現(xiàn)上面結(jié)合圖1-3描述的一些或所有的功能，但是任何類型的軟件都能夠被使用。例如，軟件406可以通過(guò)一個(gè)或多個(gè)組件來(lái)實(shí)現(xiàn)，其中這一個(gè)或多個(gè)組件可以是分布式系統(tǒng)中的組件、單獨(dú)的文件、單獨(dú)的功能、單獨(dú)的對(duì)象、單獨(dú)的代碼行等等。其中程序被存儲(chǔ)在硬盤上、被加載到 RAM中并被運(yùn)行在一個(gè)或多個(gè)計(jì)算機(jī)的處理器上的計(jì)算機(jī)(例如，個(gè)人計(jì)算機(jī)、服務(wù)器計(jì)算機(jī)、手持計(jì)算機(jī)等等)代表圖4中描繪的情景，但是這里描述的主題并不限于這個(gè)示例。這里描述的主題能夠被實(shí)現(xiàn)為存儲(chǔ)在一個(gè)或多個(gè)數(shù)據(jù)記憶組件404中并運(yùn)行在一個(gè)或多個(gè)處理器402上的軟件。作為另一個(gè)示例，該主題能夠被實(shí)現(xiàn)為存儲(chǔ)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒體中的指令。諸如光盤或磁盤之類的有形媒體是存儲(chǔ)媒體的示例。這些指令可以存在于非臨時(shí)媒體上。這樣的指令當(dāng)由計(jì)算機(jī)或其他機(jī)器運(yùn)行時(shí)可以導(dǎo)致計(jì)算機(jī)或其他機(jī)器執(zhí)行方法的一個(gè)或多個(gè)動(dòng)作。執(zhí)行這些動(dòng)作的指令可以存儲(chǔ)在一個(gè)介質(zhì)上， 或者可以被展開(kāi)在多個(gè)媒體上，以致這些指令可能一起出現(xiàn)在一個(gè)或多個(gè)計(jì)算機(jī)可讀存儲(chǔ)媒體上，而不管所有的這些指令是否正好在同一介質(zhì)上。注意作為對(duì)比，在其上“存儲(chǔ)”信號(hào)的媒體(其可以被稱為“存儲(chǔ)媒體”)與包含或發(fā)送傳播信號(hào)的媒體之間是存在區(qū)別的。 DVD、閃存、磁盤等等是存儲(chǔ)媒體的示例。另一方面，信號(hào)瞬時(shí)存在于其上的線路或光纖是短暫信號(hào)媒體的示例。此外，這里描述的任何動(dòng)作(無(wú)論是否在圖中顯示)可以作為方法的一部分由處理器(例如，一個(gè)或多個(gè)處理器402)來(lái)執(zhí)行。因而，如果在這里描述動(dòng)作A、B和C，那么可以執(zhí)行包括動(dòng)作A、B和C的方法。此外，如果在這里描述動(dòng)作A、B和C，那么可以執(zhí)行包括使用處理器來(lái)執(zhí)行動(dòng)作A、B和C的方法。在一個(gè)示例環(huán)境中，計(jì)算機(jī)400可以通過(guò)網(wǎng)絡(luò)408通信地連接到一個(gè)或多個(gè)其他設(shè)備。在結(jié)構(gòu)上與計(jì)算機(jī)400相類似的計(jì)算機(jī)410是可以連接到計(jì)算機(jī)400的設(shè)備的示例， 但是其他類型的設(shè)備也可以如此進(jìn)行連接。雖然采用特定于結(jié)構(gòu)特征和/或方法論的行為的語(yǔ)言描述了本主題，但是將明白在所附的權(quán)利要求書(shū)中定義的主題不一定限于上述的具體特征或動(dòng)作。相反，上述的具體特征和動(dòng)作被披露為實(shí)現(xiàn)這些權(quán)利要求的示例形式。
權(quán)利要求
1.一種基于視覺(jué)和社交數(shù)據(jù)來(lái)索引面部的方法，該方法包括分析(204)第一面部(202)的圖像，以產(chǎn)生量化所述第一面部(202)的特征的矢量 (112)；創(chuàng)建(208)表示所述矢量(112)的一個(gè)或多個(gè)第一文本串(220)；獲得與所述第一面部(202)出現(xiàn)在其中的第一照片有關(guān)的社交數(shù)據(jù)(118)；將所述第一面部(202)與所述一個(gè)或多個(gè)第一文本串(220)以及所述社交數(shù)據(jù)(118) 相關(guān)聯(lián)；以及將所述第一面部與所述一個(gè)或多個(gè)第一文本串(220 )以及所述社交數(shù)據(jù)(118 )相關(guān)聯(lián)存儲(chǔ)在數(shù)據(jù)庫(kù)(138)中。
2.權(quán)利要求I的方法，其中所述一個(gè)或多個(gè)第一文本串的所述創(chuàng)建包括使用位置敏感散列，其生成文本串，以致為矢量生成的文本串的相似度與所述矢量的鄰近度正相關(guān)。
3.權(quán)利要求I的方法，其中所述一個(gè)或多個(gè)第一文本串的所述創(chuàng)建包括在所述矢量存在于其中的空間中定義第一平面集合；確定所述矢量位于所述平面中的每一個(gè)平面的哪一側(cè)邊；和在文本串中編碼所述矢量位于所述平面中的每一個(gè)平面的哪一側(cè)邊，所述文本串是所述一個(gè)或多個(gè)第一文本串之一。
4.權(quán)利要求3的方法，進(jìn)一步包括定義多個(gè)平面集合，所述第一平面集合是所述多個(gè)平面集合之一；以及基于對(duì)于所述多個(gè)平面集合中的每一個(gè)平面集合的平面?zhèn)冗厸Q策，創(chuàng)建單獨(dú)的文本串。
5.權(quán)利要求I的方法，其中所述社交數(shù)據(jù)包括誰(shuí)已上傳了所述第一照片，其中所述第一面部在所述數(shù)據(jù)庫(kù)中利用所述一個(gè)或多個(gè)第一文本串和利用已上傳所述第一照片的人員的名字來(lái)索引。
6.權(quán)利要求I的方法，其中所述動(dòng)作進(jìn)一步包括接收第二面部的圖像；基于所述第二面部的視覺(jué)外觀，創(chuàng)建一個(gè)或多個(gè)第二文本串；從所述第二面部出現(xiàn)在其中的第二照片中獲得社交數(shù)據(jù)；創(chuàng)建包括所述一個(gè)或多個(gè)第二文本串和所述社交數(shù)據(jù)的文本查詢；基于所述查詢，獲得包括所述第一面部的結(jié)果的集合，其中在所述結(jié)果中包括所述第一面部是以利用在所述查詢中的項(xiàng)進(jìn)行索引的所述第一面部為基礎(chǔ)的；以及基于所述結(jié)果，執(zhí)行動(dòng)作。
7.一種計(jì)算機(jī)可讀介質(zhì)，其具有計(jì)算機(jī)可執(zhí)行指令來(lái)執(zhí)行權(quán)利要求1-6之中任一權(quán)利要求的方法。
8.一種用于基于視覺(jué)和社交數(shù)據(jù)來(lái)識(shí)別第一面部的系統(tǒng)，該系統(tǒng)包括存儲(chǔ)器(404)；處理器(402)；數(shù)據(jù)庫(kù)(138)，其存儲(chǔ)面部(202)，其中所述面部利用代表所述面部(202)的視覺(jué)特性的文本串(220)并且也利用與所述面部(202)相關(guān)的社交數(shù)據(jù)(118)來(lái)索引；和面部處理組件(406)，其接收所述第一面部的圖像、創(chuàng)建表示所述第一面部的視覺(jué)外觀的矢量(112)、創(chuàng)建表示所述矢量(112)的一個(gè)或多個(gè)文本串(220)、獲得與所述第一面部出現(xiàn)在其中的照片相關(guān)的社交數(shù)據(jù)(118)、形成包括所述一個(gè)或多個(gè)文本串(220)與所述社交數(shù)據(jù)(118)的查詢(310)、從所述數(shù)據(jù)庫(kù)(138)中獲得基于所述查詢(304)的結(jié)果以及基于所述結(jié)果采取行動(dòng)(316)，其中所述結(jié)果包括第二面部。
9.權(quán)利要求8的系統(tǒng)，其中所述行動(dòng)包括提議與所述第二面部相關(guān)聯(lián)的身份作為所述第一面部的標(biāo)簽，或者指示所述第二面部屬于與所述第一面部相同的一個(gè)人。
10.權(quán)利要求8的系統(tǒng)，其中從與從所述面部的視覺(jué)特性中導(dǎo)出的矢量有關(guān)的平面?zhèn)冗厸Q策中導(dǎo)出在所述數(shù)據(jù)庫(kù)中用于索引所述面部的所述文本串。
全文摘要
可以使用視覺(jué)和社交標(biāo)準(zhǔn)來(lái)索引和識(shí)別面部。在一個(gè)示例中，面部的視覺(jué)特征被量化，并且這些特征的量化以矢量來(lái)表示。矢量的各方面隨后以文本串的形式來(lái)表示。圍繞面部的社交上下文也以文本串的形式來(lái)表示。這些文本串即基于視覺(jué)的字符串和/或基于社交的字符串二者與面部相關(guān)聯(lián)，并且被存儲(chǔ)在索引中。這些字符串與面部的相關(guān)聯(lián)性隨后可以使得該面部在其視覺(jué)和社交特征方面是文本可搜索的。對(duì)這些視覺(jué)和/或社交特征的搜索可以用于協(xié)助識(shí)別新的面部的圖像或提議標(biāo)簽，以便用戶應(yīng)用于照片。
文檔編號(hào)G06F17/30GK102609434SQ201110429238
公開(kāi)日2012年7月25日 申請(qǐng)日期2011年12月20日 優(yōu)先權(quán)日2010年12月20日
發(fā)明者B.多德森, C.韋布斯特, D.尼科爾斯, J.斯卡里亞 申請(qǐng)人:微軟公司