采用拖延期的視頻流的姿勢預處理來減少平臺功率的制作方法
【專利摘要】公開的技術用于處理視頻流以通過采用分步的分布式流水線過程來減少平臺功率，其中選擇性地執(zhí)行CPU密集處理。在一個示例情況下，這些技術在用戶的計算機系統(tǒng)中實現(xiàn)，其中初始閾值檢測部件（圖像擾動）和用戶存在（例如，手部圖像）處理部件（可選地）接近或在系統(tǒng)的相機內，并且相機位于或接近系統(tǒng)的主顯示器。閾值檢測級和/或目標存在級可以在拖延期被選擇性禁用。例如，拖延期可以在50到1000毫秒的范圍中并且響應于系統(tǒng)的用戶不可能作出導航姿勢或系統(tǒng)沒準備好處理視頻的指示而被觸發(fā)，因此通過避免沒有導航姿勢的視頻幀的處理來保存功率。
【專利說明】采用拖延期的視頻流的姿勢預處理來減少平臺功率
【背景技術】
[0001]最終用戶的大多數(shù)計算機使用將最終用戶連接到因特網(wǎng)，并且通過瀏覽接口發(fā)生。常見使用和活動包括例如基于搜索引擎的瀏覽、電子郵件、社交網(wǎng)絡、內容消費(例如，新聞文章和視頻觀看)、內容共享(例如，照片、音樂等)、在線購物和購買、以及地圖和方向，只列出一些。這樣的常見因特網(wǎng)使用通常需要某個形式的基于用戶的導航，例如典型地用鼠標或觸摸板和關鍵詞完成的導航。
[0002]在改進用戶導航體驗的努力中，已經(jīng)產生基于姿勢(gesture)的導航技術。特別地，用戶手部運動可以由所謂的網(wǎng)絡相機(webcam)記錄并且轉化成指針運動。結合網(wǎng)絡相機操作的典型的基于姿勢的導航應用能夠模仿通常用常規(guī)鼠標或觸摸板執(zhí)行的動作:單擊、雙擊、拖拉和滾動。用戶還可使用頭部運動來控制計算機或以其它方式影響導航。存在兩個使用相機實現(xiàn)人體姿勢的基本方法:使用具有所謂的標記的對象的姿勢(其中在視場中部署的標記與相機傳感器交互)，以及無標記的姿勢(例如無標記的手勢)。可以使用典型用于大約3到5米(m)范圍中的觀察距離的三維或3D相機(具有Z深度)，或典型用于在大約0.5m范圍中的觀察距離的兩維或2D相機(從2D信息解釋3D運動)，來實現(xiàn)無標記的姿勢技術。
[0003]計算環(huán)境(例如，桌上型計算機或工作站、膝上型計算機或平板計算機、或游戲控制臺)中的圖形處理通常需要多個復雜操作。這樣的操作包括例如關于確保圖像被適當并及時渲染的那些、以及關于姿勢識別的那些。存在出現(xiàn)在這樣的操作的上下文中的多個重要的問題。

【發(fā)明內容】

[0004]本發(fā)明一方面提供一種用于處理原始視頻流的系統(tǒng)。該系統(tǒng)包括:閾值檢測級，配置為確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，所述閾值檢測級還配置為停止后續(xù)級對所述當前幀的進一步處理；以及目標存在級，配置為確定所述當前幀是否包括膚色顏色的(colored)像素，并且響應于所述當前幀不包括膚色顏色的像素，所述目標存在級還配置為停止后續(xù)級對所述當前幀的進一步處理；其中所述閾值檢測級和/或目標存在級中的至少一個能夠在拖延期(hold-off period)被選擇性禁用。
[0005]本發(fā)明另一方面提供一種用于處理原始視頻流的系統(tǒng)。該系統(tǒng)包括:閾值檢測級，配置為確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，所述閾值檢測級還配置為停止后續(xù)級對所述當前幀的進一步處理；目標存在級，配置為確定所述當前幀是否包括膚色顏色的像素，并且響應于所述當前幀不包括膚色顏色的像素，所述目標存在級還配置為停止后續(xù)級對所述當前幀的進一步處理；分割級，配置為接收來自所述當前幀的數(shù)據(jù)，并且將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進制大對象(blob)并且不感興趣的像素由非二進制大對象表示；手部分析器(parser)級，配置為執(zhí)行從所述分割級接收的二進制大對象數(shù)據(jù)的空間解釋；以及姿勢識別級，配置為執(zhí)行從所述手部分析器級接收的二進制大對象數(shù)據(jù)的時間解釋并且識別用戶基于手部的導航姿勢；其中所述閾值檢測級、目標存在級、分割級、分析器級和姿勢識別級以分步的(St印ped)分布式布置進行配置，并且所述閾值檢測級和/或所述目標存在級中的至少一個能夠在拖延期被選擇性禁用。
[0006]本發(fā)明又一方面提供一種使用原始視頻流的計算機導航方法。該方法包括:在第一處理級處確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，停止后續(xù)級對所述當前幀的進一步處理；以及在第二處理級處確定所述當前幀是否包括膚色顏色的像素，并且響應于所述當前幀不包括膚色顏色的像素，停止后續(xù)級對所述當前幀的進一步處理；其中所述第一和第二處理級中的至少一個能夠在拖延期被選擇性禁用，所述拖延期在50到1000毫秒的范圍中并且響應于沒有作出導航姿勢的指示而被觸發(fā)，因此通過避免沒有導航姿勢的視頻幀的處理來保存功率。
【專利附圖】

【附圖說明】
[0007]圖1a根據(jù)本發(fā)明的實施例用圖形圖示用于實施視頻流的姿勢預處理來減少平臺功耗的分步的分布式過程。
[0008]圖1b根據(jù)本發(fā)明的實施例圖示圖1a中分步的分布式過程的流程圖。
[0009]圖2a根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的系統(tǒng)的框圖。
[0010]圖2b根據(jù)本發(fā)明的實施例圖示來自圖2a中示出的系統(tǒng)的不同級(stage)的控制和數(shù)據(jù)流。
[0011]圖2c根據(jù)本發(fā)明的實施例示出用于過程中每個的典型CPU利用(給定特定計算系統(tǒng)設置)，并且因此示范可以通過使用視頻流過程的分步的分布式姿勢預處理而具有的改進潛力。
[0012]圖3a根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的示例使用情形。
[0013]圖3b-圖3e根據(jù)本發(fā)明的實施例各自圖示相機和GP電路的示例布置。
[0014]圖4根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的框圖。
[0015]圖5根據(jù)本發(fā)明的另一實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的框圖。
[0016]圖6根據(jù)本發(fā)明的另一實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的框圖。
[0017]圖7根據(jù)本發(fā)明的實施例圖示可以減少多少平臺功耗的示例。
[0018]圖8根據(jù)本發(fā)明的另一實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的應用編程接口(API)的框圖。
[0019]圖9圖示根據(jù)本發(fā)明的實施例配置的媒體系統(tǒng)。
[0020]圖10圖示根據(jù)本發(fā)明的實施例配置的移動計算系統(tǒng)?！揪唧w實施方式】
[0021]公開的技術用于通過采用分步的分布式流水線(pipeline)過程來處理視頻流以減少平臺功率，其中選擇性地執(zhí)行CPU密集處理。根據(jù)一些實施例，這些技術特別地適用于視頻流的有效的基于手部的導航姿勢處理。該過程的分步的分布式特性允許減小在圖像處理之前將圖像數(shù)據(jù)從給定相機傳遞到存儲器所需的功率。在一個示例情況下，例如，在用戶的計算機系統(tǒng)中實現(xiàn)這些技術，其中初始閾值檢測(圖像擾動)部件和用戶存在(手部圖像)處理部件(可選地)接近或在系統(tǒng)的相機內，并且相機位于或接近系統(tǒng)的主顯示器。這些技術還可包括當用戶擺姿勢的手部忙于一些其它用戶活動(例如，鍵盤、鼠標或觸摸屏活動)時，通過在姿勢預處理期間選擇性地引入拖延期來減少圖像處理。當計算機系統(tǒng)檢測到這樣的活動時，可以安全地推斷基于手部的導航擺姿勢未被同時實施，并且因此圖像處理可以在那些無姿勢期期間以及在隨后簡短的拖延期(例如，50到1000毫秒(mSec)、或50到500毫秒、或50到100毫秒)停止，拖延期通常反映用戶將他/她的手部從鼠標/鍵盤/屏幕位置移回到通常實施基于手部的導航擺姿勢的中間位置所花費的時間段。這樣的停止可以被選擇性地使用，例如只當計算機系統(tǒng)在電池或以其它方式受限的功率上操作時。例如，計算機系統(tǒng)可以是具有在系統(tǒng)內部和/或外部的顯示器和相機的任何移動或固定計算系統(tǒng)。在一些情況下，這個中間位置的定位可以是用戶可配置的。
[0022]一般概沭
如先前解釋的，存在出現(xiàn)在圖形處理的上下文中的多個重要的問題，特別是關于姿勢識別。例如，執(zhí)行姿勢識別的典型2D和3D視頻圖像處理的工作量消耗相對大量的輸入/輸出(IO)功率，并且對中央處理單元(CPU)利用和平臺熱設計功率(有時被稱作TDP)預算作出最大貢獻(max out)。在相機“總是打開”并提供圖像用于處理并且因此即使在視覺圖像內沒有相關事情發(fā)生也消耗功率的應用中，這樣的問題加劇了。例如，捕獲圖像信息并且將它推送到CPU用于處理可以輕易消耗超過10瓦，即使對于簡單姿勢或以其它方式在計算上簡單的任務。大多數(shù)圖像處理工作量通常包括在計算上更復雜的任務并且以可用的最大視頻處理能力或接近可用的最大視頻處理能力來操作，并且內在地由CPU利用和功率預算限制。因此，圖像處理應用可以消耗所有可用的CPU周期，不留下或以其它方式留下不充分的CPU處理能力用于其它應用。相機功率本身是在圖像處理之前將圖像數(shù)據(jù)從相機傳遞到存儲器所需的視頻捕獲功率(包括平臺控制器中心、CPU、和存儲器功率)的相對小的部分。圖像處理算法由這些因素有效地自我限制并且將消耗多得多的功率(如果它可用)。例如，典型的算法將幀速率自我限制到15幀每秒(FPS)，當更好的識別將以更高的FPS發(fā)生時。因此，有可能可以用視頻圖像處理來消耗最大平臺功率，即使當沒有將被分析的感興趣的影像(imagery)(例如，擺姿勢等)時。
[0023]因此，并且根據(jù)本發(fā)明的實施例，公開用于處理視頻流來減少平臺功率的技術。雖然可關于處理任何類型的視頻內容來使用這些技術，但是根據(jù)一些實施例，它們特別適用于視頻流的有效的基于手部的導航姿勢處理?？梢杂梅植降姆植际椒绞絹韺崿F(xiàn)這些技術，使得極大減少在圖像處理之前將圖像數(shù)據(jù)從給定相機傳遞到存儲器所需的功率。例如，在一個示例情況下，在用戶的計算機系統(tǒng)中實現(xiàn)這些技術，其中預處理部件接近或位于系統(tǒng)的相機內，并且相機位于或接近系統(tǒng)的主顯示器。在一些這樣的實施例中，這些技術還包括通過在姿勢預處理期間選擇性地引入拖延期來減少圖像處理。更詳細地，當用戶的手部忙于一些其它基于用戶接口的活動(例如，基于鍵盤或鼠標或觸摸屏的活動)時，可以識別沒有基于手部的導航姿勢的時期。當由計算機系統(tǒng)檢測到這樣的活動時，可以安全地推斷基于手部的導航擺姿勢未被同時實施，并且因此圖像處理可以在無姿勢期期間以及在隨后簡短的拖延期(例如，50到500毫秒)被停止，拖延期通常反映用戶將他/她的手部從鼠標/鍵盤/屏幕移回到通常實施基于手部的導航擺姿勢的中間位置所花費的時間段。這樣的停止可被選擇性地使用，例如只當計算機系統(tǒng)在電池功率上操作時。當在外部電源上操作時，則拖延期可以根據(jù)一些實施例而被設置為零來提供瞬時響應性，這是某些應用(例如，基于手勢的游戲)期望的。
[0024]例如，計算機系統(tǒng)可以是膝上型計算機或上網(wǎng)本(其中顯示器是翻蓋(Iid)類型顯示器)、或桌上型計算機或工作站計算機或游戲控制臺(其中顯示器是外部顯示器)、或平板計算機或智能電話(其中顯示器是用戶接口和計算系統(tǒng)的殼體的完整部分)。例如，顯示器可以是IXD或CRT、或觸摸屏顯示器，并且可與計算裝置一體化(例如，平板計算機、膝上型計算機、移動電話)或在計算裝置外部(例如，桌上型計算機、膝上型計算機或平板計算機)。例如，相機可以是單個2D相機或網(wǎng)絡相機，雖然可使用任何合適的相機技術，包括3D相機或所謂的立體相機對，并且可與計算裝置和/或顯示器一體化或在外部。
[0025]根據(jù)一個示例實施例，預處理部件包括閾值檢測級、目標存在級、分割級、手部分析器級和姿勢識別級。閾值檢測級通常配置為確定視頻幀是否實際上是空的。如果幀不是空的或已經(jīng)以有意義的方式從最后幀改變，則處理轉到目標存在級，目標存在級配置為找到作為目標的像素顏色(具體地是顏色匹配膚色特性的像素)。如果找到充分的皮膚顏色的像素來暗示可能存在手指，則處理轉到分割級，分割級配置為將感興趣的像素與不感興趣的像素分開并且因此可以作為自適應膚色檢測級(膚色/非膚色邊緣檢測)操作。在一個示例配置中，這一級將彩色視頻幀轉換成二進制大對象(blob)圖像，其可以被編碼為單色或灰度級圖像。二進制大對象用來表示皮膚顏色的像素的區(qū)域。根據(jù)一些示例實施例，這一級也配置成糾正相機噪聲和照明差別，并且使用腐蝕和放大變形方法來平滑二進制大對象。
[0026]手部分析器級配置為執(zhí)行由分割級產生的二進制大對象數(shù)據(jù)的空間解釋，并且嘗試將二進制大對象數(shù)據(jù)映射到人體解剖幾何形狀。根據(jù)實施例，相關性選擇極大取決于使用情形和關于實施導航姿勢的人的相機觀看角度的假設。取決于場景，有時只需要邊緣數(shù)據(jù)，有時需要填充的二進制大對象數(shù)據(jù)，并且有時需要有關節(jié)的手部模型。如將領會到的，取決于正被成像的主體部分的復雜性，解剖學上具體的分析可能難以概括并且因此難以放入固定功能件解決方案。然而，在這個使用情形中，可以在手部分析器級檢測手指，例如通過分析手部二進制大對象的邊緣。例如，手部分析器級可配置用于比較邊緣的斜率來識別峰值(指尖)的位置。根據(jù)一些示例實施例，拇指和食指可以位于手部二進制大對象內，并且這些手指可以用作姿勢識別任務的目標。姿勢識別級配置為執(zhí)行由手部分析器級生成的解剖/手部數(shù)據(jù)的時間解釋。例如，如果姿勢識別級用來檢測鼠標等效的操作，則它可查找用戶的指尖和/或手部的位置改變。
[0027]注意，不是所有這五個預處理級必須接近或在計算系統(tǒng)的相機內。也不是它們所有必須處于或接近計算系統(tǒng)的顯示器來實現(xiàn)功率節(jié)省。例如，如將根據(jù)本公開所領會的，如果閾值檢測級和目標存在級是在接近顯示器的相機傳感器中實現(xiàn)的僅有級，并且剩下的級被實現(xiàn)在CPU中(例如，作為又將討論的姿勢API的一部分)，則這樣的實施例仍然會實現(xiàn)可觀的功率節(jié)省。而且，不同的使用模型可指示不同的實現(xiàn)策略。例如，可期望具有兩個模式操作:用于因特網(wǎng)導航(涉及相對低復雜性姿勢的更隨意使用)的2D模式，以及用于更密集的應用(例如，可涉及相對高復雜性姿勢的CAD操縱、Photoshop)的3D模式。在這樣的實施例中，2D模式可全部在相機傳感器中執(zhí)行(以增加的相機成本為代價)，而3D模式可在相機傳感器中執(zhí)行前兩個或三個級并且然后將原始圖像數(shù)據(jù)上傳到姿勢API用于由計算系統(tǒng)的CPU執(zhí)行的姿勢處理步驟(或將那個原始圖像數(shù)據(jù)傳到專用軟件應用)。在2D和3D模式兩者中，實現(xiàn)功率節(jié)省，尤其是當相機的視場(FOV)內沒有出現(xiàn)感興趣的事情時。
[0028]在一些實施例中，各種分步的分布式預處理部件到計算機系統(tǒng)的邏輯連接被實現(xiàn)為姿勢應用編程接口(在下文中稱為“姿勢API”)。例如，根據(jù)一些實施例，姿勢API可呈現(xiàn)為擴展的通用串行總線人接口(USB HID)類裝置。一般而言，姿勢API有效地暴露來自各種預處理級(閾值檢測、目標存在、分割、手部分析器和姿勢識別)的信息，以使這樣的信息可以由計算系統(tǒng)的其它部分利用，如果這樣期望的話。在一些實施例中，API還可被編程或以其它方式配置為包括安全/隱私政策以便防止例如來自視頻流的不安全信息接入到計算系統(tǒng)的CPU或其它資源。
[0029]如將根據(jù)本公開領會的，本文提供的姿勢預處理視頻流技術可用于任何數(shù)量的應用，包括改進基于手勢的因特網(wǎng)導航以及基于手勢的計算機導航?？梢詰眠@些技術的一個具體這樣的應用是在大約0.5m的距離處使用2D相機的無標記手勢識別。然而，這些技術可應用于包括基于3D的應用的許多其它應用，如果這樣期望的話。根據(jù)本公開許多使用模型將是顯而易見的，例如桌子或用戶的膝部或公園長凳上的筆記本計算機或上網(wǎng)本、在家或辦公室的具有一個或多個外部顯示器的桌上型計算機或筆記本計算機或上網(wǎng)本、在工作/臥室環(huán)境中的桌上型計算機或筆記本計算機或上網(wǎng)本、咖啡館桌上的筆記本計算機或上網(wǎng)本、會議室桌上的筆記本計算機或上網(wǎng)本、飛機托盤頂部上的筆記本計算機或上網(wǎng)本、以及因特網(wǎng)咖啡館(例如，具有一個或多個外部顯示器的桌上型計算機)，只列出一些。
[0030]如將根據(jù)本公開進一步領會的，計算系統(tǒng)內視頻處理任務的功耗應該理想地與從計算系統(tǒng)的相機傳感器獲取的原始圖像數(shù)據(jù)的提取的等級相當。換句話說，原始圖像數(shù)據(jù)消耗極小功率，增加地更多功率被消耗來將圖像閾值化(thresho I d )，而更多功率被消耗來檢測存在，等等。為此，根據(jù)實施例，預處理部件有效地實施分步的或漸進式操作序列，其中增加地更多功率消耗在行進中的每個級來生成視頻流圖像內的更高級的相關信息或意義。然而注意，一些實施例可具有一些比后面的級使用更多功率的中間級，并且要求保護的發(fā)明不旨在限于展現(xiàn)功耗的任何特定進展的級。例如，在一些實施例中，分割級比組合的其它四個級更計算密集?？偟膩碚f，預處理部件可以共同地并且有效地分析原始(未經(jīng)壓縮的)的視頻流或視頻流的子集，來確定視頻流圖像內的意義或相關性。例如，可以在硬件中(例如，諸如Verilog或VHDL的寄存器傳遞語言、或其它門級邏輯或專門建立的半導體)、或軟件/固件中(例如，在微控制器中執(zhí)行的微碼)實現(xiàn)預處理部件。
[0031]系統(tǒng)架構
圖1a根據(jù)本發(fā)明的實施例用圖形圖示用于實施視頻流的姿勢預處理來減少平臺功耗的分步的分布式過程。如可以看出的，存在可以在計算系統(tǒng)的CPU和分布式性能原語之間被有效地劃分的五個不同級別的數(shù)據(jù)提取。這些級別包括原始數(shù)據(jù)、閾值化、存在、命令、和識別。如可以進一步看到的，與數(shù)據(jù)提取的這些級別中的每個相關聯(lián)的處理可以被實施在相機中(或其附近)、或在圖形處理單元(GPU)硬件加速中、或在CPU上執(zhí)行的應用軟件中。如可以進一步看到的，在這些級別中的至少一些處的處理可以用拖延期來實現(xiàn)，當可以推斷沒有相關活動正在相機的FOV中發(fā)生時，拖延期可用于在適當?shù)臅r刻有效地禁用在那個級別處的處理，如本文解釋的。
[0032]例如，原始數(shù)據(jù)可以是編碼的視頻流或原始圖像流。原始數(shù)據(jù)通常指示未經(jīng)壓縮的圖像數(shù)據(jù)，然而編碼的視頻流通常被壓縮。壓縮算法通常用來通過低帶寬通信信道擬合(f it)大量的數(shù)據(jù)，并且這通常在相機傳感器硅內完成。數(shù)據(jù)壓縮通常減少圖像的保真度并且使圖像處理更困難。在閾值化級別，可完成閾值化來檢測圖像中的擾動以便粗略地識別用戶活動的存在。例如，這樣的粗略識別將檢測從沒有用戶出現(xiàn)的數(shù)據(jù)幀的流到有用戶出現(xiàn)的數(shù)據(jù)幀的流的轉換，如由用戶運動(視頻內容)和/或用戶語音(音頻內容)指示的。如在這個示例實施例中可以看到的，原始數(shù)據(jù)和閾值化級別中的每個可以在相機內或以其它方式接近相機而被處理。
[0033]一旦在閾值化級別處作出這樣的粗略識別，則可以在存在級別處識別內容中具體用戶特征的存在。例如，具體用戶特征可包括用戶的臉部和/或手部。如另外參考圖1a中描繪的示例實施例可以看到的，處理的這個特定級別可在一些情況下在相機內或以其它方式接近相機而被實施，或在其它情況下由GPU作為加速過程來實施，這取決于涉及的圖像分析的復雜性(例如，臉部分析可比手部分析更復雜)。
[0034]一旦作出具體用戶特征出現(xiàn)在內容流中的這樣的精確識別，則那些用戶特征可以通常對于在命令級別處擺姿勢被評定。例如，臉部和/或手部活動可以通常對于類似命令的姿勢(如同運動的手部或頭部轉動)被評定。如另外參考圖1a中描繪的示例實施例可以看到的，處理的這個特定級別可由GPU作為加速過程來實施。例如，在一些情況下，GPU可與CPU共處一地(co-locate)，或可經(jīng)由總線結構在操作上耦合到CPU。在后者情況下，GPU可以在與CPU相同的母板上，或可在母板外部(例如，在操作上耦合到母板的專用圖形處理卡上，或在經(jīng)由通信端口在操作上耦合到計算系統(tǒng)的外部圖形處理裝置上)。
[0035]一旦識別類似命令的姿勢，則那個姿勢可以對于在識別等級的特定命令被評定。例如，命令可以是用于指引用戶正在執(zhí)行的在線購物過程的用戶導航命令。例如，關于視頻內容，基于臉部的姿勢可以經(jīng)過(subject to)臉部識別，和/或基于手部的姿勢可以經(jīng)過分析來識別符合美國符號語言(ASL)的手勢，以便識別給定命令。如另外參考圖1a中描繪的示例實施例可以看到的，處理的這個特定級別可由CPU上執(zhí)行的應用軟件實施。
[0036]圖1b根據(jù)本發(fā)明的實施例圖示圖1a的分步的分布式過程的流程圖。如在這個示例實施例中可以看到的，視頻相機用來生成給定計算機設置處的用戶手部活動的原始圖像數(shù)據(jù)。在其它實施例中，將被處理的視頻內容可包括用戶的臉部活動。如將根據(jù)本公開領會的，無論內容類型，本文提供的用于預處理媒體內容的分步的分布式技術可以按類似方式被等同地應用。
[0037]流程以從可包括一個或多個相機的傳感器接收原始圖像數(shù)據(jù)流媒體(streaming)開始。如果使用多于一個相機，則因此可以處理每個視頻流，如本文所討論的。如可以看到的，在這個示例實施例中的初始處理級別(閾值化和存在級別)可以在拖延期期間被選擇性地禁用，如又將參考圖2a解釋的。為了圖1b的這個描述的剩余部分的目的，假設啟用在這些級別處的處理。
[0038]在閾值化級別處，分析視頻流來檢測視頻流中的擾動。在一個示例實施例中，如果當前視頻幀多于10%與前一視頻幀不同，則可以發(fā)出檢測信號。閾值可以從一個實施例到下一個而不同(例如，5%或者更多、或者50%或更多，等等)，并且可以按期望的給定因素，例如為給定計算系統(tǒng)(使用情形)設置而正被觀察的特定環(huán)境以及在那個環(huán)境/系統(tǒng)中改變的所期望的靈敏性程度)，而設置。如果不超過預先建立的粗略閾值，則過程繼續(xù)接收并監(jiān)視原始圖像數(shù)據(jù)。然而，如果超過粗略閾值，則過程繼續(xù)在存在級別處檢測圖像中的用戶手部。如以前解釋的，在一些實施例中，在閾值化級別和存在級別處的預處理可以被實施在相機電路中，或被實施在配置為接近相機部署并且在相對短的距離上(例如，小于0.lm，例如
0.05m或者更小，或經(jīng)由總線結構或其它合適的通信端口直接耦合到相機殼體)在操作上與相機耦合的專用電路中，以使IO功率相對于在來自相機的所有圖像內容被提供給CPU上執(zhí)行的應用軟件時將使用的IO功率而減少。如將領會的，要求保護的發(fā)明不旨在限于專用電路與給定相機傳感器之間的距離的任何特定范圍；而是本文提供的使用分步的分布式預處理方案的概念可以在任何數(shù)量的配置中被實現(xiàn)。如果圖像不包括可識別為用戶手部的任何東西，則過程繼續(xù)接收并監(jiān)視原始圖像數(shù)據(jù)。
[0039]然而，如果圖像的確包括可識別為用戶手部的內容，則過程在命令級別或以其它方式朝著命令級別繼續(xù)將成像的手部映射到與已知手勢相關聯(lián)的有關節(jié)的手部的模型。在一些這樣的示例實施例中，成像的手部與多個這樣的模型比較，并且為每個模型確定相似度分數(shù)。過程在命令級別繼續(xù)確定圖像是否包括作出已知姿勢的手部。例如，在一些這樣的情況下，產生最高相似度分數(shù)的模型可以被識別為匹配。在其它情況下，遇到的具有超過預先建立的閾值的相似度分數(shù)的第一模型可以被識別為匹配(以使不一定需要測試所有模型)。如以前解釋的，在一些實施例中，這個命令級別預處理可以被實施為GPU加速過程。如果在命令級別處確定圖像不包括作出已知姿勢的手部，則過程返回到存在級別以便繼續(xù)關于圖像中是否存在用戶手部而分析視頻流。如將根據(jù)本公開領會的，命令級別可通知存在級別它的發(fā)現(xiàn)(例如，沒有二進制大對象數(shù)據(jù))，使得存在級別處的處理以受教育的方式進行。
[0040]然而，如果在命令級別處確定圖像的確包括作出已知姿勢的手部，則過程繼續(xù)將姿勢數(shù)據(jù)傳給應用軟件用于在識別級別進行處理。如以前解釋的，這個級別的處理趨向于是CPU密集的。另外注意，在這個示例情況中姿勢數(shù)據(jù)經(jīng)由USB HID API (姿勢API)傳上棧。將參考圖8又討論這個API。如將進一步領會的，注意命令級別確定可足以明確識別已知手勢，并且將不需要執(zhí)行在基于CPU的識別級別處的后續(xù)處理，因此進一步節(jié)省基于CPU的功耗。
[0041]因此，通過在相機內或以其它方式接近相機進行至少一些程度的視頻流的姿勢預處理可以實質減少功耗，這在移動計算裝置(例如，膝上型計算機、上網(wǎng)本、平板計算機、智能電話等)中可能是特別有幫助的。這是因為，一般而言，大多數(shù)視頻處理涉及可以在配置為并且定位成減少IO活動和CPU工作量的分布式電路中被實施的相對低復雜性的處理，并且涉及更高復雜性處理的剩余百分比的處理可作為原始數(shù)據(jù)被發(fā)送到GPU用于加速處理和/或發(fā)送到CPU中的驅動器(應用軟件)用于處理。在此意義上，本文提供的技術通過使用在相機和GPU中(或其附近)運行的專用分布式性能原語或硬件功能件來減少在通用CPU核中執(zhí)行的基于軟件的算法的需要。
[0042]圖2a根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的系統(tǒng)的框圖。如可以看到的，系統(tǒng)是配置有多個分布式部件(在此示例情況下為五個)的姿勢處理流水線。在這個示例實施例中，部件中的兩個(閾值檢測級和目標存在級)被實現(xiàn)為在相機內或以其它方式接近相機的姿勢預處理(GP)電路。響應于拖延控制信號，這兩個部件中的每個可以被啟用或禁用(根據(jù)具體情況而定)，這將又參考表I進行討論。如將根據(jù)本公開領會的，如果GP電路實際直接集成在相機電路內或以其它方式充分接近相機(只要GP電路充分接近相機傳感器以便減少IO功率和CPU處理時間)或以其它方式比CPU更接近相機，則GP電路可被認為是與相機“共處一地”。另一部件(分割級)是GPU加速的。其它的兩個部件(手部分析器級和姿勢識別級)在計算系統(tǒng)的CPU中被執(zhí)行。根據(jù)本公開，這個分步的分布式架構的變化將是顯而易見的，其中任何這樣的分步的分布式架構允許關于活躍和空閑功率場景的優(yōu)化。特別地，與相機和GPU共處一地的視頻處理部件是有效地更固定的功能件，因此比解決相同計算問題的傳統(tǒng)CPU要求更少功率。
[0043]如本文所使用的，“GP電路”是配置為實現(xiàn)圖2a中示出的五個級中的一個或多個的集成電路，它被實現(xiàn)在提供將被分析的視頻流的相機內或者被實現(xiàn)為配置為由如以前解釋的相對短的連接來與那個相機直接耦合的專用電路(例如，以便與將所有視頻從相機傳到基于CPU的驅動器的傳統(tǒng)技術相比減少IO功率和CPU周期)。共處一地的GP電路和相機中的每個可以集成在顯示器內、或在顯示器外部、或一些合適的組合。例如，在一些具體示例實施例中，GP電路可以被實現(xiàn)在移動計算裝置(例如，膝上型計算機、上網(wǎng)本等)的鉸鏈式顯示器蓋內并且接近也嵌入在那個蓋內的相機電路。在其它這樣的示例基于蓋的顯示器情況下，GP電路可被直接實現(xiàn)在嵌入的相機本身內。在其它示例情況下，例如，GP電路可被直接實現(xiàn)在外部相機內，外部相機配置為夾住或以其它方式在操作上耦合到計算系統(tǒng)(例如，桌上型計算機、膝上型計算機等)的基于蓋的顯示器或外部顯示器。在另外其它示例情況下，GP電路可被實現(xiàn)在離散封裝件中并且配置為與這樣的外部相機在操作上耦合。在另外其它示例實施例中，GP電路可嵌在外部顯示器的殼體內并且接近也嵌在那個顯示器內的相機電路。在其它這樣的示例外部顯示器情況下，GP電路可被直接實現(xiàn)在嵌入的相機本身內。如將根據(jù)本公開領會的，GP電路與相機電路之間的集成度或接近度越大，在相機與GP電路圖像處理子系統(tǒng)之間可以實現(xiàn)的IO功率減小越大。
[0044]閾值檢測級是流水線中的第一級并且配置為粗略地確定視頻幀是否實際上是空的。如果當前視頻幀與前一幀足夠類似，則該幀被視為空的。例如，根據(jù)一個這樣的實施例，這可以使用低功率硅來實現(xiàn)，低功率硅實現(xiàn)合計并且比較每個幀的亮度(Iuma)通道的簡單算法。如果視頻使用RGB顏色空間，則因為YUV像素的大多數(shù)亮度分量被包括在RGB像素的綠色分量中，所以綠色分量在其位置被代替。如果當前的與以前的之間的變化量大于給定閾值，則這將觸發(fā)移到下一級。否則，不發(fā)送空幀到下一級，這當用戶不執(zhí)行姿勢時幫助管理功率。
[0045]根據(jù)實施例，目標存在級配置為實現(xiàn)相對低復雜性的方法用于找到作為目標的像素顏色。在一些情況下，這一級尋找顏色匹配膚色的特性的像素。例如，對膚色的匹配可以在配置為將RGB (或YUV)數(shù)據(jù)流轉換成HSV像素的硅中被實施。人類膚色占用色調中相對有限的范圍，從而允許快速、低功率固定功能的轉換和比較。注意目標存在級不要求前一幀的信息或任何數(shù)據(jù)存儲。如果在掃描線路中找到足夠的皮膚顏色的像素以暗示可能出現(xiàn)手指，則處理轉換到下一級。否則，無目標存在或不足數(shù)量的皮膚顏色的像素的幀沒有被發(fā)送到下一級，這當用戶不執(zhí)行姿勢時幫助管理功率。
[0046]根據(jù)實施例，分割級配置為從目標存在級接收目標存在幀并且將感興趣的像素與不感興趣的像素分開。在一個示例情況下，這一級實現(xiàn)將彩色視頻幀轉換成二進制大對象的圖像的自適應膚色檢測算法，二進制大對象的圖像可編碼為單色或灰度級圖像。例如，在灰度級圖像的情況下，非零像素可用于表示二進制大對象的像素并且黑色像素指示非二進制大對象像素。本質上，二進制大對象用來表示皮膚顏色的像素的區(qū)域。自適應膚色檢測基于幀數(shù)據(jù)來適配皮膚色調下界和上界。除了使用腐蝕和放大變形方法來平滑對象之外，這也消除由于相機噪聲和照明引起的分散像素。如已知的，形態(tài)學是基于形狀處理數(shù)字圖像的數(shù)學方法。放大變形通常指的是擴展或填充目標對象的操作。腐蝕變形涉及類似的方法，但是在不是對象而是圖像的背景上操作。如將根據(jù)本公開領會的，許多GPU具有可以對于分割級的最佳實現(xiàn)受影響(leverage)的指令。
[0047]根據(jù)實施例，手部分析器級配置為執(zhí)行二進制大對象數(shù)據(jù)的空間解釋。在一個特定示例情況下，該級嘗試將二進制大對象數(shù)據(jù)映射到人體解剖幾何形狀，例如人手的模型或人體的模型，這取決于正在評價的目標姿勢。如將根據(jù)本公開領會的，手部分析器級嘗試關聯(lián)二進制大對象數(shù)據(jù)與人體部分/姿態(tài)的方式極大取決于使用情形以及關于人的相機觀看角度的假設。解釋二進制大對象的方式也可以不同。在一些示例情況下，只使用邊緣確定人體幾何形狀可能是充分的。在其它場景中，填滿的二進制大對象是更適當?shù)?。在一些情況下，來自分割級的二進制大對象數(shù)據(jù)可需要附加的處理來移除二進制大對象上對正確分析它們有害的視覺偽像，并且手部分析器級可配置為移除這樣的偽像。在相機配置為觀看用戶手部的情況下，可以通過分析手部二進制大對象的邊緣來檢測手指。比較邊緣上不同采樣點處的斜率可以暗示峰值(例如，指尖)的位置。那些類似峰值的二進制大對象的另外分析(在各種像素之間的距離和斜率方面)可以揭示指尖附連到指干。如有必要，這一級可以嘗試接合整個人手，包括所有5個指尖的位置。在一些情況下，檢測單個手指可能是充分的。在這個意義上，使用模型確定要求分析的數(shù)量。如以前指示的，解剖學上具體的分析(例如，手部分析)可難以概括，并且因此難以放入固定功能硅。因此，在一些實施例中，手部分析器級由CPU執(zhí)行。
[0048]根據(jù)本發(fā)明的實施例，姿勢識別級配置為執(zhí)行解剖/手部數(shù)據(jù)(從手部分析器級接收的二進制大對象數(shù)據(jù))的時間解釋。例如，如果該級用于分析鼠標或觸摸板操作，則它可以查找一個或多個指尖的位置改變。在一些情況下，原始相機圖像中的運動模糊可以使手部分析器級難以接合人體解剖。在這樣的情況下，姿勢識別級可以采用關于使用情形的假定來改進姿勢解釋的可靠性。例如，如果手部分析器級在一個幀中成功地檢測完整手指但它只可以在下一幀中確定指尖位置(例如，不可以確認指尖附連到“適當?shù)摹笔种?，則姿勢識別級可假定它是在下一幀中的相同手指。
[0049]一般而言，分割級、手部分析器級和姿勢識別級可配置為將反饋發(fā)送到閾值檢測級或目標存在級。例如，并且如在圖2a的示例實施例中可以看到的，如果手部分析器級實際找到可能是手部的足夠大的二進制大對象，則它可以用信號通知閾值檢測級來將前一幀的亮度/綠色計數(shù)器復位到零，因此迫使下一幀指示它是非空幀。例如，在一個具體示例實施例中，這個類型的用信號通知可以通過GP電路的閾值檢測級硅上的單個管腳/導線來實現(xiàn)，其可從驅動器進行控制。備選地，根據(jù)另一實施例，它還可以在USB上被完成。這幫助防止非移動的手部引起閾值檢測級認為手部是靜態(tài)背景的一部分的場景。另一示例反饋環(huán)場景將是當檢測到足夠大的二進制大對象時迫使系統(tǒng)將數(shù)據(jù)直接從相機發(fā)送到分割級，而不將它發(fā)送到閾值檢測級和目標存在級(如圖2a中描繪的并且標為目標存在-數(shù)據(jù)流)。這個類型的活動可通過移除不必要的閾值有關的處理來改進功率。然而注意，雖然這樣的反饋機制可提供進一步程度的優(yōu)化，但是它們不是在所有實施例中必需的。例如，如果這些技術的實現(xiàn)是成本高昂的，則備選解決方案是每I或2秒回落到目標存在級來檢查目標是否持續(xù)地出現(xiàn)。在這樣的情況下，為這付出的處罰是價值姿勢命令數(shù)據(jù)的一個幀的損耗。
[0050]圖2b根據(jù)本發(fā)明的實施例描述來自圖2a系統(tǒng)的不同級的控制和數(shù)據(jù)。為了根據(jù)一個示例實施例提出的劃分，GP電路可以配置有閾值檢測級和目標存在級，并且可以還配置為控制數(shù)據(jù)多工(mux)并且決定是否向上游發(fā)送數(shù)據(jù)(用于分割)來喚醒系統(tǒng)。根據(jù)一些這樣的實施例，利用這樣的按需發(fā)送數(shù)據(jù)的方法，可實現(xiàn)平臺功率的重要保存并且計算系統(tǒng)只在它需要醒著時才醒著。
[0051]如可以看到的，來自起始幀的原始數(shù)據(jù)被提供到閾值狀態(tài)，閾值狀態(tài)配置為對于感興趣區(qū)域檢測相較于前一幀的給定幀中的改變。如果不滿足改變閾值，則可減少FPS并且過程繼續(xù)以監(jiān)視幀的原始數(shù)據(jù)。如果滿足閾值，則原始數(shù)據(jù)被傳到目標存在狀態(tài)，目標存在狀態(tài)配置為在感興趣的色調范圍內查找目標存在。例如，可以使用由各種樣本聚集的經(jīng)驗數(shù)據(jù)來確定色調范圍。在其它實施例中，色調范圍可以被確定為測量給定用戶的膚色的初始設置或校準過程的一部分。在任何這樣的情況下，如果沒有找到合適的目標，則將控制提供回到閾值狀態(tài)。否則，如果以給定幀速率(例如，默認速率或如在這個控制環(huán)內精制的)找到合適的目標，則控制被傳到分割處理狀態(tài)，分割處理狀態(tài)實施如以前解釋的自適應皮膚檢測。還注意，在一些實施例中，如以前解釋的，在某個情況下，例如當檢測到足夠大的二進制大對象時，系統(tǒng)可以將原始數(shù)據(jù)直接從相機發(fā)送到分割處理狀態(tài)，而不將它發(fā)送到閾值狀態(tài)和目標存在狀態(tài)(如圖2b中描繪的并且標為處理狀態(tài)期間的數(shù)據(jù)/控制流)。
[0052]在任何這樣的情況下，分割處理狀態(tài)配置為實施自適應膚色檢測來分割圖像。在一些實施例中，可使用變形方法來消除噪聲并且平滑圖像。自適應皮膚圖像信息被提供到手部分析器狀態(tài)，手部分析器狀態(tài)配置為將二進制大對象數(shù)據(jù)映射到人體解剖幾何形狀，例如在此示例情況下的人手模型。如果手部分析器狀態(tài)無法確認給定二進制大對象與手部相關，則控制被回傳到目標存在狀態(tài)(沒有檢測到二進制大對象)。然而，如果手部分析器狀態(tài)確認給定二進制大對象與手部相關，則控制被傳到姿勢識別狀態(tài)(找到二進制大對象)。然后姿勢識別狀態(tài)分析特定命令(例如，由用戶提供的導航命令)的手部數(shù)據(jù)。一旦結束這個分析，則那個幀的過程流程完成，并且在計算系統(tǒng)上執(zhí)行的給定應用可因此受控制。
[0053]圖2c示出可以在GP電路中被實現(xiàn)的五個過程中的每個的典型CPU利用，給定包括2-2.66 GHz CPU和提供640x480像素幀的視頻數(shù)據(jù)的USB相機的特定設置。如可以看到的，分割采取最大利用，并且由于更少的迭代改變它是可以被加速的良好候選者。根據(jù)本發(fā)明的實施例，GPU加速的自適應膚色檢測算法將幫助改進總的系統(tǒng)性能和功率效率。由于工作量可以在CPU/GPU之間共享，這也將確保處理數(shù)據(jù)幀而沒有任何幀丟棄。當找到更大的二進制大對象時并且采用更長的周長長度，看到典型的最差情況的手部分析器利用。根據(jù)一些示例實施例，在劃分如本文所描述的處理(例如，如果閾值檢測和目標存在被分布到USB相機中或以其它方式接近USB相機，并且分割是GPU加速的)之后的總的CPU利用率將小于10% ο
[0054]示例使用情形和系統(tǒng)配置
圖3a根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的示例使用情形。如可以看到的，用戶以常見或其它典型的方式正坐在計算系統(tǒng)前面。這個示例的計算系統(tǒng)表現(xiàn)為具有外部顯示器的桌上型布置，但如將領會的可以是任何合適的計算系統(tǒng)，例如膝上型計算機或上網(wǎng)本或使用基于蓋的顯示器的其它這樣的移動計算裝置、或使用外部顯示器的移動計算裝置、或例如平板計算機或智能電話的觸摸屏裝置。
[0055]在任何這樣的情況下，這個示例實施例的系統(tǒng)另外配置有相機和GP電路。例如，相機可用來捕獲用戶姿勢(例如手勢)。在圖3a中描繪的這個示例情況下，相機和GP電路嵌入顯示器的頂部內以便提供包括如下區(qū)域的F0V:其中，用戶手部將通過使用例如計算機系統(tǒng)鍵盤、鼠標、觸摸屏、或其它這樣的輸入裝置而是活動的。然而注意，給定如本文所描述的系統(tǒng)的姿勢解釋能力，用戶不需要實際從事于這樣的輸入裝置。而是，如本文所論述的，用戶可以在處于FOV中的指定用戶輸入?yún)^(qū)域內簡單運動他或他的手部以便使用基于手部的姿勢與計算機系統(tǒng)有效地通信。圖3b-圖3e圖不相機和GP電路的各種不例布置。
[0056]圖3b圖示如下示例情況:其中，GP電路被集成或以其它方式被包含在相機的成像集成電路(硅或其它)內來進一步減少平臺功率(通過消除相機傳感器與圖像處理功能件中的至少一些之間的IO功率)。在這個示例情況(以及在圖3C-圖3e中示出的示例情況)下，GP電路至少包括閾值檢測和目標存在電路，以及可能還包括本文中提供的其它姿勢預處理電路，如果這樣期望的話。圖3c圖示另一示例情況，其中相機和GP電路是彼此分開實現(xiàn)的但是仍然接近彼此并且由相對短的通信總線(在這個示例實施例中是USB總線)在操作上耦合。如將領會的，可使用任何數(shù)量的其它合適的通信端口和總線結構。圖3d圖示另一示例情況，其中GP電路被集成或以其它方式被包含在相機的成像集成電路內，并且相機嵌入顯示器內。圖3e圖示另一示例情況，其中相機嵌入顯示器內，并且GP電路配置為孤立裝置，所述孤立裝置配置為與裝置的USB端口在操作上耦合以便提供對其中嵌入的相機的接入。例如，在圖3a_圖3e中指示的任何這樣的情況下，顯示器可以在操作上是外部顯示器、觸摸屏顯示器、或基于蓋的顯示器。
[0057]圖4根據(jù)本發(fā)明的實施例圖示配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的膝上型計算系統(tǒng)的框圖。如可以看到的，這個示例具有膝上型計算機的典型形狀因數(shù)并且包括由鉸鏈在操作上耦合到顯示器部分的基板部分。例如，顯示器可具有觸摸屏能力，但也可以是LED顯示器。一般而言，除了與視頻內容的分級式和分布式姿勢預處理有關的架構和功能性以外，可以用常規(guī)或習慣的技術來實現(xiàn)許多示出的架構和功能性(如所希望的)，其根據(jù)本發(fā)明的實施例來實現(xiàn)并且又將被討論。
[0058]在這個示例情況下，GP電路被包括在顯示器電路的傳感器數(shù)據(jù)處理塊中，傳感器數(shù)據(jù)處理塊經(jīng)由對應的移動產業(yè)處理器接口 -相機串行接口(MIP1-CSI)在操作上耦合到兩個集成相機。一個相機聚焦在第一用戶輸入?yún)^(qū)域上以便捕獲用戶手勢，并且另一相機聚焦在第二用戶輸入?yún)^(qū)域上以便捕獲用戶頭部和臉部姿勢。如將領會的，手部GP電路配置有閾值檢測級和目標存在級用于用戶手勢處理，并且頭部-臉部GP電路配置有閾值檢測級和目標存在級用于用戶頭部和/或臉部姿勢處理。因此，在這個示例情況下，GP電路可以被有效地分成兩個姿勢專用塊。在其它示例實施例中，一個相機可結合機械透鏡化組件來使用，機械透鏡化組件有效地允許單個相機捕獲兩個作為目標的用戶輸入?yún)^(qū)域，如果這樣期望的話。在這樣的情況下，GP電路可實現(xiàn)為能夠處理涉及的各種姿勢類型中的每個的單個塊。
[0059]如將領會的，可以用類似的方式實現(xiàn)GP電路用于手部和頭部-臉部中的每個。如以前解釋的，無論解剖目標，GP電路的閾值檢測級可以用例如配置為合計并且比較每個幀的亮度通道的門級邏輯或其它專門構造的半導體來實現(xiàn)，并且如果當前幀與前一幀之間的變化量大于給定閾值(例如，>3%改變，或>5%改變，或>10%改變)，則可以生成用戶檢測信號，因此觸發(fā)原始數(shù)據(jù)到目標存在級的傳遞。否則，不變的或以其它方式為空的幀有效抑制這樣的檢測信號，因此在沒有姿勢的時間期間保存功率。在類似的方式中，并且不管解剖目標，目標存在級GP電路可以用例如配置成如下的門級邏輯或其它專門構造的半導體來實現(xiàn):將RGB (或YUV)數(shù)據(jù)流掃描線轉換成HSV像素，并且將其中表示的像素色調值與膚色色調的相對有限范圍作比較。如果在掃描線中找到皮膚顏色的像素來暗示可能出現(xiàn)手指或臉部，則處理轉到分割級。否則，無目標出現(xiàn)或不足數(shù)量的皮膚顏色的像素的幀沒有被發(fā)送到下一級或以其它方式被抑制，以便在沒有姿勢的時間期間保存功率。在其它實施例中，目標存在級可被實現(xiàn)在GPU中，給定它的功能的平行特性(例如，給定掃描線內每個像素的色調平行分析)。然而，如將領會的，在這樣的情況下，通常存在更高的IO功率成本來將那個圖像數(shù)據(jù)從相機傳送到GPU。盡管如此，使用GPU仍然避免關聯(lián)的CPU周期，所述CPU周期對在驅動器級別處的那個圖像數(shù)據(jù)的處理將是必需的。
[0060]在這個示例實施例中，分割級與CPU共處一地(如有時完成的)，但其它實施例可利用與CPU通信的單獨GPU (如以前解釋的)。根據(jù)一個示例實施例，分割級配置為將它接收的彩色視頻中的每個幀轉換成二進制大對象的圖像，其中非零像素表示二進制大對象像素并且黑色像素指示非二進制大對象像素。例如，在這樣的情況下，二進制大對象可用于表示皮膚顏色的像素的區(qū)域。在這個意義上，分割級適配或以其它方式更清楚地定義給定幀內基于皮膚色調的二進制大對象的邊界，因此有效地減少給定圖像到二進制布置(二進制大對象和非二進制大對象)的復雜性。這樣的基于掃描線的處理任務到平行處理的可控制性使分割級成為GPU實現(xiàn)的理想候選者。
[0061]在其它實施例中，可以按與目標存在級的類似方式用門級邏輯或其它專門構造的半導體來在GP電路中實現(xiàn)分割級。然而，定義二進制大對象數(shù)據(jù)的邊界可通常要求處理更大數(shù)量的掃描線，這可以增加目標存在級的復雜性。然而，這個復雜性可以例如通過使用適合于目標解剖特征和合理程度的內插的假設得以彌補。例如，假定作出和平符號的手部是目標解剖特征，并且處理手部圖像的三個或四個掃描線。例如，第一掃描線可示出跨和平符號的“V”部分的上部取得的非膚色像素(三組)和膚色像素(兩組)的交替組。第二掃描線可類似地示出跨和平符號的“V”部分的下部取得的非膚色像素(三組)和膚色像素(兩組)的交替組，但兩個膚色像素部分之間的非膚色像素部分的長度將更短。第三掃描線可示出跨手部主體部分取得的非膚色像素(兩組)和膚色像素(一組)的交替組，并且第四掃描線可示出跨手腕部分取得的非膚色像素(兩組)和膚色像素(一組)的交替組，其中手部主體部分中的膚色像素的組比手腕區(qū)域中的膚色像素的組更長。因此，例如，如果這三個或四個掃描線的這樣的表征可以使用基于邏輯的比較來確認，則與介入掃描線關聯(lián)的手部數(shù)據(jù)可以被插入或以其它方式估計并且可以因此指定整個膚色二進制大對象的邊界。
[0062]手部分析器級和姿勢識別級可以由作為應用驅動器的一部分的基板中的CPU執(zhí)行，但如本文所描述的只有當被較早的級激活時。再次，根據(jù)一些實施例，這樣的處理可備選地在GPU中執(zhí)行，或甚至在GP電路中執(zhí)行。為此目的，預處理功能件到GPU和/或GP電路的集成度可以基于例如成本收益分析，該分析平衡(在一方面)這樣的集成的費用/成本與(在另一方面)功耗和CPU周期的節(jié)省。如將根據(jù)本公開領會的，以相對低的成本的重要節(jié)省可以通過在GP電路中實現(xiàn)閾值檢測級和目標存在級、在GPU中實現(xiàn)分割級，并且允許手部分析器級和姿勢識別級在CPU上執(zhí)行來實現(xiàn)。到GP電路的進一步集成的成本可以不是合理的或以其它方式合意的，但本發(fā)明不旨在這樣限制。
[0063]另外參考圖4，SRAM高速緩沖存儲器可用于存儲與視頻的有效處理關聯(lián)的參數(shù)，并且可以用任何其它類型的合適存儲器技術來實現(xiàn)。例如，在一些實施例中，存儲器可用于存儲幀內的坐標(通常包括由用戶提供的手勢)。例如，這些坐標可以基于經(jīng)驗分析隨時間(overtime)建立和/或精制，或可以是用戶配置的。在任何情況下，這樣的坐標可由GP電路(以及其它部件，如果這樣期望的話)使用以有效地進一步減少圖像處理負載。在這個意義上，可以分析視頻流的子集。存儲器還可包括與特定用戶設置關聯(lián)的膚色的范圍。例如，此數(shù)據(jù)可以是基于經(jīng)驗分析隨時間建立的，或可以是用戶配置的。許多其它類型的信息和數(shù)據(jù)可以被存儲在存儲器中，如將領會的。
[0064]性能原語是可以提供來支持GP電路的功能的可選部件，并且可在硬件和/或軟件中實現(xiàn)。例如，適合于處理手勢視頻的示例性能原語可以是矩陣乘法或求和模塊。另一示例功能件可以是傅里葉變換模塊以將圖像從空間域轉換到頻域以便于處理。在更一般的意義上，將由基于CPU的驅動器處理使用的任何圖像處理工具可以在性能原語中實現(xiàn)來幫助分布式預處理功能件?？蛇x的隱私和安全政策模塊可以配置為提供針對惡意行為的保護，并且可實現(xiàn)來執(zhí)行一個或多個安全政策，例如與信任的裝置處理環(huán)境關聯(lián)的那些。例如，隱私和安全政策模塊可執(zhí)行政策，例如基于用戶的政策(例如，一些用戶可不想要打開相機)和基于平臺的政策(例如，只有信任的平臺模塊(TPM)裝置可以經(jīng)由USB端口連接到平臺控制器中心(PCH))。
[0065]圖4中示出的其它顯示器和基板元件部分可按通常完成的或如以其它方式所期望的實現(xiàn)。圖5根據(jù)本發(fā)明的另一實施例圖示配置為實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的上網(wǎng)本計算系統(tǒng)的框圖。如可以看見的，系統(tǒng)的顯示器部分類似于圖4中示出的膝上型計算機系統(tǒng)的顯示器部分，并且以前的有關論述此處同樣可應用。基板部分也類似，但配置稍微不同，給定它是上網(wǎng)本配置。因此，CPU可能是例如Intel?At0m?CPU或合適于上網(wǎng)本、上網(wǎng)機(nettop)和其它這樣的低功率微型計算系統(tǒng)的其它這樣的處理器。如以前解釋的，GPU可與CPU共處一地(如示出的或以其它方式與CPU在操作上耦合)。
[0066]圖6根據(jù)本發(fā)明的另一實施例圖示具有外部顯示器并且配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的計算系統(tǒng)的框圖。例如，計算系統(tǒng)可以是桌上型計算機或膝上型計算機(固定的或不固定的，在電池功率上運行)。如可以看見的，系統(tǒng)的顯示器和基板部分可以類似于圖4和圖5中示出的系統(tǒng)的顯示器/基板部分，并且以前的有關論述此處同樣可應用?？墒褂迷S多其它計算系統(tǒng)架構和配置，并且要求保護的發(fā)明不旨在限于任何特定的一個。
[0067]圖7根據(jù)本發(fā)明的實施例指示通過將視頻預處理移出核/非核并且移入相機模塊而實現(xiàn)的功率節(jié)省?？偊すβ适窃谄脚_的備用電源上消耗的功率。如將根據(jù)本公開領會的，當沒有東西出現(xiàn)在圖像中時，可基本上減少視頻操作的CPU C0%占有率。如可以進一步看到的，雖然將圖像處理從核移到非核節(jié)省大約1.4瓦的功率(來自減少的CPU周期)，當在相機傳感器本身內執(zhí)行預處理(例如閾值檢測狀態(tài)和目標存在狀態(tài))時(因此消除I/O功率)，實現(xiàn)大約3.6瓦的額外功率節(jié)省。
[0068]例如，可用于互聯(lián)網(wǎng)導航的示例手勢通常依靠粗粒度姿勢(例如，滾動向上/向下、下一頁/上一頁、雙擊，等等)，單個精細粒度姿勢通常用于鼠標運動。當輸入具體文本信息時只需要在鍵盤上打字。典型類別的文本包括URL、用戶名字、密碼、搜索字(包括街道名等)。在許多場景中，需要很少或不需要鼠標運動。因此，姿勢的簡單性還允許姿勢識別被實現(xiàn)為相機本身內的分布式過程。
[0069]姿勢API
圖8根據(jù)本發(fā)明的另一實施例圖示示出配置用于實施視頻流的分步的分布式姿勢預處理來減少平臺功耗的應用編程接口(API)的框圖。在這一示例情況下，姿勢API是在這個特定系統(tǒng)上可用的一個或多個API (傳感器AP1、上下文API)。原始傳感器數(shù)據(jù)通過傳感器API來處理，并且姿勢API預處理原始傳感器數(shù)據(jù)并且暴露來自閾值檢測級和目標存在級的信息(存在和閾值數(shù)據(jù))、以及來自分割級、手部分析器級和/或姿勢識別級的信息(姿勢數(shù)據(jù))，無論計算是否是在相機傳感器內/接近相機傳感器或在CPU/主存儲器上運行的軟件驅動器內執(zhí)行。如可以另外看到的，姿勢API可包括隱私和安全政策，例如基于用戶的政策(例如，一些用戶可不想要打開相機)以及基于平臺的政策(例如，只有信任的平臺模塊(TPM)裝置可以經(jīng)由USB端口連接到平臺控制器中心(PCH))。如以前解釋的，姿勢API預處理原始視頻數(shù)據(jù)并且呈現(xiàn)為擴展的USB HID類裝置。在這樣的情況下，原始數(shù)據(jù)不受影響并且呈現(xiàn)為標準USB視頻類裝置。
[0070]姿勢API可以被編程或以其它方式配置為將狀態(tài)消息傳遞給相機中的姿勢裝置端點，例如包括用戶輸入?yún)^(qū)域(例如，鍵盤/鼠標區(qū)域，如在圖3a中示出的)的像素。外部顯示器的相機的過程與筆記本計算機的集成顯示器的相機的過程相同。在一個示例情況下，該過程包括:使鍵盤位于視頻流的視場中；以感興趣的像素(虛擬標記)的形式將鍵盤信息傳遞給相機/GP電路；在相機傳感器/GP電路中開始手勢預處理任務；更新鍵盤位置(如需要的)；并且經(jīng)由姿勢API將姿勢處理信息呈現(xiàn)給平臺。在多顯示器或多鍵盤的系統(tǒng)中，用戶可以指示哪個顯示器或鍵盤是主要的。這里可使用任何數(shù)量的合適選項。
[0071]如先前也解釋的，由姿勢API解釋的手勢可用于增強其它補充輸入模態(tài)，例如由鍵盤和/或鼠標接收的用戶輸入。各種搜索引擎當前合并有許多鼠標/觸摸姿勢，用戶可以將其用作捷徑來改進它們的瀏覽體驗。用戶可以啟用/禁用特定捷徑，并且如期望的添加新的定制捷徑。這樣的系統(tǒng)的一個缺點(除了缺乏標準化之外)是所有捷徑總共合計為將被使用的潛在巨大數(shù)量的姿勢，從而引起不可避免地禁止廣泛采用中的精神混亂。根據(jù)本發(fā)明的一個實施例，提供基于姿勢的命令的相對簡單和簡明的列表，其可以如所期望的進行修改/擴展。例如，一些可編程性可以是期望的，因為大多數(shù)勤勞的用戶可能希望擴展姿勢的列表，并且大多數(shù)用戶可能想要為他們的收藏夾(Favourite)中列出的網(wǎng)站添加個人化姿勢。大多數(shù)用戶通常一再地頻繁訪問相同的網(wǎng)頁(例如，Google、Gmail、Facebook等)。將這個系列的鍵盤/鼠標命令減少成單個姿勢(或短系列的姿勢)可改進易用性并且加速用戶的頁面切換時間。
[0072]此外，可以考慮若干手勢所需的“中間返回”?！爸虚g位置”是當不執(zhí)行手勢時手部的統(tǒng)計平均位置。例如，當手掌放在掌托上時，其中手指放在以下鍵上=Q-E-R-G-空格鍵-空格鍵-H-U-1-P。中間返回是手部到中間位置的返回(例如，在執(zhí)行一個手勢之后并且在開始下一姿勢之前)。在大多數(shù)計算系統(tǒng)使用模型中，手部保持在中間位置。期望最小化總的手勢，從而使手掌在手勢期間留在相同的物理位置中。因為圖像處理算法將忽略相機FOV外部的所有視覺活動，這簡化了圖像處理。圖8中示出的其它部件和特征先前關于圖4-6進行了討論或者如將領會的，可以以其它方式如通常完成的被實現(xiàn)。
[0073]拖延期
如先前解釋的，當基于用戶的當前活動和/或他/她的計算機系統(tǒng)的操作狀態(tài)/環(huán)境在視頻流上執(zhí)行姿勢預處理任務時，還可引入拖延期，以便通過消除浪費的處理周期來進一步減少平臺功率。例如并且如先前解釋的，如果用戶正在鍵盤上打字或使用鼠標或觸碰觸摸屏或趨向被識別或以其它方式被定義為除了基于手部的導航擺姿勢以外的一些事情的可檢測活動，則可以假定用戶沒有同時作出基于手部的導航姿勢。因此，用戶將花費有限數(shù)量的時間來將他/她的手部從當前非擺姿勢活動位置重新定位到從其開始作出期望手勢的中間位置。在此不擺姿勢期期間發(fā)生的任何圖像處理有效地總計為浪費的處理周期和浪費的功率，并且因此可被停止，這還有助于功率效率。
[0074]因此，在這樣的示例情況下，圖像處理可以在無姿勢期期間以及在隨后的簡短拖延期停止。簡短期(本文被稱作拖延期)可以例如在50到500毫秒、或50到250毫秒、或50到100毫秒的范圍中。在更一般的意義上，這個拖延期可以被設置為反映用戶將他/她的手部從鼠標/鍵盤/屏幕移回到通常實施基于手部的導航姿勢的中間位置所花費時間段的任何延遲。如先前解釋的，這個中間位置的定位可以是用戶可配置的。以類似的方式，拖延期也可以是用戶可配置的(如果這樣期望的話)以便提供定制的性能。
[0075]如將根據(jù)本公開進一步領會的，可以選擇性地使用或以其它方式調整拖延期，這取決于操作的環(huán)境因素，例如當前在計算機系統(tǒng)上執(zhí)行的應用(例如，文字處理應用對游戲應用)、功率保存方案(例如，全功率模式對睡眠或其它低功率模式)、和/或那個計算機系統(tǒng)的功率源(例如，電池對市電電源(mains))。例如，根據(jù)一些實施例，當在外部功率上操作時，則拖延期可以被設置為零或某個更低延遲以便提供更大的響應性，這可以是取決于應用而期望的。同樣地，當執(zhí)行具有嚴格瞬時響應性要求的應用(例如某些游戲應用)時，則拖延期可以被設置為零或某個更低延遲以便提供更大的瞬時響應性。在其它示例場景中，如果計算機系統(tǒng)正在電池功率上運行時，則例如50-100毫秒延遲可以是可接受的以適應從低功率狀態(tài)醒來的平臺(例如，以便允許PCH/CPU/DRAM加電回來)。同樣地，如果近來發(fā)生按鍵按壓/鼠標運動，則附加的50-100毫秒延遲可以是可接受的，這是因為當用戶的手部移回到中間位置時通常將沒有姿勢出現(xiàn)。一般的想法是:因為可能沒有相關的事情出現(xiàn)在照相機的FOV中，例如當用戶不可能作出姿勢時，或當用戶正作出系統(tǒng)未準備好解釋的姿勢時，在拖延期期間，圖像預處理的停止是可接受的。
[0076]如先前指出的，閾值檢測級和目標存在級中的每個(或任何其它級)可以響應于拖延控制信號而被禁用，例如，當存在用戶沒有作出需要分析的導航姿勢或系統(tǒng)沒準備好解釋這樣的導航姿勢的指示時，所述拖延控制信號被選擇性地設置(或復位，根據(jù)具體情況而
定)。表1示范提供這樣的指示的示例活動。__
【權利要求】
1.一種用于處理原始視頻流的系統(tǒng)，包括: 閾值檢測級，配置為確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，所述閾值檢測級還配置為停止后續(xù)級對所述當前幀的進一步處理；以及 目標存在級，配置為確定所述當前幀是否包括膚色顏色的像素，并且響應于所述當前幀不包括膚色顏色的像素，所述目標存在級還配置為停止后續(xù)級對所述當前幀的進一步處理； 其中所述閾值檢測級和/或目標存在級中的至少一個能夠在拖延期被選擇性禁用。
2.如權利要求1所述的系統(tǒng)，其中所述閾值檢測級配置為合計并且比較所述當前幀的亮度通道與所述前一幀的亮度通道，并且如果所述當前幀與所述前一幀之間的變化量大于給定閾值，則所述當前幀的數(shù)據(jù)被傳到所述目標存在級用于進一步處理。
3.如權利要求1所述的系統(tǒng)，其中所述目標存在級配置為將所述當前幀的數(shù)據(jù)轉換成一個或多個HSV像素，并且如果找到充分數(shù)量的膚色顏色的像素，則所述當前幀的數(shù)據(jù)被傳到下一處理級。
4.如權利要求3所述的系統(tǒng)，其中所述下一處理級是分割級，所述分割級配置為將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進制大對象，并且不感興趣的像素由非二進制大對象表示。
5.如權利要求4所述的系統(tǒng)，其中所述分割級配置為如下中的至少一個:消除由于相機噪聲和/或照明引起的分散像素，和/或使用腐蝕和/或放大變形方法來處理成像數(shù)據(jù)。
6.如權利要求4所述的系統(tǒng)，其中所述分割級在圖形處理單元(GPU)中實現(xiàn)。
7.如權利要求4所述的系統(tǒng)，還包括: 分析器級，配置為執(zhí)行從所述分割級接收的二進制大對象數(shù)據(jù)的空間解釋。
8.如權利要求7所述的系統(tǒng)，其中所述分析器級通過將所述二進制大對象數(shù)據(jù)映射到目標人體結構幾何形狀的模型來執(zhí)行空間解釋。
9.如權利要求8所述的系統(tǒng)，其中所述目標人體結構幾何形狀是手部。
10.如權利要求7所述的系統(tǒng)，還包括: 姿勢識別級，配置為執(zhí)行從所述分析器級接收的二進制大對象數(shù)據(jù)的時間解釋。
11.如權利要求10所述的系統(tǒng)，其中所述分割級、分析器級和/或姿勢識別級中的至少一個配置為將反饋發(fā)送到所述閾值檢測級和/或所述目標存在級中的至少一個。
12.如權利要求1所述的系統(tǒng)，其中所述拖延期在50到1000毫秒的范圍中，并且響應于所述系統(tǒng)的用戶不可能作出導航姿勢或所述系統(tǒng)沒準備好處理視頻的指示而被觸發(fā)。
13.一種成像裝置，包括權利要求1至12中任一項所述的系統(tǒng)和在操作上耦合到所述系統(tǒng)的相機。
14.如權利要求13所述的成像裝置，其中所述閾值檢測級和所述目標存在級中的至少一個在所述相機的傳感器電路內實現(xiàn)。
15.一種顯示器，包括權利要求1至12中任一項所述的系統(tǒng)。
16.—種用于處理原始視頻流的系統(tǒng),包括: 閾值檢測級，配置為確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，所述閾值檢測級還配置為停止后續(xù)級對所述當前幀的進一步處理； 目標存在級，配置為確定所述當前幀是否包括膚色顏色的像素，并且響應于所述當前幀不包括膚色顏色的像素，所述目標存在級還配置為停止后續(xù)級對所述當前幀的進一步處理； 分割級，配置為接收來自所述當前幀的數(shù)據(jù)，并且將感興趣的像素與不感興趣的像素分開，其中感興趣的像素被表示為二進制大對象并且不感興趣的像素由非二進制大對象表示； 手部分析器級，配置為執(zhí)行從所述分割級接收的二進制大對象數(shù)據(jù)的空間解釋；以及 姿勢識別級，配置為執(zhí)行從所述手部分析器級接收的二進制大對象數(shù)據(jù)的時間解釋并且識別用戶基于手部的導航姿勢； 其中所述閾值檢測級、目標存在級、分割級、分析器級和姿勢識別級以分步的分布式布置進行配置，并且所述閾值檢測級和/或所述目標存在級中的至少一個能夠在拖延期被選擇性禁用。
17.如權利要求16所述的系統(tǒng)，其中所述閾值檢測級和/或所述目標存在級中的至少一個在相機內或接近相機實現(xiàn)，所述相機可在第一位置處部署并且具有包括用戶輸入?yún)^(qū)域的視場，并且所述分割級、分析器級和姿勢識別級位于不同于所述第一位置的一個或多個位置。
18.如權利要求17所述的系統(tǒng)，其中所述閾值檢測級和所述目標存在級在顯示器內實現(xiàn)。
19.如權利要求16所述的系統(tǒng)，其中所述分割級在圖形處理單元中實現(xiàn)，并且所述分析器級和所述姿勢識別級由應用軟件實現(xiàn)。
20.如權利要求16所述的系統(tǒng)，還包括:應用編程接口(API)，用于在操作上將一個或多個所述級耦合到所述系統(tǒng)配置為工作在其中的計算平臺。
21.如權利要求20所述的系統(tǒng)，其中所述API被表示為擴展的通用串行總線人機接口(USB HID)類裝置。
22.如權利要求16所述的系統(tǒng)，其中所述拖延期在50到1000毫秒的范圍中，并且響應于所述系統(tǒng)的用戶不可能作出導航姿勢或所述系統(tǒng)沒準備好處理視頻的指示而被觸發(fā)。
23.—種媒體處理系統(tǒng),包括權利要求16至22中任一項所述的系統(tǒng)。
24.—種移動計算系統(tǒng)，包括權利要求16至22中任一項所述的系統(tǒng)。
25.一種使用原始視頻流的計算機導航方法，包括: 在第一處理級處確定所述視頻流的當前幀是否充分不同于所述視頻流的前一幀，并且響應于所述當前幀沒有充分不同于所述前一幀，停止后續(xù)級對所述當前幀的進一步處理；以及 在第二處理級處確定所述當前幀是否包括膚色顏色的像素，并且響應于所述當前幀不包括膚色顏色的像素，停止后續(xù)級對所述當前幀的進一步處理； 其中所述第一和第二處理級中的至少一個能夠在拖延期被選擇性禁用，所述拖延期在50到1000毫秒的范圍中并且響應于沒有作出導航姿勢的指示而被觸發(fā)，因此通過避免沒有導航姿勢的視頻幀的處理來保存功率。
【文檔編號】G06K9/00GK103916647SQ201410010010
【公開日】2014年7月9日 申請日期:2014年1月9日 優(yōu)先權日:2013年1月9日
【發(fā)明者】J.伯爾 申請人:英特爾公司