手動(dòng)且基于相機(jī)的化身控制的制作方法
【專利摘要】描述了例如計(jì)算機(jī)游戲系統(tǒng)中的手動(dòng)和基于相機(jī)的化身控制。在一個(gè)實(shí)施例中，圖像捕捉系統(tǒng)跟蹤玩家的持有現(xiàn)實(shí)世界物體的手臂的運(yùn)動(dòng)，并且該玩家同時(shí)也使用手動(dòng)控制器對(duì)游戲系統(tǒng)作出輸入。在一示例中，玩家的手臂的被跟蹤的運(yùn)動(dòng)被用來(lái)控制游戲顯示中虛擬飛鏢的目標(biāo)，并且用戶在控制器處作出手動(dòng)輸入以發(fā)射該飛鏢。在各實(shí)施例中，檢測(cè)玩家的一部分的位置并使用映射函數(shù)（它可能改變）將其映射到屏幕空間。例如，玩家的手在屏幕空間中的映射位置被用來(lái)通過(guò)延伸化身的手臂來(lái)控制化身的手的位置。在各示例中，在進(jìn)行對(duì)化身的基于相機(jī)的控制之前，滿足各條件。
【專利說(shuō)明】手動(dòng)且基于相機(jī)的化身控制
【背景技術(shù)】
[0001]現(xiàn)有視頻和計(jì)算機(jī)游戲控制系統(tǒng)使用手持式控制器，這些手持式控制器結(jié)合按鈕和操縱桿以使玩家能夠控制游戲顯示所示出的化身或其他對(duì)象。這些類型的手持式控制器的設(shè)計(jì)尋求按穩(wěn)健、易于使用且直觀的方式來(lái)啟用對(duì)游戲的細(xì)粒度控制。
[0002]最近，一些計(jì)算機(jī)游戲控制系統(tǒng)使用語(yǔ)音識(shí)別技術(shù)和姿勢(shì)識(shí)別來(lái)使玩家能夠控制游戲界面。在這一情況下，游戲玩家沒(méi)有手持式控制器并且能夠按直接的方式與游戲進(jìn)行交互，而不受諸如手持式控制器等物理用戶輸入設(shè)備的約束。
[0003]以下描述的各實(shí)施例不限于解決已知游戲控制系統(tǒng)的缺點(diǎn)中的任一個(gè)或全部的實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0004]下面呈現(xiàn)了本發(fā)明的簡(jiǎn)要概述，以便向讀者提供基本理解。本
【發(fā)明內(nèi)容】
不是本公開(kāi)的窮盡概覽，并且不標(biāo)識(shí)本發(fā)明的關(guān)鍵/重要元素或描述本說(shuō)明書的范圍。其唯一的目的是以簡(jiǎn)化形式呈現(xiàn)此處所公開(kāi)的精選概念，作為稍后呈現(xiàn)的更詳細(xì)的描述的序言。
[0005]描述了例如計(jì)算機(jī)游戲系統(tǒng)中的手動(dòng)且基于相機(jī)的化身控制。在一個(gè)實(shí)施例中，圖像捕捉系統(tǒng)跟蹤玩家的持有現(xiàn)實(shí)世界物體的手臂的運(yùn)動(dòng)，并且該玩家同時(shí)也使用手動(dòng)控制器對(duì)游戲系統(tǒng)作出輸入。在一示例中，玩家的手臂的被跟蹤的運(yùn)動(dòng)被用來(lái)控制游戲顯示中虛擬飛鏢的目標(biāo)，并且玩家在控制器處作出手動(dòng)輸入以發(fā)射該飛鏢。在各實(shí)施例中，檢測(cè)玩家的一部分的位置并使用映射函數(shù)(它可能改變)將其映射到屏幕空間。例如，玩家的手在屏幕空間中的映射位置被用來(lái)通過(guò)延伸化身的手臂來(lái)控制化身的手的位置。在各示例中，在對(duì)化身的基于相機(jī)的控制之前，滿足各玩家條件。
[0006]通過(guò)結(jié)合附圖參考以下詳細(xì)描述，可更易于領(lǐng)會(huì)并更好地理解許多附帶特征。
【專利附圖】

【附圖說(shuō)明】
[0007]根據(jù)附圖閱讀以下詳細(xì)描述，將更好地理解本發(fā)明，在附圖中:
[0008]圖1是持有游戲控制器并坐在具有深度相機(jī)的游戲裝置前的玩家的示意圖；
[0009]圖2是結(jié)合圖像捕捉設(shè)備、手持式控制器、計(jì)算設(shè)備以及顯示器的游戲系統(tǒng)的示意圖；
[0010]圖3是手持式控制器的平面圖；
[0011]圖4是圖3的手持式控制器的透視圖；
[0012]圖5是玩游戲期間顯示畫面的示意圖；
[0013]圖6是游戲系統(tǒng)的一操作方法的流程圖；
[0014]圖7是游戲系統(tǒng)的另一操作方法的流程圖；
[0015]圖8是與圖7的方法結(jié)合使用的游戲系統(tǒng)的一操作方法的流程圖；
[0016]圖9示出可在其中實(shí)現(xiàn)游戲系統(tǒng)的實(shí)施例的示例性的基于計(jì)算的設(shè)備。
[0017]在各個(gè)附圖中使用相同的附圖標(biāo)記來(lái)指代相同的部件?！揪唧w實(shí)施方式】
[0018]下面結(jié)合附圖提供的詳細(xì)描述旨在作為本發(fā)明示例的描述，并不旨在表示可以構(gòu)建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，以及用于構(gòu)建和操作本發(fā)明示例的步驟的序列。然而，可以通過(guò)不同的示例來(lái)實(shí)現(xiàn)相同或等效功能和序列。
[0019]雖然在本文中將本發(fā)明的示例描述并示出為在用于二維橫向卷軸游戲平臺(tái)游戲的游戲系統(tǒng)中實(shí)現(xiàn)，但是所描述的系統(tǒng)只是作為示例而非限制來(lái)提供的。本領(lǐng)域的技術(shù)人員將會(huì)明白，本發(fā)明的示例適合在各種不同類型的游戲系統(tǒng)中的應(yīng)用。
[0020]首先參考圖1，圖1示出了用于控制計(jì)算機(jī)游戲的示例控制系統(tǒng)100。在該示例中，控制系統(tǒng)包括手持式控制器和基于相機(jī)的控制系統(tǒng)兩者。通過(guò)合并這兩種類型的控制，游戲玩家體驗(yàn)到這兩種類型的控制系統(tǒng)的益處。如本文描述的，實(shí)現(xiàn)合并是為了按穩(wěn)健、易于使用的方式來(lái)啟用對(duì)游戲系統(tǒng)的細(xì)粒度控制，這增強(qiáng)了玩家體驗(yàn)。在該示例中，圖1示出了用戶102在玩二維橫向卷軸游戲平臺(tái)游戲。這類游戲可被清楚地描繪在二維圖畫中；然而，本文描述的方法還適用于三維游戲、增強(qiáng)現(xiàn)實(shí)應(yīng)用、以及其他類型的游戲。在一些示例中，基于相機(jī)的控制系統(tǒng)100尤其可被用于確定身體姿態(tài)、綁定、識(shí)別、分析、跟蹤、關(guān)聯(lián)至人類目標(biāo)、提供反饋、和/或適應(yīng)于諸如用戶102 (本文也稱為玩家)等人類目標(biāo)的各方面，等等。在該示例中，為簡(jiǎn)明起見(jiàn)，示出了一個(gè)玩家。然而，兩個(gè)或更多個(gè)玩家也可同時(shí)使用該控制系統(tǒng)。
[0021]基于相機(jī)的控制系統(tǒng)100包括計(jì)算設(shè)備104。計(jì)算設(shè)備104可以是通用計(jì)算機(jī)、游戲系統(tǒng)或控制臺(tái)、或?qū)Ｓ脠D像處理設(shè)備。計(jì)算設(shè)備104可包括硬件組件和/或軟件組件，以使計(jì)算設(shè)備104可用于執(zhí)行諸如游戲應(yīng)用和/或非游戲應(yīng)用等應(yīng)用。下文參考圖9討論了計(jì)算設(shè)備104的結(jié)構(gòu)。
[0022]基于相機(jī)的控制系統(tǒng)100還包括捕捉設(shè)備106。捕捉設(shè)備106可以是例如圖像傳感器或檢測(cè)器，該圖像傳感器或檢測(cè)器可用于在視覺(jué)上監(jiān)視一個(gè)或多個(gè)用戶(諸如用戶102)，以使得可以捕捉、分析、處理、及跟蹤一個(gè)或多個(gè)用戶所執(zhí)行的姿勢(shì)以執(zhí)行游戲或應(yīng)用內(nèi)的一個(gè)或多個(gè)控制或動(dòng)作，如將在下面更詳細(xì)地描述的。
[0023]基于相機(jī)的控制系統(tǒng)100可進(jìn)一步包括連接到計(jì)算設(shè)備104的顯示設(shè)備108。該計(jì)算設(shè)備可以是可向用戶102提供游戲或應(yīng)用視覺(jué)(和可任選的音頻)的電視機(jī)、監(jiān)視器、高清電視機(jī)(HDTV)等。
[0024]在操作中，可以使用捕捉設(shè)備106跟蹤用戶102以使得用戶102的位置、移動(dòng)和大小可以被計(jì)算設(shè)備104 (和/或捕捉設(shè)備106)解釋為可用于影響由計(jì)算設(shè)備104執(zhí)行的應(yīng)用的控制。結(jié)果，用戶102能夠移動(dòng)他或她的身體(或者他或她身體的各部分)以控制所執(zhí)行的游戲或應(yīng)用。
[0025]在圖1的說(shuō)明性示例中，計(jì)算設(shè)備104上執(zhí)行的應(yīng)用是用戶102正在玩的二維橫向卷軸游戲平臺(tái)游戲。在本示例中，計(jì)算設(shè)備104控制顯示設(shè)備108來(lái)向用戶102提供包括地形、樹木以及太陽(yáng)的地區(qū)的視覺(jué)表示。計(jì)算設(shè)備104還控制顯示設(shè)備108來(lái)提供用戶102可以用他或她的移動(dòng)和/或通過(guò)使用手持式控制器110來(lái)控制的用戶化身的視覺(jué)表示。化身可以是角色和/或化身被示為正在控制的工具、武器或其他對(duì)象的視覺(jué)表示。例如，計(jì)算設(shè)備104可包括身體姿態(tài)估算器，該估算器被安排為識(shí)別并跟蹤用戶的不同身體部位，并將這些部位映射到化身上。用這種方式，化身復(fù)制用戶102的移動(dòng)，以使得如果用戶102例如在物理空間中走動(dòng)，則這會(huì)使得該用戶化身在游戲空間中走動(dòng)。
[0026]然而，僅在游戲空間中復(fù)制用戶移動(dòng)限制了用戶和游戲之間的交互的類型和復(fù)雜度。例如，許多游戲內(nèi)控制是瞬間的動(dòng)作或命令，在傳統(tǒng)游戲系統(tǒng)中，這些動(dòng)作或命令可以使用按鈕按下來(lái)觸發(fā)。這些動(dòng)作或命令的示例包括諸如揮拳、射擊、換武器、投擲、踢、跳、和/或下蹲。通過(guò)識(shí)別出用戶正在執(zhí)行這些動(dòng)作之一并且觸發(fā)相應(yīng)的游戲內(nèi)動(dòng)作，而不是僅復(fù)制用戶的移動(dòng)，可以控制這些動(dòng)作或命令。另外，在手持式控制器處的用戶輸入和經(jīng)由基于相機(jī)的控制系統(tǒng)的用戶輸入的組合可被用來(lái)控制游戲裝置。
[0027]現(xiàn)在參考圖2，圖2示出了可在圖1的基于相機(jī)的控制系統(tǒng)100中使用的捕捉設(shè)備106的示意圖。在圖2的示例中，捕捉設(shè)備106被配置為捕捉具有深度信息的視頻圖像。這種捕捉設(shè)備可被稱為深度相機(jī)。深度信息可以是包括深度值的深度圖像的形式，即深度值是與深度圖像的每個(gè)圖像元素相關(guān)聯(lián)的值，該值和該深度相機(jī)和位于該圖像元素處的項(xiàng)目或物體之間的距離有關(guān)。注意，術(shù)語(yǔ)“圖像元素”用于指代像素、像素組、體素(voxel)、體素組或圖像的其他更高層次的分量。
[0028]深度信息可以使用任何合適的技術(shù)獲得，包括例如飛行時(shí)間、結(jié)構(gòu)化光、立體圖像等。在一些示例中，捕捉設(shè)備106可將深度信息組織為“Z層”，即可垂直于從深度相機(jī)沿其視線延伸的Z軸的層。
[0029]如圖2所示，捕捉設(shè)備106包括至少一個(gè)成像傳感器200。在圖2所示的示例中，成像傳感器200包括被安排為捕捉場(chǎng)景的深度圖像的深度相機(jī)202。所捕捉的深度圖像可包括所捕捉的場(chǎng)景的二維(2-D)區(qū)域，其中該2-D區(qū)域中的每個(gè)圖像元素表示一深度值，諸如所捕捉的場(chǎng)景中的物體離深度相機(jī)202的長(zhǎng)度或距離。
[0030]該捕捉設(shè)備還可包括被安排為以可由深度相機(jī)202查明深度信息的方式來(lái)照亮該場(chǎng)景的發(fā)射機(jī)204。例如，在深度相機(jī)202是紅外(IR)飛行時(shí)間相機(jī)的情況下，發(fā)射機(jī)204將IR光發(fā)射到該場(chǎng)景上，并且深度相機(jī)202被安排為檢測(cè)從該場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)和物體的表面反向散射的光。在一些不例中，可以從發(fā)射機(jī)204發(fā)出脈沖紅外光,使得外出光脈沖與對(duì)應(yīng)的傳入光脈沖之間的時(shí)間可由深度相機(jī)來(lái)檢測(cè)和測(cè)量，并被用來(lái)確定從捕捉設(shè)備106到該場(chǎng)景中的目標(biāo)或物體上的位置的物理距離。另外，在一些示例中，可將來(lái)自發(fā)射機(jī)204的出射光波的相位與深度相機(jī)202處的入射光波的相位進(jìn)行比較來(lái)確定相移。該相移然后可以用于確定從捕獲設(shè)備106到目標(biāo)或物體上的一位置的物理距離。在未來(lái)示例中，可使用飛行時(shí)間分析，通過(guò)經(jīng)由包括例如快門式光脈沖成像的各種技術(shù)來(lái)分析反射光束隨時(shí)間的強(qiáng)度以間接地確定從捕捉設(shè)備106到目標(biāo)或物體上的一位置的物理距離。
[0031]在另一示例中，捕捉設(shè)備106可使用結(jié)構(gòu)化光來(lái)捕捉深度信息。在這種技術(shù)中，可使用發(fā)射機(jī)204將圖案化光(例如，顯示為諸如斑點(diǎn)、網(wǎng)格、或條形圖案等已知圖案的光，它也可隨時(shí)間變化)投影到場(chǎng)景上。在照到場(chǎng)景中的一個(gè)或多個(gè)目標(biāo)或物體的表面上以后，圖案變形。這種圖案變形可由深度相機(jī)202捕捉然后被分析以確定從捕捉設(shè)備106到該場(chǎng)景中的目標(biāo)或物體上的一位置的物理距離。
[0032]在另一示例中，深度相機(jī)202可以是從不同角度查看場(chǎng)景的兩個(gè)或更多個(gè)物理上分開(kāi)的相機(jī)的形式，以便獲得能被解析以生成深度信息的視覺(jué)立體數(shù)據(jù)。在此情況下，發(fā)射機(jī)204可被用來(lái)照亮場(chǎng)景，或可被省略。[0033]在一些示例中，作為深度相機(jī)202的補(bǔ)充或替換，捕捉設(shè)備106可包括被稱為RGB相機(jī)206的視頻相機(jī)。RGB相機(jī)206被安排為在可見(jiàn)光頻率捕捉場(chǎng)景的圖像序列，并能因此提供可用于擴(kuò)充深度圖像的圖像。在一些示例中，可以使用RGB相機(jī)206而不是深度相機(jī)202。捕捉設(shè)備106還可以可任選地包括話筒207或話筒陣列(其可以是有向的和/或可轉(zhuǎn)向的)，該話筒或話筒陣列被安排為捕捉聲音信息(諸如來(lái)自該用戶的語(yǔ)音輸入)并且可以用于語(yǔ)音識(shí)別。
[0034]圖2中示出的捕捉設(shè)備106還包括至少一個(gè)處理器208，處理器208與圖像傳感器200 (B卩，圖2的示例中的深度相機(jī)202和RGB相機(jī)206)、發(fā)射機(jī)204、和話筒207通信。處理器208可以是通用微處理器、或?qū)Ｓ眯盘?hào)/圖像處理器。處理器208被安排為執(zhí)行指令以控制成像傳感器200、發(fā)射機(jī)204和話筒207以捕捉深度圖像、RGB圖像和/或語(yǔ)音信號(hào)。處理器208也可以可任選地被安排為對(duì)這些圖像和信號(hào)執(zhí)行處理，如后文更詳細(xì)地概述的。
[0035]圖2中示出的捕捉設(shè)備106和包括存儲(chǔ)器210，存儲(chǔ)器210被安排為存儲(chǔ)由處理器208執(zhí)行的指令、深度相機(jī)202或RGB相機(jī)206捕捉到的圖像或圖像的幀、或任何其他合適的信息、圖像等。在一些示例中，存儲(chǔ)器210可包括隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM),高速緩存、閃存、硬盤、或任何其他合適的存儲(chǔ)組件。存儲(chǔ)器210可以是與處理器208通信的分開(kāi)的組件，或者可被集成到處理器208中。
[0036]捕捉設(shè)備106還包括與處理器208通信并被安排為經(jīng)由通信鏈路向計(jì)算設(shè)備104提供數(shù)據(jù)的輸出接口 212。該通信鏈路可以是例如有線連接(諸如USB、火線、以太網(wǎng)或類似連接)和/或無(wú)線連接(諸如WiF1、藍(lán)牙?:或類似連接)。在其他示例中，輸出接口 212可與
一個(gè)或多個(gè)通信網(wǎng)絡(luò)(諸如因特網(wǎng))界接并經(jīng)由這些網(wǎng)絡(luò)向計(jì)算設(shè)備104提供數(shù)據(jù)。
[0037]控制器110也作為捕捉設(shè)備的一部分來(lái)提供?？刂破骺梢允菆D1中示意性地描繪的手持式控制器或可以與非手持式的另一較大設(shè)備集成在一起。控制器包括多個(gè)用戶輸入設(shè)備，如按鈕、操縱桿、觸摸墊、開(kāi)關(guān)等，并使得玩家能夠?qū)τ螒蛳到y(tǒng)進(jìn)行輸入。用戶輸入數(shù)據(jù)通過(guò)有線連接和/或無(wú)線連接從控制器發(fā)送到計(jì)算設(shè)備104。
[0038]計(jì)算設(shè)備104執(zhí)行與基于相機(jī)的姿勢(shì)識(shí)別有關(guān)的多個(gè)功能，諸如可任選的身體姿態(tài)估計(jì)器214和姿勢(shì)識(shí)別引擎216。身體姿態(tài)估計(jì)器214被安排為使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)檢測(cè)和跟蹤該用戶的不同身體部位。身體姿態(tài)估計(jì)器的示例在2009年5月20日提交的美國(guó)專利申請(qǐng) US-2010-0278384-A1 “Human body pose estimation (人體姿態(tài)估計(jì))”中給出。身體姿態(tài)估算器214可向姿勢(shì)識(shí)別引擎提供與用戶的身體姿態(tài)有關(guān)的數(shù)據(jù)的時(shí)間系列形式的輸出。這可以是該用戶的完全跟蹤的骨架模型的形式，或者是該用戶的可見(jiàn)身體部位的更粗略標(biāo)識(shí)。例如，這些時(shí)序序列可包括與用戶的至少兩個(gè)身體部位之間的隨時(shí)間變化的角度、用戶的至少兩個(gè)身體部位之間的角度的變化率、用戶的至少一個(gè)身體部位的運(yùn)動(dòng)速度、或其組合有關(guān)的數(shù)據(jù)。不同類型的數(shù)據(jù)(某些身體部位之間的角度、速度等)被稱為“特征”。在其他示例中，身體姿態(tài)估算器214可從隨時(shí)間改變的用戶姿態(tài)推導(dǎo)出其他用戶序列(即，其他特征)。在進(jìn)一步的示例中，姿勢(shì)識(shí)別引擎216可利用除身體姿態(tài)估算器以外的不同來(lái)源推導(dǎo)輸入(即，特征)。還可在計(jì)算設(shè)備104上執(zhí)行應(yīng)用軟件218并使用所述姿勢(shì)來(lái)控制該應(yīng)用軟件。應(yīng)用軟件被安排成控制游戲在顯示器220上的顯示。
[0039]圖3是示例手持式控制器110的平面圖。它一般具有翼形，每一個(gè)翼或肩316的大小和形狀被制成適于用一只手抓握住。該控制器包括支承多個(gè)按鈕、開(kāi)關(guān)、以及操縱桿的外殼，如現(xiàn)在更詳細(xì)地描述的。然而，這只是示例并且可以使用其他類型的控制器110。
[0040]在該控制器的右面設(shè)置有四個(gè)數(shù)字動(dòng)作按鈕302，包括綠色A按鈕、紅色B按鈕、藍(lán)色X按鈕和黃色Y按鈕。提供兩個(gè)類似的操縱桿310和312。這些操縱桿也可被按入或點(diǎn)入以激活每一操縱桿下的數(shù)字按鈕。數(shù)字開(kāi)始306、后退308和導(dǎo)航304按鈕置于外殼中央。例如，導(dǎo)航按鈕被用來(lái)打開(kāi)控制器并訪問(wèn)菜單。
[0041]圖4是控制器的透視圖并且示出左緩沖器(bumper) 406和右緩沖器404，它們中的每一個(gè)是可由用戶按下的按鈕。左扳機(jī)400和右扳機(jī)402 (兩者是類似的)在控制器的下側(cè)上給出(在圖4中可見(jiàn))?？商峁┻B接408以實(shí)現(xiàn)到計(jì)算設(shè)備104的有線連接。
[0042]圖5是玩游戲期間顯示畫面(例如，在圖1的顯示屏108處)的示意圖?；碓诎ǖ匦魏吞?yáng)500的環(huán)境中示出。該環(huán)境包括多個(gè)活動(dòng)對(duì)象，它們可影響游戲的過(guò)程。在該示例中，活動(dòng)對(duì)象包括攻擊云所包圍的敵人506以及門把手502。非活動(dòng)對(duì)象504是不可穿過(guò)的墻，且門把手502向玩家提供將化身拉過(guò)該墻并繼續(xù)向右移動(dòng)的裝置。還在顯示畫面的角落顯示了另一非活動(dòng)對(duì)象510，并且該非活動(dòng)對(duì)象510包括游戲系統(tǒng)當(dāng)前捕捉的并且描繪該游戲的玩家的圖像流的表示。如果多個(gè)玩家在一起使用該游戲系統(tǒng)，則取決于任何遮擋和圖像捕捉系統(tǒng)的視野，圖像流在該圖像流中描繪所有可見(jiàn)玩家。使用非活動(dòng)對(duì)象510不是必須的。在圖5給出的示例中，化身的手臂之一 508伸向門把手502。這通過(guò)檢測(cè)到玩家的手在圖像流中的位置(相對(duì)于屏幕空間)并在檢測(cè)到的玩家的手的位置的基礎(chǔ)上延伸化身的手臂來(lái)實(shí)現(xiàn)。注意，圖5的場(chǎng)景只是一個(gè)示例。玩家的身體部位的位置和/或玩家的姿勢(shì)可被用來(lái)以其他方式控制化身。
[0043]圖6是游戲系統(tǒng)的一操作方法的流程圖。游戲系統(tǒng)顯示600游戲，包括環(huán)境中的至少一個(gè)化身。接收602該游戲的至少一個(gè)玩家的圖像流，并且例如使用圖2的身體姿態(tài)估計(jì)器來(lái)檢測(cè)606圖像流中的身體部位位置和/或關(guān)節(jié)位置?？扇芜x地，還執(zhí)行姿勢(shì)識(shí)別。還從控制器接收604手動(dòng)輸入，該控制器可以是諸如圖3和4的控制器等手持式控制器?？膳c身體部位位置和姿勢(shì)識(shí)別基本上同時(shí)地接收手動(dòng)輸入。游戲系統(tǒng)至少在基于相機(jī)的輸入和來(lái)自控制器的手動(dòng)輸入的基礎(chǔ)上來(lái)控制化身。顯示610游戲并且除任何手動(dòng)輸入外繼續(xù)接收基于相機(jī)的輸入。實(shí)時(shí)地執(zhí)行身體部位位置檢測(cè)和任選的姿勢(shì)識(shí)別，以使得游戲不延遲并且玩家具有直觀的游戲體驗(yàn)。
[0044]圖7是游戲系統(tǒng)的一操作方法的流程圖，其中在使用基于相機(jī)的輸入來(lái)控制化身之前，滿足手動(dòng)輸入的特定玩家條件以及玩家身體部位位置。以此方式，以避免基于相機(jī)的控制和手動(dòng)控制之間的沖突的方式來(lái)實(shí)時(shí)地實(shí)現(xiàn)對(duì)游戲系統(tǒng)的混合控制，這給出了細(xì)粒度控制并且使用直觀。在該示例中，基于相機(jī)的控制被用來(lái)伸長(zhǎng)化身的手臂。然而，這僅僅是一個(gè)示例。該方法也可被用來(lái)按其他方式控制游戲中的化身或其他對(duì)象。
[0045]游戲系統(tǒng)在環(huán)境中顯示700化身，并使用諸如以上參考圖2描述的圖像捕捉系統(tǒng)來(lái)接收玩家的正在進(jìn)行的圖像流。從諸如圖3和4的手持式控制器或任何其他手動(dòng)控制器等控制器接收704手動(dòng)輸入。作出706關(guān)于是否只按下控制器的一個(gè)緩沖器的檢查。例如，這可以是圖1的左或右緩沖器406、404。使用緩沖器不是必須的?？梢允褂萌魏伟粹o、開(kāi)關(guān)、觸摸墊、或其他用手操作的用戶輸入設(shè)備，它是被設(shè)計(jì)成由用戶的手來(lái)操作的一對(duì)中的一個(gè)。如果只按下一個(gè)緩沖器，則游戲系統(tǒng)獲得了與玩家的哪只手可能空出有關(guān)的信息。游戲系統(tǒng)檢查708可能空出的手的圖像流，并計(jì)算空出的手的位置是否離開(kāi)控制器超過(guò)閾值距離。如果是，則游戲系統(tǒng)跟蹤710玩家的空出的手相對(duì)于控制器的位置。
[0046]游戲系統(tǒng)使用映射函數(shù)將所確定的玩家的空出的手的位置映射到712化身周圍的屏幕空間。映射函數(shù)可被存儲(chǔ)在游戲系統(tǒng)處，并且映射函數(shù)的各參數(shù)可根據(jù)游戲狀態(tài)而改變714。例如，映射函數(shù)可以例如使用比例關(guān)系、非線性關(guān)系或以其他方式來(lái)確保屏幕空間中所映射的位置處于化身周圍的指定區(qū)域且所映射的位置與所確定的玩家的空出的手的位置相關(guān)。隨后延伸716化身的手臂，以使得化身的手處于屏幕空間中的所映射的位置處。
[0047]如圖7的示例所示，通過(guò)確保手動(dòng)輸入條件和基于相機(jī)的輸入條件兩者都被滿足，使用這兩種控制方法中的任一種對(duì)化身的控制之間的沖突被減輕。使用諸如706的條件等手動(dòng)輸入條件不是必須的。玩家的圖像流可被用來(lái)檢查例如是否只有玩家的一只手處于控制器上。
[0048]參考圖8，作出關(guān)于化身的手(在延伸到屏幕空間中的所映射的位置之后)是否在特定對(duì)象(如圖5的門把手)上方的檢查800。如果為是，則化身的手可被顯不802為抓住該特定對(duì)象。繼續(xù)804跟蹤玩家的空出的手以及手動(dòng)輸入，并且作出關(guān)于玩家是否繼續(xù)按下緩沖器且伸出他們空出的手的檢查806。如果為否，則化身的手返回808到非延伸狀態(tài)。如果玩家繼續(xù)按下緩沖器并且伸出空出的手，則玩家在化身的手臂保持延伸的同時(shí)移動(dòng)化身是可能的。例如，通過(guò)在控制器上的操縱桿處作出輸入。根據(jù)玩家的手動(dòng)輸入，在化身的手臂延伸的同時(shí)顯示810化身的運(yùn)動(dòng)。例如，在這一狀態(tài)中，玩家可以使用他們的拇指來(lái)控制化身，使得它在伸出一條手臂并旋轉(zhuǎn)以持續(xù)抓住該對(duì)象的情況下奔跑。
[0049]如果玩家將被跟蹤的手收回到控制器同時(shí)按下緩沖器812，則化身可被顯示814為從該對(duì)象抬起手。如果玩家釋放緩沖器，則化身的手可返回非延伸狀態(tài)。如果指定游戲狀態(tài)發(fā)生816，則化身的手可返回808到非延伸狀態(tài)。例如，指定游戲狀態(tài)可以是被敵人所傷、化身移動(dòng)離開(kāi)被抓握的對(duì)象超過(guò)閾值距離、達(dá)到指定時(shí)間、達(dá)到指定力量計(jì)量水平。
[0050]在其他示例中，基于相機(jī)的輸入被用來(lái)控制化身?yè)]劍的方向。在另一示例中，基于相機(jī)的輸入被用來(lái)將槍瞄準(zhǔn)地圖上的點(diǎn)并且手動(dòng)輸入被用來(lái)扣該槍的扳機(jī)。在本文描述的各示例中，身體部位位置或玩家作出的移動(dòng)類似于在游戲中對(duì)化身的控制。例如，玩家可將一只手向上伸出并且他們的動(dòng)作被游戲中的化身以放大或夸張的方式復(fù)制。然而，這不是必需的。玩家作出的移動(dòng)可與所造成的對(duì)化身的控制無(wú)關(guān)。
[0051]圖9示出了示例性計(jì)算設(shè)備104的各種組件，該計(jì)算設(shè)備可以實(shí)現(xiàn)為任何形式的計(jì)算設(shè)備和/或電子設(shè)備，且在該計(jì)算設(shè)備中可以實(shí)現(xiàn)上述游戲控制技術(shù)的實(shí)施例。
[0052]計(jì)算設(shè)備104包括一個(gè)或多個(gè)處理器902，處理器902可以是微處理器、控制器或用于處理計(jì)算機(jī)可執(zhí)行指令來(lái)控制游戲系統(tǒng)的任何其他合適類型的處理器。在一些示例中，例如在使用片上系統(tǒng)架構(gòu)的示例中，處理器902可以包括一個(gè)或多個(gè)固定功能塊(亦稱加速器)，這些塊以硬件(而非軟件或固件)來(lái)實(shí)現(xiàn)游戲控制方法的一部分。
[0053]基于計(jì)算的設(shè)備104還包括輸入接口 904，該輸入接口被安排為從一個(gè)或多個(gè)設(shè)備(諸如圖2的捕捉設(shè)備106和/或圖3和圖4的控制器)接收輸入。輸出接口 906也被提供并被安排為向例如與基于計(jì)算的設(shè)備集成或通信的顯示系統(tǒng)(諸如顯示設(shè)備108或220)提供輸出。顯示系統(tǒng)可提供圖形用戶界面，或任何合適類型的其他用戶界面，但這不是必需的?？梢钥扇芜x地提供通信接口 908，該通信接口可被安排為與一個(gè)或多個(gè)通信網(wǎng)絡(luò)(例如，因特網(wǎng))進(jìn)行通信。
[0054]可以使用可由基于計(jì)算的設(shè)備104訪問(wèn)的任何計(jì)算機(jī)可讀介質(zhì)來(lái)提供計(jì)算機(jī)可執(zhí)行指令。計(jì)算機(jī)可讀介質(zhì)可以包括例如諸如存儲(chǔ)器910等計(jì)算機(jī)存儲(chǔ)介質(zhì)和通信介質(zhì)。諸如存儲(chǔ)器910等計(jì)算機(jī)存儲(chǔ)介質(zhì)包括以用于存儲(chǔ)如計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或其他數(shù)據(jù)等信息的任何方法或技術(shù)實(shí)現(xiàn)的易失性和非易失性、可移動(dòng)和不可移動(dòng)介質(zhì)。計(jì)算機(jī)存儲(chǔ)介質(zhì)包括但不限于，RAM、ROM、EPROM、EEPR0M、閃存或其他存儲(chǔ)器技術(shù)、CD-ROM、數(shù)字多功能盤(DVD)或其他光存儲(chǔ)、磁帶盒、磁帶、磁盤存儲(chǔ)或其他磁存儲(chǔ)設(shè)備，或者可用于存儲(chǔ)信息以供計(jì)算設(shè)備訪問(wèn)的任何其他非傳輸介質(zhì)。相反，通信介質(zhì)可以以諸如載波或其他傳輸機(jī)制等已調(diào)制數(shù)據(jù)信號(hào)來(lái)體現(xiàn)計(jì)算機(jī)可讀指令、數(shù)據(jù)結(jié)構(gòu)、程序模塊或者其他數(shù)據(jù)。如本文所定義的，計(jì)算機(jī)存儲(chǔ)介質(zhì)不包括通信介質(zhì)。因此，計(jì)算機(jī)存儲(chǔ)介質(zhì)不應(yīng)被解釋為本質(zhì)上是傳播信號(hào)。雖然在基于計(jì)算的設(shè)備104中示出了計(jì)算機(jī)存儲(chǔ)介質(zhì)(存儲(chǔ)器910)，然而應(yīng)當(dāng)理解，該存儲(chǔ)可以是分布式的或位于遠(yuǎn)處并經(jīng)由網(wǎng)絡(luò)或其他通信鏈路(例如，使用通信接口 908 )來(lái)訪問(wèn)。
[0055]可以在基于計(jì)算的設(shè)備處提供包括操作系統(tǒng)912或任何其他合適的平臺(tái)軟件的平臺(tái)軟件以使得能夠在該設(shè)備上執(zhí)行應(yīng)用軟件218。存儲(chǔ)器910可以儲(chǔ)存用于實(shí)現(xiàn)身體姿態(tài)估計(jì)器214和姿勢(shì)識(shí)別引擎216的功能的可執(zhí)行指令。存儲(chǔ)器910還可提供數(shù)據(jù)存儲(chǔ)914，該數(shù)據(jù)存儲(chǔ)可被用來(lái)在執(zhí)行游戲控制技術(shù)時(shí)提供對(duì)處理器902所使用的數(shù)據(jù)的存儲(chǔ)，如任何姿態(tài)模板、閾值、參數(shù)、屏幕空間映射函數(shù)、或其他數(shù)據(jù)。
[0056]此處所使用的術(shù)語(yǔ)‘計(jì)算機(jī)’是指帶有處理能力以便它可以執(zhí)行指令的任何設(shè)備。本領(lǐng)域的技術(shù)人員將認(rèn)識(shí)到，這樣的處理能力被集成到許多不同的設(shè)備中，因此，術(shù)語(yǔ)‘計(jì)算機(jī)’包括PC、服務(wù)器、移動(dòng)電話、個(gè)人數(shù)字助理和許多其他設(shè)備。
[0057]本文描述的方法可由有形存儲(chǔ)介質(zhì)上的機(jī)器可讀形式的軟件來(lái)執(zhí)行，例如計(jì)算機(jī)程序的形式，該計(jì)算機(jī)程序包括在該程序在計(jì)算機(jī)上運(yùn)行時(shí)適用于執(zhí)行本文描述的任何方法的所有步驟的計(jì)算機(jī)程序代碼裝置并且其中該計(jì)算機(jī)程序可被包括在計(jì)算機(jī)可讀介質(zhì)上。有形(或非瞬態(tài))存儲(chǔ)介質(zhì)的示例包括盤(disk)、拇指型驅(qū)動(dòng)器、存儲(chǔ)器等而不包括所傳播的信號(hào)。軟件可適于在并行處理器或串行處理器上執(zhí)行以使得各方法步驟可以按任何合適的次序或同時(shí)執(zhí)行。
[0058]這承認(rèn)，軟件可以是有價(jià)值的，單獨(dú)地可交換的商品。它旨在包含運(yùn)行于或者控制“啞”或標(biāo)準(zhǔn)硬件以實(shí)現(xiàn)所需功能的軟件。它還旨在包含例如用于設(shè)計(jì)硅芯片，或者用于配置通用可編程芯片的HDL (硬件描述語(yǔ)言)軟件等“描述”或者定義硬件配置以實(shí)現(xiàn)期望功能的軟件。
[0059]本領(lǐng)域技術(shù)人員會(huì)認(rèn)識(shí)到，用于存儲(chǔ)程序指令的存儲(chǔ)設(shè)備可分布在網(wǎng)絡(luò)上。例如，遠(yuǎn)程計(jì)算機(jī)可以存儲(chǔ)被描述為軟件的進(jìn)程的示例。本地或終端計(jì)算機(jī)可以訪問(wèn)遠(yuǎn)程計(jì)算機(jī)并下載軟件的一部分或全部以運(yùn)行程序?？闪磉x地，本地計(jì)算機(jī)可以根據(jù)需要下載軟件的片段，或在本地終端上執(zhí)行一些軟件指令，并在遠(yuǎn)程計(jì)算機(jī)(或計(jì)算機(jī)網(wǎng)絡(luò))上執(zhí)行另一些軟件指令。本領(lǐng)域的技術(shù)人員還將認(rèn)識(shí)到，通過(guò)利用本領(lǐng)域的技術(shù)人員已知的傳統(tǒng)技術(shù)，軟件指令的全部，或一部分可以通過(guò)諸如DSP、可編程邏輯陣列等等之類的專用電路來(lái)實(shí)現(xiàn)。
[0060]對(duì)精通本技術(shù)的人顯而易見(jiàn)的是，此處給出的任何范圍或設(shè)備值可以被擴(kuò)展或改變，而不會(huì)丟失尋求的效果。
[0061]盡管用結(jié)構(gòu)特征和/或方法動(dòng)作專用的語(yǔ)言描述了本主題，但可以理解，所附權(quán)利要求書中定義的主題不必限于上述具體特征或動(dòng)作。更確切而言，上述具體特征和動(dòng)作是作為實(shí)現(xiàn)權(quán)利要求的示例形式公開(kāi)的。
[0062]可以理解，上文所描述的優(yōu)點(diǎn)可以涉及一個(gè)實(shí)施例或可以涉及多個(gè)實(shí)施例。各實(shí)施例不僅限于解決任何或全部所陳述的問(wèn)題的那些實(shí)施例或具有任何或全部所陳述的優(yōu)點(diǎn)那些實(shí)施例。進(jìn)一步可以理解，對(duì)“一個(gè)”項(xiàng)目的引用是指那些項(xiàng)目中的一個(gè)或多個(gè)。
[0063]此處所描述的方法的步驟可以在適當(dāng)?shù)那闆r下以任何合適的順序，或同時(shí)實(shí)現(xiàn)。另外，在不偏離此處所描述的主題的精神和范圍的情況下，可以從任何一個(gè)方法中刪除各單獨(dú)的框。上文所描述的任何示例的各方面可以與所描述的其他示例中的任何示例的各方面相結(jié)合，以構(gòu)成進(jìn)一步的示例，而不會(huì)丟失尋求的效果。
[0064]此處使用了術(shù)語(yǔ)‘包括’旨在包括已標(biāo)識(shí)的方法的框或元件,但是這樣的框或元件不包括排它性的列表，方法或設(shè)備可以包含額外的框或元件。
[0065]可以理解，以上描述是只作為示例給出的，本領(lǐng)域的技術(shù)人員可以作出各種修改。以上說(shuō)明、示例和數(shù)據(jù)提供了對(duì)示例性實(shí)施例的結(jié)構(gòu)和使用的全面描述。雖然上文以一定的詳細(xì)度或參考一個(gè)或多個(gè)單獨(dú)實(shí)施例描述了各實(shí)施例，但是，在不偏離本說(shuō)明書的精神或范圍的情況下，本領(lǐng)域的技術(shù)人員可以對(duì)所公開(kāi)的實(shí)施例作出很多更改。
【權(quán)利要求】
1.一種控制計(jì)算機(jī)游戲系統(tǒng)的方法，包括: 從圖像捕捉設(shè)備接收描繪游戲的至少一個(gè)玩家的圖像流； 通過(guò)分析所述圖像流來(lái)確定所述玩家的部位位置； 從由所述玩家操作的用手操作的控制器接收玩家手動(dòng)輸入； 在所述至少一個(gè)玩家觀看的顯示器處顯示計(jì)算機(jī)游戲，所述顯示包括至少一個(gè)化身和環(huán)境； 檢查多個(gè)玩家條件是否被滿足； 一旦所述玩家條件被滿足，則在所確定的玩家部位位置和來(lái)自所述控制器的手動(dòng)輸入兩者的基礎(chǔ)上控制所述化身的顯示。
2.如權(quán)利要求1所述的方法，其特征在于，所述玩家的部位位置是所述玩家的身體部位位置或所述玩家持有的現(xiàn)實(shí)世界物體的位置。
3.如權(quán)利要求1所述的方法，其特征在于，包括使用映射函數(shù)將所確定的所述玩家的部位位置映射到屏幕空間中所映射的位置，并相關(guān)于屏幕空間中所映射的位置來(lái)控制所述化身的顯示。
4.如權(quán)利要求2所述的方法，其特征在于，包括通過(guò)朝屏幕空間中所映射的位置延伸所述化身的一部分來(lái)控制所述化身的顯示。
5.如權(quán)利要求2所述的方法，其特征在于，包括通過(guò)朝屏幕空間中所映射的位置移動(dòng)所述化身來(lái)控制所述化身的顯示。
6.如權(quán)利要求1所述的方法，其特征在于，包括跟蹤所述玩家的部位位置并在所跟蹤的部位位置的基礎(chǔ)上控制所述化身的顯示。
7.如權(quán)利要求1所述的方法，其特征在于，包括:跟蹤所述玩家的部位位置；使用映射函數(shù)將所跟蹤的所述玩家的部位位置映射到屏幕空間中所映射的多個(gè)位置，并相關(guān)于屏幕空間中所映射的各位置來(lái)控制所述化身的顯示。
8.如權(quán)利要求1所述的方法，其特征在于，檢查多個(gè)玩家條件是否被滿足包括檢查所述玩家是否只有一只手處于所述用手操作的控制器上。
9.如權(quán)利要求8所述的方法，其特征在于，所述多個(gè)條件包括檢查所述玩家使一只手離開(kāi)所述控制器超過(guò)閾值距離。
10.一種計(jì)算機(jī)游戲系統(tǒng)，包括: 圖像捕捉設(shè)備，被安排成接收描繪游戲的至少一個(gè)玩家的圖像流； 處理器，被安排成通過(guò)分析所述圖像流來(lái)確定所述玩家的部位位置； 輸入，被安排成從用手操作的控制器接收玩家手動(dòng)輸入； 所述處理器被安排成檢查多個(gè)玩家條件是否被滿足； 輸出，被安排成在所述至少一個(gè)玩家觀看的顯示器處顯示計(jì)算機(jī)游戲，所述顯示包括至少一個(gè)化身和環(huán)境； 所述處理器被安排成一旦所述玩家條件被滿足，則在所確定的玩家部位位置和來(lái)自所述控制器的手動(dòng)輸入兩者的基礎(chǔ)上控制所述化身的顯示。
【文檔編號(hào)】A63F13/428GK103517742SQ201280020721
【公開(kāi)日】2014年1月15日 申請(qǐng)日期:2012年4月23日 優(yōu)先權(quán)日:2011年4月28日
【發(fā)明者】T·W·蘭斯達(dá)爾, C·R·格里非斯 申請(qǐng)人:微軟公司