無人機(jī)以及無人機(jī)系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種無人機(jī)以及無人機(jī)系統(tǒng)。無人機(jī)包括：RGBD相機(jī)、飛行控制器以及處理器，處理器與RGBD相機(jī)以及飛行控制器連接，其中：飛行控制器用于控制無人機(jī)的飛行姿態(tài)；RGBD相機(jī)，用于在飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像信息，RGBD圖像中每個像素點(diǎn)包括R、G、B像素信息和對應(yīng)的深度信息；處理器用于實(shí)時(shí)對R、G、B像素信息進(jìn)行處理，并獲取目標(biāo)的輪廓以用于識別目標(biāo)。通過以上方式，本發(fā)明能夠在無人機(jī)則直接進(jìn)行RGBD圖像的處理，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。
【專利說明】
無人機(jī)以及無人機(jī)系統(tǒng)
技術(shù)領(lǐng)域
[0001]本發(fā)明涉及無人機(jī)領(lǐng)域，特別是涉及一種無人機(jī)以及無人機(jī)系統(tǒng)。
【背景技術(shù)】
[0002]隨著微電子技術(shù)和計(jì)算機(jī)視覺技術(shù)的不斷發(fā)展，使得目標(biāo)跟蹤得以實(shí)時(shí)實(shí)現(xiàn)，尤其是將目標(biāo)跟蹤裝置安裝到無人機(jī)上，可以實(shí)現(xiàn)對目標(biāo)的靈活動態(tài)跟蹤，在軍事和民用領(lǐng)域具有較高的使用價(jià)值。
[0003]傳統(tǒng)無人機(jī)的目標(biāo)跟蹤技術(shù)中，通常使用激光、雷達(dá)和超聲等主動環(huán)境感知方法，其缺點(diǎn)為并不能直接獲得目標(biāo)的未知信息，并且多個無人機(jī)檢測時(shí)會相互干擾，更為弊端的是在戰(zhàn)場環(huán)境中隱蔽性差，被敵方發(fā)現(xiàn)的概率大的增加。
[0004]現(xiàn)有的無人機(jī)主要致力于增大航時(shí)，提高速度，隱身機(jī)體，縮小體積，高度智能，加載武器，增強(qiáng)傳輸可靠性和通用性，使無人機(jī)能夠按照指令或者預(yù)先編制的程序來完成預(yù)定的作戰(zhàn)任務(wù)。而現(xiàn)有的無人機(jī)上的相機(jī)一般應(yīng)用2D相機(jī)來拍攝2D圖像，圖像中每個像素點(diǎn)只包括紅(Red，R)、綠(6代011，6)、藍(lán)(81116，8)像素，不包括深度信息0。如此現(xiàn)有的無人機(jī)無法根據(jù)拍攝2D圖像來自動實(shí)現(xiàn)目標(biāo)跟蹤拍攝等。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供了一種無人機(jī)以及無人機(jī)系統(tǒng)，能夠在無人機(jī)則直接進(jìn)行RGBD圖像的處理，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。
[0006]本發(fā)明提供一種無人機(jī)，無人機(jī)包括RGBD相機(jī)、飛行控制器以及處理器，處理器與RGBD相機(jī)以及飛行控制器連接，其中:飛行控制器用于控制無人機(jī)的飛行姿態(tài)和/或拍攝模式;RGBD相機(jī)，用于在飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像，其中RGK)圖像中每個像素點(diǎn)包括R、G、B像素彳目息和深度彳目息；
[0007]處理器，用于實(shí)時(shí)對R、G、B像素信息和/或?qū)?yīng)的深度信息進(jìn)行處理，并獲取目標(biāo)的輪廓以用于識別目標(biāo)。
[0008]其中，處理器根據(jù)RGBD圖像中像素點(diǎn)的深度信息獲取目標(biāo)至RGBD相機(jī)的實(shí)時(shí)距離;飛行控制器根據(jù)實(shí)時(shí)距離調(diào)整無人機(jī)的飛行姿態(tài)。
[0009]其中，RGBD相機(jī)還用于拍攝用戶輸入的不同手勢，處理器根據(jù)不同手勢產(chǎn)生對應(yīng)的控制指令，飛行控制器根據(jù)控制指令選擇拍攝模式。
[0010]其中，無人機(jī)還包括語音獲取模塊，語音獲取模塊用于獲取用戶輸入的語音，處理器還根據(jù)用戶輸入的語音產(chǎn)生控制指令，飛行控制器根據(jù)控制指令選擇拍攝模式。
[0011]其中，處理器利用深度信息去除背景，提取出目標(biāo)。
[0012]其中，處理器根據(jù)R、G、B像素信息和對應(yīng)的深度信息識別目標(biāo)特征。
[0013]其中，處理器根據(jù)R、G、B像素信息和對應(yīng)的深度信息識別目標(biāo)為剛體或非剛體。
[0014]其中，處理器還利用RGB色彩信息對目標(biāo)的進(jìn)行特征識別。
[0015]其中，目標(biāo)為特定的人體，處理器根據(jù)R、G、B像素信息檢測人體的臉部特征以識別人體。
[0016]其中，無人機(jī)還包括語音傳感器，用于獲取目標(biāo)的語音信息，處理器進(jìn)一步根據(jù)多幀RGBD圖像以及語音信息進(jìn)行身份識別，并進(jìn)行目標(biāo)的動態(tài)行為分析。
[0017]其中，無人機(jī)還包括無線通訊單元，與處理器連接，用于實(shí)現(xiàn)與遠(yuǎn)端服務(wù)器進(jìn)行通訊，其中遠(yuǎn)端服務(wù)器包括云端服務(wù)器和/或地面終端服務(wù)器。
[0018]本發(fā)明提供一種無人機(jī)系統(tǒng)，包括前述的無人機(jī)，以及遠(yuǎn)端服務(wù)器，遠(yuǎn)端服務(wù)器用于接收無人機(jī)發(fā)送的RGBD圖像以用于對RGBD進(jìn)行處理；其中遠(yuǎn)端服務(wù)器包括云端服務(wù)器和/或地面終端服務(wù)器。
[0019]通過上述方案，本發(fā)明的有益效果是:飛行控制器用于控制無人機(jī)的飛行姿態(tài)和/或拍攝模式;通過RGBD相機(jī)在無人機(jī)飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像，RGBD圖像中每個像素點(diǎn)包括R、G、B像素信息和對應(yīng)的深度信息;處理器實(shí)時(shí)對R、G、B像素信息和/或?qū)?yīng)的深度信息進(jìn)行處理，并獲取目標(biāo)的輪廓以用于以識別目標(biāo)，能夠在無人機(jī)則直接進(jìn)行RGBD圖像的處理，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。
【附圖說明】
[0020]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。其中:
[0021 ]圖1是本發(fā)明第一實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖；
[0022]圖2a是本發(fā)明第二實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖；
[0023]圖2b是圖2a中的無人機(jī)剖面的結(jié)構(gòu)示意圖；
[0024]圖2c是圖2a中的無人機(jī)的RGBD相機(jī)旋轉(zhuǎn)的結(jié)構(gòu)示意圖；
[0025]圖3是本發(fā)明第三實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖；
[0026]圖4是本發(fā)明實(shí)施例的三維傳感芯片的結(jié)構(gòu)示意圖；
[0027]圖5是本發(fā)明第一實(shí)施例的無人機(jī)系統(tǒng)的結(jié)構(gòu)示意圖；
[0028]圖6是本發(fā)明第二實(shí)施例的無人機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0029]下面將結(jié)合本發(fā)明實(shí)施例中的附圖，對本發(fā)明實(shí)施例中的技術(shù)方案進(jìn)行清楚、完整地描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性的勞動前提下所獲得的所有其他實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[°03°]圖1是本發(fā)明第一實(shí)施例的無人機(jī)的結(jié)構(gòu)示意圖。如圖1所示，無人機(jī)(unmannedair vehicle，UAV)10包括:RGBD相機(jī)11、飛行控制器12以及處理器13。處理器13與RGK)相機(jī)11以及飛行控制器12與處理器13連接。飛行控制器12用于控制所述無人機(jī)的飛行姿態(tài)和/或拍攝模式。RGBD相機(jī)11用于在無人機(jī)1飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像。RGBD圖像中每個像素點(diǎn)包括R、G、B像素信息和對應(yīng)的深度信息。其中像素點(diǎn)的深度信息構(gòu)成場景的二維像素矩陣，簡稱深度圖。每個像素點(diǎn)與其在場景中的位置相對應(yīng)，并具有表示從某個參考位置到其場景位置的距離的像素值。換言之，深度圖具有圖像的形式，像素值指出場景的物體的形貌信息，而不是亮度和/或顏色。處理器13用于實(shí)時(shí)對R、G、B像素信息和/或?qū)?yīng)的深度信息進(jìn)行處理，并獲取所述目標(biāo)的輪廓以用于識別目標(biāo)。
[0031]在本發(fā)明實(shí)施例中，處理器13根據(jù)RGBD圖像中像素點(diǎn)的深度信息獲取目標(biāo)至RGBD相機(jī)的實(shí)時(shí)距離;飛行控制器根據(jù)實(shí)時(shí)距離調(diào)整無人機(jī)10的飛行姿態(tài)。具體地，飛行控制器12可以接收通過遙控器，語音、手勢等控制單元發(fā)出的指令，并根據(jù)指令調(diào)整無人機(jī)10的飛行姿態(tài)。其中，無人機(jī)10的飛行姿態(tài)包括起飛、懸停、俯仰、滾轉(zhuǎn)、偏航、降落的至少之一。
[0032]如圖2a所示，無人機(jī)20可以包括至少兩個RGBD相機(jī)210、211，并且還包括飛行組件24和云臺25(圖未示KRGBD相機(jī)210、211設(shè)置在云臺25上，云臺25用于測量載體的姿態(tài)變化做出反應(yīng)以穩(wěn)定云臺上的RGBD相機(jī)210、111，以方便RGBD相機(jī)210、211對目標(biāo)進(jìn)行跟蹤拍攝。云臺25上設(shè)置有旋轉(zhuǎn)桿26，RGBD相機(jī)210、211沿旋轉(zhuǎn)桿26的豎直方向設(shè)置。無人機(jī)20的剖面圖如圖2b所示，在無人機(jī)20內(nèi)部設(shè)置電路板，處理器23設(shè)置在電路板上。飛行組件24可以包括旋翼或固定翼，以用于確保無人機(jī)的正常飛行以及飛行過程中飛行姿態(tài)的穩(wěn)定。優(yōu)選地，以四旋翼無人機(jī)為例，四個螺旋槳呈十字形交叉結(jié)構(gòu)，相對的四旋翼具有相同的旋轉(zhuǎn)方向，分兩組，兩組的旋轉(zhuǎn)方向不同。與傳統(tǒng)的直升機(jī)不同，四旋翼飛行器只能通過改變螺旋槳的速度來實(shí)現(xiàn)各種動作。無人機(jī)20中RGK)相機(jī)210、211是相互獨(dú)立設(shè)置的，即RGBD相機(jī)210、211相互獨(dú)立進(jìn)行拍攝，相互不受影響。圖2c為無人機(jī)20中RGBD相機(jī)211旋轉(zhuǎn)60度的結(jié)構(gòu)示意圖。在本發(fā)明實(shí)施例中，無人機(jī)20的RGBD相機(jī)數(shù)量不限于2臺，具體可以延長旋轉(zhuǎn)桿26，在其長度方向上增加RGBD相機(jī)。當(dāng)然在本發(fā)明的其他實(shí)施例中，也可以將至少兩個RGBD相機(jī)水平獨(dú)立地設(shè)置在云臺25上，如可以在云臺25上設(shè)置多個旋轉(zhuǎn)桿以分別設(shè)置RGBD相機(jī)。
[0033]在本發(fā)明實(shí)施例中，處理器13根據(jù)各像素點(diǎn)的深度信息可以識別目標(biāo)的輪廓，進(jìn)而可識別目標(biāo)的特征。在RGBD圖像中，深度信息與RGB像素信息一一對應(yīng)，處理器13還可利用RGB像素信息對目標(biāo)進(jìn)行特征識別，識別物體的輪廓、色彩信息，提取更多目標(biāo)的特征，提高目標(biāo)的識別準(zhǔn)確率。識別方法不限于常用的訓(xùn)練方法，如機(jī)器學(xué)習(xí)，深度學(xué)習(xí)等算法。例如利用RGB信息，對動態(tài)生物目標(biāo)進(jìn)行膚色識別，或符合人體膚色特征，則識別目標(biāo)是否為人體，否則為非人體。處理器13還可以兼容處理聲音、紅外傳感器等其他傳感器的信息，用于識別和檢測目標(biāo)及其特征，提高準(zhǔn)確率。具體地，處理器13可以應(yīng)用彩色圖像分割方法，利用背景紋理分割出背景圖像，然后利用原始圖像減去背景圖像得到目標(biāo)圖像。當(dāng)然在本發(fā)明其他實(shí)施例中，也可以應(yīng)用其他方法識別目標(biāo)。目標(biāo)為特定的人體。
[0034]在本發(fā)明實(shí)施例中，處理器13根據(jù)R、G、B像素信息和對應(yīng)的深度信息識別目標(biāo)為剛體或非剛體。具體可以利用深度信息對目標(biāo)的輪廓進(jìn)行識別，辨別輪廓為剛體還是非剛體，辨別出目標(biāo)為動態(tài)生物(如人體)還是非剛體的物體。若為剛體則識別為物體，以及目標(biāo)是否發(fā)生主動的運(yùn)動。其中剛體是指三維結(jié)構(gòu)不會隨著運(yùn)動發(fā)生改變的物體，而非剛體則相反，其三維結(jié)構(gòu)會隨著運(yùn)動發(fā)生改變。
[0035]如果識別到目標(biāo)為人體，則處理器13標(biāo)識出人體軀干、四肢、手部、臉部等人體部位，提取出身高、臂長、肩寬、手掌大小、臉部大小、臉部表情特征等信息。由于人體是非剛體，在較長時(shí)間的跟蹤拍攝過程中，人體不可能保持同一個姿勢，容易發(fā)生非剛性變化，需要進(jìn)行模型重建，避免數(shù)據(jù)的非剛性變化。處理器13首先對RGBD相機(jī)11拍攝的目標(biāo)的深度圖像去除背景部分，由于背景像素點(diǎn)的深度值比人體部位的深度值大，處理器13可以選擇一個適當(dāng)?shù)拈撝?，?dāng)像素點(diǎn)的深度值大于這個閾值時(shí)，將此像素點(diǎn)標(biāo)記為背景點(diǎn)，從深度圖像中去除，得到人體點(diǎn)云數(shù)據(jù)。處理器13再將點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為三角網(wǎng)格數(shù)據(jù)，具體可以利用深度圖像上的四領(lǐng)域作為連接的拓?fù)潢P(guān)系，點(diǎn)云數(shù)據(jù)根據(jù)該拓?fù)潢P(guān)系生成三角網(wǎng)格數(shù)據(jù)。處理器13進(jìn)一步對點(diǎn)去數(shù)據(jù)進(jìn)行去噪處理，具體可以將每個視角的多幀點(diǎn)云數(shù)據(jù)分別求和平均去除大噪聲，再用雙邊濾波去除微小噪聲。處理器13最后將多個視角的三角網(wǎng)格數(shù)據(jù)拼接在一起形成一個整體，以用于進(jìn)行模型重建。處理器13可以采用迭代算法重建三維人體模型。在迭代算法中，先找出標(biāo)準(zhǔn)模型與采集到的數(shù)據(jù)之間的對應(yīng)點(diǎn)，以用作后面的變化約束點(diǎn)。然后將約束點(diǎn)作為能量項(xiàng)，最小化目標(biāo)函數(shù)，從而將標(biāo)準(zhǔn)模型變形到解決掃描數(shù)據(jù)，最后求出變形后的標(biāo)準(zhǔn)模型在人體空間中的參數(shù)，計(jì)算得到的人體參數(shù)用于下一次迭代中，如此進(jìn)行多次迭代后完成三維人體模型的重建。進(jìn)而可以標(biāo)識出人體軀干、四肢、手部、臉部等人體部位，提取出身高、臂長、肩寬、手掌大小、臉部大小、臉部表情特征等信息，也可以進(jìn)一步區(qū)分目標(biāo)人群中各人的特征，并對其特征進(jìn)行標(biāo)記，認(rèn)證身份，區(qū)分目標(biāo)為老人、小孩、青年人。
[0036]RGBD相機(jī)11根據(jù)處理器13重建的人體模型跟蹤人體目標(biāo)，及人體各部位的運(yùn)動軌跡。處理器13進(jìn)而用以分析目標(biāo)的姿態(tài)動作，并根據(jù)目標(biāo)的姿態(tài)動作、行為模式等分析提取身份信息。具體地，無人機(jī)還包括語音傳感器，用于獲取目標(biāo)的語音信息。處理器13進(jìn)一步根據(jù)多幀RGBD圖像以及語音信息進(jìn)行身份識別，并進(jìn)行目標(biāo)的動態(tài)行為分析。處理器13進(jìn)而可以識別目標(biāo)的動作速度，可以判斷到目標(biāo)運(yùn)動的加速度是否大于一定閾值，并在目標(biāo)運(yùn)動的加速度大于一定閾值時(shí)進(jìn)行預(yù)警提示。例如，將無人機(jī)應(yīng)用于安防系統(tǒng)中，處理器13根據(jù)RGBD相機(jī)獲取的RGBD圖像判斷到一個疑似恐怖分子發(fā)生突然加速的動作速率時(shí)，向系統(tǒng)提出警示。又比如處理器13根據(jù)RGBD相機(jī)獲取的RGBD圖像判斷到老人或小孩跌倒，則可以對其動作做出判斷，并向系統(tǒng)反饋。
[0037]如果識別到目標(biāo)為動物，則處理器13可以利用類似人體目標(biāo)的RGBD識別方法，及RGBD圖像序列目標(biāo)跟蹤方法進(jìn)行識別和目標(biāo)特征識別提取，在此不再贅述。
[0038]如果識別到目標(biāo)為非生物物體，處理器13利用深度信息D識別目標(biāo)的輪廓尺寸。具體地，處理器13可以分割深度圖以找出目標(biāo)的輪廓。處理器13進(jìn)而利用目標(biāo)的RGB信息，進(jìn)行物體檢測，識別其色彩，或二維碼等信息。處理器13進(jìn)一步根據(jù)連續(xù)多幀RGBD圖像進(jìn)行目標(biāo)的動態(tài)行為分析。以汽車為例，處理器可以根據(jù)連續(xù)多幀RGBD圖像分析汽車是否偏離原來的軌道，或運(yùn)行速度是否過快，并在偏離原來的軌道或運(yùn)行速度是否過快時(shí)進(jìn)行報(bào)警提不O
[0039]在本發(fā)明實(shí)施例中，目標(biāo)可以為多個。即無人機(jī)10可以同時(shí)對多個目標(biāo)進(jìn)行識別。此時(shí)，在無人機(jī)10飛行過程中，如果需要識別的多個目標(biāo)相距不遠(yuǎn)，RGBD相機(jī)可以在拍攝的一個RGBD圖像中同時(shí)包括該多個目標(biāo)。如果多個目標(biāo)之間相距甚遠(yuǎn)，RGBD相機(jī)無法保證同一個RGBD圖像中包括多個目標(biāo)，則RGBD相機(jī)進(jìn)行位移或旋轉(zhuǎn)以能夠依次拍攝該多個目標(biāo)。無人機(jī)10還包括存儲單元，用于RGBD相機(jī)11拍攝的RGBD圖像和2D視頻、以及處理器13初步處理的目標(biāo)3D模型、3D視頻等。其中2D視頻是由RGBD相機(jī)11對某地目標(biāo)連續(xù)拍攝的RGBD圖像構(gòu)成的RGBD圖像序列構(gòu)成。當(dāng)然也可以通過多個RGBD相機(jī)11從對不同的目標(biāo)分別進(jìn)行拍攝。單個RGBD相機(jī)11在拍攝的過程中，RGBD相機(jī)11的移動可以認(rèn)為是視角的移動，拍攝時(shí)如果RGBD相機(jī)11進(jìn)行水平移動，則能夠拍攝到更大的場景。RGBD相機(jī)11也可以圍繞目標(biāo)旋轉(zhuǎn)進(jìn)行拍攝，以拍攝到同一目標(biāo)的不同視角的RGBD圖像。
[0040]在本發(fā)明實(shí)施例中，由于無人機(jī)10內(nèi)部的存儲單元的存儲容量有限，不可能存儲大容量的數(shù)據(jù)，因此參見圖3，無人機(jī)10還包括無線通訊單元14。無線通訊單元14與處理器13連接，用于實(shí)現(xiàn)與遠(yuǎn)端服務(wù)器進(jìn)行通訊。其中遠(yuǎn)端服務(wù)器包括云端服務(wù)器和/或地面終端服務(wù)器。遠(yuǎn)端服務(wù)器用于處理通過無線通訊單元14傳輸?shù)腞GBD圖像序列，并處理高清RGBD，生成高清高分辨率的目標(biāo)3D模型，目標(biāo)3D視頻或3D動畫等。RGBD獲得的視頻包括2D視頻和RGBD圖像序列，如果2D視頻和RGBD圖像序列的數(shù)據(jù)量太大，則無線通訊單元14可以將2D視頻和RGBD圖像序列發(fā)送至遠(yuǎn)端服務(wù)器，以使得遠(yuǎn)端服務(wù)器根據(jù)2D視頻和RGBD圖像序列生成3D視頻，如此能夠處理大數(shù)據(jù)的RGBD圖像序列，方便飛行控制器12繼續(xù)對目標(biāo)進(jìn)行拍攝。無線通訊單元14還用于實(shí)時(shí)將處理器13初步處理的目標(biāo)3D模型、3D視頻等傳輸至遠(yuǎn)端服務(wù)器。
[0041]在本發(fā)明實(shí)施例中，RGBD相機(jī)11還用于拍攝用戶輸入的不同手勢，處理器13根據(jù)不同手勢產(chǎn)生對應(yīng)的控制指令，飛行控制器12根據(jù)控制指令選擇拍攝模式以識別目標(biāo)。其中，拍攝模式包括無人機(jī)10啟停、目標(biāo)類型選定以及跟蹤拍攝方式選定，其中目標(biāo)類型包括人體。手勢包括五指張合手勢，五指張合手勢包括五指張開手勢和五指閉合手勢。用戶的手勢還可以包括但不限于抓握、自然抬手、前推、上、下、左右擺手。不同的手勢對應(yīng)不同的控制指令，如自然抬手表示啟動無人機(jī)10，上、下、左右擺手表示調(diào)整無人機(jī)10飛行方向的控制指令等，在此不再詳述。
[0042]在本發(fā)明實(shí)施例中，無人機(jī)10還包括語音獲取模塊，語音獲取模塊用于獲取用戶輸入的語音，處理器13還根據(jù)用戶輸入的語音產(chǎn)生控制指令，飛行控制器12根據(jù)控制指令選擇拍攝模式以識別目標(biāo)。具體地，遙控裝置進(jìn)行人臉識別并進(jìn)行聲紋識別。人臉識別時(shí)，人臉數(shù)據(jù)庫中預(yù)先保存有人臉信息(例如通過紅外信號檢測人臉圖像并留存人眼間隔、人眼長度等生理特征)，在采集時(shí)，通過紅外信號采集到人臉數(shù)據(jù)與人臉數(shù)據(jù)庫中的數(shù)據(jù)作比較。如果通過人臉識別，則對接收到的語音進(jìn)一步判斷是否為具有語音控制的權(quán)限的語音，確定該語音所對應(yīng)的權(quán)限，并進(jìn)行語音識別。遙控裝置進(jìn)一步根據(jù)人臉識別的結(jié)果，判斷是否接收語音。每位具有發(fā)出語音控制指令的人員均上傳一段訓(xùn)練語音，進(jìn)而得到聲紋庫。進(jìn)行聲紋比較時(shí)，語音指令發(fā)出者發(fā)出語音指令，該語音指令被與聲紋數(shù)據(jù)庫進(jìn)行聲紋對比。通過聲紋和人臉信息查找聲紋數(shù)據(jù)庫和人臉數(shù)據(jù)庫中對應(yīng)的身份信息，從而確認(rèn)其權(quán)限。遙控裝置進(jìn)一步將語音指令發(fā)送到無人機(jī)的語音獲取模塊。語音獲取模塊將語音指令的安全性驗(yàn)證，并在通過驗(yàn)證后處理器13根據(jù)語音指令產(chǎn)生控制指令，傳送到無人機(jī)的飛行控制器12。飛行控制器12將接收到的指令的代碼查詢對應(yīng)的指令所需的運(yùn)行時(shí)間，然后在該條語音指令(實(shí)際上為代碼)之后添加該運(yùn)行時(shí)間。飛行控制器12根據(jù)控制指令選擇拍攝模式控制無人機(jī)10的飛行姿態(tài)，如飛行速度、飛行高度、飛行軌跡與周圍障礙物之間的距離等。
[0043]在本發(fā)明實(shí)施例中，處理器13、無線通訊單元14以及存儲單元都集成在三維傳感芯片中。參見圖4，三維傳感芯片包括DEPTH ENGINE模塊、REGISTER PROCESSOR模塊、控制器模塊、寄存器模塊、RGB CMOS驅(qū)動模塊、IR CMOS驅(qū)動模塊、AXI總線接口模塊、AI3B總線接口模塊、AXI/APB橋模塊和外部存儲驅(qū)動模塊、開關(guān)模塊、12S接口模塊、USB接口模塊和電源管理模塊。
[0044]DEPTH ENGINE模塊的信號輸入端和IR CMOS驅(qū)動模塊連接，DEPTH ENGINE模塊的控制信號端和控制器模塊連接，DEPTH ENGINE模塊的數(shù)據(jù)端和AXI總線接口模塊連接，REGISTER PROCESSOR模塊的信號輸入端和RGB CMOS驅(qū)動模塊連接，REGISTER PROCESSOR模塊的控制信號端和控制器模塊連接，控制器杠桿懶覺分別與寄存器模塊、AXI總線接口模塊連接，寄存器模塊還和AXI總線接口模塊連接，AXI總線接口模塊通過AXVAI3B橋模塊與APB總線接口模塊連接，RGB CMOS驅(qū)動模塊還分別與AXI總線接口模塊連接，外部存儲驅(qū)動模塊分別與AXI總線接口模塊、APB總線接口模塊連接。
[0045]外部存儲驅(qū)動模塊包括與外部Flash存儲器連接的Flash存儲驅(qū)動模塊、與外部DDR3存儲器連接的DDR3存儲驅(qū)動模塊。當(dāng)處理光學(xué)三維數(shù)據(jù)時(shí)，控制器模塊發(fā)出第一指令以便同時(shí)接通外部Flash存儲器和Flash存儲驅(qū)動模塊的連接，外部DDR3存儲器器模塊發(fā)出第二指令以便接通外部Flash存儲器和Flash存儲驅(qū)動模塊的連接，用以處理非光學(xué)三維數(shù)據(jù)，并斷開外部DDR3存儲器和DDR3存儲驅(qū)動模塊的連接。
[0046]DEPTH ENGINE模塊為深度引擎電路，REGISTER PROCESSOR模塊為處理緩存電路，RGB CMOS驅(qū)動模塊為紅綠藍(lán)感光傳感器驅(qū)動電路，IR CMOS驅(qū)動模塊為紅外感光傳感器驅(qū)動電路，AXI總線接口模塊為符合AXI總線協(xié)議的AXI接口電路，APB總線接口模塊為符合APB總線協(xié)議的AI3B接口電路，AXI/AI3B橋模塊為AXI總線協(xié)議和AI3B總線協(xié)議相互轉(zhuǎn)換的AXI/APB橋模塊。上述各種電路，本領(lǐng)域技術(shù)人員可以根據(jù)公知常識，在本技術(shù)方案的技術(shù)背景下，選用不同的電路連接方式和不同參數(shù)的元器件以實(shí)現(xiàn)各電路對應(yīng)的功能，此處不再舉例贅述。
[0047]RGB CMOS驅(qū)動模塊的信號輸入端與外部的彩色攝像機(jī)連接。I R CMOS驅(qū)動模塊的信號輸入端與外部的紅外攝像機(jī)連接。在處理光學(xué)三維數(shù)據(jù)時(shí)，同時(shí)與外部的Flash存儲器和DDR3存儲器連接，以便快速處理高精度的光學(xué)三維數(shù)據(jù)，處理獲得的光學(xué)三維深度圖像的分辨率高且延遲短。
[0048]開關(guān)模塊和控制器模塊連接，當(dāng)開關(guān)模塊通過開關(guān)器件閉合或通過控制器模塊發(fā)出第三指令閉合，則接通外部DDR3存儲器和DDR3存儲驅(qū)動模塊的連接，當(dāng)開關(guān)模塊通過開關(guān)器件或通過控制器模塊發(fā)出第四指令斷開，則斷開外部DDR3存儲器和DDR3存儲驅(qū)動模塊的連接。開關(guān)模塊可以配合軟開關(guān)、如程序指令可硬開關(guān)，如單刀雙擲開關(guān)器件使用，以實(shí)現(xiàn)開關(guān)模塊閉合或斷開的效果，具體形式根據(jù)實(shí)際應(yīng)用的場合確定。
[0049]I2S接口模塊的信號輸入端與外部的音頻傳感器連接，I2S接口模塊的信號輸出端分別與AXI總線接口模塊、APB總線接口模塊連接。I2S接口模塊即集成電路內(nèi)置音頻總線電路，是為數(shù)字音頻設(shè)備之間的音頻數(shù)據(jù)傳輸而制定的一種總線標(biāo)準(zhǔn)，該總線采用了沿獨(dú)立的導(dǎo)線傳輸時(shí)鐘與數(shù)據(jù)信號的設(shè)計(jì)，通過將數(shù)據(jù)和時(shí)鐘信號分享，避免了因時(shí)差誘發(fā)的失真，專責(zé)于音頻設(shè)備之間的數(shù)據(jù)傳輸。
[0050]USB接口模塊的數(shù)據(jù)輸入端與AXI總線接口模塊連接，USB接口模塊的數(shù)據(jù)輸出端和外部的圖像處理器連接。其中，USB接口模塊包括USB3.0控制器模塊和USB接口，USB3.0控制器模塊和USB接口連接。USB接口模塊是通用串行總線電路，是一種快速、雙向、可同步傳輸、廉價(jià)并可進(jìn)行熱拔插的串行接口電路。USB接口模塊使用方便，可以連接多個不同的設(shè)備。USB3.0控制器模塊需要兩個信道的新實(shí)體層來為數(shù)據(jù)傳輸分流，以達(dá)到預(yù)期的高速率，所采用的封包路由(Packet-routing)技術(shù)，將只在終端設(shè)備需要傳送數(shù)據(jù)傳輸時(shí)才允許數(shù)據(jù)傳輸。該規(guī)格支持單設(shè)備的多個數(shù)據(jù)流，并可為每個數(shù)據(jù)流保留各自的優(yōu)先權(quán)。
[0051]電源管理模塊和APB總線接口模塊連接。電源管理模塊主要負(fù)責(zé)識別待供電電路的供電幅值，以便產(chǎn)生相應(yīng)的短矩波推動后級電路進(jìn)行功率輸出。常用電源管理芯片有HIP6301、IS6537、RT9237、ADP3168、KA7500、TL494等型號。
[0052]RGB CMOS驅(qū)動模塊包括RGB CMOS接口，IR CMOS驅(qū)動模塊包括IR CMOS接口，F(xiàn)lash存儲驅(qū)動模塊包括Flash接口，DDR3存儲驅(qū)動模塊包括DDR3接口。上述RGB CMOS接口、IRCMOS接口、Flash接口和DDR3接口皆集成于三維傳感芯片的硬件結(jié)構(gòu)實(shí)現(xiàn)，體積小巧。
[0053]參見圖5，本發(fā)明還提供一種無人機(jī)系統(tǒng)，無人機(jī)系統(tǒng)包括前述的無人機(jī)10以及遠(yuǎn)端服務(wù)器20。遠(yuǎn)端服務(wù)器20用于接收無人機(jī)10發(fā)送的RGBD圖像以用于對RGBD進(jìn)行處理；其中遠(yuǎn)端服務(wù)器20包括云端服務(wù)器21和/或地面終端服務(wù)器22 ο地面終端服務(wù)器22也即上位機(jī)。具體地，可以在無人機(jī)10上設(shè)置USB等接口與地面終端服務(wù)器22進(jìn)行通訊，在無人機(jī)10上設(shè)置無線通訊單元與云端服務(wù)器21進(jìn)行通訊。在RGBD圖像序列和/或2D/3D視頻數(shù)據(jù)量龐大時(shí)，云端服務(wù)器21和/或地面終端服務(wù)器22接收無人機(jī)10發(fā)送的RGBD圖像和/或2D/3D視頻以進(jìn)行進(jìn)一步的處理。無人機(jī)10包括多個RGBD相機(jī)時(shí)，可以分別將多個RGBD相機(jī)拍攝的RGBD圖像傳輸至遠(yuǎn)端服務(wù)器20，遠(yuǎn)端服務(wù)器20可以根據(jù)多個RGK)相機(jī)拍攝的RGBD圖像實(shí)時(shí)輸出3D視頻。
[0054]圖6是本發(fā)明第二實(shí)施例的無人機(jī)系統(tǒng)的結(jié)構(gòu)示意圖。如圖5所示，無人機(jī)系統(tǒng)包括至少一個無人機(jī)10，遠(yuǎn)端服務(wù)器20以及手勢輸出端40。遠(yuǎn)端服務(wù)器20用于接收無人機(jī)10發(fā)送的RGBD圖像以用于對RGBD進(jìn)行處理;其中遠(yuǎn)端服務(wù)器20包括云端服務(wù)器21和/或地面終端服務(wù)器22。無人機(jī)10通過RGBD相機(jī)獲取手勢輸出端30輸出的手勢，并根據(jù)獲取的手勢生成控制指令，控制無人機(jī)10的飛行姿態(tài)和/或拍攝模式以對目標(biāo)進(jìn)行跟蹤拍攝。手勢輸出端30為人體，且目標(biāo)40也為人體時(shí)，兩者可以是相同的，此時(shí)無人機(jī)中包括至少兩個RGBD相機(jī)，一個RGBD相機(jī)用于獲取手勢，一個RGBD相機(jī)用于拍攝目標(biāo)。手勢輸出端30和目標(biāo)40也可以不相同，此時(shí)可以是一個RGBD相機(jī)進(jìn)行拍攝，手勢輸出端30和目標(biāo)40在同一個視野中。無人機(jī)系統(tǒng)包括多個無人機(jī)時(shí)，手勢輸出端40可以同時(shí)控制多臺無人機(jī)。具體可以用手勢激活其中一個或多個無人機(jī)，然后對激活的無人機(jī)進(jìn)行手勢控制，當(dāng)然也可以用一個手勢激活全部的無人機(jī)，此時(shí)手勢輸出端輸出一個手勢即可對所有激活的無人機(jī)進(jìn)行同步控制。
[0055]綜上所述，本發(fā)明通過RGBD相機(jī)在飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像信息，RGBD圖像信息包括R、G、B像素信息和對應(yīng)的深度信息;處理器實(shí)時(shí)對R、G、B像素信息進(jìn)行處理，以識別目標(biāo)，并根據(jù)目標(biāo)對應(yīng)的深度信息獲取與目標(biāo)的實(shí)時(shí)距離;飛行控制器根據(jù)實(shí)時(shí)距離調(diào)整無人機(jī)的飛行姿態(tài)和/或拍攝模式，使得RGBD相機(jī)對目標(biāo)進(jìn)行跟蹤拍攝，如此在無人機(jī)則直接進(jìn)行RGBD圖像的處理，實(shí)現(xiàn)高效的數(shù)據(jù)傳輸。
[0056]以上所述僅為本發(fā)明的實(shí)施例，并非因此限制本發(fā)明的專利范圍，凡是利用本發(fā)明說明書及附圖內(nèi)容所作的等效結(jié)構(gòu)或等效流程變換，或直接或間接運(yùn)用在其他相關(guān)的技術(shù)領(lǐng)域，均同理包括在本發(fā)明的專利保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種無人機(jī)，其特征在于，所述無人機(jī)包括RGBD相機(jī)、飛行控制器以及處理器，所述處理器與所述RGBD相機(jī)以及所述飛行控制器連接，其中: 所述飛行控制器用于控制所述無人機(jī)的飛行姿態(tài)和/或拍攝模式； 所述RGBD相機(jī)，用于在所述無人機(jī)飛行過程中實(shí)時(shí)獲取目標(biāo)的RGBD圖像，其中所述RGBD圖像中每個像素點(diǎn)包括R、G、B像素信息和深度信息； 所述處理器，用于實(shí)時(shí)對所述R、G、B像素信息和/或?qū)?yīng)的深度信息進(jìn)行處理，并獲取所述目標(biāo)的輪廓以用于識別目標(biāo)。2.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述處理器根據(jù)所述RGBD圖像中像素點(diǎn)的深度信息獲取所述目標(biāo)至所述RGBD相機(jī)的實(shí)時(shí)距離;所述飛行控制器根據(jù)所述實(shí)時(shí)距離調(diào)整所述無人機(jī)的飛行姿態(tài)。3.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述RGBD相機(jī)還用于拍攝用戶輸入的不同手勢，所述處理器根據(jù)不同手勢產(chǎn)生對應(yīng)的控制指令，所述飛行控制器根據(jù)所述控制指令選擇拍攝t吳式。4.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述無人機(jī)還包括語音獲取模塊，所述語音獲取模塊用于獲取用戶輸入的語音，所述處理器還根據(jù)用戶輸入的語音產(chǎn)生控制指令，所述飛行控制器根據(jù)所述控制指令選擇拍攝模式。5.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述處理器利用所述深度信息去除背景，提取出所述目標(biāo)。6.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述處理器根據(jù)所述R、G、B像素信息和對應(yīng)的深度信息識別所述目標(biāo)特征。7.根據(jù)權(quán)利要求6所述的無人機(jī)，其特征在于，所述處理器根據(jù)所述R、G、B像素信息和對應(yīng)的深度信息識別目標(biāo)為剛體或非剛體。8.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述處理器還利用RGB色彩信息對目標(biāo)的進(jìn)行特征識別。9.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述目標(biāo)為特定的人體，所述處理器根據(jù)所述R、G、B像素信息檢測所述人體的臉部特征以識別所述人體。10.根據(jù)權(quán)利要求7所述的無人機(jī)，其特征在于，所述無人機(jī)還包括語音傳感器，用于獲取所述目標(biāo)的語音信息，所述處理器進(jìn)一步根據(jù)多幀所述RGBD圖像以及所述語音信息進(jìn)行身份識別，并進(jìn)行目標(biāo)的動態(tài)行為分析。11.根據(jù)權(quán)利要求1所述的無人機(jī)，其特征在于，所述無人機(jī)還包括無線通訊單元，與所述處理器連接，用于實(shí)現(xiàn)與遠(yuǎn)端服務(wù)器進(jìn)行通訊，其中所述遠(yuǎn)端服務(wù)器包括云端服務(wù)器和/或地面終端服務(wù)器。12.—種無人機(jī)系統(tǒng)，其特征在于，所述系統(tǒng)包括如權(quán)利要求1-11所述的無人機(jī)，以及遠(yuǎn)端服務(wù)器，所述遠(yuǎn)端服務(wù)器用于接收所述無人機(jī)發(fā)送的所述RGBD圖像以用于對所述RGBD進(jìn)行處理;其中所述遠(yuǎn)端服務(wù)器包括云端服務(wù)器和/或地面終端服務(wù)器。13.根據(jù)權(quán)利要求12所述的無人機(jī)系統(tǒng)，其特征在于，所述無人機(jī)系統(tǒng)還包括手勢輸出端，所述無人機(jī)獲取所述手勢輸出端輸出的手勢，并根據(jù)獲取的所述手勢生成控制指令，控制所述無人機(jī)的飛行姿態(tài)和/或拍攝模式。
【文檔編號】G06K9/00GK105912980SQ201610199878
【公開日】2016年8月31日
【申請日】2016年3月31日
【發(fā)明人】黃源浩, 肖振中, 許宏淮
【申請人】深圳奧比中光科技有限公司