本發(fā)明涉及信息通信,尤其涉及的是一種基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法。
背景技術(shù):
1、手勢(shì)識(shí)別為用戶提供了更為直觀、自然的交互方式,極大地豐富了人們與數(shù)字世界之間的互動(dòng)體驗(yàn)。隨著傳感技術(shù)的迅速發(fā)展,手勢(shì)識(shí)別技術(shù)在智能家居、醫(yī)療保健和虛擬現(xiàn)實(shí)等領(lǐng)域中的應(yīng)用越來(lái)越廣泛。現(xiàn)有的基于視覺傳感的方法需要在一定的光照條件下才能夠達(dá)到較高的手勢(shì)識(shí)別準(zhǔn)確度,容易受到低光照條件、煙霧或不透明障礙物的干擾,并且存在隱私安全等問題。而依賴于運(yùn)動(dòng)傳感的方法通常需要用戶佩戴專門的設(shè)備來(lái)跟蹤身體運(yùn)動(dòng)才能確保有效可靠的感測(cè)數(shù)據(jù),這不僅增加了額外的設(shè)備部署成本,在生活中也并不方便。總體來(lái)說,上述的手勢(shì)識(shí)別技術(shù)在硬件部署、實(shí)施或是維護(hù)方面需要承擔(dān)額外的開銷,并且隱私問題難以忽略。為了應(yīng)對(duì)上述問題,wi-fi手勢(shì)識(shí)別技術(shù)依托于現(xiàn)有的廣泛部署的wi-fi基礎(chǔ)設(shè)施,使其成為一種具有成本效益、隱私友好、且無(wú)需佩戴額外設(shè)備的非侵入性解決方案。
2、現(xiàn)有的基于wi-fi的手勢(shì)識(shí)別方法主要有兩種:基于模型的方法和基于學(xué)習(xí)的方法?;谀P偷姆椒ㄍǔR揽拷?zhǔn)確、可靠的數(shù)學(xué)模型來(lái)預(yù)測(cè)wi-fi信號(hào)在空間和時(shí)間上的變化并映射成與之相對(duì)應(yīng)的手勢(shì)。這種方法能夠根據(jù)專家知識(shí)和特定的場(chǎng)景來(lái)去構(gòu)建相應(yīng)物理模型識(shí)別不同的手勢(shì),但是如果場(chǎng)景或是人的手勢(shì)過于復(fù)雜,那么不同的手勢(shì)之間的差異就很難用物理模型來(lái)去描述,需要依托更多的專家知識(shí)構(gòu)建物理模型,這顯然不利于技術(shù)的具體實(shí)施。而基于學(xué)習(xí)的方法可以從大量采集的手勢(shì)數(shù)據(jù)中自動(dòng)提取特征并探索模式,以準(zhǔn)確地識(shí)別用戶的不同手勢(shì)。與基于模型的方法相比,基于學(xué)習(xí)的方法更具有通用性和穩(wěn)定性。但是該類方法也有其缺點(diǎn),最直觀的缺點(diǎn)就是該類方法需要依托大量的手勢(shì)數(shù)據(jù)進(jìn)行模型的訓(xùn)練,對(duì)于數(shù)據(jù)采集的需求和硬件資源的需求較大。
3、另外,在一些場(chǎng)景中,所采集到的手勢(shì)數(shù)據(jù)不僅包含了手勢(shì)的信息,還包含了用戶、環(huán)境、用戶的位置和朝向等大量與手勢(shì)無(wú)關(guān)的信息。如果用一個(gè)領(lǐng)域的數(shù)據(jù)訓(xùn)練出來(lái)的模型在應(yīng)用到另一個(gè)新領(lǐng)域時(shí)往往會(huì)遭受顯著的性能下降。因此,手勢(shì)識(shí)別模型在跨場(chǎng)景下的魯棒性問題不管是在基于模型的方法還是基于學(xué)習(xí)的方法都是必須要面對(duì)的問題。針對(duì)跨場(chǎng)景下的wi-fi手勢(shì)識(shí)別問題,現(xiàn)有的小樣本的方法通過采集目標(biāo)場(chǎng)景下的少量樣本并進(jìn)行標(biāo)記用于模型的訓(xùn)練,提高模型在目標(biāo)場(chǎng)景下的手勢(shì)識(shí)別性能。但在實(shí)際應(yīng)用中,如果沒有事先規(guī)劃的數(shù)據(jù)采集計(jì)劃,數(shù)據(jù)的標(biāo)記成本將會(huì)十分高昂,很難通過自身判斷對(duì)感知數(shù)據(jù)進(jìn)行準(zhǔn)確的標(biāo)記。綜上可知,現(xiàn)有的基于wi-fi的手勢(shì)識(shí)別方法有以下的技術(shù)缺陷:基于學(xué)習(xí)的方法需要采集大量的手勢(shì)數(shù)據(jù),并且數(shù)據(jù)標(biāo)記的成本較高;在跨場(chǎng)景下手勢(shì)識(shí)別模型的魯棒性較差。
4、因此,現(xiàn)有技術(shù)還有待改進(jìn)。
技術(shù)實(shí)現(xiàn)思路
1、本發(fā)明要解決的技術(shù)問題在于,針對(duì)現(xiàn)有技術(shù)缺陷,本發(fā)明提供一種基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法,以解決現(xiàn)有的基于wi-fi的手勢(shì)識(shí)別方法成本高以及魯棒性差的問題。
2、本發(fā)明解決技術(shù)問題所采用的技術(shù)方案如下:
3、第一方面,本發(fā)明提供基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法,包括:
4、獲取多普勒頻移數(shù)據(jù),并對(duì)所述多普勒頻移數(shù)據(jù)進(jìn)行預(yù)處理;
5、將預(yù)處理后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)輸入共享的特征提取器,并根據(jù)給定的先驗(yàn)高斯分布,將提取的源域特征和目標(biāo)域特征通過對(duì)抗性自編碼器映射到一個(gè)相同的隱空間下,得到源域編碼特征和目標(biāo)域編碼特征;
6、采用不同的偽標(biāo)記策略分配偽標(biāo)記,在預(yù)熱階段通過分類預(yù)測(cè)分配得到預(yù)熱階段偽標(biāo)記,在預(yù)熱階段過后通過面向目標(biāo)的質(zhì)心點(diǎn)完善偽標(biāo)記的分配;
7、通過所有偽標(biāo)記構(gòu)建面向目標(biāo)的多元正態(tài)分布,并通過添加偏置的方式,增強(qiáng)源域特征,在隱空間層面將源域遷移到目標(biāo)域,得到訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型;
8、通過所述訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型對(duì)新輸入的目標(biāo)域樣本進(jìn)行分析,以無(wú)標(biāo)記的方式預(yù)測(cè)得到所述目標(biāo)域樣本對(duì)應(yīng)的手勢(shì)。
9、在一種實(shí)現(xiàn)方式中,所述獲取多普勒頻移數(shù)據(jù),并對(duì)所述多普勒頻移數(shù)據(jù)進(jìn)行預(yù)處理,包括:
10、獲取所述多普勒頻移數(shù)據(jù),對(duì)所述多普勒頻移數(shù)據(jù)的時(shí)間幀進(jìn)行三次樣條的插值處理,得到規(guī)整后的多普勒頻移數(shù)據(jù);
11、對(duì)所述規(guī)整后的多普勒頻移數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理,得到所述預(yù)處理后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)。
12、在一種實(shí)現(xiàn)方式中,所述獲取所述多普勒頻移數(shù)據(jù),包括:
13、對(duì)同一wi-fi網(wǎng)卡上的發(fā)射接收天線對(duì)的信道狀態(tài)信息進(jìn)行共軛相乘,并過濾帶外噪聲和靜態(tài)偏移;
14、采用主成分分析方法對(duì)獲取的數(shù)據(jù)進(jìn)行降維處理,保留多普勒頻移的動(dòng)態(tài)多徑成分,使用短時(shí)傅里葉變換描述時(shí)域和多普勒頻域的功率分布,得到所述多普勒頻移數(shù)據(jù)。
15、在一種實(shí)現(xiàn)方式中,所述將預(yù)處理后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)輸入共享的特征提取器,并根據(jù)給定的先驗(yàn)高斯分布,將提取的源域特征和目標(biāo)域特征通過對(duì)抗性自編碼器映射到一個(gè)相同的隱空間下,得到源域編碼特征和目標(biāo)域編碼特征,包括:
16、將所述預(yù)處理后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)輸入到由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)成的共享的特征提取器中,提取得到所述源域特征和所述目標(biāo)域特征;
17、將所述源域特征和所述目標(biāo)域特征輸入到所述對(duì)抗性自編碼器中,并根據(jù)給定的先驗(yàn)高斯分布,將所述源域特征和所述目標(biāo)域特征映射到一個(gè)相同的隱空間下,得到所述源域編碼特征和所述目標(biāo)域編碼特征。
18、在一種實(shí)現(xiàn)方式中,所述采用不同的偽標(biāo)記策略分配偽標(biāo)記,在預(yù)熱階段通過分類預(yù)測(cè)分配得到預(yù)熱階段偽標(biāo)記,在預(yù)熱階段過后通過面向目標(biāo)的質(zhì)心點(diǎn)完善偽標(biāo)記的分配,包括:
19、在預(yù)熱階段,將所述源域編碼特征和所述目標(biāo)域編碼特征輸入到主體模塊分類器,并通過所述主體模塊分類器的預(yù)測(cè)最大值為目標(biāo)域樣本分配偽標(biāo)記;
20、在預(yù)熱階段過后,根據(jù)目標(biāo)領(lǐng)域構(gòu)建面向目標(biāo)的質(zhì)心點(diǎn),并初始化質(zhì)心點(diǎn)集合,根據(jù)初始化的質(zhì)心點(diǎn)集合完善偽標(biāo)記的分配。
21、在一種實(shí)現(xiàn)方式中,所述通過所有偽標(biāo)記構(gòu)建面向目標(biāo)的多元正態(tài)分布,并通過添加偏置的方式,增強(qiáng)源域特征,在隱空間層面將源域遷移到目標(biāo)域,得到訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型,包括:
22、通過所有偽標(biāo)記構(gòu)建所述面向目標(biāo)的多元正態(tài)分布,并通過添加偏置的方式,增強(qiáng)源域特征,得到增強(qiáng)后的源域特征集合;
23、根據(jù)所述增強(qiáng)后的源域特征集合在隱空間層面將源域遷移到目標(biāo)域,得到所述訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型。
24、在一種實(shí)現(xiàn)方式中,所述源域特征集合為使用大數(shù)定律計(jì)算當(dāng)增強(qiáng)次數(shù)n趨于無(wú)窮時(shí)的分類損失上限后,達(dá)到隱式地?zé)o限次增強(qiáng)效果的增強(qiáng)源域特征集合;
25、所述根據(jù)所述增強(qiáng)特征集合在隱空間層面將源域遷移到目標(biāo)域,得到所述訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型,包括:
26、根據(jù)所述分類損失上限確定所述跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型整體的損失;
27、基于所述跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型整體的損失進(jìn)行訓(xùn)練,得到所述訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型。
28、第二方面,本發(fā)明提供一種基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別裝置,包括:
29、預(yù)處理模塊,用于獲取多普勒頻移數(shù)據(jù),并對(duì)所述多普勒頻移數(shù)據(jù)進(jìn)行預(yù)處理;
30、對(duì)抗映射模塊,用于將預(yù)處理后的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)輸入共享的特征提取器,并根據(jù)給定的先驗(yàn)高斯分布,將提取的源域特征和目標(biāo)域特征通過對(duì)抗性自編碼器映射到一個(gè)相同的隱空間下,得到源域編碼特征和目標(biāo)域編碼特征;
31、偽標(biāo)記模塊,用于采用不同的偽標(biāo)記策略分配偽標(biāo)記,在預(yù)熱階段通過分類預(yù)測(cè)分配得到預(yù)熱階段偽標(biāo)記,在預(yù)熱階段過后通過面向目標(biāo)的質(zhì)心點(diǎn)完善偽標(biāo)記的分配;
32、遷移訓(xùn)練模塊,用于通過所有偽標(biāo)記構(gòu)建面向目標(biāo)的多元正態(tài)分布,并通過添加偏置的方式,增強(qiáng)源域特征,在隱空間層面將源域遷移到目標(biāo)域,得到訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型;
33、手勢(shì)預(yù)測(cè)模塊,用于通過所述訓(xùn)練后的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別模型對(duì)新輸入的目標(biāo)域樣本進(jìn)行分析,以無(wú)標(biāo)記的方式預(yù)測(cè)得到所述目標(biāo)域樣本對(duì)應(yīng)的手勢(shì)。
34、第三方面,本發(fā)明提供一種終端,包括:處理器以及存儲(chǔ)器,所述存儲(chǔ)器存儲(chǔ)有基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別程序,所述基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別程序被所述處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如第一方面所述的基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法的操作。
35、第四方面,本發(fā)明還提供一種介質(zhì),所述介質(zhì)為計(jì)算機(jī)可讀存儲(chǔ)介質(zhì),所述介質(zhì)存儲(chǔ)有基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別程序,所述基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別程序被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如第一方面所述的基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法的操作。
36、本發(fā)明采用上述技術(shù)方案具有以下效果:
37、(1)本發(fā)明提供了一種基于無(wú)監(jiān)督學(xué)習(xí)的跨場(chǎng)景無(wú)線手勢(shì)識(shí)別方法,利用無(wú)監(jiān)督域自適應(yīng)的技術(shù)只需要采集目標(biāo)域的數(shù)據(jù)而無(wú)需任何標(biāo)記就可以達(dá)到高精度的手勢(shì)識(shí)別效果,可以緩解感知數(shù)據(jù)標(biāo)記困難的問題,并且可以在不同的場(chǎng)景下實(shí)現(xiàn)穩(wěn)定、高性能的手勢(shì)識(shí)別。
38、(2)本發(fā)明將跨場(chǎng)景wi-fi手勢(shì)識(shí)別問題劃分為兩個(gè)相互關(guān)聯(lián)的子問題,通過迭代應(yīng)用對(duì)抗性特征對(duì)齊和偽標(biāo)簽引導(dǎo)特征增強(qiáng)的方法,在潛在空間中完成源域數(shù)據(jù)到目標(biāo)域數(shù)據(jù)的適應(yīng),從而提高手勢(shì)分類器在新域中的識(shí)別準(zhǔn)確率。
39、(3)本發(fā)明為了減少訓(xùn)練初期錯(cuò)誤偽標(biāo)簽帶來(lái)的負(fù)面影響,采用預(yù)熱偽標(biāo)記技術(shù)將整個(gè)訓(xùn)練周期分為兩個(gè)部分,并在不同的周期中采用與之對(duì)應(yīng)的偽標(biāo)記策略。