本發(fā)明屬于光纖傳感領域，一種基于多層lstm的三點觸覺融合光纖傳感系統(tǒng)。

背景技術：

1、隨著時代的不斷發(fā)展和經濟的不斷增長，智能機械化成為了由工業(yè)、醫(yī)療等行業(yè)的內在需求驅動下的新時代發(fā)展戰(zhàn)略，其發(fā)展涉及到了對傳感器的探索、對傳感器收集數(shù)據(jù)的進一步處理、研究等。觸覺是人類感知周圍環(huán)境的基本功能，也是傳感器模仿人體感知物體的重要手段，發(fā)展傳感器觸覺感知功能可以使傳感器更好地檢測和識別物體，幫助人們完成更復雜的內容。

2、對于觸覺傳感而言，在與物體進行接觸時能感知硬度、溫度等信息，而更為精細的粗糙度、紋理等信息則需要與物體發(fā)生相對滑動才能感知。當前的觸覺傳感雖然可以利用電阻、壓電等技術實現(xiàn)一定的物體識別，但在以下幾方面有一定局限性：物體的多種觸覺信息難以同時獲取；類人膚的多點觸覺感知難以落地實現(xiàn)；多種觸覺特征融合識別的算法方面進展不足；傳統(tǒng)傳感器封裝復雜、導線多、重量大等等，從而造成識別困難。

技術實現(xiàn)思路

1、本發(fā)明提出了一種基于多層lstm的三點觸覺融合光纖傳感系統(tǒng)，所采用的觸覺傳感器包括系統(tǒng)光路和光纖光柵部分，觸覺信息由光纖光柵傳感器采集振動信號和應力信號(振動信號辨別粗糙度，應力信號辨別軟硬度)，訓練可以融合多點應力、振動信息的網(wǎng)絡模型，目的在于模擬人類多點觸覺感知，獲取豐富觸覺信息，進行物體表面識別。本發(fā)明提供的方案如下，

2、一種基于多層lstm的三點觸覺融合光纖傳感系統(tǒng)，包括下列步驟：

3、第一步，采集觸覺數(shù)據(jù)

4、設計觸覺傳感模型，搭建基于光纖光柵的觸覺信息傳感光路，實現(xiàn)物體表面的同步三點傳感；將采集到的觸覺信號傳至上位機；利用機械臂驅動觸覺傳感模型進行觸覺數(shù)據(jù)采集；

5、第二步，構建觸覺數(shù)據(jù)集

6、待測物體選擇具有不同表面情況的硅膠塊，其表面觸覺信息包括軟硬度和粗糙度；對第一步中采集到的多觸點觸覺數(shù)據(jù)進行解調處理，同時獲取靜態(tài)應力信息和動態(tài)振動信息，軟硬度體現(xiàn)于靜態(tài)應力信息，粗糙度體現(xiàn)于動態(tài)振動信息；將獲得的靜態(tài)應力信息和動態(tài)振動信息進行拼接、對齊、歸一化處理，構成三點觸覺時間序列數(shù)據(jù)集，以便輸入網(wǎng)絡模型進行識別；

7、第三步，建立并訓練觸覺信息識別網(wǎng)絡模型

8、將處理好的三點觸覺時間序列數(shù)據(jù)集中的數(shù)據(jù)輸入至多層lstm網(wǎng)絡模型中進行融合處理：將每一點的靜態(tài)應力和動態(tài)振動分別視為一種模態(tài)，在模態(tài)內和模態(tài)間進行特征提取，同時把握各個模態(tài)以及模態(tài)間的相互對應時序特性，對單點的應力和振動兩種信息進行特征提取和融合；將三點各自的應力、振動融合信息再度進行通道間融合，其中每一層融合網(wǎng)絡均使用lstm網(wǎng)絡；所有觸覺信息融合完畢后，輸入至門控記憶網(wǎng)絡和網(wǎng)絡輸出層，以此來獲得網(wǎng)絡模型的最終輸出結果。

9、進一步的，第一步包括如下的步驟：封裝有光纖光柵的觸覺傳感模型底部與待測物表面直接接觸，由機械臂控制采集數(shù)據(jù)，控制機械臂移動，按照移動、下壓、滑動、抬起的循環(huán)過程進行三個觸點數(shù)據(jù)采集，觸覺傳感模型與物體表面發(fā)生接觸后收集到光信號，在觸覺傳感模型底部與物體表面發(fā)生接觸時，所感知到的壓力使光纖光柵發(fā)生切向形變并引起光纖光柵中心波長發(fā)生變化，其變化信息以信號包絡偏移的形式調制在每一個掃描幀的干涉信號中，解調即可獲得靜態(tài)應力信息；當觸覺傳感模型在物體表面發(fā)生滑動摩擦時，接觸面感知到的振動信息傳導至光纖光柵，以瞬時相位變化的形式耦合在每一個掃描幀的干涉信號中，解調即可獲得動態(tài)振動信息。分別對不同物體表面進行數(shù)據(jù)采集，并且對同一物體表面進行重復采集。

10、進一步的，第二步包括如下的步驟：對于靜態(tài)應力信息，每一幀計算得到的包絡偏移量為標量，將連續(xù)幀的包絡偏移量拼接成1×t的張量，t為數(shù)據(jù)樣本的序列長度，作為代表靜態(tài)應力信息的特征向量序列；對于動態(tài)振動信息，每一幀解調出的振動波形作為高維向量，將其降采樣為s維后，并將連續(xù)幀的振動波形拼接成s×t的張量，作為代表動態(tài)振動信息的特征向量序列。兩種信息以幀為時間戳在時間上嚴格對齊；三個觸點的信息均按照相同的方法進行處理，從而得到一個樣本的三點觸覺數(shù)據(jù)，構造三點觸覺時間序列數(shù)據(jù)集。

11、進一步的，第一步包括如下的步驟：

12、(1)單點雙模態(tài)特征融合：對于每個模態(tài)的特征輸入，將t-1時刻的c以及t時刻的x結合作為t時刻的lstm輸入，分別為：

13、

14、其中s表示應力，v表示振動，和分別表示應力和振動模態(tài)第t時刻的輸入，和分別表示應力和振動模態(tài)第t-1時刻的記憶單元信息。將和兩個模態(tài)的輸出進行融合，輸入至對應的雙模態(tài)融合網(wǎng)絡，如下所示：

15、

16、其中作為應力和振動模態(tài)融合信息輸入至雙模態(tài)融合網(wǎng)絡，通過lstm進行編碼：

17、

18、即為雙模態(tài)融合網(wǎng)絡的輸出，是lstm網(wǎng)絡的最終記憶單元。將三點的應力和振動信息均進行相同的融合處理，獲得三點的不同輸出之后對各點的應力輸出振動輸出雙模態(tài)融合輸出進行結合：

19、

20、按照此結合方法分別得到代表三個單點最終的輸出結果。

21、(2)三點特征融合：將三點的特征融合信息進行兩兩結合，輸入至兩點特征融合層：

22、

23、通過lstm網(wǎng)絡捕捉通道間的時間特性，得到輸出：

24、

25、其中k∈n2，n2＝{(1,2),(1,3),(2,3)}，表示當前進行兩點融合的兩個序列，是lstm網(wǎng)絡的最終輸出，是lstm網(wǎng)絡的最終記憶單元。最后，將兩點融合輸出結果以及單點輸出結果進行結合，作為三點特征融合層的輸入：

26、

27、其中n＝{1,2,3}，k＝{(1,2),(1,3),(2,3)}。得到輸出：

28、

29、最后整合所有單點、兩點、三點的輸出結果，作為多層lstm融合網(wǎng)絡的最終輸出，加強模態(tài)融合的特征表現(xiàn)：

30、

31、其中n＝{1,2,3}，k＝{(1,2),(1,3),(2,3)}。

32、(3)門控記憶網(wǎng)絡：多層lstm融合網(wǎng)絡的輸出ot經過三個神經網(wǎng)絡，得到g1、g2、其中g1、g2是兩個門控單元，分別由神經網(wǎng)絡d1、d2控制，是跨模態(tài)更新單元，ut是t時刻門控記憶網(wǎng)絡的輸出，門控記憶網(wǎng)絡能夠融合上個時刻與當前時刻的特征信息。

33、(4)輸出層：輸出層的輸入是門控記憶網(wǎng)絡的最終狀態(tài)ut與各傳感點中應力和振動特征的輸出級聯(lián)在一起，用表示向量級聯(lián)：

34、

35、使用權重矩陣d0將級聯(lián)后的輸入映射到輸出層，隨后通過softmax函數(shù)轉換為概率分布o。輸出的概率分布o是一個概率向量，其中每一個維度即為樣本屬于相應類別的概率，從而產生對應的分類識別結果。

36、與現(xiàn)有技術相比本發(fā)明的優(yōu)勢如下：

37、1)相較于傳統(tǒng)電學觸覺傳感器，本發(fā)明所使用的光纖光柵觸覺傳感器具有抗電磁干擾、體積小、重量輕、靈敏度高等特點，可同時實現(xiàn)靜態(tài)應力和動態(tài)振動的檢測，識別效率較高，應用型更佳；

38、2)相較于單點觸覺傳感器，本發(fā)明設計并使用的三點觸覺傳感器可同時對物體進行三點感知，并可進一步推廣至多點感知，模仿人類多點觸覺感知功能，更接近擬人目標；

39、3)相較于傳統(tǒng)時間序列模態(tài)融合算法，本發(fā)明采用的多層lstm融合網(wǎng)絡模型，能夠更深入地把握各個模態(tài)的特征信息以及模態(tài)間的交互特征信息，從而對多點的雙模態(tài)觸覺信息穩(wěn)定提取、充分融合。