本發(fā)明涉及監(jiān)控分析，具體涉及一種基于快慢神經(jīng)網(wǎng)絡的手術(shù)行為捕捉系統(tǒng)。

背景技術(shù)：

1、近年來，隨著計算機、網(wǎng)絡以及圖像處理、傳輸技術(shù)的飛速發(fā)展，手術(shù)過程視頻監(jiān)控技術(shù)也有了長足的發(fā)展，目前的手術(shù)過程視頻監(jiān)控設備通常都會連續(xù)不斷錄像，連續(xù)不斷的錄像使得視頻文件較大，較大的視頻文件存儲了海量的視頻數(shù)據(jù)，由此帶來的技術(shù)問題是，在基于圖像進行目標視頻捕捉時往往只能捕捉當前圖像的前后一段時間內(nèi)的視頻數(shù)據(jù)，這樣就會導致在進行視頻捕捉后還需要人工對捕捉的視頻進行觀看篩選的情況。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是提供一種基于快慢神經(jīng)網(wǎng)絡的手術(shù)行為捕捉系統(tǒng)，以解決現(xiàn)有技術(shù)中的上述不足之處。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種基于快慢神經(jīng)網(wǎng)絡的手術(shù)行為捕捉系統(tǒng)，包括用戶端輸入模塊、采樣間隔設置模塊、圖片采集模塊、畫面分割模塊、畫面比對模塊、畫面標注模塊、數(shù)據(jù)判斷模塊、重要程度計算模塊、連續(xù)變化判斷模塊、視頻截取模塊、視頻截取認證模塊；

3、所述用戶端輸入模塊用于用戶輸入待查詢手術(shù)行為圖像；

4、所述采樣間隔設置模塊用于設置采樣間隔，所述采樣間隔為視頻的播放時間段；

5、所述圖片采集模塊用于獲取采樣間隔內(nèi)的圖像；

6、所述畫面分割模塊用于基于畫面分割模型對采樣間隔內(nèi)的圖像與標準圖像進行畫面分割，將采樣間隔內(nèi)的圖像與標準圖像分割為可移動物體與固定物體；

7、所述畫面比對模塊用于判斷采樣間隔內(nèi)圖像畫面的可移動物體相對標準圖像的可移動物體是否發(fā)生變化；

8、所述畫面標注模塊用于基于畫面標注模型對發(fā)生變化的采樣間隔內(nèi)圖像畫面標注為變化圖像并對采樣間隔內(nèi)圖像畫面內(nèi)的變化位置進行標注，對于未發(fā)生變化的采樣間隔內(nèi)圖像畫面標注為未發(fā)生變化圖像；

9、所述數(shù)據(jù)判斷模塊用于基于判斷模型判斷畫面標注為變化圖像的圖像中可移動物體發(fā)生變化的原因；

10、所述重要程度計算模塊用于基于重要程度計算模型計算當前變化的重要程度，并根據(jù)重要程度進行排序，預設檢測閾值，對于當前變化的重要程度高于預設檢測閾值的變化圖像保留標注，對當前變化的重要程度低于預設檢測閾值的變化圖像刪除標注；

11、所述連續(xù)變化判斷模塊用于判斷重要程度計算模塊中保留標注的變化圖像發(fā)生的變化是否為連續(xù)變化；

12、所述視頻截取模塊用于對于數(shù)據(jù)判斷模塊中判斷結(jié)果為連續(xù)變化的變化圖像根據(jù)畫面標注模塊中對應標注的變化，截取標注變化完整的視頻；

13、所述視頻截取認證模塊，基于視頻對比認證模型對視頻截取模塊中截取的各段視頻進行視頻截取認證。

14、進一步的，包括以下步驟：

15、s1，用戶通過輸入端輸入待查詢手術(shù)行為圖像，將所述待查詢手術(shù)行為圖像作為標準圖像；

16、s2，設置采樣間隔；

17、s3，獲取采樣間隔內(nèi)的圖像，并基于畫面分割模型對采樣間隔內(nèi)的圖像與標準圖像進行畫面分割，將采樣間隔內(nèi)的圖像與標準圖像分割為可移動物體與固定物體；

18、s4，基于畫面比對模型判斷采樣間隔內(nèi)圖像畫面的可移動物體相對標準圖像的可移動物體是否發(fā)生變化，基于畫面標注模型對發(fā)生變化的采樣間隔內(nèi)圖像畫面標注為變化圖像并對采樣間隔內(nèi)圖像畫面內(nèi)的變化位置進行標注，對于未發(fā)生變化的采樣間隔內(nèi)圖像畫面標注為未發(fā)生變化圖像；

19、s5，基于判斷模型判斷步驟s4中變化圖像中可移動物體發(fā)生變化的原因，所述發(fā)生變化的原因包括但不限于人為原因、環(huán)境原因、光線原因；

20、s6，基于重要程度計算模型計算當前變化的重要程度，并根據(jù)重要程度進行排序，預設檢測閾值，對于當前變化的重要程度高于預設檢測閾值的變化圖像保留標注，對當前變化的重要程度低于預設檢測閾值的變化圖像刪除標注；

21、s7，判斷步驟s6中保留標注的變化圖像發(fā)生的變化是否為連續(xù)變化；

22、s8，對于步驟s7中判斷結(jié)果為連續(xù)變化的變化圖像根據(jù)步驟s4中對應標注的變化，截取標注變化完整的視頻，對于多個標注變化的變化圖像根據(jù)不同的標注進行截取并分類存儲，其中視頻截取具體標準為變化圖像標注的一個完整變化過程；

23、s9，基于視頻對比認證模型對步驟s8中截取的各段視頻進行視頻截取認證。

24、進一步的，所述步驟s3中基于畫面分割對采樣間隔內(nèi)的圖像與標準圖像進行畫面分割，具體包括以下步驟：

25、a1，將圖像進行分割，其中一部內(nèi)容為固定物體的區(qū)域標記為n，另一部主要為可移動物體的區(qū)域標記為m，數(shù)組f[n]用來記錄標記；

26、a2，對固定物體及可移動物體區(qū)域進行像素點逐點掃描，得到顏色矢量圖中每個像素點的角度值x1將f[x1]的值置為1；

27、a3，對含有可移動物體的m區(qū)域進行逐點掃描，得到非像素點對應的角度值x2，計算f[x2]如果該點的值不為1則保留，否則去除該點；

28、其中，將可移動物體照片設為p，我們將p(x,y)定義為可移動物體上內(nèi)部坐標為(x,y)點的亮度值，利用公式轉(zhuǎn)化為極坐標，公式如下：

29、p′(r，θ)＝p(r?sinθ+x0，r?cosθ+y0)

30、其中p’(γ,θ)表示內(nèi)部坐標為(γ,θ)點的亮度變化值；

31、為了減少可移動物體上不同程度的裂紋等局部特征對分割產(chǎn)生的未知影響，我們首先對圖像進行高斯濾波，接著提取出顏色三屬性中的亮度通道色調(diào)通道進行極坐標轉(zhuǎn)化，完成后我們利用邊緣檢測算子進行一個邊緣檢測，利用一個垂直邊緣檢測器對圖片進行檢測；

32、將檢測完成的結(jié)果利用下式轉(zhuǎn)化回直角坐標系，然后進行形態(tài)學運算得到一個封閉的邊緣：

33、

34、通過識別不同的封閉的邊緣可以檢測可移動物體的具體形狀，進而便于進行圖像分割。

35、進一步的，所述步驟s6中重要程度模型的生成，具體包括以下步驟：

36、b1，隨機化初始化變化量數(shù)據(jù)組；

37、b2，計算數(shù)據(jù)適應度，基于個體確定的反向傳播神經(jīng)網(wǎng)絡中的權(quán)重值與初始閾值，具體計算公式如下：

38、

39、其中a為變化量數(shù)據(jù)的節(jié)點個數(shù)，yb為第b個節(jié)點的預測數(shù)據(jù)，ob為第b個節(jié)點的實際數(shù)據(jù)，c為系數(shù)；

40、b3，選擇操作，采用輪盤賭法進行選擇操作，繼而從變化量數(shù)據(jù)中選擇適應度好的個體組成新變化量數(shù)據(jù)組，個體選擇的概率具體公式如下：

41、

42、其中c為系數(shù)，n為隨機數(shù)，其中pb表示第b個節(jié)點的數(shù)據(jù)適應度，pj表示第j個節(jié)點的數(shù)據(jù)適應度；

43、b4，交叉操作，隨機選取兩個變化量數(shù)據(jù)進行交叉操作，以在j位的第x個變化量數(shù)據(jù)ax與第y個變化量數(shù)據(jù)ay為例，具體公式如下：

44、

45、其中z為[0，1]之間的隨機數(shù)字；

46、b5，變異操作，隨機從變化量數(shù)據(jù)組中選擇一個變化量數(shù)據(jù)，按預設概率進行變異操作得到新的變化量數(shù)據(jù)；

47、b6，利用得到的最優(yōu)值更新權(quán)值閾值，訓練得到當前變化重要程度模型。

48、進一步的，所述步驟s7中判斷重要變化是否為連續(xù)變化，具體包括以下步驟：

49、c1，首先，基于局部模型檢測圖片標注結(jié)果中的每個子標注數(shù)據(jù)頻譜圖；

50、c2，若有一個子標注頻譜圖的后驗分數(shù)超過閾值，則視為一個局部變化；

51、c3，系統(tǒng)記錄連續(xù)的局部變化的開始時間和結(jié)束時間，開始時間是第一個局部變化對應的窗口的左邊緣，結(jié)束時間是最后一個局部變化對應的窗口的右邊緣；

52、c4，當連續(xù)的局部變化發(fā)生時，表明在從開始時間到結(jié)束時間時間段內(nèi)的圖片標注中存在連續(xù)變化，即當前檢測的重要變化為連續(xù)變化；

53、c5，若沒有連續(xù)的局部變化出現(xiàn)則認定為當前檢測的重要變化為非連續(xù)變化；

54、c6，將步驟c5中的非連續(xù)變化圖像標注重新輸入步驟c1中進行后續(xù)操作，直至重要變化標注中不存在連續(xù)變化。

55、進一步的，所述步驟s9中視頻截取認證，具體包括以下步驟：

56、d1，響應于步驟s8中截取的各段視頻，從所述各段視頻中提取符合指定圖像條件的圖像數(shù)據(jù)；任一符合指定圖像條件的圖像數(shù)據(jù)中至少攜帶有發(fā)出該圖像數(shù)據(jù)的信標設備的標識信息以及時間戳信息；

57、d2，若提取到，獲取所提取到的圖像數(shù)據(jù)中的指定數(shù)據(jù)；其中，所述指定數(shù)據(jù)中至少包含發(fā)出所提取到的圖像數(shù)據(jù)的信標設備的標識信息以及時間戳信息；

58、d3，獲取所述步驟s8中截取的各段視頻的目標標識信息，以及所述視頻的目標時間戳信息；

59、d4，對所述目標時間戳信息和所述指定數(shù)據(jù)中的時間戳信息進行匹配分析，得到第一分析結(jié)果，以及對所述目標標識信息與所述指定數(shù)據(jù)中的標識信息進行匹配分析，得到第二分析結(jié)果；

60、d5，基于所述第一分析結(jié)果以及第二分析結(jié)果，確定所述視頻的認證結(jié)果；其中，所述認證結(jié)果用于表征所述步驟s8中截取的各段視頻是否存?zhèn)巍?/p>

61、與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果：

62、本發(fā)明提供的一種基于快慢神經(jīng)網(wǎng)絡的手術(shù)行為捕捉系統(tǒng)，通過畫面分割模塊、畫面標注模塊以及數(shù)據(jù)判斷模塊可以精準的識別圖像中可移動物體與固定物體，并且可以通過對移動的可移動物體進行標注以及判斷可移動物體發(fā)生變化的原因可以精準的捕捉視頻圖像中的重要部分，同時通過重要程度計算模塊與連續(xù)變化判斷模塊可以實時判斷當前畫面圖像的變化對于目標視頻步驟的影響程度，并且通過連續(xù)變化判斷模塊可以在進行視頻步驟時準確的判斷當前視頻圖像是否為連續(xù)變化，通過將連續(xù)變化的視頻進行步驟，可以避免再進行視頻步驟時發(fā)生遺漏的情況，同時通過不同可移動物體變化過程步驟可以精準的進行視頻捕捉，避免在進行視頻捕捉后還需要人工進行觀看篩選的情況。