本發(fā)明屬于機(jī)場(chǎng)圍界安防，尤其涉及一種基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)方法及系統(tǒng)。

背景技術(shù)：

1、隨著民航業(yè)的蓬勃發(fā)展，機(jī)場(chǎng)的規(guī)模不斷擴(kuò)大，旅客吞吐量持續(xù)飆升，在這一背景下，機(jī)場(chǎng)的安保需求也日益凸顯其重要性。在這樣的背景下，保障飛機(jī)停泊的安全，日益凸顯其重要性。諸如未經(jīng)授權(quán)的人員非法侵入機(jī)場(chǎng)跑道或接近停泊的飛機(jī)，給飛行安全帶來了極大的威脅。這些安全事故不僅可能導(dǎo)致飛機(jī)受損，還可能造成人員傷亡，給航空公司和社會(huì)帶來巨大損失。

2、傳統(tǒng)的機(jī)場(chǎng)安防措施，如人工巡檢和視頻攝像頭監(jiān)控，雖然在一定程度上能夠起到防范作用，但面對(duì)日益復(fù)雜多變的安全形勢(shì)，這些措施已經(jīng)顯得力不從心。人工巡檢受到人力和時(shí)間的限制，無法做到24小時(shí)不間斷監(jiān)控；而視頻攝像頭雖然能夠?qū)崟r(shí)拍攝畫面，但面對(duì)大面積、多區(qū)域的監(jiān)控需求，其效率和準(zhǔn)確性都難以保證。因此，為了滿足機(jī)場(chǎng)圍界安防的需求，引入更先進(jìn)、更高效的安防識(shí)別方法至關(guān)重要。

3、通過上述分析，現(xiàn)有技術(shù)存在的問題及缺陷為：目前機(jī)場(chǎng)圍界安防多數(shù)采用視頻攝像頭加視覺深度學(xué)習(xí)算法的方式對(duì)機(jī)場(chǎng)圍界范圍進(jìn)行實(shí)時(shí)分析，這種方式能夠較好的發(fā)現(xiàn)是否存在違規(guī)翻越圍界的情況，但是傳統(tǒng)的深度學(xué)習(xí)算法需要大量相關(guān)場(chǎng)景的數(shù)據(jù)進(jìn)行訓(xùn)練，而在機(jī)場(chǎng)圍界的場(chǎng)景下，難以提供大量違規(guī)穿越的圍界的視頻數(shù)據(jù)，并且無法提供例如破壞、撞擊、挖洞進(jìn)入圍界等場(chǎng)景的數(shù)據(jù)，面對(duì)日益增長(zhǎng)的安全和效率需求，僅通過實(shí)時(shí)視頻分析的方法去檢測(cè)人員入侵不能很好的解決多樣性場(chǎng)景的需求。

技術(shù)實(shí)現(xiàn)思路

1、為克服相關(guān)技術(shù)中存在的問題，本發(fā)明公開實(shí)施例提供了一種基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)方法及系統(tǒng)。

2、所述技術(shù)方案如下：一種基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)方法，包括：

3、s1，通過視頻人員檢測(cè)模塊對(duì)圍界周圍的環(huán)境實(shí)時(shí)分析，檢測(cè)是否有人靠近圍界；

4、s2，檢測(cè)到靠近圍界的人員信息后，將圖像與預(yù)先設(shè)置好的提示詞傳輸給合法性分析模塊，檢測(cè)提示詞與圖像的內(nèi)容是否違法，若違法則不予處理；

5、s3，將通過合法性檢測(cè)的圖像與提示詞內(nèi)容，傳輸給多模態(tài)圖像分析模塊，多模態(tài)視覺大模型采用在開源的llm的輸入數(shù)據(jù)階段，添加多模態(tài)特征融合層，將圖像特征和提示詞向量進(jìn)行融合，形成多模態(tài)特征表示；通過多模態(tài)視覺大模型的圖像理解能力、文本理解、分析的能力對(duì)圖像中的內(nèi)容進(jìn)行分析并返回分析結(jié)果；

6、s4，將多模態(tài)圖像分析模塊的結(jié)果傳輸給意圖識(shí)別模塊，通過意圖識(shí)別模塊判斷輸入的文本內(nèi)容是否存在破環(huán)、入侵圍界的意圖；

7、s5，若沒有產(chǎn)生入侵、破環(huán)圍界的意圖，則通過異常報(bào)警模塊實(shí)現(xiàn)圍界周圍的擴(kuò)音器播放警告離開的語音；若存在正在破壞、入侵圍界的情況，則在上位機(jī)系統(tǒng)報(bào)警提示機(jī)場(chǎng)相關(guān)的監(jiān)管人員，并通過圍界周圍的擴(kuò)音器播放制止破壞、入侵行為的語音。

8、在步驟s1中，檢測(cè)是否有人靠近圍界，包括：當(dāng)發(fā)現(xiàn)有人在圍界附近時(shí)，觸發(fā)多模態(tài)圖像分析模塊，將圖像數(shù)據(jù)傳輸給合法性分析模塊，基于神經(jīng)網(wǎng)絡(luò)的視覺模型判斷圖像是否為合法的內(nèi)容，避免因黑客原因?qū)⒉缓戏ǖ膱D像數(shù)據(jù)傳輸給多模態(tài)視覺大模型，若為合法內(nèi)容則將圖像傳輸給多模態(tài)圖像分析模塊。

9、在步驟s2中，當(dāng)圖像與提示詞通過驗(yàn)證時(shí)，將圖像與提示詞傳輸給多模態(tài)圖像分析模塊。

10、在步驟s3中，通過多模態(tài)視覺大模型的圖像理解能力、文本理解、分析的能力對(duì)圖像中的內(nèi)容進(jìn)行分析并返回分析結(jié)果，包括：

11、（1）將接收到的圖像數(shù)據(jù)與預(yù)先定制的提示詞prompt進(jìn)行組合；

12、（2）對(duì)組合后的數(shù)據(jù)傳輸至多模態(tài)視覺大模型，通過多模態(tài)視覺大模型的理解分析能力，對(duì)圖像中的內(nèi)容進(jìn)行分析；根據(jù)預(yù)設(shè)的提升詞與輸入的圖像進(jìn)行組合，通過提示詞與圖像數(shù)據(jù)輸入的多模態(tài)視覺大模型，返回關(guān)于該圖像的描述；

13、（3）將多模態(tài)視覺大模型輸出內(nèi)容傳輸給意圖識(shí)別算法，意圖識(shí)別算法進(jìn)行分析傳輸內(nèi)容的意圖，若存在入侵意圖則通過系統(tǒng)對(duì)用戶進(jìn)行報(bào)警，表達(dá)式為：

14、

15、式中，表示模型結(jié)果，表示關(guān)鍵詞檢索的結(jié)果，表示向量檢索的結(jié)果，的取值為0或1，0表示沒有入侵意圖，1表示存在入侵意圖。

16、在步驟（2）中，通過多模態(tài)視覺大模型的理解分析能力，對(duì)圖像中的內(nèi)容進(jìn)行分析，包括：

17、（2.1）圍界圖像數(shù)據(jù)采集，通過無監(jiān)督方法對(duì)多模態(tài)視覺大模型進(jìn)行訓(xùn)練，加強(qiáng)多模態(tài)視覺大模型對(duì)圍界的理解，并采集多個(gè)機(jī)場(chǎng)周圍的圍界圖像、通過圖像增強(qiáng)技術(shù)生成的圍界圖像、通過aigc技術(shù)生成的圍界圖像與通過爬蟲爬取的圍界圖像數(shù)據(jù)；

18、（2.2）數(shù)據(jù)集生成，對(duì)收集到的圍界的圖像數(shù)據(jù)進(jìn)行標(biāo)注，包括圖像對(duì)應(yīng)的問題以及答案；

19、（2.3）算法微調(diào)對(duì)齊，通過生成的數(shù)據(jù)集多模態(tài)視覺大模型進(jìn)行微調(diào)，調(diào)整模型超參數(shù)，將標(biāo)注好的數(shù)據(jù)按批次逐一輸入到多模態(tài)大模型中進(jìn)行訓(xùn)練，使多模態(tài)視覺大模型輸出的結(jié)果符合圍界安防場(chǎng)景的內(nèi)容。

20、在步驟s4中，通過意圖識(shí)別模塊判斷輸入的文本內(nèi)容是否存在破環(huán)、入侵圍界的意圖，包括：

21、4.1，意圖數(shù)據(jù)的采集，采集通過提示詞prompt與大語言模型生成語料，人工編寫，自然語言數(shù)據(jù)增強(qiáng)的方式生成相應(yīng)的文本數(shù)據(jù)；通過人工編寫以及設(shè)置提示詞并通過大模型模仿人工編寫的提示詞生成近似數(shù)據(jù)；

22、4.2，數(shù)據(jù)標(biāo)注，為首先設(shè)置提示詞prompt以預(yù)先設(shè)置的意圖類別通過大語言模型對(duì)輸入的語料判別其具體屬于哪個(gè)意圖，根據(jù)大模語言型返回的結(jié)果組織數(shù)據(jù)集；在生成數(shù)據(jù)集后進(jìn)行人工糾錯(cuò)，將識(shí)別錯(cuò)誤的意圖進(jìn)行改正；

23、4.3，意圖識(shí)別算法訓(xùn)練，采用transformer架構(gòu)多種開源算法進(jìn)行訓(xùn)練，按照例二進(jìn)行數(shù)據(jù)的整理，訓(xùn)練完成后，將模型繼承到意圖識(shí)別模塊。

24、本發(fā)明的另一目的在于提供一種基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)，該系統(tǒng)實(shí)施所述基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)方法，該系統(tǒng)包括：

25、視頻人員檢測(cè)模塊，用于檢測(cè)是否有人靠近圍界，當(dāng)發(fā)現(xiàn)有人在圍界附近時(shí)，觸發(fā)多模態(tài)圖像分析模塊，將圖像數(shù)據(jù)傳輸給合法性分析模塊判斷圖像是否為合法的內(nèi)容避免因黑客原因?qū)⒉缓戏ǖ膱D像數(shù)據(jù)傳輸給多模態(tài)視覺大模型，若為合法內(nèi)容則將圖像傳輸給多模態(tài)圖像分析模塊；

26、合法性分析模塊，由兩個(gè)深度學(xué)習(xí)算法模型組成，包含一個(gè)基于trasnformer結(jié)構(gòu)nlp模型負(fù)責(zé)判斷文本提示詞是否違規(guī)，一個(gè)神經(jīng)網(wǎng)絡(luò)視覺分類模型判斷圖像是否違規(guī)，將圖像和提示詞傳給合法性分析模塊，統(tǒng)一進(jìn)行識(shí)別判斷若存在違規(guī)信息則直接不處理用于分析接收的圖像與prompt提示詞是否合法，通過算法模型檢測(cè)輸入的圖像與提示詞是否含有色情、暴恐不合法內(nèi)容，對(duì)不合法內(nèi)容將直接返回，不予處理；當(dāng)圖像與提示詞通過驗(yàn)證時(shí)，將圖像與提示詞傳輸給多模態(tài)圖像分析模塊；

27、多模態(tài)圖像分析模塊，包含多模態(tài)視覺大模型和深度學(xué)習(xí)意圖識(shí)別算法，多模態(tài)視覺大模型負(fù)責(zé)通過圖像與提示詞對(duì)該幅圖像中的物體、行為內(nèi)容進(jìn)行分析描述，意圖識(shí)別算法負(fù)責(zé)對(duì)多模態(tài)視覺大模型輸出的描述內(nèi)容通過預(yù)先設(shè)置的行為場(chǎng)景進(jìn)行意圖分析；

28、意圖識(shí)別模塊，用于對(duì)多模態(tài)圖像分析模塊的輸出進(jìn)行意圖判別，確定輸出的內(nèi)容是否存在入侵圍界的意圖，如果確認(rèn)圖像中人、車等物體正在入侵圍界，則直接在系統(tǒng)中發(fā)送紅色警報(bào)給用戶并在入侵位置區(qū)域發(fā)送警告聲音；如果圖像中并沒有出現(xiàn)入侵意圖但是存在駐留、觀望情況，則在系統(tǒng)中發(fā)送提示警報(bào)，并在對(duì)應(yīng)位置區(qū)域發(fā)送遠(yuǎn)離圍界警告聲音。

29、進(jìn)一步，該基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)搭載在計(jì)算機(jī)設(shè)備，該計(jì)算機(jī)設(shè)備包括：至少一個(gè)處理器、存儲(chǔ)器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述至少一個(gè)處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述所述的基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)中的功能。

30、進(jìn)一步，該基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)搭載在計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)中的功能。

31、進(jìn)一步，該基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)搭載在信息數(shù)據(jù)處理終端，所述信息數(shù)據(jù)處理終端用于實(shí)現(xiàn)于電子裝置上執(zhí)行時(shí)，提供用戶輸入接口以實(shí)施如上述基于多模態(tài)的機(jī)場(chǎng)圍界檢測(cè)系統(tǒng)中的功能。

32、結(jié)合上述的所有技術(shù)方案，本發(fā)明所具備的有益效果為：本發(fā)明提供一種基于多模態(tài)的方法利用大模型的理解分析能力與傳統(tǒng)深度學(xué)習(xí)相結(jié)合的方式，解決在圍界安防場(chǎng)景下無法提供大量訓(xùn)練數(shù)據(jù)且識(shí)別準(zhǔn)確率低的問題，滿足機(jī)場(chǎng)圍界安防對(duì)多樣化、多場(chǎng)景化安防的需求。本發(fā)明采用大模型與傳統(tǒng)深度學(xué)習(xí)相結(jié)合的方法，能夠顯著提升安防系統(tǒng)的準(zhǔn)確性和整體效率。這不僅滿足了民航業(yè)日益增長(zhǎng)的安全需求，更為其持續(xù)、健康發(fā)展注入了強(qiáng)勁的新動(dòng)力。

33、本發(fā)明通過多模塊多流程的方式提升了入侵行為檢測(cè)的精度，減少了傳統(tǒng)視覺方案需要海量數(shù)據(jù)進(jìn)行訓(xùn)練的弊病，以及存在多種場(chǎng)景訓(xùn)練數(shù)據(jù)難以收集的問題，本方法可擴(kuò)展性高，可以自助選擇對(duì)各個(gè)模塊中的各個(gè)算法進(jìn)行替換，當(dāng)前各大機(jī)場(chǎng)圍界多采用人工巡檢和視頻識(shí)別的方案進(jìn)行處理。