本發(fā)明涉及網絡安全，具體的說是一種基于大模型的拒識拒答方法及系統(tǒng)。

背景技術：

1、隨著人工智能技術的飛速發(fā)展，深度學習模型在各個領域的應用日益廣泛，如在自然語言處理(nlp)和計算機視覺(cv)領域，特別是在大模型(large-scale?models)的推動下，如transformer模型及其gpt、bert等，這些模型通過龐大的參數(shù)規(guī)模和海量的訓練數(shù)據，展現(xiàn)了前所未有的性能提升，能夠處理更為復雜和多樣的任務，現(xiàn)如今廣泛應用于各個領域。然而，隨著大模型的廣泛應用，網絡安全問題也日益凸顯，傳統(tǒng)的網絡安全防護手段往往難以應對復雜多變的網絡攻擊和威脅，特別是針對大規(guī)模數(shù)據處理和深度學習模型的應用，對于防范非法問題的需求日益增長。大模型在處理海量數(shù)據的同時，也面臨著被惡意利用的風險。在網絡安全領域，識別和攔截惡意請求、保護用戶數(shù)據免受攻擊是一項至關重要的任務。傳統(tǒng)的網絡安全防護手段，如防火墻、入侵檢測系統(tǒng)等，雖然在一定程度上能夠保護系統(tǒng)安全，但面對復雜多變的網絡攻擊，其效果往往有限。

2、近年來，基于大數(shù)據和深度學習模型的拒識拒答技術逐漸成為網絡安全領域的研究熱點。拒識拒答技術是一種基于ai和大數(shù)據技術的安全策略，用于識別和拒絕回答可能引發(fā)安全問題、隱私泄露或倫理爭議的問題。

技術實現(xiàn)思路

1、本發(fā)明針對目前技術發(fā)展的需求和不足之處，提供一種基于大模型的拒識拒答方法及系統(tǒng)，旨在提升網絡環(huán)境的和諧度與安全水平，通過智能攔截功能有效應對各類網絡威脅。

2、第一方面，本發(fā)明提供一種基于大模型的拒識拒答方法，解決上述技術問題采用的技術方案如下：

3、一種基于大模型的拒識拒答方法，其包括如下步驟：

4、s1、對用戶提交的問題文本進行預處理；

5、s2、選擇并加載預訓練的大模型，大模型將預處理后的問題文本轉換為嵌入向量；

6、s3、定義非法內容，構建索引庫；

7、s4、計算用戶所提交問題文本與索引庫中非法內容的距離值，根據計算結果向用戶返回信息。

8、可選的，所涉及步驟s3具體包括：

9、s3.1、根據業(yè)務需求和相關法律法規(guī)，定義非法內容；

10、s3.2、將已識別的非法內容整理并存儲到電子表格rejections.xlsx中；

11、s3.3、運用步驟s2選擇的預訓練的大模型對電子表格rejections.xlsx中的每一條非法內容進行編碼，轉換成向量形式，生成embedding.pkl文件，embedding.pkl文件封裝了所有非法內容的語義特征；

12、s3.4、將embedding.pkl文件導入到chromadb中，在chromadb中為導入的向量構建索引。

13、可選的，所涉及步驟s4具體包括：

14、s4.1、基于歷史數(shù)據測試的結果，設定距離閾值；

15、s4.2、對于預處理后問題文本對應的嵌入向量，在chromadb中執(zhí)行最近鄰搜索算法，計算當前嵌入向量與chromadb中每條向量形式非法內容之間距離，按照從小到大的順序排序距離值；

16、s4.3、當計算所得距離值小于設定的距離閾值，則觸發(fā)拒答條件，自動判定該問題文本存在非法風險，隨后采取標記或攔截措施，并反饋提示信息給對應用戶；

17、s4.4、當計算所得距離值不小于設定距離閾值，則通過聯(lián)網搜索或者預先構建的數(shù)據庫向用戶返回與問題文本對應的答案。

18、優(yōu)選的，對用戶提交的問題文本、以及標記或攔截內容進行人工審核，根據問題文本的誤報率和漏報率調整設定的距離閾值：

19、若審核結果的誤報率高，則提高距離閾值；

20、若審核結果的漏報率高，則降低距離閾值。

21、可選的，執(zhí)行步驟s1，對用戶提交的問題文本進行去除標點符號、停用詞、文本規(guī)范化、詞干提取或詞形還原的預處理操作；

22、執(zhí)行步驟s2，所述大模型為bge模型。

23、第二方面，本發(fā)明提供一種基于大模型的拒識拒答系統(tǒng)，解決上述技術問題采用的技術方案如下：

24、一種基于大模型的拒識拒答系統(tǒng)，其包括：

25、預處理模塊，用于對用戶提交的問題文本進行預處理；

26、選擇加載模塊，用于選擇并加載預訓練的大模型；

27、大模型，用于將預處理后的問題文本轉換為嵌入向量；

28、定義構建模塊，用于定義非法內容，構建索引庫；

29、計算返回模塊，用于計算用戶所提交問題文本與索引庫中非法內容的距離值，根據計算結果向用戶返回信息。

30、可選的，所涉及定義構建模塊具體包括：

31、定義單元，用于根據業(yè)務需求和相關法律法規(guī)，定義非法內容；

32、存儲單元，用于將已識別的非法內容整理并存儲到電子表格rejections.xlsx中；

33、編碼生成單元，用于使用加載的大模型對電子表格rejections.xlsx中的每一條非法內容進行編碼，轉換成向量形式，生成embedding.pkl文件，embedding.pkl文件封裝了所有非法內容的語義特征；

34、導入構建單元，用于將embedding.pkl文件導入到chromadb中，在chromadb中為導入的向量構建索引。

35、可選的，所涉及計算返回模塊具體包括：

36、閾值設置單元，用于基于歷史數(shù)據測試的結果，設定距離閾值；

37、算法執(zhí)行單元，用于在chromadb中執(zhí)行最近鄰搜索算法，計算預處理后問題文本所對應嵌入向量與chromadb中每條向量形式非法內容之間距離；

38、排序單元，用于按照從小到大的順序排序距離值；

39、判斷單元，用于計算所得距離值是否大于設定的距離閾值；

40、觸發(fā)提示單元，用于在計算所得距離值小于設定的距離閾值時觸發(fā)拒答條件，自動判定該問題文本存在非法風險，隨后采取標記或攔截措施，并反饋提示信息給對應用戶；

41、答案返回模塊，用于在計算所得距離值不小于設定距離閾值時通過聯(lián)網搜索或者預先構建的數(shù)據庫向用戶返回與問題文本對應的答案。

42、優(yōu)選的，對用戶提交的問題文本、以及標記或攔截內容進行人工審核，根據問題文本的誤報率和漏報率調整設定的距離閾值：

43、若審核結果的誤報率高，則通過閾值設置單元提高距離閾值；

44、若審核結果的漏報率高，則通過閾值設置單元降低距離閾值。

45、可選的，所涉及預處理模塊對用戶提交的問題文本進行去除標點符號、停用詞、文本規(guī)范化、詞干提取或詞形還原的預處理操作；

46、所涉及選擇加載模塊選擇并加載bge模型。

47、本發(fā)明的一種基于大模型的拒識拒答方法及系統(tǒng)，與現(xiàn)有技術相比具有的有益效果是：

48、本發(fā)明可以提升網絡環(huán)境的和諧度與安全水平，通過智能攔截功能有效應對各類網絡威脅。