本發(fā)明涉及人工智能，具體涉及一種rag評估數(shù)據(jù)生成方法、裝置、計算機設(shè)備以及非易失性計算機可讀存儲介質(zhì)。

背景技術(shù)：

1、目前，隨著人工智能(ai)技術(shù)的快速演進與發(fā)展，檢索增強生成(retrieval-augmented?generation，rag)技術(shù)已在當前ai領(lǐng)域中嶄露頭角，被視為一種尖端技術(shù)；特別是在保險行業(yè)中，rag技術(shù)的應(yīng)用正逐步擴散，其在自動化理賠處理、團體保險核保流程、以及業(yè)務(wù)經(jīng)營分析等方面的應(yīng)用正在增多。

2、當前，為了確保rag系統(tǒng)能夠高效運行并提供優(yōu)質(zhì)的性能，開發(fā)者必須對其進行精確的調(diào)整和優(yōu)化，這一過程通常在rag系統(tǒng)投入實際運營之前進行，以確保服務(wù)質(zhì)量；因此，在rag系統(tǒng)的研發(fā)階段，研究人員需要使用專業(yè)的測試數(shù)據(jù)來評估系統(tǒng)性能。特別是在保險領(lǐng)域，多數(shù)研究人員需要手動標注測試問題、待檢索的上下文文本、標準答案以及由模型生成的回答。然而，這種手動標注過程要求執(zhí)行者具備深入的保險領(lǐng)域知識，導致標注工作不僅耗時且勞動強度高、效率低下，而且人工成本昂貴。

3、基于此，如何提供一種rag評估數(shù)據(jù)生成方法、裝置、計算機設(shè)備以及非易失性計算機可讀存儲介質(zhì)，可以快速、高效及準確地生成rag評估數(shù)據(jù)，是目前本領(lǐng)域技術(shù)人員亟待解決的問題。

技術(shù)實現(xiàn)思路

1、鑒于上述現(xiàn)有技術(shù)的不足之處，本發(fā)明的目的在于提供一種可用于金融科技或其他相關(guān)領(lǐng)域的rag評估數(shù)據(jù)生成方法、裝置、計算機設(shè)備以及非易失性計算機可讀存儲介質(zhì)，可以快速、高效及準確地生成rag評估數(shù)據(jù)。

2、為了達到上述目的，本發(fā)明采取了以下技術(shù)方案：

3、一種rag評估數(shù)據(jù)生成方法，其中，包括：

4、基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的context；

5、基于生成的所述context設(shè)計第二prompt，將所述第二prompt與所述context輸入所述llm，生成相應(yīng)的query；

6、基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述llm，生成相應(yīng)的答案。

7、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的context，包括：

8、收集所需的目標知識文檔；

9、基于收集到的所述目標知識文檔設(shè)計所需的第一prompt；

10、將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的多個context。

11、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的多個context之后，還包括：

12、計算得到每個所述context的高相似度負樣本與低相似度負樣本。

13、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述計算得到每個所述context的高相似度負樣本與低相似度負樣本，包括：

14、將每個所述context的文本均轉(zhuǎn)換為向量；

15、計算每個所述context的向量與其他context的向量之間的余弦相似度；

16、根據(jù)相似度結(jié)果，確定每個所述context的高相似度負樣本與低相似度負樣本。

17、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述根據(jù)相似度結(jié)果，確定每個所述context的高相似度負樣本與低相似度負樣本之后，還包括：

18、使用kendall秩相關(guān)系數(shù)算法定量分析每個所述context的所述高相似度負樣本與所述低相似度負樣本之間的相關(guān)性。

19、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述將每個所述context的文本均轉(zhuǎn)換為向量，包括：

20、使用預(yù)設(shè)的bge-large-model將每個所述context的文本均轉(zhuǎn)換為向量。

21、在進一步的技術(shù)方案中，所述的rag評估數(shù)據(jù)生成方法，其中，所述基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述llm，生成相應(yīng)的答案之后，還包括：

22、基于所述query、所述答案、所述context及所述context對應(yīng)的所述高相似度負樣本與所述低相似度負樣本，對目標rag系統(tǒng)的性能進行評估。

23、一種rag評估數(shù)據(jù)生成裝置，其中，包括：

24、context生成模塊，用于基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的context；

25、query生成模塊，用于基于生成的所述context設(shè)計第二prompt，將所述第二prompt與所述context輸入所述llm，生成相應(yīng)的query；

26、答案生成模塊，用于基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述llm，生成相應(yīng)的答案。

27、一種計算機設(shè)備，其中，所述計算機設(shè)備包括至少一個處理器；以及，

28、與所述至少一個處理器通信連接的存儲器；其中，

29、所述存儲器上存儲有可被所述至少一個處理器執(zhí)行的計算機程序，所述計算機程序被所述至少一個處理器執(zhí)行時，可實現(xiàn)如上述任一項所述的rag評估數(shù)據(jù)生成方法。

30、一種非易失性計算機可讀存儲介質(zhì)，其中，所述非易失性計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被至少一個處理器執(zhí)行時，可實現(xiàn)如上述任一項所述的rag評估數(shù)據(jù)生成方法。

31、相較于現(xiàn)有技術(shù)，本發(fā)明提供了一種rag評估數(shù)據(jù)生成方法、裝置、計算機設(shè)備以及非易失性計算機可讀存儲介質(zhì)，其中，所述方法包括：基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的context；基于生成的所述context設(shè)計第二prompt，將所述第二prompt與所述context輸入所述llm，生成相應(yīng)的query；基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述llm，生成相應(yīng)的答案。這樣，通過本發(fā)明的方法可以快速、高效及準確地生成rag評估數(shù)據(jù)。

技術(shù)特征：

1.一種rag評估數(shù)據(jù)生成方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的context，包括：

3.根據(jù)權(quán)利要求2所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的llm，生成相應(yīng)的多個context之后，還包括：

4.根據(jù)權(quán)利要求3所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述計算得到每個所述context的高相似度負樣本與低相似度負樣本，包括：

5.根據(jù)權(quán)利要求4所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述根據(jù)相似度結(jié)果，確定每個所述context的高相似度負樣本與低相似度負樣本之后，還包括：

6.根據(jù)權(quán)利要求5所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述將每個所述context的文本均轉(zhuǎn)換為向量，包括：

7.根據(jù)權(quán)利要求3-6任一項所述的rag評估數(shù)據(jù)生成方法，其特征在于，所述基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述llm，生成相應(yīng)的答案之后，還包括：

8.一種rag評估數(shù)據(jù)生成裝置，其特征在于，包括：

9.一種計算機設(shè)備，其特征在于，所述計算機設(shè)備包括至少一個處理器；以及，

10.一種非易失性計算機可讀存儲介質(zhì)，其特征在于，所述非易失性計算機可讀存儲介質(zhì)存儲有計算機程序，所述計算機程序被至少一個處理器執(zhí)行時，可實現(xiàn)如權(quán)利要求1-7任一項所述的rag評估數(shù)據(jù)生成方法。

技術(shù)總結(jié)
本發(fā)明公開了RAG評估數(shù)據(jù)生成方法、裝置、計算機設(shè)備及存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域，其中，所述方法包括：基于收集到的目標知識文檔設(shè)計第一prompt，將所述第一prompt與所述目標知識文檔輸入預(yù)設(shè)的LLM，生成相應(yīng)的context；基于生成的所述context設(shè)計第二prompt，將所述第二prompt與所述context輸入所述LLM，生成相應(yīng)的query；基于生成的所述query設(shè)計第三prompt，將所述第三prompt、所述query與所述context輸入所述LLM，生成相應(yīng)的答案。通過本發(fā)明的方法可以快速、高效及準確地生成RAG評估數(shù)據(jù)。

技術(shù)研發(fā)人員：孔令格
受保護的技術(shù)使用者：中國平安財產(chǎn)保險股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/17