本發(fā)明涉及自動化測試用例生成，具體地說是一種利用大語言模型和上下文檢索對領(lǐng)域知識密集型規(guī)則進行測試用例自動生成的方法。

背景技術(shù)：

1、在軟件工程中，自動化測試用例生成技術(shù)是確保軟件系統(tǒng)穩(wěn)定性和正確性的重要手段，特別是在金融、證券、醫(yī)療、法律等復(fù)雜領(lǐng)域，測試用例的生成和驗證對軟件質(zhì)量至關(guān)重要。傳統(tǒng)的測試用例生成方法主要包括手工編寫、基于規(guī)則的自動生成和基于模型的生成方法。這些方法在處理簡單場景時具有一定的效果，但在領(lǐng)域知識密集型規(guī)則上往往表現(xiàn)出明顯的局限性。

2、手工編寫測試用例依賴于測試人員的領(lǐng)域知識和經(jīng)驗，雖然可以生成相對精確的測試用例，但過程耗時且難以覆蓋所有可能的場景，尤其在處理邊界條件時容易出現(xiàn)遺漏。此外，測試人員在面對領(lǐng)域知識密集型規(guī)則時，常常難以充分理解和處理這些復(fù)雜規(guī)則?；谝?guī)則的自動生成方法通過預(yù)先定義的規(guī)則庫生成測試用例，雖然在規(guī)則較為簡單和明確的系統(tǒng)中表現(xiàn)較好，但在處理復(fù)雜業(yè)務(wù)規(guī)則時，其靈活性和適應(yīng)性大幅降低，而且規(guī)則庫的維護和更新需要大量人力資源。基于模型的生成方法通過構(gòu)建系統(tǒng)的抽象模型來生成測試用例，但在復(fù)雜領(lǐng)域中，構(gòu)建一個精確且完整的模型本身就是一個極具挑戰(zhàn)的任務(wù)，模型的不準確或不完整會導(dǎo)致生成的測試用例無法全面覆蓋領(lǐng)域知識密集型規(guī)則的所有場景。

3、近年來，隨著自然語言處理技術(shù)的快速發(fā)展，大語言模型在自動化測試用例生成領(lǐng)域展現(xiàn)出了巨大的潛力。這些模型憑借其卓越的自然語言理解和生成能力，能夠生成覆蓋率較高的測試用例。然而，現(xiàn)有研究顯示，大語言模型在處理含有密集領(lǐng)域知識的規(guī)則時仍存在明顯不足。主要問題在于大語言模型缺乏對領(lǐng)域特定術(shù)語和復(fù)雜規(guī)則邏輯的深度理解，導(dǎo)致生成的測試用例在準確性和覆蓋率方面不足，難以有效覆蓋規(guī)則的所有場景和邊界條件。

4、因此，在面對領(lǐng)域知識密集型的規(guī)則時，這些方法均存在顯著的局限性，難以滿足高標準測試的需求。

5、現(xiàn)有技術(shù)的測試用例生成方法在處理包含密集領(lǐng)域知識的規(guī)則時存在明顯的局限性。手工編寫的測試用例難以高效覆蓋所有場景，特別是在應(yīng)對復(fù)雜邊界條件和領(lǐng)域知識密集的業(yè)務(wù)規(guī)則時效率低下。此外，基于規(guī)則和基于模型的自動生成方法在處理復(fù)雜領(lǐng)域知識時靈活性和準確性不足，難以確保生成的測試用例全面覆蓋所有可能的場景。大語言模型雖然展現(xiàn)出生成覆蓋率較高的測試用例的潛力，但其在理解和處理復(fù)雜領(lǐng)域知識和規(guī)則邏輯方面仍然存在顯著不足，導(dǎo)致生成的測試用例在準確性和全面性上難以滿足高標準需求。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足而提供的一種對領(lǐng)域知識密集型規(guī)則進行測試用例自動生成的方法，采用構(gòu)建標準測試用例庫，使用混合檢索算法，構(gòu)造出領(lǐng)域知識密集型規(guī)則的上下文，用大語言模型來自動化生成領(lǐng)域知識密集型規(guī)則的測試用例，該方法將規(guī)則自動檢索領(lǐng)域知識與大語言模型有效結(jié)合，生成更為精準、全面的測試用例，以提高測試用例的準確性和覆蓋率，從而更好地適應(yīng)領(lǐng)域知識密集型領(lǐng)域的測試需求，進一步提升系統(tǒng)的可靠性和安全性，方法簡便，尤其適用于測試規(guī)則包含密集領(lǐng)域知識的多種應(yīng)用場景，如金融證券交易系統(tǒng)的測試、醫(yī)療診斷系統(tǒng)的驗證、法律合規(guī)性檢查系統(tǒng)的測試等，可自動生成高覆蓋率和高精度測試用例，具有良好的運用前景和商業(yè)開發(fā)價值。

2、實現(xiàn)本發(fā)明目的的具體技術(shù)方案是：一種對領(lǐng)域知識密集型規(guī)則進行測試用例自動生成的方法，其特點是采用構(gòu)建標準測試用例庫，使用混合檢索算法，構(gòu)造出領(lǐng)域知識密集型規(guī)則的上下文，用大語言模型來自動化生成領(lǐng)域知識密集型規(guī)則的測試用例，該方法主要包括以下步驟：

3、步驟一：構(gòu)建標準測試用例庫

4、從領(lǐng)域規(guī)則文檔中提取相關(guān)規(guī)則，并通過語義分析與聚類技術(shù)對這些規(guī)則進行過濾，去除冗余與相似的規(guī)則。為了實現(xiàn)這一目標，本發(fā)明采用k-means++聚類算法，將規(guī)則分類，并從每個類別中選取最具代表性的規(guī)則作為標準測試用例庫的基礎(chǔ)規(guī)則。接著，利用大語言模型(如gpt-4)針對選定的代表性規(guī)則生成初步測試用例，這些測試用例涵蓋了規(guī)則的主要場景與邏輯，確?；竟δ艿尿炞C。為確保測試用例的準確性，本發(fā)明進一步引入領(lǐng)域?qū)＜覍Τ醪缴傻臏y試用例進行校對與優(yōu)化，修正大語言模型可能存在的理解誤差與生成偏差。此外，本發(fā)明還深入分析規(guī)則文檔，提取并收集領(lǐng)域知識，將這些術(shù)語與規(guī)則和測試用例一同存儲在標準測試用例庫中。為了提升檢索效率，本發(fā)明將所有規(guī)則、優(yōu)化后的測試用例及領(lǐng)域知識進行向量化處理，并存儲在多映射(multi-map)結(jié)構(gòu)的數(shù)據(jù)庫中，以便后續(xù)快速進行關(guān)聯(lián)與檢索。

5、步驟二：上下文檢索

6、當(dāng)用戶輸入新的規(guī)則時，本發(fā)明首先對該規(guī)則進行語法與語義分析，識別其中的關(guān)鍵術(shù)語與重要邏輯點?；谶@些關(guān)鍵術(shù)語，在標準測試用例庫中執(zhí)行關(guān)鍵詞匹配，快速查找到與輸入規(guī)則相關(guān)的領(lǐng)域知識及關(guān)聯(lián)信息。隨后，通過向量檢索技術(shù)，將輸入規(guī)則向量化，采用余弦相似度度量方法，計算輸入規(guī)則與標準測試用例庫中存儲的規(guī)則與測試用例向量的相似性。選取與輸入規(guī)則最為相似的幾組規(guī)則與測試用例。利用少樣本學(xué)習(xí)(few-shot?learning)技術(shù)，從標準測試用例庫中提取與輸入規(guī)則相似的少量樣本，這些樣本與關(guān)鍵詞匹配結(jié)果和系統(tǒng)提示一起構(gòu)成完整的上下文，為后續(xù)生成測試用例奠定基礎(chǔ)。

7、步驟三：測試用例生成

8、本發(fā)明在完成領(lǐng)域特定檢索后，將步驟二中檢索到的領(lǐng)域知識、少樣本以及系統(tǒng)提示結(jié)合起來，構(gòu)建一個領(lǐng)域知識密集的上下文環(huán)境。該上下文環(huán)境不僅包括輸入規(guī)則的詳細信息，還包含了相關(guān)領(lǐng)域知識的解釋與少量相似規(guī)則的參考用例。在此基礎(chǔ)上，利用大語言模型(如gpt-4)自動生成與輸入規(guī)則匹配的測試用例。生成的測試用例將涵蓋規(guī)則的主要場景、邊界條件及極端情況，確保測試用例的準確性與覆蓋率。為進一步提高測試用例的質(zhì)量，本發(fā)明對生成的測試用例進行初步的自動校驗，確保其符合規(guī)則邏輯與領(lǐng)域知識的使用規(guī)范，用戶還可以根據(jù)實際測試需求對生成的測試用例進行反饋，本發(fā)明將根據(jù)這些反饋持續(xù)優(yōu)化生成策略，并對標準測試用例庫進行調(diào)整。

9、本發(fā)明通過定期或按需將新的領(lǐng)域知識、規(guī)則和和其測試用例納入標準測試用例庫，確保標準測試用例庫的動態(tài)適應(yīng)性與最新規(guī)則的同步。通過這種持續(xù)更新，庫中的內(nèi)容始終與最新的業(yè)務(wù)規(guī)則保持一致。本發(fā)明能夠在業(yè)務(wù)規(guī)則變化的情況下，通過更新標準測試用例庫中的規(guī)則、測試用例和領(lǐng)域知識，增強對新規(guī)則和變更的適應(yīng)性，確保生成的測試用例始終具備高覆蓋率和高準確性。

10、本發(fā)明與現(xiàn)有技術(shù)相比具有以下顯著的有益效果：

11、1)本發(fā)明將規(guī)則自動檢索領(lǐng)域知識與大語言模型有效結(jié)合，生成更為精準、全面的測試用例，以提高測試用例的準確性和覆蓋率，從而更好地適應(yīng)領(lǐng)域知識密集型領(lǐng)域的測試需求，進一步提升系統(tǒng)的可靠性和安全性；

12、2)本發(fā)明能夠深入理解和處理復(fù)雜領(lǐng)域知識，確保生成的測試用例全面覆蓋所有可能的規(guī)則場景，尤其適用于金融證券交易系統(tǒng)的測試、醫(yī)療診斷系統(tǒng)的驗證、法律合規(guī)性檢查系統(tǒng)的測試等多種應(yīng)用場景，自動生成高覆蓋率和高精度測試用例，具有良好的運用前景和商業(yè)開發(fā)價值；

13、3)支持標準測試用例庫的持續(xù)更新，使系統(tǒng)能夠動態(tài)適應(yīng)業(yè)務(wù)規(guī)則的變化，減少了對人力資源的依賴，降低了測試過程中的人力成本。