自動回歸測試的方法
【專利摘要】本發(fā)明公開了一種自動回歸測試的方法，步驟一、回歸啟動及運(yùn)行，根據(jù)項目具體情況，對不同種類測試向量的回歸測試進(jìn)行分類型分級別管理，針對層次化驗證的不同階段，分別選擇進(jìn)行模塊級，子系統(tǒng)級或系統(tǒng)級回歸測試，并產(chǎn)生常規(guī)信息文件和錯誤信息文件；步驟二、回歸信息后處理，針對每種級別的回歸測試結(jié)果進(jìn)行統(tǒng)計分析，分別產(chǎn)生項目回歸首頁，包括項目信息和回歸版本，覆蓋率；產(chǎn)生模塊或回歸分類分頁，包括模塊分類類型列表及通過或失敗的測試用例匯總；產(chǎn)生每個模塊的詳細(xì)回歸結(jié)果分頁，包括每個測試用例名稱，仿真運(yùn)行時間，隨機(jī)次數(shù)，是否通過，失敗類型統(tǒng)計，仿真結(jié)果常規(guī)信息文件索引。本發(fā)明可以提高設(shè)計驗證流程效率及驗證的完備性。
【專利說明】自動回歸測試的方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種在芯片前端設(shè)計的驗證工作中進(jìn)行自動回歸測試的方法。
【背景技術(shù)】
[0002]回歸測試在芯片前端驗證中占有非常重要的地位。因為隨著芯片復(fù)雜度越來越高，需要的前端測試向量也不斷細(xì)化和增多，如果沒有一個有效的回歸測試方法對其有效管理，則整個驗證工作有可能會陷入一種低效的工作狀態(tài)。
[0003]隨著驗證技術(shù)和方法的不斷發(fā)展和復(fù)雜化，對于在驗證中占有重要作用的回歸測試也不斷提出新的需求和挑戰(zhàn)，即如何在有限的時間內(nèi)，盡可能保證驗證工作的質(zhì)量，提高前端設(shè)計驗證流程科學(xué)高效化，為芯片最終按時保質(zhì)的流片提供保證。
[0004]傳統(tǒng)的回歸測試方法通常是將所有需要運(yùn)行的測試向量依次序排列，相當(dāng)于批處理單獨(dú)運(yùn)行每個測試向量，每次相隔較長時間，或做出較大更新后運(yùn)行一次回歸測試，并在最后通過人工或簡單的命令來檢查結(jié)果。
[0005]這樣的回歸測試方法在驗證復(fù)雜度較低，測試向量數(shù)量較少的情況下可以滿足要求；但是隨著設(shè)計和驗證環(huán)境變得越來越復(fù)雜，測試向量的側(cè)重點(diǎn)，數(shù)量都不斷提高的情況下，傳統(tǒng)的回歸測試越來越難以滿足不同設(shè)計驗證階段對回歸測試提出的要求。如測試向量數(shù)量的增多，使得很難在一個晚上或較短時間內(nèi)完成所有測試向量的回歸測試，這樣問題不能得到盡快反饋時將為進(jìn)一步設(shè)計修改埋下隱患。另外，相隔較長時間運(yùn)行一次回歸測試，也會使問題不能盡快反饋，使設(shè)計處于不斷修改本來已經(jīng)通過的功能(性能)的狀態(tài)，而新的修改又總是有可能帶來新的問題，如此陷入惡性循環(huán)，最終導(dǎo)致設(shè)計工作陷入低效的循環(huán)。還有，如果每次通過人工或簡單命令檢查結(jié)果，只能檢查大致結(jié)果，不能給出每個測試向量的關(guān)鍵信息，除非依次查看每個測試向量的仿真結(jié)果，而如果失敗的測試向量比較多的情況下，這樣的做法也很難實施；并且由人工檢查結(jié)果還可能產(chǎn)生人為的錯誤檢測結(jié)果。
[0006]為了彌補(bǔ)傳統(tǒng)回歸測試的不足，滿足項目對驗證工作提出的挑戰(zhàn)，需要回歸測試能夠在設(shè)計驗證的關(guān)鍵階段做到每天對最新更新進(jìn)行回歸測試，將可能的缺陷或故障消除在萌芽狀態(tài)，同時回歸測試可以提供失敗測試向量的關(guān)鍵信息，滿足加速調(diào)試的需要，以此來提高設(shè)計驗證工作的效率。

【發(fā)明內(nèi)容】

[0007]本發(fā)明要解決的問題是提供一種自動回歸測試的方法，可以提高設(shè)計驗證流程效率及驗證的完備性。
[0008]為解決上述技術(shù)問題，本發(fā)明的自動回歸測試的方法，包括如下步驟:
[0009]步驟一、回歸啟動及運(yùn)行，根據(jù)項目具體情況，對不同種類測試向量的回歸測試進(jìn)行分類型分級別管理，針對項目實際情況，在層次化驗證的不同階段，分別選擇進(jìn)行模塊級，子系統(tǒng)級或系統(tǒng)級回歸測試，并產(chǎn)生常規(guī)信息文件和錯誤信息文件；[0010]步驟二、回歸信息后處理，針對每種級別的回歸測試結(jié)果進(jìn)行統(tǒng)計分析，分別產(chǎn)生項目回歸首頁，包括項目信息和回歸版本，覆蓋率；產(chǎn)生模塊分類分頁或回歸分類分頁，包括模塊分類類型列表及通過或失敗的測試用例匯總；產(chǎn)生每個模塊的詳細(xì)回歸結(jié)果分頁，包括每個測試用例名稱，仿真運(yùn)行時間，隨機(jī)次數(shù)，是否通過，失敗類型統(tǒng)計，仿真結(jié)果常規(guī)信息文件索引。
[0011]本發(fā)明使用全自動腳本運(yùn)行，通過配置回歸測試的參數(shù)，啟動回歸測試；驗證工程師通過對回歸啟動或者回歸信息后處理的配置文件進(jìn)行簡單修改，就可以比較容易的在不同項目間復(fù)用；可以將不同種類測試向量進(jìn)行分類分級別管理，并針對項目實際情況在層次化驗證的不同階段采用不同級別的回歸測試，合理安排不同階段的回歸測試。在回歸測試結(jié)束后，自動化處理回歸測試結(jié)果，可以產(chǎn)生出用戶界面良好的回歸報告，該回歸報告包括歷史記錄及每次回歸，每個模塊及每個測試向量的關(guān)鍵信息，方便工程師快速定位缺陷或進(jìn)行調(diào)試，可以有效提高芯片前端設(shè)計的驗證流程效率及驗證的完備性；能夠與驗證環(huán)境協(xié)同工作，與第三方工具及資助開發(fā)的設(shè)計驗證自動化環(huán)境相配合，方便地與第三方工具接口，成為整個設(shè)計驗證環(huán)境的一部分，形成統(tǒng)一的設(shè)計驗證自動化平臺，自動化程度較高的完成測試結(jié)果檢查。
【專利附圖】

【附圖說明】
[0012]下面結(jié)合附圖與【具體實施方式】對本發(fā)明作進(jìn)一步詳細(xì)的說明:
[0013]附圖是所述自動回歸測試的方法控制流程圖。
【具體實施方式】
[0014]所述自動回歸測試的方法是基于腳本及超文本標(biāo)記語言(HTML)等方法開發(fā)的，所應(yīng)用的對象是針對芯片前端設(shè)計的驗證流程進(jìn)行自動回歸管理。在驗證方法和測試激勵不斷復(fù)雜化的情況下，能更有效的管理所有測試向量，完善芯片前端設(shè)計的驗證流程，高效執(zhí)行設(shè)計驗證工作。
[0015]由于自動化腳本執(zhí)行對于復(fù)用性的需求，需要對項目及驗證環(huán)境進(jìn)行盡可能的參數(shù)化處理；所述自動回歸測試的方法并非獨(dú)立存在于驗證環(huán)境，而是需要進(jìn)行一些必要的基本處理。概括來說，主要包括兩部分:首先是項目開始前對項目進(jìn)行歸一化的參數(shù)配置，設(shè)置相關(guān)設(shè)計驗證環(huán)境變量及調(diào)用配置，以便將來通過參數(shù)提取實施所述自動回歸測試的方法所需的信息；其次需要在驗證平臺及激勵方面進(jìn)行規(guī)則設(shè)定，包括目錄結(jié)構(gòu)，命名規(guī)則等。在此前提下可實現(xiàn)自動回歸測試。
[0016]參見附圖所示，所述自動回歸測試的方法，包括如下步驟:回歸啟動及運(yùn)行，回歸信息后處理。
[0017]所述回歸啟動及運(yùn)行步驟，在項目開始前對項目進(jìn)行歸一化的參數(shù)配置，配置設(shè)計驗證環(huán)境相關(guān)參數(shù)和變量，設(shè)置相關(guān)設(shè)計驗證環(huán)境調(diào)用配置；通過單命令行或者周期性執(zhí)行命令(CR0NTAB)啟動自動回歸測試；調(diào)用版本管理工具命令同步設(shè)計驗證環(huán)境及設(shè)計源代碼，并記錄相關(guān)項目回歸版本號；根據(jù)項目具體情況，對測試向量的回歸測試進(jìn)行分類型管理，根據(jù)啟動命令行，進(jìn)行回歸測試類型分析，并根據(jù)回歸測試類型分析結(jié)果選擇進(jìn)入相應(yīng)回歸測試類型；根據(jù)啟動命令行和進(jìn)入的回歸測試類型，進(jìn)行回歸測試級別分析，并根據(jù)回歸測試級別分析結(jié)果選擇進(jìn)入相應(yīng)級別回歸測試。
[0018]所述回歸測試類型，包括基本回歸(SANITY)，快速回歸(QUICK)，日?；貧w(NIGHTLY)，整體回歸(ROTATE )，單激勵回歸(TEST )五種類型回歸測試。
[0019]其中:
[0020]所述SANITY類型回歸測試，主要用于寄存器傳輸級代碼做出較大修改后快速確認(rèn)是否會產(chǎn)生附加缺陷的回歸測試，即在設(shè)計工程師的寄存器傳輸級代碼更新后，確認(rèn)是否會對其他部分設(shè)計產(chǎn)生影響的回歸測試。
[0021]所述QUICK類型回歸測試，通常用于在設(shè)計工程師每次對寄存器傳輸級代碼更新后的快速回歸測試，與所述SANITY類型回歸測試功能類似，但是回歸測試規(guī)模更小。
[0022]所述NIGHTLY類型回歸測試，是項目驗證過程中最常用的一種回歸測試，通常用于芯片前端設(shè)計的驗證中后期每天晚上進(jìn)行回歸測試，產(chǎn)生每日回歸測試報告，跟蹤測試進(jìn)程。
[0023]所述ROTATE類型回歸測試，用于芯片流片之前需要運(yùn)行確認(rèn)的費(fèi)時較長(即芯片流片之前進(jìn)行一次所有激勵的回歸)，運(yùn)行或需要最后確認(rèn)而沒有必要往復(fù)運(yùn)行的測試向量，在芯片流片之前或者較長時間假期進(jìn)行若干次ROTATE類型回歸測試。
[0024]所述TEST類型回歸測試用來支持每個測試向量進(jìn)行單個仿真調(diào)試。
[0025]每種回歸測試類型包括模塊級，子系統(tǒng)級，系統(tǒng)級三個級別的回歸測試。
[0026]對于所述模塊級回歸測試和子系統(tǒng)級回歸測試，需要依次進(jìn)行測試向量配置，隨機(jī)數(shù)配置，波形配置，覆蓋率配置等參數(shù)。
[0027]對于所述系統(tǒng)級回歸測試則需要進(jìn)行子類別分析判斷，然后選擇相應(yīng)子類別回歸測試。
[0028]系統(tǒng)級回歸測試包括寄存器傳輸級(RTL)回歸測試、現(xiàn)場可編程門陣列級(FL)回歸測試和網(wǎng)表級回歸測試(GSM)三個子類別。寄存器傳輸級包括:模塊級(BL)，子系統(tǒng)級
(SS)，系統(tǒng)級(SL)及軟硬件協(xié)同級(IC)四個子級別回歸測試；對所述寄存器傳輸級回歸測試進(jìn)行子級別選擇后，進(jìn)入相應(yīng)子級別回歸測試。如果是網(wǎng)表級，則需要分析是屬于那種時序種類的回歸測試。網(wǎng)表級回歸測試中包括:布局布線前預(yù)仿真的回歸測試(PRE)，最壞情況下回歸測試(WC)，最好情況下回歸測試(BC)，典型情況下回歸測試(TC)及最好情況下低溫回歸測試(BCLT)，其分類情況應(yīng)根據(jù)晶圓生產(chǎn)廠提供的標(biāo)準(zhǔn)單元庫的時序種類來增加或減少。在此基礎(chǔ)上對系統(tǒng)級回歸測試進(jìn)行接口配置，加密配置，波形配置，覆蓋率配置。根據(jù)之前進(jìn)行的所有配置，運(yùn)行回歸測試，并產(chǎn)生常規(guī)信息文件和錯誤信息文件。
[0029]在回歸啟動之前需要對仿真的激勵文件命名格式進(jìn)行規(guī)范化，具體參見下表所
/Jn ο[0030]
【權(quán)利要求】
1.一種自動回歸測試的方法，其特征在于，包括如下步驟:步驟一、回歸啟動及運(yùn)行，根據(jù)項目具體情況，對不同種類測試向量的回歸測試進(jìn)行分類型分級別管理，針對項目實際情況在層次化驗證的不同階段，分別選擇進(jìn)行模塊級，子系統(tǒng)級或系統(tǒng)級回歸測試；在回歸測試運(yùn)行后，產(chǎn)生常規(guī)信息文件和錯誤信息文件； 步驟二、回歸信息后處理，針對每種級別的回歸測試結(jié)果進(jìn)行統(tǒng)計分析，分別產(chǎn)生項目回歸首頁，包括項目信息和回歸版本，覆蓋率；產(chǎn)生模塊分類分頁或回歸分類分頁，包括模塊分類類型列表及通過或失敗的測試用例匯總；產(chǎn)生每個模塊的詳細(xì)回歸結(jié)果分頁，包括每個測試用例名稱，仿真運(yùn)行時間，隨機(jī)次數(shù)，是否通過，失敗類型統(tǒng)計，仿真結(jié)果常規(guī)信息文件索引。
2.如權(quán)利要求1所述的方法，其特征在于:采用如下方式實施步驟一所述回歸啟動及運(yùn)行，在項目開始前對項目進(jìn)行歸一化的參數(shù)配置，配置設(shè)計驗證環(huán)境相關(guān)參數(shù)和變量，設(shè)置相關(guān)設(shè)計驗證環(huán)境調(diào)用配置，通過單命令行或者周期性執(zhí)行命令啟動自動回歸測試；調(diào)用版本管理工具命令同步設(shè)計驗證環(huán)境及設(shè)計源代碼，并記錄相關(guān)項目回歸版本號；根據(jù)啟動命令行，進(jìn)行回歸測試類型分析，并根據(jù)回歸測試類型分析結(jié)果選擇進(jìn)入相應(yīng)回歸測試類型；根據(jù)啟動命令行和進(jìn)入的回歸測試類型，進(jìn)行回歸測試級別分析，并根據(jù)回歸測試級別分析結(jié)果選擇進(jìn)入相應(yīng)級別回歸測試。
3.如權(quán)利要求1或2所述的方法，其特征在于，步驟一所述回歸測試類型，包括如下五種，分別是: 基本回歸，在寄存器傳輸級代碼更新后，用于確認(rèn)是否會對其他部分設(shè)計產(chǎn)生影響；快速回歸，在每次對寄存器傳輸級代碼更新后，用于確認(rèn)是否會對其他部分設(shè)計產(chǎn)生影響，其回歸測試規(guī)模小于所述基本回歸類型； 日?；貧w，在芯片前端設(shè)計的驗證中后期，用于每天晚上進(jìn)行回歸測試，產(chǎn)生每日回歸測試報告，跟蹤測試進(jìn)程； 整體回歸，用于芯片流片之前`進(jìn)行一次所有激勵的回歸，運(yùn)行或需要最后確認(rèn)而沒有必要往復(fù)運(yùn)行的測試向量，在芯片流片之前或者假期進(jìn)行多次整體回歸類型回歸測試；單激勵回歸，用于支持每個測試向量進(jìn)行單個仿真調(diào)試； 每種回歸測試類型包括模塊級，子系統(tǒng)級，系統(tǒng)級三個級別。
4.如權(quán)利要求1所述的方法，其特征在于:所述模塊級回歸測試和子系統(tǒng)級回歸測試運(yùn)行前，依次進(jìn)行測試向量配置、隨機(jī)數(shù)配置、波形配置和覆蓋率配置。
5.如權(quán)利要求1所述的方法，其特征在于:所述系統(tǒng)級回歸測試包括:寄存器傳輸級、現(xiàn)場可編程門陣列級和網(wǎng)表級三個子類別回歸測試；對所述系統(tǒng)級回歸測試進(jìn)行子類別選擇后，進(jìn)入相應(yīng)子類別回歸測試； 所述寄存器傳輸級回歸測試包括:模塊級、子系統(tǒng)級、系統(tǒng)級和軟硬件協(xié)同級回歸測試；對所述寄存器傳輸級回歸測試進(jìn)行子級別選擇后，進(jìn)入相應(yīng)子級別回歸測試； 所述網(wǎng)表級回歸測試，包括:布局布線前預(yù)仿真的回歸測試PRE、最壞情況下回歸測試WC、最好情況下回歸測試BC、典型情況下回歸測試TC和最好情況下低溫回歸測試BCLT五種時序類型；對所述網(wǎng)表級回歸測試進(jìn)行時序類型選擇后，進(jìn)入相應(yīng)時序類型回歸測試；所述系統(tǒng)級回歸測試運(yùn)行前，依次進(jìn)行接口配置、加密配置、波形配置和覆蓋率配置。
6.如權(quán)利要求1所述的方法，其特征在于:在回歸啟動之前對仿真的激勵文件命名格式進(jìn)行規(guī)范化；其中，項目域，從設(shè)計驗證環(huán)境變量中直接得到；級別域，針對不同的回歸測試級別，根據(jù)預(yù)先規(guī)定好的命名規(guī)則進(jìn)行設(shè)定；模塊域，根據(jù)模塊的命名規(guī)則及所驗證的功能進(jìn)行設(shè)定；功能域，根據(jù)所驗證的特征點(diǎn)進(jìn)行設(shè)定，無預(yù)先規(guī)定的規(guī)則。
7.如權(quán)利要求1所述的方法，其特征在于:在回歸啟動及運(yùn)行之前，在驗證平臺中對仿真的打印信息進(jìn)行規(guī)范化；包括: 模塊開始信息，用來記錄特定激勵文件屬于某一個特定的模塊； 模塊結(jié)束信息，用來記錄一個模塊測試是否正常結(jié)束； 激勵開始信息，用來作為一個激勵的開始； 激勵結(jié)束信息，用來記錄一個激勵的正常結(jié)束，通過或者失敗信息，一個激勵是否通過； 仿真運(yùn)行時間信息，用來記錄一個特定激勵耗時； 如果是模塊級和子系統(tǒng)級回歸測試，采用隨機(jī)數(shù)作為激勵，則需要重復(fù)次數(shù)作為隨機(jī)次數(shù)信息。
8.如權(quán)利要求1所述的方法，其特征在于:步驟一所述回歸啟動及運(yùn)行，采用項目回歸測試的啟動腳本，通過單命令行或者周期性執(zhí)行命令進(jìn)行啟動；該項目回歸測試的啟動腳本，支持自動同步版本管理工具，根據(jù)輸入?yún)?shù)來判斷是模塊級回歸測試、子系統(tǒng)級回歸測試或者系統(tǒng)級回歸測試；針對每種級別回歸測試，支持產(chǎn)生常規(guī)信息文件目錄和錯誤信息文件目錄，分別收集普通信息和錯誤信息，并對其在回歸的不同階段進(jìn)行不同管理；支持根據(jù)輸入?yún)?shù)，選擇是否對存儲器的源碼進(jìn)行加密；支持根據(jù)覆蓋率輸入?yún)?shù)來決定是否需要產(chǎn)生覆蓋率報告；支持 根據(jù)波形開關(guān)參數(shù)，配置是否需要產(chǎn)生波形及波形的類型；支持出錯幫助信息。
9.如權(quán)利要求8所述的方法，其特征在于:項目回歸測試的啟動腳本，包括項目信息，運(yùn)行的驗證或回歸級別，必要的路徑參數(shù)設(shè)置，工具調(diào)用及版本設(shè)置，與設(shè)計驗證自動化平臺協(xié)同工作； 如果有新項目創(chuàng)建或者需要復(fù)用轉(zhuǎn)移到一個新項目時，可以對項目回歸測試的啟動腳本進(jìn)行簡單配置，此后只需要在每天運(yùn)行或啟用周期性執(zhí)行命令控制所述項目回歸測試的啟動腳本，就可以實現(xiàn)回歸測試運(yùn)行并產(chǎn)生最終回歸測試結(jié)果。
10.如權(quán)利要求1、8或9所述的方法，其特征在于:所述模塊級回歸測試采用所述項目回歸測試啟動腳本通過配置參數(shù)進(jìn)行啟動，根據(jù)需要測試的模塊不同，選擇配置模塊名作為輸入來實現(xiàn)具體模塊的回歸測試；若有新模塊加入則需要配置所述項目回歸測試啟動腳本； 根據(jù)輸入的隨機(jī)參數(shù)，配置隨機(jī)測試的數(shù)據(jù)包的數(shù)量，用輸入的隨機(jī)參數(shù)替換測試向量中的隨機(jī)數(shù)作為隨機(jī)測試的數(shù)據(jù)包；若沒有輸入的隨機(jī)參數(shù)，則自動根據(jù)測試向量中的隨機(jī)數(shù)產(chǎn)生隨機(jī)測試的數(shù)據(jù)包的數(shù)量； 根據(jù)輸入的隨機(jī)參數(shù)，配置用于回歸測試的測試向量，若沒有輸入的隨機(jī)參數(shù)，則默認(rèn)運(yùn)行所有配置文件中的測試向量，根據(jù)列出的測試向量進(jìn)行回歸測試。
11.如權(quán)利要求1、8或9所述的方法，其特征在于:所述子系統(tǒng)級回歸測試采用項目回歸測試啟動腳本通過配置參數(shù)啟動，用輸入的隨機(jī)參數(shù)，設(shè)定隨機(jī)測試的數(shù)據(jù)包的數(shù)量；如果不輸入隨機(jī)參數(shù)，則調(diào)用測試向量自帶的數(shù)據(jù)包數(shù)值；用輸入測試向量列表文件指定需要回歸的測試向量，如果省略輸入測試向量列表文件，則自動調(diào)用配置文件中的測試向量列表。
12.如權(quán)利要求5、8或9所述的方法，其特征在于:所述系統(tǒng)級回歸測試采用所述項目回歸測試啟動腳本通過配置參數(shù)啟動；其中， 寄存器傳輸級回歸測試和軟硬件協(xié)同級回歸測試的設(shè)計驗證環(huán)境和腳本配置參數(shù)完全復(fù)用； 網(wǎng)表級回歸測試，則在所述項目回歸測試啟動腳本的命令行將時序類型作為輸入?yún)?shù)，所述項目回歸啟動腳本負(fù)責(zé)將所有需要測試的激勵運(yùn)行起來，并在運(yùn)行結(jié)束后根據(jù)輸入時序類型的不同，產(chǎn)生出不同的常規(guī)信息日志和錯誤信息日志；常規(guī)信息文件和錯誤信息文件命名規(guī)則按照激勵名加上時序類型的配置來自動命名。
13.如權(quán)利要求1所述的方法，其特征在于:支持與第三方工具或者資助開發(fā)工具腳本協(xié)同工作，支持不同仿真器，不同波形產(chǎn)生工具，支持分布式計算工具，在回歸測試運(yùn)行時，根據(jù)需要選擇調(diào)用并行執(zhí)行工具進(jìn)行分布式計算；并能與新思科技Synopsys仿真產(chǎn)生的覆蓋率相結(jié)合，為每個回歸版本產(chǎn)生相應(yīng)的覆蓋率情況報告；在最后生成的頂層超文本標(biāo)記語言HTML格式網(wǎng)頁形式報告可以跨平臺進(jìn)行訪問。
14.如權(quán)利要求1所述的方法，其特征在于:步驟二所述回歸信息后處理，具體包括以下步驟: 步驟1、根據(jù)輸入?yún)?shù)判定是那種級別的回歸測試； 步驟2、收集此次回歸測試所使用的版本管理工具，方便之后進(jìn)行調(diào)試或復(fù)現(xiàn)； 步驟3、根據(jù)當(dāng)前日期，產(chǎn)生以當(dāng)前時間為名稱的文件夾，此后所有處理及報告將在此文件夾中運(yùn)打;` 步驟4、運(yùn)行回歸測試結(jié)果處理腳本對收集到的常規(guī)信息文件和錯誤信息文件進(jìn)行處理，并產(chǎn)生回歸測試詳細(xì)報告； 步驟5、根據(jù)輸入?yún)?shù)決定是否將某次回歸測試的覆蓋率結(jié)果進(jìn)行合并，產(chǎn)生覆蓋率報告結(jié)構(gòu)； 步驟六、根據(jù)所有回歸測試目錄下所有回歸測試報告的結(jié)果，產(chǎn)生本項目回歸測試報告的頂層頁面，該頂層頁面包括項目名，歷史回歸測試報告結(jié)果鏈接，機(jī)器覆蓋率鏈接。
15.如權(quán)利要求1或14所述的方法，其特征在于:步驟二所述回歸信息后處理，只需要輸入回歸測試級別信息，該級別信息可以是系統(tǒng)級，子系統(tǒng)或者模塊級，也可以是系統(tǒng)級中網(wǎng)表級的其中一個時序類型；回歸信息后處理的入口程序會對當(dāng)前項目信息進(jìn)行檢查并和系統(tǒng)信息一起記錄下來，將回歸測試級別參數(shù)傳遞給常規(guī)信息文件處理程序； 所述常規(guī)信息文件處理程序包括頂層常規(guī)信息文件處理程序和底層常規(guī)信息文件處理程序。
16.如權(quán)利要求15所述的方法，其特征在于:所述頂層常規(guī)信息文件處理程序產(chǎn)生項目回歸首頁；根據(jù)輸入的回歸測試類型參數(shù)對所需處理的模塊進(jìn)行分類，而模塊分類在回歸測試結(jié)果處理腳本里設(shè)定，根據(jù)項目不同進(jìn)行調(diào)整； 在頂層常規(guī)信息文件處理程序頭文件里自動產(chǎn)生項目回歸測試的報告頂層超文本標(biāo)記語言HTML格式網(wǎng)頁文件，該網(wǎng)頁文件包含項目名稱及根據(jù)運(yùn)行時間產(chǎn)生的回歸版本信息和覆蓋率鏈接，并調(diào)用底層常規(guī)信息文件處理程序進(jìn)行詳細(xì)處理；同時匯總回歸測試的歷史版本，鏈接每個版本中不同層次的回歸測試報告，產(chǎn)生超文本標(biāo)記語言HTML格式的項目回歸測試總頁面。
17.如權(quán)利要求16所述的方法，其特征在于:所述底層常規(guī)信息文件處理程序產(chǎn)生回歸測試總頁面，包括模塊分類分頁或回歸分類分頁，并將產(chǎn)生回歸測試總頁面下屬的測試向量詳細(xì)仿真結(jié)果頁面； 根據(jù)輸入的回歸測試類型參數(shù)和模塊信息進(jìn)行處理，產(chǎn)生模塊分類分頁回歸鏈接，其中回歸測試類型參數(shù)和頂層常規(guī)信息文件處理程序收到的類型參數(shù)一致，模塊信息是由頂層常規(guī)信息文件處理程序經(jīng)過分析產(chǎn)生；進(jìn)行每個回歸激勵結(jié)果的詳細(xì)分析，包括進(jìn)行回歸測試級別分析，仿真結(jié)果分析，仿真運(yùn)行時間分析，隨機(jī)數(shù)分析；產(chǎn)生每個模塊的詳細(xì)回歸結(jié)果分頁；產(chǎn)生每個測試向量包含關(guān)鍵信息的詳細(xì)仿真結(jié)果頁面及按照模塊分類的回歸測試總頁面；根據(jù)每個測試向量的仿真結(jié)果，產(chǎn)生向量報告，如某測試向量仿真失敗，則進(jìn)入錯誤分析分支，根據(jù)常規(guī)信息文件及錯誤信息文件內(nèi)容進(jìn)行缺陷初步自動定位。
【文檔編號】G06F11/36GK103823747SQ201210462280
【公開日】2014年5月28日 申請日期:2012年11月16日 優(yōu)先權(quán)日:2012年11月16日
【發(fā)明者】楊寧昕 申請人:上海華虹集成電路有限責(zé)任公司