通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法
【專利摘要】一種通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法，包括如下步驟：軟件開發(fā)完成，可供測試上線;編寫獨立的功能監(jiān)測模塊，負責捕捉運行時業(yè)務及狀態(tài)參數(shù)、并負責記錄日志;將功能統(tǒng)計模塊集成到所述軟件中；測試人員根據(jù)需求定義測試列表，進行測試；在軟件運行過程中，功能監(jiān)測模塊采集和監(jiān)測軟件各功能使用的細節(jié)及狀態(tài)；服務器對采集到的數(shù)據(jù)做統(tǒng)計分析，呈現(xiàn)各產(chǎn)品功能的表現(xiàn)。本發(fā)明采集業(yè)務信息及狀態(tài)信息，可完整重現(xiàn)軟件使用場景，避免了由于客戶對于故障表述不準確而造成處理效率的低下，設(shè)定容忍閾值，自動發(fā)現(xiàn)測試中沒有發(fā)現(xiàn)的問題，以補充優(yōu)化測試列表，在服務器端可根據(jù)規(guī)則配置，進行信息過濾，減少跟進的人員工作量。
【專利說明】通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及軟件測試領(lǐng)域，具體的，涉及一種通過監(jiān)測用戶使用行為對軟件性能的影響從而對產(chǎn)品進行測試的方法。

【背景技術(shù)】
[0002]現(xiàn)有技術(shù)中，產(chǎn)品的測試過程，都是通過相關(guān)人員更具對產(chǎn)品的理解，人工枚舉測試用例，作為最終驗收根據(jù)。而隨著產(chǎn)品的越來越復雜化，這種人工枚舉方式工作量變得越來越大，而對應的被遺漏的場景越來越多，這其中不乏影響產(chǎn)品工作的嚴重bug。因此，需要一些方法，已便更早的發(fā)現(xiàn)并解決這些問題。
[0003]此外，在用戶使用往往是能夠最直接的發(fā)現(xiàn)軟件的故障問題，但由于終端用戶對于產(chǎn)品故障的描述不專業(yè)，無法較為準確地確定或者再現(xiàn)用戶使用中出現(xiàn)的故障，因而無法正確、高效的改善問題。
[0004]因此，如何從用戶使用的角度發(fā)現(xiàn)、再現(xiàn)故障，并且進一步的，為前期產(chǎn)品上線時的測試提供元素和資料，進而發(fā)現(xiàn)新的測試項，成為現(xiàn)有技術(shù)亟需解決的技術(shù)問題。


【發(fā)明內(nèi)容】

[0005]本發(fā)明的目的在于提出一種通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法，使得能夠完整地重現(xiàn)軟件使用中的場景，并發(fā)現(xiàn)新的測試項目，完善測試列表。
[0006]為達此目的，本發(fā)明采用以下技術(shù)方案:
一種通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法，包括如下步驟:
步驟S110，軟件開發(fā)完成，可供測試上線；
步驟S120，編寫獨立的功能監(jiān)測模塊，負責捕捉運行時業(yè)務及狀態(tài)參數(shù)、并負責記錄日
■
V ill、,
步驟S130，將所述功能統(tǒng)計模塊集成到所述軟件中；
步驟S150，在軟件運行過程中，所述功能監(jiān)測模塊采集和監(jiān)測軟件各功能使用的細節(jié)及狀態(tài)；
步驟S160，服務器對采集到的數(shù)據(jù)做統(tǒng)計分析，呈現(xiàn)各產(chǎn)品功能的表現(xiàn)。
[0007]優(yōu)選地，在所述步驟S130和步驟S150之間，還具有步驟S140，測試人員根據(jù)需求進行枚舉，定義測試列表，編寫測試用例，進行測試，在完成測試后，將軟件上線使用；在步驟S160后，還具有步驟S170，測試及產(chǎn)品人員可根據(jù)步驟S160的統(tǒng)計分析結(jié)果，完善測試列表，供后續(xù)的新產(chǎn)品測試使用。
[0008]優(yōu)選地，在步驟S160中，在服務器對采集到的數(shù)據(jù)做統(tǒng)計分析時，能夠定義各個功能的容忍閾值當超過容忍閾值時，能夠自動記錄功能問題。
[0009]優(yōu)選地，在步驟S120中，所述業(yè)務及狀態(tài)參數(shù)包括軟件運行時間、所消耗的資源和網(wǎng)絡參數(shù)。
[0010]優(yōu)選地，所述功能監(jiān)測模塊所監(jiān)測的所述業(yè)務及狀態(tài)參數(shù)，能夠按照規(guī)則配置，以進行信息過濾，并根據(jù)關(guān)注問題不同，進行不同策略配置。
[0011]優(yōu)選地，在步驟S140中，對測試列表進行測試時，依次對單個測試點進行測試，如果沒有通過，則修改程序重新進行該測試點的測試，如果通過則判斷是否完成所有的測試，如果沒有完成所有的測試，則進行未完成的測試點的測試，如果已經(jīng)完成所有的測試，則將產(chǎn)品發(fā)布，供用戶使用。
[0012]因此，本發(fā)明通過固定模塊對功能進行監(jiān)測，采集業(yè)務信息及狀態(tài)信息，可完整重現(xiàn)軟件使用場景，比一般統(tǒng)計更細致，避免了由于客戶對于故障表述不準確而造成處理效率的低下。能夠設(shè)定容忍閾值，自動發(fā)現(xiàn)測試中沒有發(fā)現(xiàn)的問題，以補充優(yōu)化測試列表，對新產(chǎn)品的測試進行優(yōu)化。在服務器端可根據(jù)規(guī)則配置，進行信息過濾，根據(jù)關(guān)注問題不同，可進行不同策略配置，減少跟進的人員工作量，可以更高效的解決問題。

【專利附圖】

【附圖說明】
[0013]圖1是根據(jù)本發(fā)明的一個具體的實施例的通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法的流程圖；
圖2是根據(jù)本發(fā)明的另一個具體的實施例的通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法的流程圖。

【具體實施方式】
[0014]下面結(jié)合附圖和實施例對本發(fā)明作進一步的詳細說明。可以理解的是，此處所描述的具體實施例僅僅用于解釋本發(fā)明，而非對本發(fā)明的限定。另外還需要說明的是，為了便于描述，附圖中僅示出了與本發(fā)明相關(guān)的部分而非全部結(jié)構(gòu)。
[0015]參見附圖1，示出了根據(jù)本發(fā)明的一個具體的實施例的通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法的流程圖，包括如下步驟:
步驟S110，軟件開發(fā)完成，可供測試上線；
步驟S120，編寫獨立的功能監(jiān)測模塊，負責捕捉運行時業(yè)務及狀態(tài)參數(shù)、并負責記錄日
■
V ill、,
步驟S130，將所述功能統(tǒng)計模塊集成到所述軟件中；
步驟S150，在軟件運行過程中，所述功能監(jiān)測模塊采集和監(jiān)測軟件各功能使用的細節(jié)及狀態(tài)；
步驟S160，服務器對采集到的數(shù)據(jù)做統(tǒng)計分析，呈現(xiàn)各產(chǎn)品功能的表現(xiàn)，例如。如執(zhí)行時間，資源占用等等。
[0016]因此，通過在軟件中置入功能監(jiān)測模塊，并實時地采集業(yè)務運行時的業(yè)務以及狀態(tài)參數(shù)，使得用戶的各種使用過程也成為了一種實際的測試，并且將測試的結(jié)果如實地記錄，以便發(fā)現(xiàn)問題的時候能夠很好地通過所記錄的數(shù)據(jù)再現(xiàn)當時的問題，從而為進一步的測試，或者修改提供參數(shù)。
[0017]優(yōu)選地，在所述步驟S130和步驟S150之間，還具有步驟S140，測試人員根據(jù)需求進行枚舉，定義測試列表，編寫測試用例，進行測試，在完成測試后，將軟件上線使用；
在步驟S160后，還具有步驟S170，測試及產(chǎn)品人員可根據(jù)步驟S160的統(tǒng)計分析結(jié)果，完善測試列表，供后續(xù)的新產(chǎn)品測試使用。
[0018]因此，上述功能監(jiān)測模塊能夠為新的測試用例提供素材，避免了人工選定測試用例的不全面，從而實現(xiàn)一種通過用戶使用行為補充發(fā)現(xiàn)測試用例的方法。
[0019]進一步的優(yōu)選地，在步驟S120中，所述業(yè)務及狀態(tài)參數(shù)包括軟件運行時間、所消耗的資源、網(wǎng)絡參數(shù)等等。
[0020]進一步優(yōu)選地，在步驟S160中，在服務器對采集到的數(shù)據(jù)做統(tǒng)計分析時，能夠定義各個功能的容忍閾值，例如，頁面展示時間是否超過I秒，當超過容忍閾值時，能夠自動記錄功能問題。因此，能夠?qū)τ趩栴}有準確的場景，可供測試人員重現(xiàn)問題，及改進測試工作。
[0021]進一步優(yōu)選地，所述功能監(jiān)測模塊所監(jiān)測的所述業(yè)務及狀態(tài)參數(shù)，能夠按照規(guī)則配置，以進行信息過濾，并根據(jù)關(guān)注問題不同，進行不同策略配置，這樣能夠減少跟進的人員工作量，可以更高效的解決問題。
[0022]參見圖2，示出了另一個具體的實施例的通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法的流程圖，其進一步細化了產(chǎn)品測試的步驟，
在步驟S140中，對測試列表進行測試時，依次對單個測試點進行測試，如果沒有通過，則修改程序重新進行該測試點的測試，如果通過則判斷是否完成所有的測試，如果沒有完成所有的測試，則進行未完成的測試點的測試，如果已經(jīng)完成所有的測試，則將產(chǎn)品發(fā)布，供用戶使用。
[0023]在步驟S170中，所謂完善測試列表，就是說返回到步驟S140中，重新定義測試列表，從而在新的產(chǎn)品的測試步驟中進行測試。
[0024]具體而言:對于諸如視頻網(wǎng)站的軟件，很多頁面都是定制化的(如頻道頁，播放頁，榜單頁等等)。這類頁面成千上萬，做全部測試并不現(xiàn)實。同時，因為頁面的定制化，即在功能組合上是不同的(如頁面抽屜數(shù)，頁面布局，加載方式等等)。因此，采樣測試覆蓋不全，會導致問題漏測。并且這些問題只能在上線后發(fā)現(xiàn)，一般通過客戶服務人員反饋。
[0025]而本發(fā)明，為了解決這個問題，做了兩點改進。1、軟件層增加專項的功能監(jiān)測模塊，對運行時各功能被調(diào)用時的業(yè)務信息，及運行狀態(tài)(時間，資源，網(wǎng)絡等)做全面記錄。
2.基于以上數(shù)據(jù)，通過定義各功能的容忍閾值(如頁面展示Is以內(nèi))，能自動發(fā)現(xiàn)功能問題，并有準確的場景，可供測試人員重現(xiàn)問題，及改進測試工作。
[0026]因此，本發(fā)明具有如下優(yōu)點:
1、采集業(yè)務信息及狀態(tài)信息，可完整重現(xiàn)軟件使用場景，比一般統(tǒng)計更細致，避免了由于客戶對于故障表述不準確而造成處理效率的低下。
[0027]2.能夠設(shè)定容忍閾值，自動發(fā)現(xiàn)測試中沒有發(fā)現(xiàn)的問題，以補充優(yōu)化測試列表，對新產(chǎn)品的測試進行優(yōu)化。
[0028]3.軟件層面，通過固定模塊實現(xiàn)，更加統(tǒng)一規(guī)范，避免采集結(jié)果因數(shù)據(jù)質(zhì)量問題導致誤判
4、在服務器端可根據(jù)規(guī)則配置，進行信息過濾，根據(jù)關(guān)注問題不同，可進行不同策略配置，減少跟進的人員工作量，可以更高效的解決問題；
以上內(nèi)容是結(jié)合具體的優(yōu)選實施方式對本發(fā)明所作的進一步詳細說明，不能認定本發(fā)明的【具體實施方式】僅限于此，對于本發(fā)明所屬【技術(shù)領(lǐng)域】的普通技術(shù)人員來說，在不脫離本發(fā)明構(gòu)思的前提下，還可以做出若干簡單的推演或替換，都應當視為屬于本發(fā)明由所提交的權(quán)利要求書確定保護范圍。
【權(quán)利要求】
1.一種通過監(jiān)測用戶使用行為對產(chǎn)品進行測試的方法，包括如下步驟: 步驟S110，軟件開發(fā)完成，可供測試上線； 步驟S120，編寫獨立的功能監(jiān)測模塊，負責捕捉運行時業(yè)務及狀態(tài)參數(shù)、并負責記錄日
■V ill、, 步驟S130，將所述功能統(tǒng)計模塊集成到所述軟件中； 步驟S150，在軟件運行過程中，所述功能監(jiān)測模塊采集和監(jiān)測軟件各功能使用的細節(jié)及狀態(tài)； 步驟S160，服務器對采集到的數(shù)據(jù)做統(tǒng)計分析，呈現(xiàn)各產(chǎn)品功能的表現(xiàn)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于: 在所述步驟S130和步驟S150之間，還具有步驟S140，測試人員根據(jù)需求進行枚舉，定義測試列表，編寫測試用例，進行測試，在完成測試后，將軟件上線使用； 在步驟S160后，還具有步驟S170，測試及產(chǎn)品人員可根據(jù)步驟S160的統(tǒng)計分析結(jié)果，完善測試列表，供后續(xù)的新產(chǎn)品測試使用。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于: 在步驟S160中，在服務器對采集到的數(shù)據(jù)做統(tǒng)計分析時，能夠定義各個功能的容忍閾值當超過容忍閾值時，能夠自動記錄功能問題。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于: 在步驟S120中，所述業(yè)務及狀態(tài)參數(shù)包括軟件運行時間、所消耗的資源和網(wǎng)絡參數(shù)。
5.根據(jù)權(quán)利要求3所述的方法，其特征在于: 所述功能監(jiān)測模塊所監(jiān)測的所述業(yè)務及狀態(tài)參數(shù)，能夠按照規(guī)則配置，以進行信息過濾，并根據(jù)關(guān)注問題不同，進行不同策略配置。
6.根據(jù)權(quán)利要求3所述，其特征在于: 在步驟S140中，對測試列表進行測試時，依次對單個測試點進行測試，如果沒有通過，則修改程序重新進行該測試點的測試，如果通過則判斷是否完成所有的測試，如果沒有完成所有的測試，則進行未完成的測試點的測試，如果已經(jīng)完成所有的測試，則將產(chǎn)品發(fā)布，供用戶使用。
【文檔編號】G06F11/36GK104503910SQ201410802578
【公開日】2015年4月8日 申請日期:2014年12月22日 優(yōu)先權(quán)日:2014年12月22日
【發(fā)明者】付鵬, 盧學裕, 白雪, 吳凱凱, 吳鑫, 姚鍵, 潘柏宇, 盧述奇 申請人:合一網(wǎng)絡技術(shù)(北京)有限公司