專(zhuān)利名稱(chēng)：用于評(píng)價(jià)it服務(wù)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明總體上涉及一種用于測(cè)量IT服務(wù)客戶(hù)的滿(mǎn)意度的方法。本發(fā)明尤其涉及一種用于把至少一個(gè)IT服務(wù)的性能和可用性鏈接到向其提供服務(wù)的客戶(hù)的滿(mǎn)意度等級(jí)的方法。
背景技術(shù)：
在IT服務(wù)工業(yè)中，從客戶(hù)的觀點(diǎn)來(lái)看，客戶(hù)滿(mǎn)意度常常是投資回報(bào)率(return on investment，ROI)的關(guān)鍵指示器。此外，客戶(hù)的滿(mǎn)意度等級(jí)被服務(wù)供應(yīng)商本身視為競(jìng)爭(zhēng)鑒別器。對(duì)于IT服務(wù)的供應(yīng)商、諸如IBM來(lái)說(shuō)，客戶(hù)滿(mǎn)意度測(cè)量常常用于識(shí)別可參考的(referenceable)客戶(hù)端、驅(qū)動(dòng)交付優(yōu)點(diǎn)、識(shí)別并解決普遍性問(wèn)題、以及把“有風(fēng)險(xiǎn)的”帳戶(hù)和客戶(hù)端轉(zhuǎn)入可參考的帳戶(hù)。
應(yīng)當(dāng)注意到，為了本發(fā)明的目的，術(shù)語(yǔ)“客戶(hù)”指的是信息技術(shù)(Information Technology，IT)服務(wù)的終端用戶(hù)。據(jù)此，這里可互換地使用術(shù)語(yǔ)終端用戶(hù)和客戶(hù)?！癐T服務(wù)”是應(yīng)用程序或計(jì)算資源(例如，網(wǎng)絡(luò)、服務(wù)器)之一或集合，用于總體上向用戶(hù)群體提供業(yè)務(wù)功能?！皩?duì)等組(peer group)”是其中典型情況下相對(duì)于每個(gè)IT服務(wù)來(lái)定義每個(gè)組的一組處于類(lèi)似地位的用戶(hù)。
當(dāng)前，對(duì)于典型的IT服務(wù)及其各自的供應(yīng)商來(lái)說(shuō)，就利用IT服務(wù)來(lái)處理問(wèn)題而言，出現(xiàn)了與客戶(hù)滿(mǎn)意度和終端用戶(hù)生產(chǎn)率相關(guān)的以下普遍問(wèn)題。例如，當(dāng)前通過(guò)定期地(例如，每年一次)實(shí)施從IT群體所征求的定性調(diào)查來(lái)識(shí)別客戶(hù)滿(mǎn)意度問(wèn)題。然后，分析定性答案和任何“寫(xiě)入的”意見(jiàn)，以識(shí)別IT服務(wù)的問(wèn)題。不存在用于利用定量的準(zhǔn)實(shí)時(shí)(near-real-time)數(shù)據(jù)來(lái)自動(dòng)識(shí)別潛在的客戶(hù)滿(mǎn)意度問(wèn)題的已知解決方案。另外，用于收集可用性和性能數(shù)據(jù)的當(dāng)前技術(shù)狀況包括使用相對(duì)少量的專(zhuān)用性能“探測(cè)器(probe)”，該探測(cè)器部署在IT基礎(chǔ)設(shè)施內(nèi)的各種位置上。據(jù)此，因?yàn)檫@些探測(cè)器位于各種位置并且有時(shí)是隨機(jī)的位置上，所以它們沒(méi)有充分地反映整個(gè)客戶(hù)群體的客戶(hù)體驗(yàn)。
相關(guān)技術(shù)方法的另一公認(rèn)問(wèn)題在于，不存在允許客戶(hù)把他們使用IT服務(wù)的體驗(yàn)與他們的對(duì)等體相比較的已知解決方案。當(dāng)客戶(hù)察覺(jué)到他們的IT服務(wù)具有性能問(wèn)題時(shí)，他們常常聯(lián)系他們的對(duì)等體來(lái)確定所述問(wèn)題是具體到他們的特定地點(diǎn)還是普遍性的。然而，這種方法是低效的、特定的且非結(jié)構(gòu)化的處理過(guò)程，該過(guò)程可能不會(huì)返回有用的數(shù)據(jù)。
當(dāng)前相關(guān)技術(shù)方法的又一問(wèn)題在于，IT服務(wù)的多個(gè)用戶(hù)通常向服務(wù)中心/幫助臺(tái)(help desk)報(bào)告相同的問(wèn)題。因?yàn)椴淮嬖谟糜谙蛱囟ǖ挠脩?hù)組通知該問(wèn)題已經(jīng)被識(shí)別并報(bào)告的自動(dòng)解決方案，所以經(jīng)常會(huì)發(fā)生上述問(wèn)題。這種重復(fù)努力降低了終端用戶(hù)的生產(chǎn)率，并且增加了關(guān)于IT服務(wù)的客戶(hù)挫折感，因此，負(fù)面地影響了客戶(hù)滿(mǎn)意度，并且由于要處理多重呼叫而增加了支持成本。
已經(jīng)建議了一些相關(guān)技術(shù)方法以試圖解決至少一個(gè)上述問(wèn)題。例如，諸如由加拿大阿爾伯達(dá)省(Alberta)卡爾加里市(Calgary)的Bandwidth Place所提供的那些因特網(wǎng)性能檢查器之類(lèi)的因特網(wǎng)性能檢查器向終端用戶(hù)提供了一種用于從他們的計(jì)算機(jī)向特定因特網(wǎng)性能檢查服務(wù)的服務(wù)器請(qǐng)求吞吐量測(cè)試的裝置。在運(yùn)行了檢查器之后，在用戶(hù)的計(jì)算機(jī)上顯示結(jié)果，并且把它們與相同狀態(tài)中的其它結(jié)果相比較。然而，此方法只限于網(wǎng)絡(luò)性能，并且沒(méi)有根據(jù)結(jié)果所采取的自動(dòng)動(dòng)作。另外，不存在鏈接到客戶(hù)滿(mǎn)意度管理處理過(guò)程的概念。
被稱(chēng)為網(wǎng)站“用戶(hù)體驗(yàn)”測(cè)量工具/服務(wù)的其它相關(guān)技術(shù)方法，諸如IBM的Surfaid Analytics產(chǎn)品和加利福尼亞州(CA)圣地亞哥市(San Diego)的Keylime Software公司所提供的網(wǎng)站分析產(chǎn)品，致力于獲取網(wǎng)站用戶(hù)在網(wǎng)站上的導(dǎo)航路徑。然后，使所收集的數(shù)據(jù)用于由網(wǎng)站的供應(yīng)商用來(lái)更好地理解使用趨勢(shì)以及客戶(hù)對(duì)他們的網(wǎng)站內(nèi)容的反應(yīng)。此類(lèi)用戶(hù)體驗(yàn)測(cè)量工具可特別僅僅適用于因特網(wǎng)和內(nèi)部網(wǎng)網(wǎng)站環(huán)境。即，他們并不期望終端用戶(hù)對(duì)等組性能，并且沒(méi)有根據(jù)測(cè)量結(jié)果所采取的自動(dòng)動(dòng)作以用于優(yōu)化或校正終端用戶(hù)體驗(yàn)的性能問(wèn)題。另外，不存在到客戶(hù)滿(mǎn)意度管理處理過(guò)程的鏈接。
由IBM所開(kāi)發(fā)的、被稱(chēng)為“自適應(yīng)探測(cè)”的另一相關(guān)技術(shù)方法致力于在基于網(wǎng)絡(luò)的計(jì)算環(huán)境中的自動(dòng)化問(wèn)題確定。所述方法包括從探測(cè)器工作站進(jìn)行性能測(cè)量，并且根據(jù)在所述探測(cè)器工作站中所獲得的測(cè)量結(jié)果，判定要運(yùn)行哪些測(cè)試事務(wù)以及要把所述事務(wù)指向哪些目標(biāo)系統(tǒng)。所想要的結(jié)果是，確定出發(fā)生故障的系統(tǒng)組件的身份。然而，依照該自適應(yīng)探測(cè)技術(shù)，不存在用于向終端用戶(hù)反饋這些測(cè)量或動(dòng)作的結(jié)果的設(shè)備。此外，不存在終端用戶(hù)對(duì)等組性能的概念，并且不存在到客戶(hù)滿(mǎn)意度管理處理過(guò)程的鏈接。

發(fā)明內(nèi)容
本發(fā)明的說(shuō)明性的、非限制性的實(shí)施例可以克服與用于測(cè)量IT服務(wù)客戶(hù)滿(mǎn)意度的相關(guān)技術(shù)方法相關(guān)聯(lián)的上述及其它缺點(diǎn)。此外，還應(yīng)當(dāng)注意到，不是必須要求本發(fā)明克服上述缺點(diǎn)。
本發(fā)明的一個(gè)示例性實(shí)施例包括為終端用戶(hù)計(jì)算機(jī)開(kāi)始性能測(cè)定，執(zhí)行性能評(píng)價(jià)程序，其中所述評(píng)價(jià)程序?qū)嵭杏蒊T服務(wù)所提供的至少一個(gè)服務(wù)，根據(jù)執(zhí)行所述性能評(píng)價(jià)程序的結(jié)果來(lái)確定相對(duì)于所述IT服務(wù)是否存在潛在的顧客滿(mǎn)意度問(wèn)題，并且如果存在問(wèn)題，那么向終端用戶(hù)計(jì)算機(jī)的用戶(hù)和包括所述用戶(hù)的對(duì)等組中的至少一個(gè)報(bào)告所述潛在的客戶(hù)滿(mǎn)意度問(wèn)題。包括用于執(zhí)行上述示例性實(shí)施例中的功能的設(shè)備或裝置的系統(tǒng)也在本發(fā)明的范圍之內(nèi)。
本發(fā)明的另一示例性實(shí)施例包括一種用于評(píng)價(jià)IT服務(wù)的計(jì)算機(jī)程序產(chǎn)品，其中所述程序產(chǎn)品包括計(jì)算機(jī)可讀介質(zhì)，該介質(zhì)具有第一程序指令裝置，用于命令處理器從終端用戶(hù)計(jì)算機(jī)向目標(biāo)IT服務(wù)發(fā)布測(cè)試事務(wù)；第二程序指令裝置，用于命令所述處理器從所述IT服務(wù)接收對(duì)應(yīng)于所述測(cè)試事務(wù)的相應(yīng)事務(wù)響應(yīng)；和第三程序指令裝置，用于命令所述處理器確定對(duì)應(yīng)于在發(fā)布所述測(cè)試事務(wù)和收到相應(yīng)事務(wù)響應(yīng)之間所過(guò)去的時(shí)間量的性能測(cè)試結(jié)果。
這里所用的“基本上”、“總體上”及其它程度詞被用作意在表明從這樣修改的特性開(kāi)始的可允許的變體的相對(duì)修改。并不是意在局限于它所修改的絕對(duì)值或特性，而是接近或近似于這種物理或功能特性。


通過(guò)參考附圖詳細(xì)描述本發(fā)明的說(shuō)明性的、非限制性的實(shí)施例，本發(fā)明的這些方面將變得更加清楚，其中圖1是圖示了依照本發(fā)明的方法的一個(gè)實(shí)施例的流程圖。
圖2A-2G是用于圖示結(jié)合依照本發(fā)明的方法的一個(gè)實(shí)施例所使用的算法的流程圖的每個(gè)部分。
圖3A和3B是依照本發(fā)明實(shí)施例描繪了將怎樣向終端用戶(hù)顯示終端用戶(hù)性能結(jié)果和狀態(tài)信息的示例性圖示。
圖4是用于圖示結(jié)合依照本發(fā)明的方法的一個(gè)實(shí)施例所使用的算法的流程圖。
圖5是依照本發(fā)明實(shí)施例的將會(huì)怎樣通知客戶(hù)滿(mǎn)意度團(tuán)隊(duì)(team)的圖示。
圖6是依照本發(fā)明實(shí)施例的詳細(xì)的“采取動(dòng)作(Action Taken)”消息的圖示。
具體實(shí)施例方式
下面詳細(xì)地論述本發(fā)明的示例性的、非限制性的實(shí)施例。雖然論述了具體的配置和處理流程以便提供清楚的理解，但是應(yīng)當(dāng)理解，所公開(kāi)的處理流程和配置僅僅是為了圖示目的而提供的。相關(guān)領(lǐng)域內(nèi)的技術(shù)人員應(yīng)當(dāng)認(rèn)識(shí)到，在不脫離本發(fā)明的精神和范圍的情況下可以使用其它處理流程和配置。
為了清楚并致力于本發(fā)明的主要操作概念，以下的描述沒(méi)有解決可能潛在發(fā)生的錯(cuò)誤或異常條件。這種異常僅僅會(huì)損害對(duì)主要流程概念的理解。
依照本發(fā)明提供了六個(gè)不同的組件。本發(fā)明的非限制性的示例性實(shí)施例包括這六個(gè)組件中的至少一個(gè)。這里沒(méi)有依照特定次序提及這六個(gè)組件。第一組件是用于針對(duì)IT服務(wù)為終端用戶(hù)和對(duì)等組確定并報(bào)告潛在的客戶(hù)滿(mǎn)意度問(wèn)題的自動(dòng)化方法。所述方法從終端用戶(hù)的角度提供了對(duì)準(zhǔn)實(shí)時(shí)可用性和性能數(shù)據(jù)的可見(jiàn)性，并且使得對(duì)潛在的客戶(hù)滿(mǎn)意度問(wèn)題的識(shí)別自動(dòng)化。
第二，提供了一種用于收集由計(jì)算機(jī)用戶(hù)所體驗(yàn)的性能和可用性數(shù)據(jù)的自動(dòng)化方法，所述計(jì)算機(jī)用戶(hù)經(jīng)由網(wǎng)絡(luò)遠(yuǎn)程地訪問(wèn)并運(yùn)行應(yīng)用。此方法使用集中式應(yīng)用，其從終端用戶(hù)的工作站自動(dòng)地下載并運(yùn)行用于“測(cè)試”特定應(yīng)用的性能和可用性的評(píng)價(jià)程序。此方法的特有特征之一在于，它使用現(xiàn)有的終端用戶(hù)工作站來(lái)為用戶(hù)收集性能和可用性數(shù)據(jù)。此方法還通過(guò)使用已經(jīng)收集的和當(dāng)前的從相同對(duì)等組中的其它用戶(hù)所獲得的測(cè)量數(shù)據(jù)，來(lái)使基礎(chǔ)設(shè)施和應(yīng)用上的負(fù)載最小化，以便滿(mǎn)足客戶(hù)對(duì)測(cè)量性能的請(qǐng)求。
第三，提供了這樣一種方法，其由對(duì)等組根據(jù)用戶(hù)簡(jiǎn)檔(profile)來(lái)組織可用性和性能數(shù)據(jù)，并且根據(jù)實(shí)際的可用性和性能測(cè)量來(lái)創(chuàng)建對(duì)等組基準(zhǔn)，所述用戶(hù)簡(jiǎn)檔例如為用戶(hù)的組織、所使用的應(yīng)用、地理位置、作業(yè)任務(wù)等。此基準(zhǔn)能夠在定性的終端用戶(hù)IT滿(mǎn)意度調(diào)查結(jié)果與定量的性能和可用性測(cè)量之間進(jìn)行相關(guān)。
第四，提供了這樣一種方法，其使終端用戶(hù)能夠從他們的工作站對(duì)遠(yuǎn)程應(yīng)用訪問(wèn)執(zhí)行實(shí)時(shí)的性能和可用性測(cè)試，并且例如在類(lèi)似的地理區(qū)域、所訪問(wèn)的相同或類(lèi)似應(yīng)用、作業(yè)任務(wù)等之內(nèi)與他們的對(duì)等組之間比較結(jié)果。此方法使終端用戶(hù)能夠開(kāi)始收集測(cè)量結(jié)果并且知道他們的體驗(yàn)與其對(duì)等組中的其它用戶(hù)相比怎樣。
第五，提供了一種用于評(píng)估性能和可用性測(cè)量數(shù)據(jù)的自動(dòng)化方法。根據(jù)此評(píng)估，可以確定是否應(yīng)當(dāng)為了特定的終端用戶(hù)或?qū)Φ冉M來(lái)自動(dòng)地報(bào)告服務(wù)交付(service delivery)/幫助臺(tái)問(wèn)題。
第六，提供了一種用于傳送問(wèn)題的狀態(tài)并且改進(jìn)IT服務(wù)的客戶(hù)滿(mǎn)意度的方法。所述方法包括連續(xù)地向?qū)Φ冉M中的個(gè)別終端用戶(hù)或多個(gè)終端用戶(hù)自動(dòng)通知為他們所采取的自動(dòng)化動(dòng)作。
作為實(shí)現(xiàn)上面依照本發(fā)明所提及的各種方法中的至少一個(gè)方法的結(jié)果，可以實(shí)現(xiàn)某些業(yè)務(wù)優(yōu)點(diǎn)。這些業(yè)務(wù)優(yōu)點(diǎn)包括把IT客戶(hù)滿(mǎn)意度測(cè)量數(shù)據(jù)收集處理過(guò)程從基于定性調(diào)查的處理過(guò)程變換為用于準(zhǔn)實(shí)時(shí)地提供定量客戶(hù)滿(mǎn)意度數(shù)據(jù)的自動(dòng)化解決方案。另外，它通過(guò)準(zhǔn)許終端用戶(hù)為對(duì)等終端用戶(hù)進(jìn)行準(zhǔn)實(shí)時(shí)的遠(yuǎn)程訪問(wèn)性能和可用性統(tǒng)計(jì)，來(lái)改進(jìn)終端用戶(hù)的客戶(hù)滿(mǎn)意度。所實(shí)現(xiàn)的進(jìn)一步優(yōu)點(diǎn)在于，通過(guò)減少識(shí)別和報(bào)告問(wèn)題所花費(fèi)的時(shí)間并且減少識(shí)別遠(yuǎn)程訪問(wèn)可用性和性能問(wèn)題所必需的時(shí)間，改進(jìn)了終端用戶(hù)的生產(chǎn)率。最后，實(shí)現(xiàn)依照本發(fā)明的方法，降低了工作負(fù)荷。例如，減少了呼叫中心/幫助臺(tái)的活動(dòng)。
在描述本發(fā)明的說(shuō)明性實(shí)施例的詳細(xì)示例之前，為了本公開(kāi)的目的，定義了一些術(shù)語(yǔ)。
例如，如上所述，IT服務(wù)是用于集體地向用戶(hù)群體提供業(yè)務(wù)功能的應(yīng)用程序或IT計(jì)算資源、例如網(wǎng)絡(luò)、服務(wù)器等中的一個(gè)或其集合。IT服務(wù)的例子是電子郵件，諸如由IBM所開(kāi)發(fā)的Lotus Notes；即時(shí)消息發(fā)送(Instant Messaging)，諸如由IBM所開(kāi)發(fā)的Sametime應(yīng)用；和對(duì)W3網(wǎng)站的IBM內(nèi)部網(wǎng)訪問(wèn)，或訂單輸入系統(tǒng)。
對(duì)等組是處于類(lèi)似地位的終端用戶(hù)的分組，并且每個(gè)對(duì)等組通常與特定的IT服務(wù)相關(guān)聯(lián)。此外，終端用戶(hù)還可以根據(jù)他們所使用的IT服務(wù)而屬于至少一個(gè)對(duì)等組，或者作為選擇，終端用戶(hù)可以不屬于任何對(duì)等組。在下面的表1中，對(duì)等組的例子被提供為在IBM的環(huán)境中使用。對(duì)等組被定義為屬性、起源、目標(biāo)和至少一個(gè)人口統(tǒng)計(jì)指示器的集合。
表1

例如，對(duì)于電子郵件服務(wù)來(lái)說(shuō)，希望收集并報(bào)告與在位于特定地理區(qū)域內(nèi)的建筑物內(nèi)的特定位置相關(guān)聯(lián)的測(cè)量數(shù)據(jù)。對(duì)等組的目標(biāo)是在其上駐留有郵件文件的郵件服務(wù)器。使用人口統(tǒng)計(jì)指示器根據(jù)特定的作業(yè)任務(wù)和組織來(lái)報(bào)告數(shù)據(jù)。這允許組織把客戶(hù)滿(mǎn)意度調(diào)查映射到用于特定作業(yè)任務(wù)的實(shí)際測(cè)量數(shù)據(jù)上。一個(gè)例子是頻繁使用電子郵件來(lái)在日程表上安排會(huì)議并且檢查可用性的管理員。對(duì)于管理員的電子郵件IT服務(wù)的較慢的響應(yīng)時(shí)間在典型情況下會(huì)導(dǎo)致較差的客戶(hù)滿(mǎn)意度以及較低了的生產(chǎn)率。
對(duì)于移動(dòng)用戶(hù)和在家工作的用戶(hù)來(lái)說(shuō)，使用“連接點(diǎn)”起源來(lái)識(shí)別這些用戶(hù)在哪兒連接到公司網(wǎng)絡(luò)中。
隨著公司趨向交付目標(biāo)為特定用戶(hù)段的服務(wù)，測(cè)量并報(bào)告在特定位置上具有類(lèi)似作業(yè)任務(wù)的對(duì)等組內(nèi)的客戶(hù)滿(mǎn)意度的能力越來(lái)越重要。
圖1圖示了包括依照本發(fā)明的一個(gè)示例性方法的示例性組件和信息流。特別是，圖1圖示了來(lái)自對(duì)等組的終端用戶(hù)成員的對(duì)性能測(cè)量的新注冊(cè)請(qǐng)求，所述終端用戶(hù)成員沒(méi)有當(dāng)前的相關(guān)性能測(cè)量數(shù)據(jù)。
處理過(guò)程始于終端用戶(hù)例如通過(guò)在終端用戶(hù)計(jì)算機(jī)顯示器(R)上選擇圖標(biāo)來(lái)表明希望獲得性能測(cè)量。所選擇的圖標(biāo)是例如在經(jīng)由終端用戶(hù)計(jì)算機(jī)輸入設(shè)備(B)(諸如鍵盤(pán)或鼠標(biāo))訪問(wèn)的基于windows的系統(tǒng)上的系統(tǒng)托盤(pán)圖標(biāo)。據(jù)此，終端用戶(hù)開(kāi)始了性能測(cè)量請(qǐng)求(1)。終端用戶(hù)選擇動(dòng)作使得在終端用戶(hù)計(jì)算機(jī)(A)中執(zhí)行的注冊(cè)&測(cè)試代理(C)向中心性能測(cè)量和分析引擎(D)的注冊(cè)管理器組件(E)發(fā)送注冊(cè)請(qǐng)求(2)。注冊(cè)請(qǐng)求包含由屬性組成的終端用戶(hù)計(jì)算機(jī)簡(jiǎn)檔數(shù)據(jù)，所述屬性唯一地描述了特定的終端用戶(hù)計(jì)算機(jī)，例如，終端用戶(hù)計(jì)算機(jī)名稱(chēng)、計(jì)算機(jī)網(wǎng)絡(luò)標(biāo)識(shí)符等。
注冊(cè)管理器(E)向簡(jiǎn)檔&對(duì)等組管理器(F)請(qǐng)求(3)查詢(xún)(4)終端用戶(hù)簡(jiǎn)檔和對(duì)等組數(shù)據(jù)庫(kù)(G)，以便確定此終端用戶(hù)計(jì)算機(jī)和相關(guān)聯(lián)的終端用戶(hù)在該數(shù)據(jù)庫(kù)中是否已經(jīng)具有了簡(jiǎn)檔。如果他們不具有簡(jiǎn)檔，即，如果此終端用戶(hù)和終端用戶(hù)計(jì)算機(jī)先前從未被注冊(cè)過(guò)，那么簡(jiǎn)檔和對(duì)等組管理器(F)為此終端用戶(hù)計(jì)算機(jī)和終端用戶(hù)創(chuàng)建簡(jiǎn)檔，利用在注冊(cè)請(qǐng)求(2)中所傳遞的信息和從企業(yè)目錄(H)所獲取的終端用戶(hù)信息(5)填寫(xiě)到所述簡(jiǎn)檔的字段中，并且把簡(jiǎn)檔記錄寫(xiě)入到數(shù)據(jù)庫(kù)(G)中。
在已經(jīng)創(chuàng)建并存儲(chǔ)了簡(jiǎn)檔之后，簡(jiǎn)檔和對(duì)等組管理器(F)向測(cè)試執(zhí)行管理器(I)通知(6)終端用戶(hù)計(jì)算機(jī)已經(jīng)注冊(cè)了并且根據(jù)需要可用于執(zhí)行性能數(shù)據(jù)收集。測(cè)試執(zhí)行管理器現(xiàn)在通過(guò)向測(cè)試結(jié)果管理器(J)發(fā)布請(qǐng)求(7)，來(lái)為此終端用戶(hù)計(jì)算機(jī)的對(duì)等組(一個(gè)或多個(gè))確定是否存在當(dāng)前的(例如，根據(jù)測(cè)量生存期長(zhǎng)度參數(shù))和相關(guān)的性能測(cè)量。隨后，測(cè)試結(jié)果管理器(J)向時(shí)間敏感測(cè)試結(jié)果數(shù)據(jù)庫(kù)(K)發(fā)送適當(dāng)?shù)囊粋€(gè)或多個(gè)查詢(xún)(8)。在對(duì)于此終端用戶(hù)計(jì)算機(jī)-對(duì)等組組合來(lái)說(shuō)不存在當(dāng)前的性能測(cè)量數(shù)據(jù)的情況下，測(cè)試執(zhí)行管理器然后從性能測(cè)試程序庫(kù)(L)請(qǐng)求(9)適當(dāng)?shù)男阅軠y(cè)試程序，并且向終端用戶(hù)計(jì)算機(jī)(A)發(fā)送(10)性能測(cè)試程序(M)。當(dāng)成功的性能測(cè)試程序從性能測(cè)試程序向測(cè)試執(zhí)行管理器下載驗(yàn)證時(shí)，所述測(cè)試執(zhí)行管理器向性能測(cè)試程序(M)發(fā)送一個(gè)觸發(fā)(11)，以便開(kāi)始運(yùn)行其性能測(cè)試(一個(gè)或多個(gè))。
性能測(cè)試程序(M)向目標(biāo)IT服務(wù)(N)(例如，Lotus Notes)發(fā)布測(cè)試事務(wù)(12)，并且留意從目標(biāo)IT服務(wù)系統(tǒng)接收事務(wù)響應(yīng)(13)(即，性能測(cè)試結(jié)果)所花費(fèi)的時(shí)間。應(yīng)當(dāng)注意到，依照本發(fā)明所使用的“測(cè)試事務(wù)”指的是終端用戶(hù)希望獲得性能信息的典型業(yè)務(wù)事務(wù)。即，本發(fā)明不局限于僅僅用于測(cè)試的專(zhuān)門(mén)公式化的測(cè)試事務(wù)，而是可使用所選擇的實(shí)際業(yè)務(wù)事務(wù)來(lái)執(zhí)行測(cè)試/分析。然后，性能測(cè)試程序(M)向測(cè)試執(zhí)行管理器(I)發(fā)送性能測(cè)試結(jié)果(14)，所述測(cè)試執(zhí)行管理器(I)隨后向測(cè)試結(jié)果管理器(J)發(fā)布請(qǐng)求(15)以便檢驗(yàn)結(jié)果，并且如果所述結(jié)果有效的話，那么對(duì)所述結(jié)果加上時(shí)間戳并且把它存儲(chǔ)(16)到時(shí)間敏感的測(cè)試結(jié)果數(shù)據(jù)庫(kù)(K)中。
當(dāng)把性能測(cè)試結(jié)果成功地存儲(chǔ)到時(shí)間敏感的測(cè)試結(jié)果數(shù)據(jù)庫(kù)(K)中時(shí)，測(cè)試結(jié)果管理器(J)向測(cè)試結(jié)果分析管理器(O)通知(17)已經(jīng)為特定的終端用戶(hù)計(jì)算機(jī)(A)和相關(guān)聯(lián)的對(duì)等組(一個(gè)或多個(gè))完成了測(cè)量。作為此通知的一部分，從測(cè)試結(jié)果管理器(J)向測(cè)試結(jié)果分析管理器(O)傳遞以下參數(shù)用于表明此通知與所采取的實(shí)際測(cè)量相關(guān)聯(lián)的指示，要返回給終端用戶(hù)的實(shí)際數(shù)字測(cè)量值，提出請(qǐng)求的終端用戶(hù)計(jì)算機(jī)標(biāo)識(shí)，和對(duì)等組(先前通過(guò)測(cè)試結(jié)果管理器與簡(jiǎn)檔和對(duì)等組管理器之間的交互作用與終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的對(duì)等組)的標(biāo)識(shí)，以及用于表明這是否為用于新的終端用戶(hù)計(jì)算機(jī)的測(cè)量的指示。
然后，測(cè)試結(jié)果分析管理器(O)執(zhí)行如在圖2A-2G中所圖示的“性能警報(bào)分析算法(Performance Alert Analysis Algorithm)”，以便確定實(shí)際測(cè)量值是否超過(guò)了任何性能閾值，并且如果是的話，那么確定是否應(yīng)當(dāng)向服務(wù)交付(P)發(fā)送性能警報(bào)(18)。(下面詳細(xì)描述各個(gè)性能閾值和/或基準(zhǔn)的建立。)一旦進(jìn)行了此確定并且發(fā)送了性能警報(bào)通知后，如果必要的話，那么性能警報(bào)分析算法就格式化由測(cè)試結(jié)果管理器向其所傳遞的測(cè)量信息，并且向終端用戶(hù)計(jì)算機(jī)(A)(一個(gè)或多個(gè))上的注冊(cè)&測(cè)試代理(C)發(fā)送終端用戶(hù)性能結(jié)果和狀態(tài)(20)，所述注冊(cè)&測(cè)試代理(C)隨后在終端用戶(hù)計(jì)算機(jī)顯示器(R)上顯示終端用戶(hù)性能結(jié)果和狀態(tài)(21)。在圖3A中示出了如何向終端用戶(hù)(一個(gè)或多個(gè))顯示終端用戶(hù)性能結(jié)果和狀態(tài)信息的例子。
因此，以上的示例性實(shí)施例涉及其中先前未注冊(cè)的終端用戶(hù)計(jì)算機(jī)請(qǐng)求性能測(cè)量的情況，其中在數(shù)據(jù)庫(kù)中不存在當(dāng)前的(例如，時(shí)間敏感的)和/或相關(guān)的(例如，在相同的對(duì)等組內(nèi)的)測(cè)量。
再次參照?qǐng)D1，以下的描述突出了本發(fā)明的進(jìn)一步實(shí)施例的方面。
特別是，與用于向生產(chǎn)IT服務(wù)自動(dòng)地發(fā)送測(cè)試事務(wù)的大部分系統(tǒng)相關(guān)的一個(gè)問(wèn)題是，由測(cè)試事務(wù)置于IT服務(wù)計(jì)算系統(tǒng)上的附加載荷或工作負(fù)荷。本發(fā)明的一個(gè)方面包括一種用于通過(guò)使時(shí)間戳和對(duì)等組與每個(gè)性能測(cè)量相關(guān)聯(lián)來(lái)控制位于生產(chǎn)系統(tǒng)上的附加測(cè)試事務(wù)負(fù)載的方法。如在上述實(shí)施例中的處理流程中所表明的那樣，當(dāng)終端用戶(hù)計(jì)算機(jī)請(qǐng)求性能測(cè)試時(shí)，測(cè)試執(zhí)行管理器(I)與測(cè)試結(jié)果管理器(J)相互交互，以便確定對(duì)于該終端用戶(hù)計(jì)算機(jī)所屬的對(duì)等組來(lái)說(shuō)是否已經(jīng)存在了當(dāng)前的相關(guān)測(cè)量。如果在數(shù)據(jù)庫(kù)中存在可用的當(dāng)前相關(guān)測(cè)量，那么對(duì)于該特定的提出請(qǐng)求的終端用戶(hù)計(jì)算機(jī)并不會(huì)獲得新的測(cè)量。在這些情況下，從時(shí)間敏感的測(cè)試結(jié)果數(shù)據(jù)庫(kù)(K)中讀取最相關(guān)的當(dāng)前測(cè)量。
另外，測(cè)試結(jié)果管理器(J)向測(cè)試結(jié)果分析管理器(O)通知(17)應(yīng)當(dāng)向提出請(qǐng)求的終端用戶(hù)計(jì)算機(jī)返回已有的測(cè)量。作為此通知的一部分，從測(cè)試結(jié)果管理器(J)向測(cè)試結(jié)果分析管理器(O)傳遞以下參數(shù)中的至少一個(gè)用于表明此通知與來(lái)自時(shí)間敏感的測(cè)試結(jié)果數(shù)據(jù)庫(kù)的已有測(cè)量相關(guān)聯(lián)的指示，要返回給終端用戶(hù)的數(shù)字測(cè)量值，提出請(qǐng)求的終端用戶(hù)計(jì)算機(jī)標(biāo)識(shí)，和對(duì)應(yīng)于與此測(cè)量相關(guān)聯(lián)的終端用戶(hù)計(jì)算機(jī)的對(duì)等組的標(biāo)識(shí)，以及用于表明這是否為用于新的終端用戶(hù)計(jì)算機(jī)的測(cè)量的指示。
測(cè)試結(jié)果分析管理器(O)執(zhí)行下面參考圖2A-2G中詳細(xì)論述的“性能警報(bào)分析算法”，以便向提出請(qǐng)求的終端用戶(hù)計(jì)算機(jī)(A)上的注冊(cè)&測(cè)試代理(C)發(fā)送終端用戶(hù)性能結(jié)果和狀態(tài)(20)，所述注冊(cè)&測(cè)試代理(C)隨后在終端用戶(hù)計(jì)算機(jī)顯示器(R)上顯示終端用戶(hù)性能結(jié)果和狀態(tài)(21)。在圖3B中示出了對(duì)于返回已有測(cè)量的情況來(lái)說(shuō)如何向終端用戶(hù)顯示終端用戶(hù)性能結(jié)果和狀態(tài)信息的例子。
應(yīng)當(dāng)注意到，依照本發(fā)明的至少一個(gè)實(shí)施例，因?yàn)楸仨毥?jīng)過(guò)一段時(shí)間來(lái)評(píng)價(jià)測(cè)量數(shù)據(jù)，所以為每個(gè)終端用戶(hù)事務(wù)或事務(wù)組建立了閾值和對(duì)等組基準(zhǔn)，例如，終端用戶(hù)場(chǎng)景。存在難于評(píng)價(jià)數(shù)據(jù)的幾個(gè)因素。由于在基礎(chǔ)設(shè)施和應(yīng)用環(huán)境中、以及例如終端用戶(hù)應(yīng)當(dāng)使用多少磁盤(pán)空間來(lái)用于他們的郵件文件等的公司管理之類(lèi)的事物中的改變，所以可能出現(xiàn)異常。
依照本發(fā)明的示例性方法使用了利用客戶(hù)性能的三個(gè)不同的閾值和基準(zhǔn)來(lái)確定何時(shí)發(fā)送事件并且報(bào)告溢出(out-of-range)條件。這些閾值在下述的“性能警報(bào)分析算法”和“IT服務(wù)性能動(dòng)態(tài)客戶(hù)滿(mǎn)意度評(píng)估算法”中被稱(chēng)作閾值1-閾值3。
閾值1是在公司標(biāo)準(zhǔn)中所定義的閾值。使用此閾值來(lái)確保雇員生產(chǎn)率不會(huì)因支持用于內(nèi)部系統(tǒng)的IT系統(tǒng)所導(dǎo)致的較慢性能而降低。例如，當(dāng)與外部客戶(hù)做生意時(shí)，可以使用閾值1來(lái)保護(hù)公司品牌。
閾值2是對(duì)等組基準(zhǔn)。即，本發(fā)明的獨(dú)特功能之一在于，它使得能夠計(jì)算動(dòng)態(tài)的對(duì)等組基準(zhǔn)?？梢愿鶕?jù)測(cè)量數(shù)據(jù)來(lái)建立此基準(zhǔn)或閾值，所述測(cè)量數(shù)據(jù)用于記錄對(duì)等組通常對(duì)IT服務(wù)所體驗(yàn)的性能等級(jí)。例如，可以使用30天的移動(dòng)平均(rolling average)來(lái)確定此閾值。
閾值3被定義為可變性閾值以便標(biāo)識(shí)其中對(duì)等組中的用戶(hù)可以在特定時(shí)間段(諸如一天)中體驗(yàn)性能可變性的情況。
參照?qǐng)D2A-2G，當(dāng)測(cè)試結(jié)果分析管理器(O)接收到測(cè)量時(shí)，實(shí)時(shí)地運(yùn)行上述性能警報(bào)分析算法。如圖2A所示，請(qǐng)求測(cè)量(S1)，并且在已經(jīng)確定了未從數(shù)據(jù)庫(kù)中檢索到結(jié)果(S2)之后，把測(cè)量與公司標(biāo)準(zhǔn)相比較(S3)。如果所述測(cè)量超過(guò)了公司標(biāo)準(zhǔn)，那么該算法檢查用于對(duì)等組的大量測(cè)量(例如，50)是否超過(guò)了公司標(biāo)準(zhǔn)(S4)。如果是的話，那么問(wèn)題的影響被設(shè)置為“對(duì)等組不滿(mǎn)足公司標(biāo)準(zhǔn)”，并且嚴(yán)重性被設(shè)置為“普遍性問(wèn)題”(S5)。當(dāng)確定事件的相關(guān)聯(lián)文本和嚴(yán)重性指示正被發(fā)送到服務(wù)交付時(shí)，使用該影響和嚴(yán)重性。
然后，所述算法檢查是否存在打開(kāi)的問(wèn)題標(biāo)簽(S6)，即，用于標(biāo)識(shí)特定問(wèn)題的現(xiàn)有標(biāo)簽，并且如果不存在的話，那么向服務(wù)交付發(fā)送該事件(S7)。然后，該算法設(shè)置“采取動(dòng)作”狀態(tài)指示器，其由所述算法用來(lái)確定已經(jīng)為了用戶(hù)或?qū)Φ冉M采取了動(dòng)作。此外，還把詳細(xì)的采取動(dòng)作(Action Taken)消息存儲(chǔ)到數(shù)據(jù)庫(kù)中(S8)。然后向注冊(cè)到對(duì)等組的用戶(hù)通知為該對(duì)等組所采取的動(dòng)作(S9)。例如，此通知使用windows(視窗)系統(tǒng)托盤(pán)上的圖標(biāo)來(lái)向用戶(hù)通知已經(jīng)采取了動(dòng)作，并且如果選擇了圖標(biāo)的話，那么將顯示詳細(xì)的“采取動(dòng)作”消息。在圖6中示出了詳細(xì)的“采取動(dòng)作”消息的一個(gè)例子。在基于windows的系統(tǒng)中，依照本發(fā)明向?qū)Φ冉M成員給出采取動(dòng)作消息的替換方法正在使用windows系統(tǒng)托盤(pán)圖標(biāo)。
依照本發(fā)明，對(duì)于諸如幫助臺(tái)和/或服務(wù)交付之類(lèi)的操作來(lái)說(shuō)，產(chǎn)生諸如性能警報(bào)通知之類(lèi)的事件。依照一個(gè)實(shí)施例，使用IBM TivoliEnterprise Console(企業(yè)控制臺(tái))工具來(lái)用于事件處理。然而，本發(fā)明并不依賴(lài)于此特定的工具；可以實(shí)現(xiàn)能夠接收事件通知并且把它提供給服務(wù)交付操作人員以便加以處理的其它事件處理工具。例如，為了實(shí)現(xiàn)性能警報(bào)分析算法基本命令，使用了諸如Tivoli“wpostemsg”或“postemsg”。為了打開(kāi)問(wèn)題標(biāo)簽，可以利用下述消息來(lái)發(fā)布嚴(yán)重性為WARNING的wpostemsg，所述消息用于聲明對(duì)于在Raleigh的建筑物676中的因特網(wǎng)用戶(hù)來(lái)說(shuō)超過(guò)了對(duì)等組閾值wpostemsg，-r WARNING-m“對(duì)于在Raleigh的建筑物676中的因特網(wǎng)用戶(hù)來(lái)說(shuō)超過(guò)了對(duì)等組閾值”。
為了關(guān)閉相同的問(wèn)題標(biāo)簽，可以發(fā)布嚴(yán)重性為HARMLESS的wpostemsgwpostemsg，-r HARMLESS-m“對(duì)于在Raleigh的建筑物676中的因特網(wǎng)用戶(hù)來(lái)說(shuō)超過(guò)了對(duì)等組閾值”。
參照?qǐng)D2B，作為選擇，如果較少量的連續(xù)測(cè)量(例如，3)超過(guò)了閾值1，那么可以設(shè)置不同的影響和嚴(yán)重性(S10)。例如，影響被類(lèi)似地設(shè)置為“對(duì)等組不滿(mǎn)足公司標(biāo)準(zhǔn)”，而嚴(yán)重性被設(shè)置為“間歇性問(wèn)題”(S11)。所述算法檢查問(wèn)題標(biāo)簽是否已經(jīng)被打開(kāi)(S12)，并且如果不是的話，那么向服務(wù)交付發(fā)送一個(gè)事件(S13)。設(shè)置采取動(dòng)作指示器，并且存儲(chǔ)“采取動(dòng)作”消息(S14)。然后，向注冊(cè)到對(duì)等組中的用戶(hù)通知為該對(duì)等組所采取的動(dòng)作(S15)。
閾值以及連續(xù)測(cè)量的數(shù)目都是可以根據(jù)在向特定環(huán)境應(yīng)用此解決方案時(shí)所獲得的體驗(yàn)來(lái)調(diào)節(jié)或調(diào)整的參數(shù)。
參照?qǐng)D2A，如果測(cè)量沒(méi)有超過(guò)閾值1、例如公司標(biāo)準(zhǔn)，那么把所述測(cè)量與對(duì)等組基準(zhǔn)相比較。測(cè)試結(jié)果分析管理器(O)(圖1)使用對(duì)等組基準(zhǔn)(例如，使用基準(zhǔn)點(diǎn)基準(zhǔn))來(lái)確定特定的用戶(hù)組與他們通常的體驗(yàn)相比是否體驗(yàn)到了性能問(wèn)題。這通常是比公司標(biāo)準(zhǔn)更低的閾值。
參照?qǐng)D2C，把所收集的測(cè)量與對(duì)等組基準(zhǔn)相比較(S16)，并且如果所述測(cè)量超過(guò)了所述對(duì)等組基準(zhǔn)，那么該算法檢查用于此對(duì)等組的最后10個(gè)連續(xù)的測(cè)量是否已經(jīng)超過(guò)了所述對(duì)等組基準(zhǔn)(S17)。使用此比較來(lái)過(guò)濾在該環(huán)境中可能出現(xiàn)的間歇性錯(cuò)誤。如果最后10個(gè)連續(xù)的事件超過(guò)了對(duì)等組基準(zhǔn)，那么所述算法把影響設(shè)置為“對(duì)等組不滿(mǎn)足對(duì)等組基準(zhǔn)”，把嚴(yán)重性設(shè)置為“普遍性問(wèn)題”(S18)，然后檢查問(wèn)題標(biāo)簽是否被打開(kāi)了(S19)。如果問(wèn)題標(biāo)簽未打開(kāi)，那么將事件發(fā)送到服務(wù)交付(S20)。設(shè)置采取動(dòng)作指示器，并且存儲(chǔ)采取動(dòng)作消息(S21)。然后，向注冊(cè)到對(duì)等組中的用戶(hù)通知為該對(duì)等組所采取的動(dòng)作(S22)。
參照?qǐng)D2D，如果最后10個(gè)連續(xù)的測(cè)量沒(méi)有超過(guò)對(duì)等組基準(zhǔn)(參見(jiàn)圖2C)，那么實(shí)時(shí)算法檢查用于特定工作站/用戶(hù)的最后三個(gè)測(cè)量，以便確定任何一個(gè)測(cè)量是否超過(guò)了對(duì)等組基準(zhǔn)(S23)。如果最后3個(gè)測(cè)量超過(guò)了對(duì)等組基準(zhǔn)，那么所述算法把影響設(shè)置為“用戶(hù)不滿(mǎn)足對(duì)等組基準(zhǔn)”，把嚴(yán)重性設(shè)置為“個(gè)別用戶(hù)問(wèn)題”(S24)，并且檢查問(wèn)題標(biāo)簽是否被打開(kāi)(S25)。如果問(wèn)題標(biāo)簽未打開(kāi)，那么將事件發(fā)送到服務(wù)交付(S26)。設(shè)置采取動(dòng)作指示器，并且存儲(chǔ)采取動(dòng)作消息(S27)。向用戶(hù)/工作站通知已經(jīng)為此問(wèn)題采取了動(dòng)作(S28)。
如圖2E中所示，實(shí)時(shí)算法還從終端用戶(hù)的角度確定可用性問(wèn)題。如果所收集的測(cè)量是失敗的測(cè)量嘗試(S29)，那么該算法檢查用于對(duì)等組的最后10個(gè)連續(xù)的測(cè)量是否失敗了(S30)。如果是的話，那么該算法據(jù)此設(shè)置影響和嚴(yán)重性參數(shù)(S31)，并且檢查問(wèn)題標(biāo)簽是否被打開(kāi)(S32)，而且如果未打開(kāi)的話，那么向服務(wù)交付發(fā)送事件(S33)。設(shè)置采取動(dòng)作指示器，并且存儲(chǔ)采取動(dòng)作消息(S34)。向?qū)Φ冉M中的用戶(hù)通知已經(jīng)向服務(wù)交付報(bào)告了問(wèn)題(S35)。
另一方面，如果最后10個(gè)連續(xù)的測(cè)量并非是失敗的測(cè)量嘗試，如圖2F所示，那么實(shí)時(shí)算法檢查用于特定工作站/用戶(hù)的最后3個(gè)測(cè)量，以便查看它們是否為失敗的測(cè)量嘗試(S36)。如果最后3個(gè)記錄的測(cè)量是失敗的測(cè)量嘗試，那么該算法把影響參數(shù)設(shè)置為“用戶(hù)可用性問(wèn)題”，并且把嚴(yán)重性設(shè)置為“個(gè)別用戶(hù)問(wèn)題”(S37)。然后，所述算法檢查問(wèn)題標(biāo)簽是否被打開(kāi)(S38)，并且如果不是的話，那么向服務(wù)交付發(fā)送事件(S39)。設(shè)置采取動(dòng)作指示器，并且存儲(chǔ)采取動(dòng)作消息(S40)。向用戶(hù)/工作站通知已經(jīng)為此問(wèn)題采取了動(dòng)作(S41)。
如果所收集的測(cè)量沒(méi)有超過(guò)閾值1(圖2A)或閾值2(圖2C)，并且所收集的測(cè)量并非是失敗的測(cè)量嘗試(圖2E)，那么參照?qǐng)D2G，從數(shù)據(jù)庫(kù)中讀取所要求的測(cè)量數(shù)據(jù)，以便計(jì)算對(duì)等組比較(S42)。利用實(shí)際測(cè)量和所計(jì)算的對(duì)等組比較來(lái)格式化發(fā)往用戶(hù)的消息(S43)。響應(yīng)于來(lái)自用戶(hù)的請(qǐng)求向用戶(hù)發(fā)送消息以便進(jìn)行性能測(cè)試(S44)。因?yàn)閷?shí)際測(cè)量沒(méi)有超過(guò)任何閾值，所以用于此工作站或?qū)Φ冉M的任何打開(kāi)的服務(wù)交付標(biāo)簽被關(guān)閉(S45)，并且采取動(dòng)作狀態(tài)指示器被重置(S46)。
仍然參照?qǐng)D2G，如果所收集的測(cè)量超過(guò)閾值1或閾值2，或者如果所述測(cè)量是來(lái)自數(shù)據(jù)庫(kù)的失敗測(cè)量，那么所述算法檢查這是否為新用戶(hù)(S47)。執(zhí)行此檢查，以便獲得其中用戶(hù)開(kāi)始了測(cè)試并且在數(shù)據(jù)庫(kù)中存在當(dāng)前測(cè)量的情況，因此不會(huì)響應(yīng)于請(qǐng)求而收集新的測(cè)量。如果是新用戶(hù)，那么算法檢查是否為對(duì)等組設(shè)置了采取動(dòng)作狀態(tài)指示器(S48)，并且如果是的話，那么讀取最后的采取動(dòng)作消息(S52)。如果不是新用戶(hù)，那么算法從數(shù)據(jù)庫(kù)中讀取所要求的測(cè)量數(shù)據(jù)，以便計(jì)算對(duì)等組比較(S49)。利用實(shí)際測(cè)量和所計(jì)算的對(duì)等組比較來(lái)格式化發(fā)往用戶(hù)的消息(S50)，并且在此特定的實(shí)施例中，將為對(duì)等組所采取的最后動(dòng)作響應(yīng)于來(lái)自用戶(hù)的請(qǐng)求而傳送到該用戶(hù)，以便進(jìn)行性能測(cè)試(S51)。
測(cè)試結(jié)果分析管理器(O)(圖1)還負(fù)責(zé)執(zhí)行在圖4中所圖示的“IT服務(wù)性能動(dòng)態(tài)客戶(hù)滿(mǎn)意度評(píng)估算法”?！癐T服務(wù)性能動(dòng)態(tài)客戶(hù)滿(mǎn)意度評(píng)估算法”非實(shí)時(shí)地而且定期地在后臺(tái)操作(例如，每天一次或依照經(jīng)由參數(shù)所設(shè)置的其它頻率進(jìn)行)，根據(jù)定義了對(duì)等組(一個(gè)或多個(gè))的雇員人口統(tǒng)計(jì)屬性，來(lái)收集并集合終端用戶(hù)角度的IT服務(wù)性能趨勢(shì)信息。此算法還能夠向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)(team)通知是否會(huì)出現(xiàn)可能會(huì)影響用戶(hù)對(duì)等組的客戶(hù)滿(mǎn)意度的負(fù)面性能趨勢(shì)。在圖5中示出了用于圖示如何在計(jì)算機(jī)顯示設(shè)備上通知客戶(hù)滿(mǎn)意度團(tuán)隊(duì)的例子。
IT服務(wù)性能動(dòng)態(tài)客戶(hù)滿(mǎn)意度評(píng)估算法可以生成用于支持客戶(hù)滿(mǎn)意度分析的多個(gè)報(bào)告。例如，如圖5所示，提供了兩個(gè)條目，其用于表明來(lái)自Raleigh的建筑物676中的因特網(wǎng)對(duì)等組體驗(yàn)到了性能問(wèn)題，這表明超過(guò)了對(duì)等組基準(zhǔn)。還示出了使用服務(wù)器(D03NM690)的電子郵件對(duì)等組體驗(yàn)到電子郵件服務(wù)的可用性問(wèn)題。
參照?qǐng)D4，定期地(例如，每天，或以根據(jù)所設(shè)置參數(shù)的其它頻率)運(yùn)行IT服務(wù)性能動(dòng)態(tài)客戶(hù)滿(mǎn)意度評(píng)估算法，并且向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)生成報(bào)告(S53)。此算法的一個(gè)目的是，分析性能和可用性測(cè)量，以便在傳統(tǒng)的調(diào)查方法可以提供以下這個(gè)認(rèn)知很久之前就能夠檢測(cè)到由終端用戶(hù)所察覺(jué)到的IT服務(wù)存在的潛在客戶(hù)滿(mǎn)意度問(wèn)題。此算法還使用上面為分析所描述的對(duì)等組定義。所提供的例子是來(lái)自建筑物676中的因特網(wǎng)。此外，可以動(dòng)態(tài)地修改所有閾值。
如果對(duì)等組的每日測(cè)量的特定百分比(例如75％)超過(guò)了公司標(biāo)準(zhǔn)(S54)，那么向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)產(chǎn)生報(bào)告(S59)。如果不是的話，那么所述算法檢查每日測(cè)量的某一百分比(例如，25％)是否超過(guò)了對(duì)等組基準(zhǔn)(S55)。如果是的話，那么向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)產(chǎn)生報(bào)告，以便表明對(duì)等組正體驗(yàn)到將會(huì)潛在地影響客戶(hù)滿(mǎn)意度的問(wèn)題(S60)。
所述算法為IT服務(wù)的業(yè)務(wù)小時(shí)計(jì)算可變性值，例如，標(biāo)準(zhǔn)偏差(S56)。然后把所計(jì)算的值與閾值3相比較(S57)。如果所計(jì)算的值超過(guò)了閾值3(諸如對(duì)等組目標(biāo))，那么向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)發(fā)送報(bào)告，以便表明對(duì)等組正體驗(yàn)到可能會(huì)影響客戶(hù)滿(mǎn)意度的可變響應(yīng)時(shí)間(S61)。
如果所計(jì)算的值不超過(guò)閾值3，那么所述算法檢查每日測(cè)量的特定百分比(例如，25％)是否被記錄為失敗的測(cè)量(S58)。如果是的話，那么向客戶(hù)滿(mǎn)意度團(tuán)隊(duì)產(chǎn)生報(bào)告，以便表明可能影響客戶(hù)滿(mǎn)意度的IT服務(wù)可用性問(wèn)題(S60)。
雖然已經(jīng)參考上面的示例性的、非限制性的實(shí)施例特別示出并描述了本發(fā)明的各個(gè)方面，但是本領(lǐng)域技術(shù)人員應(yīng)當(dāng)理解，可以在不脫離本發(fā)明的精神和范圍的情況下設(shè)想到各種另外的方面和實(shí)施例。
例如，本發(fā)明可以采取以下形式中的至少一個(gè)形式全硬件的實(shí)施例、全軟件的實(shí)施例、以及包含硬件和軟件元素的實(shí)施例。在示例性實(shí)施例中，用軟件來(lái)實(shí)現(xiàn)本發(fā)明，所述軟件包括但不局限于固件、駐留軟件、微代碼等。
此外，本發(fā)明可以采取可從計(jì)算機(jī)可用介質(zhì)、計(jì)算機(jī)可讀介質(zhì)中的至少一個(gè)存取的計(jì)算機(jī)程序產(chǎn)品的形式，所述介質(zhì)提供了用于由計(jì)算機(jī)和任何指令執(zhí)行系統(tǒng)使用或與其結(jié)合使用的程序代碼。為了此描述的目的，計(jì)算機(jī)可用介質(zhì)或計(jì)算機(jī)可讀介質(zhì)可以是能夠包含、存儲(chǔ)、傳送、傳播或運(yùn)送程序以供指令執(zhí)行系統(tǒng)、設(shè)備或裝置使用或與其結(jié)合使用的任何設(shè)備。
所述介質(zhì)可以是電、磁、光、電磁、紅外和半導(dǎo)體系統(tǒng)(或設(shè)備或裝置)和傳播介質(zhì)中的至少一個(gè)。計(jì)算機(jī)可讀介質(zhì)的例子包括半導(dǎo)體存儲(chǔ)器、固態(tài)存儲(chǔ)器、磁帶、可移動(dòng)的計(jì)算機(jī)盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、硬磁盤(pán)和光盤(pán)。光盤(pán)的當(dāng)前例子包括緊致盤(pán)-只讀存儲(chǔ)器(CD-ROM)、緊致盤(pán)-讀/寫(xiě)(CD-R/W)和DVD。
適于存儲(chǔ)和/或執(zhí)行程序代碼的數(shù)據(jù)處理系統(tǒng)包括至少一個(gè)處理器，所述處理器通過(guò)系統(tǒng)總線直接或間接地耦合到存儲(chǔ)器元件。存儲(chǔ)器元件可以包括在實(shí)際執(zhí)行程序代碼期間所使用的本地存儲(chǔ)器、大容量存儲(chǔ)設(shè)備和高速緩沖存儲(chǔ)器，所述高速緩沖存儲(chǔ)器用于臨時(shí)存儲(chǔ)至少一些程序代碼以便減少在執(zhí)行期間必須從大容量存儲(chǔ)設(shè)備中獲取代碼的次數(shù)。
輸入/輸出I/O設(shè)備(包括但不局限于鍵盤(pán)、顯示器、指示設(shè)備等)可以直接或經(jīng)由插入其間的I/O控制器耦合到所述系統(tǒng)。
還可以把網(wǎng)絡(luò)適配器耦合到所述系統(tǒng)，以便使數(shù)據(jù)處理系統(tǒng)能夠通過(guò)插入其間的專(zhuān)用或公共網(wǎng)絡(luò)耦合到其它數(shù)據(jù)處理系統(tǒng)或遠(yuǎn)程打印機(jī)或存儲(chǔ)設(shè)備。調(diào)制解調(diào)器、電纜調(diào)制解調(diào)器和以太網(wǎng)卡只是當(dāng)前可用類(lèi)型的網(wǎng)絡(luò)適配器中的幾種。
應(yīng)當(dāng)理解，包括上述細(xì)節(jié)的任何組合的方法落入根據(jù)所附權(quán)利要求及其任何等效內(nèi)容所確定的本發(fā)明的范圍中。
通過(guò)學(xué)習(xí)附圖、說(shuō)明書(shū)和所附權(quán)利要求，可以獲得本發(fā)明的其它方面、目的和優(yōu)點(diǎn)。
權(quán)利要求
1.一種用于確定IT服務(wù)的性能值的方法，所述方法包括為終端用戶(hù)計(jì)算機(jī)開(kāi)始性能測(cè)量；從所述終端用戶(hù)計(jì)算機(jī)向性能測(cè)量和分析引擎發(fā)送注冊(cè)請(qǐng)求，其中所述注冊(cè)請(qǐng)求包括唯一地標(biāo)識(shí)所述終端用戶(hù)計(jì)算機(jī)的屬性；確定是否已經(jīng)存儲(chǔ)了用于所述終端用戶(hù)計(jì)算機(jī)的簡(jiǎn)檔；如果尚未存儲(chǔ)用于所述終端用戶(hù)計(jì)算機(jī)的簡(jiǎn)檔，那么創(chuàng)建包括唯一地標(biāo)識(shí)所述終端用戶(hù)計(jì)算機(jī)的屬性在內(nèi)的簡(jiǎn)檔；確定是否已經(jīng)存儲(chǔ)對(duì)于所開(kāi)始的性能測(cè)量的、與所述終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的性能測(cè)量結(jié)果；如果尚未存儲(chǔ)對(duì)于所開(kāi)始的性能測(cè)量的、與所述終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的性能測(cè)量結(jié)果，那么向所述終端用戶(hù)計(jì)算機(jī)發(fā)送對(duì)應(yīng)于所開(kāi)始的性能測(cè)量的性能測(cè)試程序；以及在所述終端用戶(hù)計(jì)算機(jī)上執(zhí)行所述性能測(cè)試程序。
2.如權(quán)利要求1所述的方法，還包括從所述終端用戶(hù)計(jì)算機(jī)向目標(biāo)IT服務(wù)發(fā)布測(cè)試事務(wù)；從所述IT服務(wù)接收對(duì)應(yīng)于所述測(cè)試事務(wù)的相應(yīng)事務(wù)響應(yīng)；以及確定對(duì)應(yīng)于在發(fā)布所述測(cè)試事務(wù)和收到相應(yīng)事務(wù)響應(yīng)之間所過(guò)去的時(shí)間量的性能測(cè)試結(jié)果。
3.如權(quán)利要求2所述的方法，還包括向所述性能測(cè)量和分析引擎發(fā)送所述性能測(cè)試結(jié)果；檢驗(yàn)所述性能測(cè)試結(jié)果；為所述性能測(cè)試結(jié)果加上時(shí)間戳；以及存儲(chǔ)加上時(shí)間戳的性能測(cè)試結(jié)果。
4.如權(quán)利要求3所述的方法，還包括向性能測(cè)量和分析引擎發(fā)送用于表明性能測(cè)量已經(jīng)完成的通知，其中所述通知包括用于表明所述通知與直接響應(yīng)于所開(kāi)始的性能測(cè)試而采取的實(shí)際性能測(cè)量相關(guān)聯(lián)的指示、測(cè)量值和用于唯一地標(biāo)識(shí)所述終端用戶(hù)計(jì)算機(jī)的標(biāo)識(shí)符。
5.如權(quán)利要求2所述的方法，還包括確定所述性能測(cè)試結(jié)果是否超過(guò)第一閾值；如果所述性能測(cè)試結(jié)果超過(guò)了所述第一閾值，那么確定預(yù)定數(shù)目的、和所述終端用戶(hù)計(jì)算機(jī)與之相關(guān)聯(lián)的對(duì)等組相對(duì)應(yīng)的相關(guān)性能測(cè)試結(jié)果是否超過(guò)了所述第一閾值；以及如果所述性能測(cè)試結(jié)果沒(méi)有超過(guò)所述第一閾值，那么確定該預(yù)定數(shù)目的相關(guān)性能測(cè)試結(jié)果是否超過(guò)了第二閾值。
6.如權(quán)利要求1所述的方法，還包括從所述終端用戶(hù)計(jì)算機(jī)向目標(biāo)IT服務(wù)發(fā)布測(cè)試事務(wù)；從所述IT服務(wù)接收對(duì)應(yīng)于所述測(cè)試事務(wù)的相應(yīng)事務(wù)響應(yīng)；確定包括在發(fā)布所述測(cè)試事務(wù)和收到相應(yīng)事務(wù)響應(yīng)之間所過(guò)去的時(shí)間量的性能測(cè)試結(jié)果；確定所述性能測(cè)試結(jié)果是否超過(guò)了第一性能閾值。
7.如權(quán)利要求6所述的方法，還包括如果所述性能測(cè)試結(jié)果超過(guò)了所述第一性能閾值，那么確定與所述終端用戶(hù)計(jì)算機(jī)的對(duì)等組相關(guān)聯(lián)的多個(gè)對(duì)等組性能測(cè)試結(jié)果是否超過(guò)了所述第一性能閾值；并且如果與所述終端用戶(hù)計(jì)算機(jī)的對(duì)等組相關(guān)聯(lián)的多個(gè)對(duì)等組性能測(cè)試結(jié)果超過(guò)了所述第一性能閾值，那么確定是否已經(jīng)報(bào)告了問(wèn)題。
8.如權(quán)利要求6所述的方法，還包括如果所述性能測(cè)試結(jié)果尚未超過(guò)第一性能閾值，那么確定所述性能測(cè)試結(jié)果是否超過(guò)了第二性能閾值；并且如果所述性能測(cè)試結(jié)果尚未超過(guò)第二性能閾值，那么確定所述性能測(cè)試結(jié)果是否為失敗的測(cè)試結(jié)果。
9.如權(quán)利要求1所述的方法，還包括如果已經(jīng)存儲(chǔ)了對(duì)于所開(kāi)始的性能測(cè)量的、與所述終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的性能測(cè)量結(jié)果，那么指示對(duì)應(yīng)于所開(kāi)始的性能測(cè)量的預(yù)測(cè)結(jié)果。
10.一種用于評(píng)價(jià)IT服務(wù)的系統(tǒng)，所述系統(tǒng)包括用于為終端用戶(hù)計(jì)算機(jī)開(kāi)始性能測(cè)量的裝置；用于從所述終端用戶(hù)計(jì)算機(jī)向性能測(cè)量和分析引擎發(fā)送注冊(cè)請(qǐng)求的裝置；用于確定是否已經(jīng)存儲(chǔ)了用于所述終端用戶(hù)計(jì)算機(jī)的簡(jiǎn)檔的裝置；如果尚未存儲(chǔ)用于所述終端用戶(hù)計(jì)算機(jī)的簡(jiǎn)檔，那么創(chuàng)建包括唯一地標(biāo)識(shí)所述終端用戶(hù)計(jì)算機(jī)的屬性在內(nèi)的簡(jiǎn)檔的裝置；用于確定是否已經(jīng)存儲(chǔ)了對(duì)于所開(kāi)始的性能測(cè)量的、與所述終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的性能測(cè)量結(jié)果的裝置；如果尚未存儲(chǔ)對(duì)于所開(kāi)始的性能測(cè)量的、與所述終端用戶(hù)計(jì)算機(jī)相關(guān)聯(lián)的性能測(cè)量結(jié)果，那么向所述終端用戶(hù)計(jì)算機(jī)發(fā)送對(duì)應(yīng)于所開(kāi)始的性能測(cè)量的性能測(cè)試程序的裝置；和用于在所述終端用戶(hù)計(jì)算機(jī)上執(zhí)行所述性能測(cè)試程序的裝置。
11.如權(quán)利要求10所述的系統(tǒng)，還包括用于從所述終端用戶(hù)計(jì)算機(jī)向目標(biāo)IT服務(wù)發(fā)布測(cè)試事務(wù)的裝置；用于從所述IT服務(wù)接收對(duì)應(yīng)于所述測(cè)試事務(wù)的相應(yīng)事務(wù)響應(yīng)的裝置；和用于確定對(duì)應(yīng)于在發(fā)布所述測(cè)試事務(wù)和收到相應(yīng)事務(wù)響應(yīng)之間所過(guò)去的時(shí)間量的性能測(cè)試結(jié)果的裝置。
12.如權(quán)利要求11所述的系統(tǒng)，還包括用于確定所述性能測(cè)試結(jié)果是否超過(guò)了第一閾值的裝置；用于確定預(yù)定數(shù)目的、和所述終端用戶(hù)計(jì)算機(jī)與之相關(guān)聯(lián)的對(duì)等組相對(duì)應(yīng)的相關(guān)性能測(cè)試結(jié)果是否超過(guò)了所述第一閾值的裝置；用于確定所述性能測(cè)試結(jié)果是否不超過(guò)所述第一閾值的裝置；和用于確定該預(yù)定數(shù)目的相關(guān)性能測(cè)試結(jié)果是否超過(guò)了第二閾值的裝置。
13.一種用于確定IT服務(wù)的性能值的方法，所述方法包括為終端用戶(hù)計(jì)算機(jī)開(kāi)始性能測(cè)量；執(zhí)行性能評(píng)價(jià)程序，其中所述評(píng)價(jià)程序?qū)嵭杏伤鯥T服務(wù)所提供的至少一個(gè)服務(wù)；根據(jù)執(zhí)行所述性能評(píng)價(jià)程序的結(jié)果來(lái)確定關(guān)于所述IT服務(wù)是否存在潛在的客戶(hù)滿(mǎn)意度問(wèn)題；以及如果存在問(wèn)題，那么向終端用戶(hù)計(jì)算機(jī)的用戶(hù)和包括所述用戶(hù)的對(duì)等組中的至少一個(gè)報(bào)告所述潛在的客戶(hù)滿(mǎn)意度問(wèn)題。
14.如權(quán)利要求13所述的用于確定IT服務(wù)的性能值的方法，所述方法還包括把所述性能評(píng)價(jià)程序下載到所述終端用戶(hù)計(jì)算機(jī)上，其中所述終端用戶(hù)計(jì)算機(jī)連接到網(wǎng)絡(luò)；收集關(guān)于多個(gè)終端用戶(hù)計(jì)算機(jī)的性能評(píng)價(jià)數(shù)據(jù)；并且把所收集的關(guān)于多個(gè)終端用戶(hù)計(jì)算機(jī)的性能評(píng)價(jià)數(shù)據(jù)并入到所述潛在的客戶(hù)滿(mǎn)意度問(wèn)題的報(bào)告中。
15.如權(quán)利要求13所述的用于確定IT服務(wù)的性能值的方法，所述方法還包括組織關(guān)于與對(duì)等組的成員相對(duì)應(yīng)的終端用戶(hù)計(jì)算機(jī)的可用性和性能數(shù)據(jù)中的至少一個(gè)；根據(jù)對(duì)應(yīng)于所述對(duì)等組的終端用戶(hù)計(jì)算機(jī)的可用性和性能數(shù)據(jù)中的至少一個(gè)的實(shí)際測(cè)量，創(chuàng)建對(duì)等組基準(zhǔn)；從所述對(duì)等組的成員收集定性的調(diào)查結(jié)果；以及使所述定性的調(diào)查結(jié)果與關(guān)于終端用戶(hù)計(jì)算機(jī)的可用性和性能數(shù)據(jù)中的至少一個(gè)相關(guān)。
16.如權(quán)利要求13所述的用于確定IT服務(wù)的性能值的方法，所述方法還包括把所述終端用戶(hù)計(jì)算機(jī)的性能評(píng)價(jià)程序的結(jié)果與對(duì)等組結(jié)果相比較，其中所述對(duì)等組結(jié)果包括所述對(duì)等組的性能和可用性數(shù)據(jù)中的至少一個(gè)。
17.如權(quán)利要求13所述的用于確定IT服務(wù)的性能值的方法，所述方法還包括確定是否已經(jīng)為了所述終端用戶(hù)計(jì)算機(jī)報(bào)告了潛在的客戶(hù)滿(mǎn)意度問(wèn)題；以及向各自終端用戶(hù)計(jì)算機(jī)的至少一個(gè)用戶(hù)通知為了他們所采取的自動(dòng)化動(dòng)作。
全文摘要
一種用于估算IT服務(wù)的性能的方法和系統(tǒng)。程序工具被加載到終端用戶(hù)計(jì)算機(jī)上，所述終端用戶(hù)計(jì)算機(jī)針對(duì)所述終端用戶(hù)計(jì)算機(jī)所利用的特定服務(wù)來(lái)確定性能結(jié)果。把所述結(jié)果與至少一個(gè)閾值相比較，并且根據(jù)所述比較結(jié)果、以及對(duì)各個(gè)對(duì)等組成員是否也體驗(yàn)到了特定問(wèn)題的確定結(jié)果，報(bào)告所述問(wèn)題以便采取動(dòng)作。
文檔編號(hào)G06Q50/00GK101064035SQ20071008634
公開(kāi)日2007年10月31日 申請(qǐng)日期2007年3月13日 優(yōu)先權(quán)日2006年4月24日
發(fā)明者斯蒂格·A.·奧爾森, 拉爾夫·J.·波多克, 理查德·J.·謝夫蒂克 申請(qǐng)人:國(guó)際商業(yè)機(jī)器公司