專利名稱：通信系統(tǒng)的分層測試系統(tǒng)和方法—與實體相關(guān)的自動測試選擇的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般涉及通信，并且特別涉及用于診斷和/或監(jiān)控目的的通信系統(tǒng)的測試。
背景技術(shù)：
根據(jù)當(dāng)前的通信系統(tǒng)管理系統(tǒng)和技術(shù)，網(wǎng)絡(luò)運營商或其它個人手動選擇和執(zhí)行通信系統(tǒng)測試，來確定影響了在通信系統(tǒng)中運行的服務(wù)的服務(wù)性能降低或者其它觀測到的情況的根本原因。
這個過程一般耗費時間并且也需要高級技術(shù)，特別是在較大范圍內(nèi)或者復(fù)雜的通信系統(tǒng)中。例如，通信服務(wù)可能依賴許多潛在技術(shù)，其中任何一項都可能是形成觀測到的問題的原因。為了恰當(dāng)?shù)販y試這樣的服務(wù)，需要操作者首先精確調(diào)查服務(wù)的配置方式、服務(wù)依賴的技術(shù)、和那些技術(shù)的適當(dāng)?shù)臏y試。然后，任何測試將必須以正確的順序執(zhí)行。在常規(guī)系統(tǒng)中手動地執(zhí)行所有這些操作。
因此，例如，仍需要用于測試通信系統(tǒng)、對服務(wù)級問題進行故障診斷或者用于監(jiān)控服務(wù)的改進技術(shù)。

發(fā)明內(nèi)容
本發(fā)明的一些實施例旨在組織和管理通信系統(tǒng)的測試功能。例如，可提供分層通信服務(wù)保證系統(tǒng)，其中測試功能被安排到組，并且基于服務(wù)的拓樸，自動選擇要被測試的通信服務(wù)的具體測試功能。測試選擇也可能考慮支持通信服務(wù)的通信設(shè)備的能力。例如，可能一些通信網(wǎng)絡(luò)單元并不能夠執(zhí)行某種測試。這些能力也能用來控制測試的選擇。
測試功能，例如OAM(操作、管理和維護)測試，可以分成不同的“測試等級”，這基于通信系統(tǒng)中通信服務(wù)的結(jié)構(gòu)。如果具有較高等級的性能問題，例如通信服務(wù)等級，那么可能調(diào)用較低等級的測試來發(fā)現(xiàn)較高等級問題的根本原因。一個等級內(nèi)，可能有數(shù)個相關(guān)的可能是不同類型的測試功能。
一些實施例中，能自動生成一套通信系統(tǒng)實體元件的測試，如通信服務(wù)、協(xié)議層、或者通信設(shè)備。在通信系統(tǒng)中可以執(zhí)行所有生成的測試，或者僅被選擇的生成的測試。
根據(jù)本發(fā)明的一個方面，提供包括測試功能分類器和測試功能管理器的系統(tǒng)。配置測試功能分類器，來將通信系統(tǒng)的測試實體的測試功能分配到多個測試功能組中的一個測試功能組。測試功能管理器可操作地耦合到測試功能分類器，并且基于，在通信系統(tǒng)的實體與通信系統(tǒng)的其它實體之間的操作相關(guān)性，如果有的話，被配置來將所述實體與用于測試所述其它實體的測試功能組相關(guān)聯(lián)。
該實體可以包括下列一個或多個通信系統(tǒng)中支持的通信服務(wù)、通信系統(tǒng)中使用的通信協(xié)議棧的層，和包括通信系統(tǒng)的設(shè)備。
可以進一步配置測試功能管理器，來從與要被測試的實體相關(guān)的每個測試功能組中選擇在通信系統(tǒng)中要被執(zhí)行的測試功能。
在一些實施例中，系統(tǒng)還包括通信系統(tǒng)接口，所述接口可操作地耦合到測試功能管理器，用于將信息傳輸?shù)酵ㄐ畔到y(tǒng)。通過向通信系統(tǒng)傳輸信息，測試功能管理器也可以使得一個或多個測試功能在通信系統(tǒng)中執(zhí)行。
一些實施例中，進一步配置測試功能管理器來確定這樣的順序，按照該順序在通信系統(tǒng)中執(zhí)行每個被選擇的測試功能。
系統(tǒng)還可以包括接口，它用于接收一個或多個定義多個測試功能組中一個或多個測試功能組的輸入；在通信系統(tǒng)中控制哪些測試功能將被執(zhí)行的輸入；在通信系統(tǒng)中控制將執(zhí)行測試功能的順序的輸入；指定要被測試的實體的輸入；和指定其它實體的輸入，所述其它實體與要被測試的實體具有操作相關(guān)性，將針對所述要被測試的實體選擇測試功能。
測試功能組還包括具有多個測試功能子組的測試功能組，該測試功能子組包括測試各個不同類型的實體的測試功能。
測試功能組的一個或多個子組中由測試功能測試的實體，可以和由該測試功能組的其它子組中的測試功能測試的實體具有相同或不同的操作相關(guān)性。
可以進一步配置測試功能管理器，基于一個或多個實體和每個其它實體的測試能力，從每個分別與實體和每個其它實體相關(guān)的一個或多個測試功能組中，選擇測試功能，所述其它實體與所述實體具有操作相關(guān)性。
還提供了一種方法，包括定義安排測試功能的多個測試功能組，所述測試功能用于測試通信系統(tǒng)的實體，并且基于實體間的操作相關(guān)性的順序，定義多個測試功能組的相對順序。
該方法可以包括以下操作分配測試功能給多個測試組的測試組，并且基于在通信系統(tǒng)的實體和通信系統(tǒng)的其它實體之間的操作相關(guān)性，如果有的話，將所述實體與用于測試所述其它實體的測試功能組相關(guān)聯(lián)。
一些實施例中，該方法進一步包括，從與要被測試的實體相關(guān)的每個測試功能組中選擇將在通信系統(tǒng)中執(zhí)行的測試功能。也可以確定將在通信系統(tǒng)中執(zhí)行每個選擇的測試功能的順序。
順序包括順序條件，該條件導(dǎo)致下列中的一個或多個在測試功能確認正常的實體操作的情況下，停止測試功能的順序；在當(dāng)前測試功能顯示實體操作中的錯誤的情況下，執(zhí)行所述順序中的下一個測試功能；以及，基于當(dāng)前測試功能的結(jié)果，從多個測試功能中選擇下一個測試功能。
一些實施例中，該方法包括，基于一個或多個實體和每個其它實體的測試能力，從一個或多個測試功能組的每一個中選擇測試功能，所述測試功能組分別地與實體和與有實體具有操作相關(guān)性的每個其它實體相關(guān)。基于以下的一個或者多個來確定將執(zhí)行每個被選擇的測試功能的順序?qū)嶓w和每個其它實體之間的操作相關(guān)性，以及指定了測試功能順序的輸入。
該方法也可以包括下列中的一個或多個分析一個或多個選擇的測試功能的結(jié)果，以及提供對一個或多個選擇的測試功能的結(jié)果的表示。
根據(jù)發(fā)明的另一個方面的數(shù)據(jù)結(jié)構(gòu)包括標(biāo)識了用于測試通信系統(tǒng)的實體的測試功能的信息，指示多個測試功能組中的、已分配測試功能的測試功能組的信息，基于通信系統(tǒng)的實體和其它實體之間的操作相關(guān)性的順序，多個測試功能組具有相對順序。
發(fā)明的另一個方面提供了用戶接口，該接口包括各個可視單元，所述可視單元表示測試通信系統(tǒng)的實體的測試功能，測試功能包含分配給多個測試功能組的測試功能，每個測試功能組包括各自套用于測試通信系統(tǒng)的實體的一個或多個測試功能?？梢晢卧硎镜臏y試功能包括用于測試通信系統(tǒng)中被操作相關(guān)性關(guān)聯(lián)的實體的測試功能。
根據(jù)下列描述，對于本領(lǐng)域那些普通技術(shù)人員來說，本發(fā)明實施例的另外的方面和特征將變得明顯。


現(xiàn)在將參考附圖較詳細地描述本發(fā)明的實施例的例子，其中圖1是通信系統(tǒng)的框圖；圖2是測試功能組結(jié)構(gòu)例子的框圖；圖3是一對相連接的通信服務(wù)的框圖；圖4是通信系統(tǒng)的管理系統(tǒng)的框圖；圖5是通信系統(tǒng)測試方法的流程圖；圖6是用于定義和管理測試策略的UI(用戶接口)例子的框圖；圖7是測試組合UI的例子的框圖；
圖8是UI例子的框圖，在UI中顯示實體的測試組合；圖9是測試功能數(shù)據(jù)結(jié)構(gòu)的框圖；圖10是示出了包括在提供組合通信服務(wù)中的組分(component)通信服務(wù)的簡圖；圖11是表示組合通信服務(wù)的數(shù)據(jù)結(jié)構(gòu)的框圖；圖12是表示組合通信服務(wù)的服務(wù)連接器的數(shù)據(jù)結(jié)構(gòu)的框圖；和圖13是表示組合通信服務(wù)的組分通信服務(wù)的數(shù)據(jù)結(jié)構(gòu)的框圖。
具體實施例方式
圖1是通信系統(tǒng)的框圖。通信系統(tǒng)10包括具有網(wǎng)絡(luò)單元18、20、22、24、26、28、30的多個通信網(wǎng)絡(luò)12、14、16。通信網(wǎng)絡(luò)14的網(wǎng)絡(luò)單元24、26可操作地耦合到多個接入設(shè)備32、34，該多個接入設(shè)備為終端用戶提供到通信網(wǎng)絡(luò)14的接入。網(wǎng)絡(luò)單元18、20、22、24、26、28、30的任一個或所有可以由管理系統(tǒng)36來管理。
通信系統(tǒng)可以有許多不同拓樸，包括較多或較少的具有相似于或不同于圖1所示的設(shè)備的通信網(wǎng)絡(luò)。例如，不同的通信網(wǎng)絡(luò)可以使用不同的接入方案。如圖所示，終端用戶通過多個接入設(shè)備32、34訪問通信網(wǎng)絡(luò)14，然而，通過網(wǎng)絡(luò)單元30提供對通信網(wǎng)絡(luò)16更直接的終端用戶接入。因此，應(yīng)理解圖1的系統(tǒng)和其它圖形的內(nèi)容僅為了示例性目的，并且本發(fā)明決不被限制于圖中明確示出和這里描述的特殊示例性實施例。
交換機和路由器是網(wǎng)絡(luò)單元18、20、22、24、26、28、30表示的通信設(shè)備的類型的例子。除圖1明確所示的邊界或邊緣網(wǎng)絡(luò)單元外，通信網(wǎng)絡(luò)12、14、16也可以包括中間網(wǎng)絡(luò)單元，中間網(wǎng)絡(luò)單元通過通信網(wǎng)絡(luò)12、14、16發(fā)送通信業(yè)務(wù)量。因此任何或者所有的通信網(wǎng)絡(luò)12、14、16可以包括邊緣、核心、和/或其它類型的通信設(shè)備。在其它實施例中，這里公開的技術(shù)結(jié)合可以不必連接到網(wǎng)絡(luò)中的通信設(shè)備使用。因此，對通信設(shè)備和連接的參考應(yīng)作相應(yīng)解釋。
可由管理系統(tǒng)36提供管理通信網(wǎng)絡(luò)12、14、16的功能，來配置例如連接和服務(wù)、控制通信設(shè)備、和/或監(jiān)控網(wǎng)絡(luò)操作。盡管如圖1單個元件所示，在由不同的實體操作通信設(shè)備的情況下，可實現(xiàn)多個管理系統(tǒng)。下面參考圖4詳細描述管理系統(tǒng)的例子。其它管理或控制設(shè)備，如本地操作者終端，也可以在任何和所有通信網(wǎng)絡(luò)12、14、16中設(shè)置。
多個接入設(shè)備32、34將通信業(yè)務(wù)量分發(fā)給終端用戶設(shè)備和/或者接收來自終端用戶設(shè)備的通信業(yè)務(wù)量，所述用戶終端設(shè)備例如計算機系統(tǒng)，通過它生成和傳輸和/或接收和終止通信業(yè)務(wù)量。在與終端用戶的連接是DSL(數(shù)字用戶線)連接的情況下，例如，多個接入設(shè)備32、34可以是DSLAM(數(shù)字用戶線接入多路復(fù)用器)?？蛻暨吘壜酚善骱推渌蛻舳嗽O(shè)備是多個接入設(shè)備32、34的其它例子。
許多不同類型的網(wǎng)絡(luò)、接入和終端用戶通信設(shè)備及其操作，對于本領(lǐng)域的技術(shù)人員是明顯的。一般說來，可能通過一個或者多個通信網(wǎng)絡(luò)12、14、16，在源和目的地之間傳輸通信業(yè)務(wù)量。業(yè)務(wù)量在傳輸過程中可以在不同的協(xié)議或者格式之間轉(zhuǎn)換。如這里進一步詳細地討論的，通信業(yè)務(wù)量的轉(zhuǎn)換可以涉及通信系統(tǒng)10中支持的多個通信服務(wù)，例如在不同的通信網(wǎng)絡(luò)12、14、16中支持的通信服務(wù)，配置這些服務(wù)來協(xié)同提供組合通信服務(wù)。
在一個特定示例性實施例中，使用IP(因特網(wǎng)協(xié)議)或者MPLS(多協(xié)議標(biāo)記交換)在通信網(wǎng)絡(luò)12中發(fā)送業(yè)務(wù)量，通信網(wǎng)絡(luò)14、16是以太網(wǎng)絡(luò)，并且多個接入設(shè)備32、34是DSLAM。
但是，應(yīng)理解，本發(fā)明的實施例不受限于任何特殊類型的通信設(shè)備、傳輸機制、或者協(xié)議。本領(lǐng)域的技術(shù)人員熟悉使用本發(fā)明的實施例所結(jié)合的各種通信系統(tǒng)實施和服務(wù)。還可以設(shè)想，本發(fā)明的實施例可以應(yīng)用到隨后發(fā)展的通信系統(tǒng)和服務(wù)。
圖1還以服務(wù)點和其間互連的形式，示出了通信服務(wù)11、13、15。由于通信服務(wù)11、13、15通過通信設(shè)備和設(shè)備間的物理連接傳輸數(shù)據(jù)，在通信網(wǎng)絡(luò)12、14、16中通信設(shè)備支持這些服務(wù)。但是，通信網(wǎng)絡(luò)和其單元不可能具有任何類型的服務(wù)“意識”。例如，網(wǎng)絡(luò)單元不能正常地了解通信服務(wù)的全部拓樸，該拓撲通過在那個網(wǎng)絡(luò)單元處提供服務(wù)站點來建立。而且，通信設(shè)備一般不能區(qū)別相同通信服務(wù)的服務(wù)站點間的連接和不同通信服務(wù)的服務(wù)站點間的連接。很清楚，例如，當(dāng)服務(wù)站點之一的、通過它可訪問通信服務(wù)的SAP(服務(wù)接入點)，通過光纜實際上被連接到不同通信服務(wù)的另一個服務(wù)站點的SAP時，通信設(shè)備一般情況下是完全不知道的。
考慮這種情形的例子，其中整個系統(tǒng)10在例如NSM(網(wǎng)絡(luò)和服務(wù)管理系統(tǒng))管理系統(tǒng)36的管理之下，通過管理系統(tǒng)36可配置和管理通信設(shè)備和服務(wù)。管理系統(tǒng)36能用于提供任何它管理的網(wǎng)絡(luò)單元中的服務(wù)站點，在此例子中網(wǎng)絡(luò)單元包括所有的網(wǎng)絡(luò)單元18、20、22、24、26、28。
如圖1所示，服務(wù)站點17、19、21、23提供在網(wǎng)絡(luò)單元18、20中且被互連來建立通信網(wǎng)絡(luò)12中的通信服務(wù)11，服務(wù)站點25、27、31、33、35、37、39提供在網(wǎng)絡(luò)單元22、24、26中且被互連來提供通信網(wǎng)絡(luò)14中的通信服務(wù)13，而服務(wù)站點43、45、47、49在網(wǎng)絡(luò)單元28、30中被提供且被互連來提供通信網(wǎng)絡(luò)16中的另一個通信服務(wù)15。在不同服務(wù)之間連接這些服務(wù)站點中的一些，尤其是服務(wù)站點17/25、23/43，來建立使用所有單個通信服務(wù)11、13、15的組合通信服務(wù)。當(dāng)然，其它類型的服務(wù)站點和通信服務(wù)設(shè)備也是可能的。
在包括所有的通信服務(wù)11、13、15的組合通信服務(wù)的環(huán)境中，通信網(wǎng)絡(luò)12、14、16中的網(wǎng)絡(luò)單元18、20、22、24、26、28可以被認為是整個服務(wù)提供商網(wǎng)絡(luò)的一部分。
對于本領(lǐng)域技術(shù)人員來說，根據(jù)圖1，實際設(shè)備和通信服務(wù)之間的關(guān)系將是明顯的。通信服務(wù)有效地覆蓋通信設(shè)備。例如，網(wǎng)絡(luò)單元18/22、20/28之間的連接可以是物理連接，然而圖1的虛線所示的服務(wù)站點17/25、23/43之間的邏輯連接允許數(shù)據(jù)在服務(wù)站點之間通過物理連接傳輸。
組合通信服務(wù)是實體的一個例子，這里公開的技術(shù)可以應(yīng)用于此實體。下面進一步詳細地考慮組合通信服務(wù)的特定例子。但是，應(yīng)理解本發(fā)明的實施例也可以或者代替地結(jié)合其它類型的實體使用。
通過通信服務(wù)，或者更一般地通信系統(tǒng)的任何實體，通信業(yè)務(wù)量傳輸可涉及多個基本實體。例如，通信網(wǎng)絡(luò)12中提供的通信服務(wù)11可以包括通過傳輸協(xié)議上建立的邏輯連接來傳輸通信業(yè)務(wù)量，所有傳輸協(xié)議都運行在物理通信設(shè)備上。通信服務(wù)11可以被認為是通信系統(tǒng)10的一個實體，通信系統(tǒng)10可操作地依靠系統(tǒng)的另外的實體。除非通信服務(wù)11的邏輯連接正確操作，否則通信服務(wù)11不能正確操作，這依次受傳輸協(xié)議和物理設(shè)備操作的影響。
因此，應(yīng)理解存在著所有這些實體的操作相關(guān)性的順序，實體即通信服務(wù)、連接、傳輸和物理設(shè)備。
此類分層技術(shù)用于數(shù)據(jù)網(wǎng)絡(luò)以實現(xiàn)如有效診斷和寬帶管理這樣的技術(shù)特征。典型的服務(wù)提供商數(shù)據(jù)網(wǎng)絡(luò)可能從使用以太網(wǎng)和SONET/SDH(同步光纖網(wǎng)/同步數(shù)字系列)技術(shù)的物理層開始。有多種分層方法來通過服務(wù)提供商網(wǎng)絡(luò)傳送數(shù)據(jù)，其中包括TCP(傳輸控制協(xié)議)/IP/以太網(wǎng)/MPLS/IP/PPP(點對點協(xié)議)/SONET和UDP(用戶數(shù)據(jù)報協(xié)議)/IP/以太網(wǎng)/ATM(異步傳輸模式)/MPLS/IP/以太網(wǎng)。如上所述，在較高層觀測到的問題的根本原因很可能來自較低層。因此，好的診斷機制應(yīng)該具有內(nèi)置分級層意識。
圖2是測試功能組結(jié)構(gòu)的例子的框圖。如所示，根據(jù)分層結(jié)構(gòu)40，可以安排或分類測試通信系統(tǒng)的各種實體的測試功能。結(jié)構(gòu)40包括組50、60、70、80、90、100、110，這些組具有基于可測試實體的操作相關(guān)性的順序。
圖2示出的組、測試功能、可測試實體、和順序僅僅表示例子，并且不限制發(fā)明的范圍。例如，對于不同通信網(wǎng)絡(luò)和/或者協(xié)議棧實施，特定的操作相關(guān)性可以變化。本領(lǐng)域技術(shù)人員將熟悉各種類型的通信系統(tǒng)，本發(fā)明的實施例結(jié)合這些通信系統(tǒng)使用。還可以設(shè)想，本發(fā)明的實施例可以應(yīng)用到以后發(fā)展的通信系統(tǒng)和服務(wù)。圖2示的表格也不總意味著測試等級間自頂向下的關(guān)系。例如，由組90中測試功能測試的實體可以在操作上與相同組中或者較高組中的另一種技術(shù)相關(guān)。例如，RSVP(資源預(yù)留協(xié)議)上的LDP(標(biāo)記分配協(xié)議)可能具有依靠組90內(nèi)的另一個條目的組90內(nèi)的條目。
結(jié)構(gòu)40中的最高組50包括用于測試通信系統(tǒng)的應(yīng)用實體的測試功能。組50中的測試功能進一步被安排到用于測試不同類型應(yīng)用實體的子組52、54、56，不同類型應(yīng)用實體分別包括DHCP(動態(tài)主機配置協(xié)議)應(yīng)用實體、UDP/TCP應(yīng)用實體，和DNS(域名系統(tǒng))應(yīng)用實體。組50中的測試功能包括DHCP子組52中的DHCP查找功能、UDP/TCP子組54中的UDP/TCP探測功能、和DNS子組56中DNS查找功能。
范例性結(jié)構(gòu)40中的下一個測試功能組60包括用于測試服務(wù)實體的測試功能，處于下一個較高等級的應(yīng)用實體依賴于該服務(wù)實體。此處這個概念被稱為操作相關(guān)性。例如，可以認為服務(wù)實體為應(yīng)用實體提供傳輸。更一般地，操作相關(guān)性可以存在于實體之間，所述實體與在相同或不同等級上的測試功能和測試功能組相關(guān)。
與測試功能組50中的測試功能一樣，組60中的測試功能被安排為子組62、64、66、68、69，這些子組對應(yīng)不同類型的服務(wù)，即VLL(虛擬租用線路)服務(wù)、VPLS(虛擬專用局域網(wǎng)服務(wù))、IES(互聯(lián)網(wǎng)增強服務(wù))、MPLS/BGP VPN(多協(xié)議標(biāo)記交換/邊界網(wǎng)關(guān)協(xié)議虛擬專用網(wǎng))，有時也參考3層VPN或者VPRN(虛擬專用路由網(wǎng)絡(luò))，和VLAN(虛擬局域網(wǎng))服務(wù)，本領(lǐng)域那些技術(shù)人員應(yīng)熟悉所有這些服務(wù)。每一個子組包括用于測試服務(wù)實體的各個類型的測試功能。
VLL子組62包括MAC(媒體接入控制)填充、MAC清除、MAC-ping、和MAC跟蹤測試功能，如在61所示。VPLS子組64也包括MAC-ping、MAC跟蹤、MAC填充、和MAC清除測試功能，以及CPE(客戶端設(shè)備)-ping和MFIB(多播轉(zhuǎn)發(fā)信息庫)-ping測試功能，如在63所示。如果有的話，IES測試功能將包括在子組66中。MPLS/BGP VPN子組68中的測試功能65包括ping和跟蹤功能。VLAN子組69包括MAC-ping和MAC跟蹤測試功能67。
當(dāng)要測試對應(yīng)實體時，子組中的任何或者所有測試功能可以在通信系統(tǒng)中執(zhí)行。將執(zhí)行的測試功能可以由用戶自動地或者手動選擇。在一些實施例中，自動選擇測試功能組或子組中所有測試功能，然后，用戶選擇實際將執(zhí)行那些測試功能中的哪些。并且在一些實施例中，基于與將測試的實體相關(guān)的信息，自動地選擇測試功能組或子組的子集。
這應(yīng)該從組60中注意，組和/或子組的分配并不是唯一的。盡管在通信系統(tǒng)中特定協(xié)議或者分級等級處，每個測試功能組包括用于測試實體的測試功能，但是在那個等級上相同測試功能可以用來測試一種以上實體的類型。例如，測試功能子組62、64、69都包括MAC-ping和MAC跟蹤測試功能。
由相同測試功能組的不同子組功能的測試功能所測試的實體不可能具有相同的操作相關(guān)性。例如，通過比較VLAN子組69和MPLS/BGP VPN子組68，這將是明顯的。然而，MPLS/BGP VPN子組68在結(jié)構(gòu)40內(nèi)被安排高于組70、80、90、100和110，子組69僅排在組110上。
在一個實施例中，通信服務(wù)的通信業(yè)務(wù)量經(jīng)由通信路徑傳輸，所述通信路徑通過不定向綁定與通信服務(wù)在邏輯上相關(guān)。測試功能組70和80包括各自的用于測試綁定和該通信路徑的測試功能。使用svc(服務(wù))-ping測試功能74，可測試綁定實體，這里綁定實體被稱為電路。使用ping功能84可測試通信路徑，該通信路徑也可被稱為管道或隧道。路徑實體測試功能的特定屬性將取決于被測試的路徑的類型。
圖2中，出于說明的目的，已單獨地示出組70、80的子組72、82。包括只對一種實體測試的測試功能組，如70，不必必須包括子組。但是，測試功能安排成子組有利于測試組的未來擴展，以包括在相同等級上用于其它類型實體的測試功能。例如，單個子組72可以被定義在結(jié)構(gòu)40中，這樣，如果隨后定義另一個子組，測試功能74已經(jīng)分配給子組。
根據(jù)子組82這將是明顯的，用于不同類型實體的測試功能可以包括在相同的組/子組。因此，子組分類是可選的，并且可以不必在所有的實施例中實施。
測試功能組90，用于圖2中范例性結(jié)構(gòu)中的傳輸?shù)燃壍膶嶓w，包括子組92、94、96、98，用于包括測試LSP(標(biāo)記變換路徑)實體、LDP實體、RSVP實體和GRE(通用路由封裝)實體的測試功能。LSP子組92包括LSP-ping和LSP跟蹤功能91，并且LDP子組94包括LDP跟蹤和LDP-ping功能93。用于測試RSVP實體和GRE實體的測試功能分別包括在子組96、98中。
測試功能組90也說明測試功能組可以在結(jié)構(gòu)40中不同子等級處包括子組92、94/96。例如，使用LDP或者RSVP會話建立了LSP。如果LDP/RSVP會話失敗，那么LSP可能下降。在一些網(wǎng)絡(luò)單元上，許多LSP可以共享相同的LDP或者RSVP會話。
在結(jié)構(gòu)40中下一個較低等級處是路由網(wǎng)絡(luò)等級，在此等級上測試功能組100包括用于IP單播和IP多播實體測試功能101、103、105的子組102、104。IP單播測試功能101包括ICMP(因特網(wǎng)控制報文協(xié)議)-ping和ICMP跟蹤功能，并且IP多播測試功能103、105包括狀態(tài)、信息、跟蹤、和mgmt(管理)功能。例如，跟蹤功能可以使用IGMP(因特網(wǎng)組管理協(xié)議)的擴展，用于在網(wǎng)絡(luò)中跟蹤多播業(yè)務(wù)量?？梢园凑张c跟蹤功能相似的方式支持狀態(tài)功能，但提供不同的輸出。信息功能用于從鄰近的路由器/服務(wù)找回涉及多播的路由器信息，并且管理功能用于監(jiān)控多播路由器操作。
結(jié)構(gòu)40中的最低等級組110與OSI1層和2層(L1/L2)實體相關(guān)，所述實體包括ATM實體、幀中繼實體、POS(SONET上的分組)實體和以太網(wǎng)實體，每一個實體具有對應(yīng)的子組112、114、116、118。在111中作為ATM實體測試功能的例子示出了ATM-ping，并且在113中作為以太網(wǎng)實體測試功能的例子示出了MAC-ping和MAC跟蹤。用于幀中繼和POS實體的測試功能將包括在子組114、116中。
并不是圖2的結(jié)構(gòu)40中所有的子組都包括測試功能。例如，測試功能組結(jié)構(gòu)和順序可以基于將在通信系統(tǒng)中提供的服務(wù)實體的預(yù)期的操作相關(guān)性進行定義，然后當(dāng)在通信系統(tǒng)中實際配置服務(wù)和/或者測試功能時，用于對測試功能進行分類。
本領(lǐng)域技術(shù)人員將熟悉圖2中明確示出的各種測試功能。盡管在常規(guī)系統(tǒng)中這些測試功能是可用的，但是這些測試沒以如圖2所示的任何特定方式安排。用于特定實體的測試功能可以手動地被識別和執(zhí)行。常規(guī)系統(tǒng)不考慮實體間任何種類的操作相關(guān)性，用于分類測試功能或者發(fā)展用于可測試實體的測試計劃或者組合。
下面將參考圖3基于測試功能結(jié)構(gòu)40描述完整的測試過程的例子，圖3是一對連接的通信服務(wù)的框圖。
圖3的多服務(wù)系統(tǒng)120的例子包括兩個服務(wù)122、124，它們由連接126可操作地耦合，所述連接例如一對不定向通信路徑127、129。例如，通過將每個服務(wù)122、124綁定到相同的隧道，可以建立路徑127、129。
每個服務(wù)122、124包括通過網(wǎng)狀連接131/133/135、141/143/145互相連接的多個服務(wù)站點132/134/136、142/144/146。服務(wù)站點136、142通過連接126連接，并且其它的服務(wù)站點可以可操作地耦合到其它SAP，可通過SAP訪問服務(wù)122、124。
例如，假設(shè)圖3中的服務(wù)1和2是VPLS服務(wù)，并且通過特定VPLS，例如服務(wù)1，操作者得知通信業(yè)務(wù)量似乎比預(yù)期的慢。在一些實施例中能自動檢測此類性能問題。
例如，在所有站點仍有其正常連通性的情況下，到/從服務(wù)站點132/134/136或者在所述服務(wù)站點的哪些之間的通信業(yè)務(wù)量實際上受到影響，是不可能立即明的。發(fā)明的實施例允許操作者或者其他人員選擇VPLS實體自身進行測試，而不是必須手動地跟蹤通信系統(tǒng)中的VPLS服務(wù)和其操作相關(guān)性。該選擇也能是自動功能，當(dāng)檢測到影響可測試實體的錯誤或者退化時，和/或者基于服務(wù)的修改(創(chuàng)建服務(wù)、增加新的服務(wù)站點、改變隧道等)執(zhí)行該自動功能，以便于檢驗服務(wù)的連通性和性能。
此例中的測試可能以CPE-ping功能開始，該功能測試連接到VPLS服務(wù)站點的每個SAP和它的相應(yīng)CPE之間的連接?；贑PE-ping功能，可能確定沿著從站點136到站點142方向上的業(yè)務(wù)量已下降。分組丟失、站點136、142之間的高平均往返時間、和/或出(站點136到站點142)和入(站點142到站點136)業(yè)務(wù)量特性可以可指示在連接129上的沿此方向的問題。
現(xiàn)在參考圖2和3，這個問題可能歸因于服務(wù)122和通信路徑之間的綁定，它在此通信路徑或者較低等級上傳輸通信業(yè)務(wù)量。如果服務(wù)ping功能指示正常的綁定操作，那么由沿著從站點136到站點142的方向的服務(wù)122使用的隧道可能正是問題的來源。再次，能執(zhí)行該等級的測試功能。所述測試功能可以恰好覆蓋服務(wù)傳輸?shù)燃墸蛘哌€包括LSP等級測試功能，等等。
以這種方式，根據(jù)實體對于通信系統(tǒng)的其它實體的操作相關(guān)性，所述實體可以與多個測試功能組相關(guān)。在常規(guī)系統(tǒng)中，必須手工地發(fā)現(xiàn)這樣的操作相關(guān)性來識別和執(zhí)行合適的測試。發(fā)明的實施例通過自動確定測試功能簡單化這個過程，該測試功能不僅用于將要測試的實體還可以用于與將要測試的實體具有操作相關(guān)性的其它實體。操作相關(guān)性可用于在實體之間“跨越”、“上”、“下”移動。
考慮上面的例子，通常VPLS將僅與63處示出的VPLS測試功能相關(guān)。但是，根據(jù)發(fā)明的實施例，VPLS不僅與VPLS特定測試功能相關(guān)，而且與用于測試其它實體的測試功能相關(guān)，所述其它實體與VPLS具有操作相關(guān)性。
從下面圖4的描述中這些和其它有關(guān)的測試功能的特征將變得明顯，圖4是通信系統(tǒng)的管理系統(tǒng)的框圖。
圖4示出了示意性的管理系統(tǒng)150范例，它包括配置/管理接口152、可操作地耦合到配置/管理接口152的測試功能分類器157、可操作地耦合到配置/管理接口152和測試功能分類器157的測試功能管理器159、可操作地耦合到測試功能管理器159的通信系統(tǒng)接口154、和可操作地耦合到測試功能分類器157和測試功能管理器159的存儲器158。如所示，可以使用處理器156實現(xiàn)測試功能分類器157和測試功能管理器159。
可以作為通信系統(tǒng)的全部管理解決方案的一部分提供實現(xiàn)發(fā)明的實施例的管理系統(tǒng)，并且因此可結(jié)合圖4沒明確顯示的其它元件和功能來操作。因此，發(fā)明的實施例可以包括進一步的、較少的、和/或不同的元件，這些元件以與所示相似或不同的方式可操作地耦合。另外，圖4所示的特定功能劃分也僅用于說明的目的。在其它實施例中，可以用兩個以上元件或者模塊，或者以單一的元件和模塊，提供分類器157和管理器159的功能。
圖4的元件之間互連類型將至少在某種程度上是與實施相關(guān)的。在系統(tǒng)150的元件用硬件實現(xiàn)的情況下，通過諸如計算機系統(tǒng)總線的物理連接器提供所述互連。在一些實施例中，至少分類器157和管理器159在由處理器156執(zhí)行的軟件中實現(xiàn)。此種情況下，這些元件之間可操作耦合可替代地是邏輯的。例如，分類器157和管理器159可以訪問存儲器158中相同的數(shù)據(jù)結(jié)構(gòu)，由此數(shù)據(jù)結(jié)構(gòu)表示分類器157和管理器159之間的邏輯可操作連接。
配置/管理接口152可以包括用于接收用戶的輸入和/或給用戶提供輸出的一個或多個設(shè)備。例如，用戶可以使用鍵盤和鼠標(biāo)，通過輸入或選擇信息來執(zhí)行測試控制/管理任務(wù)，且通過在顯示器上呈給用戶的信息可簡化這些任務(wù)。例如，配置/管理接口152可以支持任何或全部OSSI(操作支持系統(tǒng)接口)和GUI(圖形用戶接口)等，所述OSSI接收來自另一個系統(tǒng)的命令和/或其它輸入。例如，可使用諸如應(yīng)用程序接口的接口來提供對OSSI的支持，以允許外部系統(tǒng)與管理系統(tǒng)150交互。
在可能的本發(fā)明的實施例的大多數(shù)實施中，管理系統(tǒng)150將與通信系統(tǒng)通信。通信系統(tǒng)接口154包括發(fā)射機、接收機、或者例如以收發(fā)機的形式兩者兼有，來實現(xiàn)這樣的通信。如下面進一步的詳述，在要執(zhí)行測試功能時，管理系統(tǒng)150可以發(fā)送測試和/或控制信號給通信系統(tǒng)中的通信設(shè)備。管理系統(tǒng)150也可接收諸如來自通信系統(tǒng)的測試信號響應(yīng)和/或測試功能結(jié)果的信息。
本領(lǐng)域技術(shù)人員應(yīng)理解，通信系統(tǒng)接口154的特定結(jié)構(gòu)和操作依賴于管理系統(tǒng)150與之通信的特定通信系統(tǒng)和設(shè)備、管理系統(tǒng)150和通信系統(tǒng)之間使用的介質(zhì)和協(xié)議、以及管理系統(tǒng)150是否發(fā)送、接收或者既發(fā)送信息到通信系統(tǒng)又從通信系統(tǒng)接收信息。
測試功能分類器157和測試功能管理器159可以用硬件、軟件或者用軟硬件的某種組合來實現(xiàn)，其中，軟件由諸如如微處理器、ASIC(專用集成電路)、FPGA(現(xiàn)場可編程門陣列)或者其它類型的處理單元的處理器156來執(zhí)行。盡管圖4示出單個處理器156，但也可設(shè)想多處理器實現(xiàn)，其中使用一個以上處理器單元實現(xiàn)分類器157和管理器159。同樣地，使用硬件或軟件，可以部分或者全部實現(xiàn)管理系統(tǒng)150的其它元件。
存儲器158可以包括一個或多個相同或不同類型的存儲器設(shè)備。例如，固態(tài)存儲設(shè)備和使用移動和/或可拆卸存儲介質(zhì)的設(shè)備是存儲器158可包括的存儲器設(shè)備的類型。應(yīng)當(dāng)理解，例如，對于如所示的管理系統(tǒng)150、或者管理系統(tǒng)可訪問的服務(wù)器的遠端存儲而言，存儲器158是本地的。在一個實施例中，存儲器78用于實現(xiàn)數(shù)據(jù)庫系統(tǒng)。
在操作中，測試功能分類器157將用于測試通信系統(tǒng)的實體的測試功能分配給大量測試功能組中的一個。測試功能管理器159將通信系統(tǒng)的實體與一組用于測試通信系統(tǒng)的不同實體的測試功能相關(guān)聯(lián)。將可測試實體與對應(yīng)于不同實體的測試功能組的聯(lián)系是基于，如果有的話，兩個實體間的操作相關(guān)性，并且也可能是支持可測試實體的通信設(shè)備的測試性能和/或其它特性。例如，如上所述，一個實體可以在操作上依賴于其它實體。
例如根據(jù)圖2的描述，這也是明顯的，在要被測試的實體有多個操作相關(guān)性的情況下，要被測試的實體可以與一個以上其它實體的測試功能組相關(guān)。通過服務(wù)實體、服務(wù)傳輸綁定實體、服務(wù)傳輸實體、傳輸實體、路由網(wǎng)絡(luò)實體，和L1/L2實體，應(yīng)用實體可以具有多個相關(guān)性。因此，如果應(yīng)用實體要被測試，例如當(dāng)用戶通過選擇UI中應(yīng)用實體的表示調(diào)用測試功能時，應(yīng)用測試功能組和其它測試功能組可以與要被測試的應(yīng)用實體相關(guān)。任何或所有相關(guān)的測試功能組可以用來生成實體的測試計劃。
其中，通信系統(tǒng)的可測試實體可以包括在通信系統(tǒng)中支持的通信服務(wù)、在通信系統(tǒng)中使用的通信協(xié)議棧的層，和包括通信系統(tǒng)的設(shè)備。
測試功能管理器159可以從每個與要被測試的實體相關(guān)的測試功能組選擇一個或多個測試功能。通過通信系統(tǒng)接口154，測試功能管理器159可以發(fā)送信息到通信系統(tǒng)，以使得每個被選擇的測試功能被執(zhí)行。發(fā)送的信息可以包括測試信號或者實際執(zhí)行測試中涉及的其它信息，和/或控制信號，所述發(fā)送的信息命令通信系統(tǒng)的其它元件執(zhí)行選擇的測試功能。
測試功能管理器159還確定選擇的測試功能將被執(zhí)行的順序。基于圖2所示的層中測試功能組的順序，可以確定測試功能順序。也可考慮測試功能順序的外部控制。例如，用戶可通過OSSI輸入順序信息，該信息具有經(jīng)由配置/管理接口152在系統(tǒng)150被接收的信息。
輸入也可以或者替代地定義或者修改任何或所有的測試功能組，和/或為可測試實體選擇要被執(zhí)行的特定測試功能。例如，最初定義的一套測試功能組可能不應(yīng)用于隨后配置的、諸如新的通信服務(wù)的可測試實體。在此情況下，可修改這套測試功能組的結(jié)構(gòu)以包括例如新的子組，或著可以用新的一套測試功能組代替現(xiàn)存的一套。在配置測試功能管理器159以自動從所有相關(guān)測試功能組中選擇所有測試功能的情況下，選擇要被執(zhí)行的測試功能是有用的。然后，通過從生成的測試組合(test suite)中移出不必要的或不期望的測試功能，用戶可具有對測試功能的最終控制，以限制執(zhí)行的測試功能的數(shù)目。
圖5是通信系統(tǒng)測試方法的流程圖。方法160在162以定義用于安排測試功能的測試功能組的操作開始。測試功能組安排測試功能，以測試通信系統(tǒng)的各個實體。然后，基于由組的測試功能測試的可測試實體之間的操作相關(guān)性順序，在164定義測試功能組的相對順序。圖2中示出了并且上面描述了一套測試功能組的例子，該測試功能組具有反映通信系統(tǒng)的分層結(jié)構(gòu)的相對順序。
例如，測試組結(jié)構(gòu)可在162、164處由用戶定義，或者由管理系統(tǒng)或者管理軟件的制造商預(yù)先定義。還考慮具有兩類測試組結(jié)構(gòu)定義的實施例。例如，如上所述，當(dāng)在通信系統(tǒng)配置新的服務(wù)時，用戶可修改或者替代現(xiàn)存的測試組結(jié)構(gòu)以便與與這些服務(wù)一致。盡管在多數(shù)實施例中162、164處的操作將僅執(zhí)行一次，本發(fā)明決不排除新測試組結(jié)構(gòu)的定義或者現(xiàn)存的測試組結(jié)構(gòu)的修改。
在166，測試功能被分類，即，被指定給測試功能組。測試功能可基于它打算測試的特定實體由用戶手動地分類或者由管理系統(tǒng)自動地分類。一些測試功能能夠在通信系統(tǒng)的不同結(jié)構(gòu)上或者協(xié)議等級上測試不同實體，并且因此可以被分配給多個組。例如，參考圖2，可使用MAC-ping功能測試VLL、VPLS、VLAN、和以太網(wǎng)實體，并且因此被分配給多個測試功能組60、110和子組62、64、69、118。例如，盡管有點不同地配置MAC-ping功能以測試這些具有不同的源和目的地址的不同實體，但測試功能本身以實質(zhì)上相同的方式操作來測試所有這些實體。
該方法在168，進行將通信系統(tǒng)的實體和用于測試通信系統(tǒng)的另一個實體的一組測試功能組相關(guān)聯(lián)的操作。這基于所述實體和所述其它實體間的操作相關(guān)性，如果有一個相關(guān)性存在的話。例如，可以從儲存在存儲器158(圖4)的數(shù)據(jù)庫中的配置信息中檢測操作相關(guān)性。配置信息的分析能揭示，例如通信服務(wù)的實體是否并且怎樣依賴于它自己的業(yè)務(wù)站點和/或其它實體之間的連接、那些連接是否和怎樣依賴于任何基本技術(shù)，等等，直到通信業(yè)務(wù)量的傳輸依賴的最低的物理元件。操作相關(guān)性也可以或替代地在相反的“向上”方向上被被跟蹤，以建立實體和測試功能組之間的關(guān)聯(lián)。
然后，在169從每一個與要被測試的實體相關(guān)的測試功能組選擇測試功能，并且也可以在通信系統(tǒng)中執(zhí)行任何或所有選擇的測試功能。要被執(zhí)行的測試功能的最后選擇可以依賴于輸入，如從用戶接收的輸入。例如，測試功能可從自動選擇的測試功能的列表中移出，也可加到該列表中。選擇的測試功能要被執(zhí)行的順序可以類似地自動和/或基于輸入進行確定。
應(yīng)理解，圖5的方法160僅用于說明的目的，并且不限制發(fā)明的范圍。發(fā)明的實施例可涉及進一步的、較少的或者不同的操作，所述操作可以類似于或不同于所示的順序執(zhí)行。根據(jù)以上對圖2、3和4的描述，執(zhí)行圖5所示的操作的各種方法、和在一些實施例中執(zhí)行的進一步的操作，對本領(lǐng)域技術(shù)人員來說將是明顯的。也可以考慮其它的變體。
例如，根據(jù)預(yù)定的進度表，自動調(diào)用實體的測試功能的順序。服務(wù)提供商可以希望周期性地測試通信服務(wù)以確保滿足SLA(服務(wù)級協(xié)定)。手動地調(diào)用測試功能順序也是可能的，例如其中用戶能根據(jù)顯示的通信系統(tǒng)的表示，選擇可測試實體。
一些實施例中提供的另一個可能特征是變化的測試功能的順序。測試功能的順序沒必要僅指定要被執(zhí)行測試功能的順序。順序可以包括一個或多個順序條件，例如如果測試功能肯定了正常的實體操作，使得測試功能的順序停止。在此情況下，正常的測試功能結(jié)果可能顯示問題的根本原因在于先前測試的實體，其中測試功能順序通過通信系統(tǒng)的分層等級“向下”移動。如果當(dāng)前測試功能顯示在實體的操作中的錯誤，類似的測試功能順序條件可以導(dǎo)致測試功能順序繼續(xù)進行順序中下一個測試功能的執(zhí)行。分支條件也可以或替代地包括在測試功能順序中?；诋?dāng)前測試功能的結(jié)果，此類條件將導(dǎo)致從幾個可能的測試功能中選擇下一個測試功能。
當(dāng)測試功能的結(jié)果變得可用時，可被執(zhí)行的隨后的動作包括分析任何或所有測試功能的結(jié)果和提供一個或多個測試功能的結(jié)果的表示。例如，在一套預(yù)定或用戶定義的規(guī)則中，指定這些動作?？梢葬槍γ總€結(jié)構(gòu)/測試的等級、針對每個實體類型、或者針對特定的可測試實體，建立結(jié)果處理規(guī)則。例如，這些規(guī)則類型的組合也是可能的，例如針對通信服務(wù)實體建立一套默認的規(guī)則以及針對VPLS實體建立一套特定規(guī)則。
也可以考慮這些規(guī)則的用戶控制。例如，在一些實施例中，可以用相似的方式給用戶提供規(guī)則組修改、測試功能選擇和/或順序控制，由此用戶可從規(guī)則組移出規(guī)則或向規(guī)則組增加規(guī)則。
圖6是定義和管理測試策略的UI的框圖。測試策略是用于設(shè)計可測試實體的測試計劃的可能機制的例子，并且包括一套測試功能定義和處理規(guī)則。當(dāng)已經(jīng)定義了測試策略實體類型要被測試時，共同的測試策略可被定義并且以后被參考。一般說來，策略與實體類型相關(guān)，這約束了可應(yīng)用于策略的測試功能。
應(yīng)理解，本發(fā)明決不受限于圖6所示的特定UI170，或隨后的圖中所示的其它UI。不同的布局、信息、和/或功能可被顯示給用戶，以促進通信系統(tǒng)的測試功能的配置和管理。也應(yīng)理解，通過圖形的用戶接口之外的其它類型的接口，如XML(擴展標(biāo)記語言)配置、OSSI、等等，可實現(xiàn)這些任務(wù)。
由策略創(chuàng)建者單獨定義，或者使用測試功能模板定義策略的測試功能，其包括與諸如MAC-ping的測試功能有關(guān)的特定類型的信息。在策略配置過程中可定義模板中任何未定義的參數(shù)。
處理規(guī)則可以指定這樣的測試功能控制參數(shù)，如測試功能執(zhí)行的順序、將怎樣處理測試功能結(jié)果，和/或怎樣呈現(xiàn)結(jié)果。更復(fù)雜的處理規(guī)則能指定如上所述的那些順序條件和動作。這些規(guī)則，如測試功能，可以基于預(yù)定義模板，以簡化用于測試策略的規(guī)則的配置。
一旦選擇了管理系統(tǒng)中的創(chuàng)建策略、編輯策略、刪除策略、或者其它相關(guān)策略功能，圖6中所示的UI170就可以被顯示給用戶。例如，用戶可以從現(xiàn)有的測試策略列表選擇策略來編輯。
如所示，UI170呈現(xiàn)概要的策略信息。用戶可通過選擇標(biāo)記172、174、176，在策略的概要信息、規(guī)則信息、和綁定實體信息之間切換。處理規(guī)則標(biāo)記174將導(dǎo)致顯示策略的處理規(guī)則，而綁定實體標(biāo)記176將顯示每個可測試實體的指示，策略已經(jīng)與所述可測試實體相關(guān)?？苫趯嶓w已綁定的策略，生成可測試實體的測試功能。也可通過標(biāo)記174、176提供功能，以為測試策略修改這套規(guī)則和/或綁定實體。
概要策略信息包括策略名稱178。當(dāng)最初配置策略時，可以輸入策略名稱178，和/或，當(dāng)編輯策略時，可以修改策略名稱178。但是，策略標(biāo)識符180更優(yōu)選是自動分配的唯一的標(biāo)識符。
測試策略的描述可在182處輸入，例如提供策略目的的概括。
當(dāng)為特定測試實體調(diào)用策略創(chuàng)建功能時，例如通過選擇通信系統(tǒng)表示中的實體或者選擇UI中的創(chuàng)造策略或者類似功能，實體類型184可被自動地填充，其中所述UI呈現(xiàn)了與該實體有關(guān)的信息。否則，例如，實體類型184可以由用戶輸入或者從下拉菜單中選擇。實體類型184的有效值包括指示可測試實體的任何值?；仡^參考圖2，實體類型184可包括特定服務(wù)類型(VLL、VPLS、IES、MPLS/BGP VPN、VLAN)、服務(wù)傳輸綁定類型(電路)、服務(wù)傳輸類型(隧道)、傳輸類型(LSP、LDP、RSVP、GRE)、路由網(wǎng)絡(luò)類型(IP單播、IP多播)、或者L1/L2類型(ATM、幀中繼、POS、以太網(wǎng))。
根據(jù)在178、180、182、184處示出的概要信息，用戶將了解目前顯示的策略的名稱為“VPLS Policy#3”，具有50的ID，并且已被針對VPLS服務(wù)實體類型被定義。
在186、188處顯示策略的特定測試功能信息。186處的標(biāo)題允許用戶確定將在188處顯示每個測試功能的哪些參數(shù)。188處的測試功能的列表包括來自多個測試功能組的測試功能。在圖2的測試功能組結(jié)構(gòu)范例中，MAC-ping和LSP-ping功能屬于不同的測試功能組60、90，但是在UI170中同時顯示給用戶。
在188處，根據(jù)通信系統(tǒng)中的實體類型184和這些實體的操作相關(guān)性，自動地選擇和顯示一套測試功能。
UI170還包括功能性的可視單元，它用于調(diào)動測試功能的各種動作和/或作為整體的測試策略。例如，考慮到測試功能，單元192允許用戶向測試策略增加新測試功能。通過手動地或者從模板中創(chuàng)建新測試功能，或者通過從應(yīng)用于實體類型184的測試功能的列表中選擇，可以將測試功能增加到策略。單元194允許用戶在測試策略中編輯測試功能。例如，通過選擇測試功能并且然后選擇單元196，可以將測試功能從測試策略中移出。在例子UI170中，通過在列表188中分別使用元件198、199向上或向下移動測試功能，可以改變要被執(zhí)行的測試功能的順序。
通過選擇單元192、194、196、198、199實現(xiàn)的任務(wù)不必互相排斥。例如，測試功能可以通過編輯測試功能臨時從策略中移出，來改變標(biāo)記和其它參數(shù)。在此情況下，雖然在不同的持續(xù)時間中(即，永久地或臨時地)，使用編輯或者移出單元194、196，測試功能被有效地從測試策略中移出。
“更新測試組合”單元202使用測試策略使得測試組合被生成，所述測試組合是用于特定可測試實體的測試功能的集合。對于綁定到策略的任何或者所有的實體，單元202的選擇可使得各測試組合被生成。測試組合的生成可以涉及這樣的操作，如確定要被測試的特定的實體和測試功能源和目的。
復(fù)位單元204的選擇至少復(fù)位在UI170中用戶輸入的信息。通過選擇單元206調(diào)用的“OK”功能接受用戶輸入并且可以關(guān)閉UI170，然而通過選擇單元209調(diào)用的應(yīng)用功能接受用戶輸入而不關(guān)閉UI170。通過選擇單元208調(diào)用的取消功能忽略當(dāng)前由用戶輸入或改變的任何信息，并且還可以關(guān)閉UI170。
UI170涉及用于特定類型的測試實體的測試策略，在圖2的VPLS實體和測試功能組結(jié)構(gòu)的例子中，其對應(yīng)于測試功能組的子組。在測試組合生成期間，用被識別的等級處每個實體類型的合適測試功能，也可以或替代地在每個等級的基礎(chǔ)上定義策略。“應(yīng)用”類型測試策略可包括所有應(yīng)用實體類型的測試功能，并且當(dāng)測試組合針對那個實體生成時，可以選擇特定應(yīng)用實體的合適測試功能。
圖7是測試組合UI范例的框圖。測試組合允許來自使用單個進度表的各種測試功能組的多個測試功能的指定。在容易可視化的相同的圖表上顯示不同結(jié)構(gòu)等級上不同測試功能的結(jié)果。
例如，基于從一般的通信系統(tǒng)管理屏幕或如配置形式的屏幕中選擇的測試組合管理功能，向用戶顯示UI210，其中，所述配置形式與通信系統(tǒng)中的可測試實體相關(guān)。
測試組合的概要信息通過概要標(biāo)記212是可訪問的，并且在UI210中示出。測試組合的概要信息包括用戶定義的測試組合名稱222；描述224；測試策略的名稱和ID226、228，其中如果可應(yīng)用的話，從所述測試策略中創(chuàng)建了測試組合；實體的名稱和ID230、232，其中所述測試組合中的測試功能將針對所述實體而被執(zhí)行。
并不是所有的測試組合必須從測試策略中生成。測試組合也可以或替代地由用戶手動配置，或者通過確定要被測試的實體和那個實體的可應(yīng)用的測試功能自動地配置。測試功能是一個但不是唯一的機制，通過該機制實體可被與測試功能組和測試功能相關(guān)。例如，顯示實體類型的信息可與測試功能定義和實體數(shù)據(jù)記錄一起被存儲，因而允許測試功能與實體相關(guān)。
如果測試策略被用于生成測試組合，則可以通過選擇UI210的查看單元查看實體的詳情和測試策略。
執(zhí)行單元236的選擇導(dǎo)致在通信系統(tǒng)中執(zhí)行測試組合。如果這尚未通過上面圖6描述的測試策略UI進行，基于要被執(zhí)行的實體測試功能定義和參數(shù)，單元238生成要被執(zhí)行的實際測試功能。如果當(dāng)前測試組合正在執(zhí)行，停止單元240停止它的執(zhí)行。
上面參考UI170的單元206、208、209(圖6)，描述了單元242、244、246支持的任務(wù)。但是，在圖7的UI210中，將對測試組合執(zhí)行這些任務(wù)。
進度表標(biāo)記214用于查看和配置測試組合的進度表。測試組合進度表可以包括順序信息和/或時間信息。上面已描述了測試功能順序。測試組合時間信息可包括一個或多個測試組合要被執(zhí)行日期和時間。也可指定測試組合中兩個連續(xù)測試功能之間的和/或測試組合的重復(fù)執(zhí)行間的時間間隔。也可以或者替代地提供選擇測試計數(shù)(測試組合被重復(fù)的次數(shù))和/或測試組合執(zhí)行的持續(xù)時間(即測試計數(shù)＝(整數(shù))持續(xù)時間/間隔)的選項。
可以通過測試標(biāo)記216訪問測試組合的測試功能列表。在一些實施例中，列表類似于在188示出的列表(圖6)，并且提供如圖6所示的類似的與測試功能有關(guān)的任務(wù)。
結(jié)果標(biāo)記218允許用戶查看測試組合的測試功能的結(jié)果，并且可能地測試組合的總的結(jié)果。例如，基于測試組合的所有測試功能的最后執(zhí)行，測試組合的總狀態(tài)可指示測試組合的狀態(tài)，例如“成功”或“失敗”。成功的狀態(tài)可以指示測試組合的每個測試功能的正常結(jié)果，然而，失敗的狀態(tài)可以指示測試組合的一個或多個測試功能未返回到正常的結(jié)果。例如，基于響應(yīng)信號是否被從所有的目的地收到、響應(yīng)信號的定時，等等，可確定Ping測試的成功或失敗。成功/失敗標(biāo)準(zhǔn)對于不同的測試功能是不同的，并且一般取決于測試功能類型。
諸如閾值的用戶可配置標(biāo)準(zhǔn)也可以或替代地確定測試功能和/或測試組合的失敗和成功。例如，用戶可以指定比配置值大的抖動應(yīng)該被認為是測試功能失敗。測試組合的閾值可以類似地配置，其中，用戶希望指定多少測試功能，如果有的話，可以失敗而不宣稱測試組合的失敗。此類測試組合閾值可以被指定為測試組合中的測試功能的數(shù)目或者測試功能數(shù)目的一些部分或百分比。
每個測試功能結(jié)果也可通過結(jié)果標(biāo)記218獲得。
圖8是例子UI的框圖，其中顯示了實體的測試組合。UI250包括為針對特定測試實體配置的測試組合的列表268。通過選擇單元272、274、276、278，可以創(chuàng)建、編輯、移出、或者執(zhí)行測試組合。在測試組合標(biāo)記260下示出每個測試組合的策略名稱、狀態(tài)、和結(jié)果信息。
實體的其它信息也可以通過標(biāo)記252、254、256、258、264訪問。盡管通過這些標(biāo)記可訪問的信息可能不直接直接涉及本發(fā)明的與測試功能有關(guān)的方面，但這些其它標(biāo)記說明信息的類型，所述信息存儲在數(shù)據(jù)庫中，并且被管理系統(tǒng)中的各種元件訪問、呈現(xiàn)給用戶、由用戶指定、和/或由用戶修改。
圖9是測試功能數(shù)據(jù)結(jié)構(gòu)的框圖。例如，數(shù)據(jù)結(jié)構(gòu)291包括測試功能標(biāo)識符293，例如測試功能類型標(biāo)識符和/或用在管理系統(tǒng)中的唯一的標(biāo)識符；信息295，其標(biāo)識了已分配了測試功能的測試功能組；和其它信息297，可以包括識別測試功能可應(yīng)用于的實體類型。
數(shù)據(jù)結(jié)構(gòu)291表示關(guān)于測試功能的信息存儲在存儲器中的方式的示例性例子。本發(fā)明的實施例中實施的數(shù)據(jù)結(jié)構(gòu)可以包括比明確示出的那些數(shù)據(jù)結(jié)構(gòu)更進一步的，更少的或不同的信息字段。例如，測試功能的定義或指針，或到定義的其它連接也可以與具有圖9示出的概要格式的數(shù)據(jù)記錄一起存儲。當(dāng)測試功能針對特定可測試實體被配置時，與該實體相關(guān)的信息和/或其它配置信息也可以與測試功能有關(guān)的信息一起存儲于單個數(shù)據(jù)結(jié)構(gòu)或不同數(shù)據(jù)結(jié)構(gòu)中。
一般地，就測試功能所屬的測試功能組提供一些指示。在諸如291測試功能數(shù)據(jù)記錄中，該信息可采用組標(biāo)識符的形式。例如，組分配也可以或可替換地在測試功能組結(jié)構(gòu)的表示中，以圖2示出的表格的格式來指示。在這種情況下，測試組的測試功能在表或其它數(shù)據(jù)結(jié)構(gòu)的合適部分中被標(biāo)識。
本發(fā)明方面的一個可能應(yīng)用是測試組分通信服務(wù)，該組分通信服務(wù)已經(jīng)被配置來一起操作以提供組合通信服務(wù)。在提供組合通信服務(wù)中涉及的實體數(shù)、不同類型的可能性和從而的不同測試類型數(shù)和不同通信設(shè)備類型的測試能力的不同，使得測試功能提供了極具挑戰(zhàn)性并耗時的任務(wù)?？蓱?yīng)用這里公開的技術(shù)簡化組合通信服務(wù)的測試，例如在應(yīng)當(dāng)定期地地檢驗通信系統(tǒng)和/或各種通道的服務(wù)質(zhì)量中的各個點的連通性時。能結(jié)合在組合通信服務(wù)中涉及的實體的多個測試功能/組合以在一個進度表下運行。下面進一步詳細描述本發(fā)明的組合通信服務(wù)測試方面。
圖10是示出了在提供組合通信服務(wù)中涉及的組分通信服務(wù)的框圖。在圖10中，通過使用不同技術(shù)的多個組分通信服務(wù)提供組合通信服務(wù)300，這些技術(shù)包括MPLS/BGP VPN服務(wù)302，VPLS 304、306、308，IES(互聯(lián)網(wǎng)增強服務(wù))310，H-VPLS(分層VPLS)312、314、316、318、320和VLAN服務(wù)322、324、326、328。在圖10還示出了服務(wù)連接器301、303、305、307、309、311、313、315、317、319、321、323、325、327、329，它們表示通信服務(wù)間的可操作連接。其它組合通信服務(wù)可以包括比示出的那些更少、更多或不同的組分通信服務(wù)。
組分通信服務(wù)，這里也稱為通信服務(wù)或組分通信服務(wù)，可以被配置以提供組合通信服務(wù)。在一些實施例中，配置組分通信服務(wù)與其它組分通信服務(wù)一起操作來提供組合通信服務(wù)。組分通信服務(wù)的示例性例子包括圖10示出的、本領(lǐng)與技術(shù)人員熟悉的服務(wù)。
圖10中的框提供組合通信服務(wù)的服務(wù)等級的視圖，這與圖1的設(shè)備和服務(wù)等級相結(jié)合的視圖相對。就實施而言，例如VPLS可由一個或多個相互可操作耦合的VPLS服務(wù)站點組成。例如，服務(wù)站點表示網(wǎng)絡(luò)單元中的服務(wù)對象，如MPLS/BGP VPN的VLL(虛擬租用線路)服務(wù)站點或VRF(虛擬路由和轉(zhuǎn)發(fā))服務(wù)站點，或VLAN對象。服務(wù)可包括多個服務(wù)站點。VPLS服務(wù)的VLL服務(wù)站點或VPLS服務(wù)站點能夠可操作地耦合或“連接”到另一個VPLS服務(wù)的一個或多個服務(wù)站點。
本領(lǐng)域技術(shù)人員熟悉圖10示出的MPLS/BGP VPN，VPLS，H-VPLS和VLAN服務(wù)。
例如，考慮到視頻/TV廣播應(yīng)用，MPLS/BGP VPN 302可以使用PIM(不依賴協(xié)議的多播)和IGMP來分發(fā)TV信道給各種城域以太網(wǎng)，如圖10所示的VPLS 304、306、308。使用H-VPLS 312、314、316、318、320來進一步將業(yè)務(wù)量廣播到每個城市不同的地區(qū)?？梢栽谧詈笠挥⒗锸褂玫统杀綥2交換機或DSLAM來實現(xiàn)不同環(huán)形組或不同DSLAM中的VLAN服務(wù)322、324、326、328，以將TV的內(nèi)容傳遞到組合TV服務(wù)用戶。
組合通信服務(wù)300中的組分通信服務(wù)使用服務(wù)連接器可操作地互相耦合，所述服務(wù)連接器如圖10的307、309、313、315、317、319、321、323、325、327、329所表示。圖10中示出的每個服務(wù)連接器表示兩個組分通信服務(wù)的邏輯鏈接。
可采用不同類型的服務(wù)連接器可操作地將服務(wù)耦合在一起來提供組合TV服務(wù)。例如，可在VLAN服務(wù)322、324、326、328和H-VPLS 314之間，并且也可以在MPLS/BGP VPN服務(wù)302和VPLS 304、306、308之間，使用接口至接口的服務(wù)連接器?？梢允褂肞W連接器對“衛(wèi)星”H-VPLS312、314、316、318、320和VPLS304、308進行互連。在具有位于相同通信設(shè)備中的服務(wù)站點的服務(wù)之間，例如VPLS308和IES310，可使用另一種服務(wù)連接器，這里被稱為交叉連接。
根據(jù)上述說明這將是很明顯的，組合通信服務(wù)基本上是一組通信系統(tǒng)支持的通信服務(wù)，這些服務(wù)中一些被配置為一起操作。一些實施例中使用服務(wù)連接器將通信服務(wù)配置為一起操作，來提供組合通信服務(wù)。
例如，圖10表示的組合通信服務(wù)300涉及MPLS/BGP VPN、VPLS、H-VPLS和VLAN技術(shù)和這些技術(shù)間的互連。使用常規(guī)管理系統(tǒng)管理這些互連是困難的，因為網(wǎng)絡(luò)操作者或其它管理人員不容易識別通信服務(wù)之間的關(guān)系。管理系統(tǒng)可提供組合通信服務(wù)的表示，其中清楚指示了通信服務(wù)、組合通信服務(wù)和配置為組合通信服務(wù)一部分的任何其它通信服務(wù)之間的關(guān)系。
如上所述，雖然通信系統(tǒng)中的設(shè)備支持組合通信服務(wù)和它的組分通信服務(wù)，但是除了用于管理通信系統(tǒng)的設(shè)備和服務(wù)的管理系統(tǒng)之外，對通信系統(tǒng)來說組合通信服務(wù)本身的概念是未知的。因此，管理組合通信服務(wù)的能力不會被通信系統(tǒng)中的變化所干擾。例如，可以針對組合通信服務(wù)創(chuàng)建、刪除、修改和/或顯示來建立規(guī)則。例如，這些規(guī)則可以在管理系統(tǒng)上實施，來阻止添加不合適的服務(wù)連接或警告服務(wù)管理人員在領(lǐng)域內(nèi)對通信系統(tǒng)進行的變化，并影響組合通信服務(wù)。在后一種情況下，管理人員可采取適當(dāng)?shù)膭幼鱽硇薷氖苡绊懙耐ㄐ欧?wù)的組分通信服務(wù)和/或連接器。例如，不合適的連接器可以反映組分通信服務(wù)的不正確配置，可以通過改變組分通信服務(wù)如何配置來互相操作以補救這種不正確配置。
盡管管理組合通信服務(wù)具有挑戰(zhàn)性，在很多情況中，在受管理的通信網(wǎng)絡(luò)或通信系統(tǒng)的一部分的范圍內(nèi)或超出該范圍，配置多個通信服務(wù)來提供組合通信服務(wù)是期望的。組分通信服務(wù)屬于相似或不同的類型。
例如，在不同的橋接網(wǎng)絡(luò)上的多個VLAN服務(wù)可連接到H-VPLS。通過使用管理系統(tǒng)創(chuàng)建SCP(服務(wù)連接點)到SCP服務(wù)的連接器，能夠?qū)LAN服務(wù)和H-VPLS配置為相互操作。SCP到SCP服務(wù)連接器是根據(jù)本發(fā)明的實施例的服務(wù)連接器的一種類型，它可用來配置組分通信服務(wù)以提供組合通信服務(wù)。SCP到SCP服務(wù)連接器還可以用來配置除了VLAN和H-VPLS之外的其它類型的通信服務(wù)，如圖10所示的連接VPLS到MPLS/BGP VPN服務(wù)，反之亦然。
SCP到SCP服務(wù)連接器指定兩個SCP間的邏輯鏈路。SCP是一個服務(wù)接口，通過該接口在服務(wù)的服務(wù)提供商“側(cè)”可訪問通信服務(wù)，這與通過SAP可訪問該服務(wù)的用戶或客戶側(cè)相反。例如，關(guān)于物理通信系統(tǒng)，SCP到SCP邏輯鏈路可以運行在諸如以太網(wǎng)光纜的光纜上或使用FR(幀中繼)或ATM(異步傳輸模式)的網(wǎng)絡(luò)上。
如另一個例子，期望提供具有高速互聯(lián)網(wǎng)訪問的專用數(shù)據(jù)服務(wù)。例如，可以通過橋接多個L2服務(wù)站點經(jīng)由VPLS來提供這樣的專用數(shù)據(jù)服務(wù)，所述L2服務(wù)站點提供數(shù)據(jù)服務(wù)。這可通過上述SCP到SCP服務(wù)連接器或通過其它類型的服務(wù)連接器來實現(xiàn)，其它服務(wù)連接器包括在同一個通信設(shè)備上支持提供組合專用數(shù)據(jù)服務(wù)的服務(wù)的情況下的PW輪輻式連接器(spoke connector)，以及可配置的交叉連接器。
通信系統(tǒng)中的PW輪輻式連接器可以用于創(chuàng)建H-VPLS服務(wù)或連接IES和VPLS。在一個實施例中，通過邏輯綁定通信服務(wù)到通信路徑來建立PW輪輻。在綁定中的業(yè)務(wù)量例如從服務(wù)到通信通道是不定向的情況下，在每個端點服務(wù)站點上創(chuàng)建綁定來支持服務(wù)間的雙向通信。
在一些情況下，在相同的一個設(shè)備上支持多個通信服務(wù)。例如，單個服務(wù)路由器可以結(jié)合多個SAP。例如，可以通過本地光纜連接或可配置的連接設(shè)備進行這樣的服務(wù)間的物理連接。然而，在部署通信設(shè)備后一般在通信設(shè)備端口/接口間安裝光纜，在要建立SAP間連接時，例如在設(shè)備底板上預(yù)安裝可配置的連接裝置，且隨后例如從遠端位置的管理系統(tǒng)進行配置，以連接設(shè)備端口/接口。
期望的是，在將通信服務(wù)配置為一起操作以提供組合通信服務(wù)之前，通信系統(tǒng)中的通信設(shè)備間的物理連接將被安裝或已在適當(dāng)?shù)奈恢?，其中通過所述物理連接建立通信服務(wù)間的邏輯連接。如果必要，可以安裝新的物理連接來支持服務(wù)間的配合操作。一旦已建立或配置了任何需要的物理連接，例如在可配置的連接設(shè)備的情況下，則可以進行組合通信服務(wù)的配置。
作為相同過程的一部分，可以獨立或有效地執(zhí)行通信服務(wù)的配置和服務(wù)連接器的配置。例如，管理系統(tǒng)可以提供多個用于管理通信服務(wù)的接口。例如，相同的通信設(shè)備和服務(wù)可以通過CLI(命令線路接口)、OSSI和GUI控制?？梢酝ㄟ^輸入組合通信服務(wù)的名稱，并配置服務(wù)連接器來創(chuàng)建組分通信服務(wù)間的邏輯聯(lián)系或關(guān)系，以建立組合通信服務(wù)，其中所述名稱指定了與組合通信服務(wù)相關(guān)的組分通信服務(wù)。接著，可以諸如通過CLI、OSSI或GUI，手動地，或者由管理系統(tǒng)自動地執(zhí)行用以實現(xiàn)服務(wù)連接器中指定的邏輯聯(lián)系的通信系統(tǒng)的實際配置。一般可優(yōu)選后一種方法，因為作為單個實體全部組合通信服務(wù)是可管理的。那么避免了配置每個組分通信服務(wù)的單獨任務(wù)。
無論手動或自動的配置方法，據(jù)此組合服務(wù)可作為單個實體被管理。
在一個實施例中，通信系統(tǒng)中組合通信服務(wù)的實際配置涉及使得通信隧道的端點的設(shè)備交換以設(shè)置不定向服務(wù)的控制信號到相對方向上綁定的隧道，以便經(jīng)由該隧道實現(xiàn)服務(wù)間的雙向通信。
因此，雖然通信系統(tǒng)本身可能不“知道”組合通信服務(wù)的概念，通過組合通信服務(wù)的組分通信服務(wù)和/或服務(wù)連接器對該組合通信服務(wù)的管理可影響網(wǎng)絡(luò)中設(shè)備和服務(wù)的配置。
以相似的方式，可以在管理系統(tǒng)初自動檢測和反映影響組合通信服務(wù)的通信系統(tǒng)配置。例如，可以在組合通信服務(wù)管理GUI中檢測和管理一起操作的兩個通信服務(wù)的配置。
組合通信服務(wù)的進一步詳細敘述公開在以上參考的有關(guān)專利申請中。
就測試組合通信服務(wù)而言，在通信系統(tǒng)中提供的組合通信服務(wù)也可以是可測試的實體。
例如，對于組合通信服務(wù)，通過訪問存儲在存儲器中的組合通信服務(wù)數(shù)據(jù)結(jié)構(gòu)來識別每個組分通信服務(wù)。接著，根據(jù)組分通信服務(wù)的操作相關(guān)性，可能地，從多個測試功能組和/或子組中選擇每個組分通信服務(wù)的測試功能。例如，通信系統(tǒng)的其它實體可涉及相似的操作，識別與要測試的實體具有操作相關(guān)性的實體。
選擇測試功能要被執(zhí)行的順序可以基于組分通信服務(wù)間的一個或多個關(guān)系、組分通信服務(wù)和通信系統(tǒng)的其它實體間的操作相關(guān)性，以及指定了測試功能順序的用戶輸入。
圖11-13是數(shù)據(jù)結(jié)構(gòu)的簡圖，在所述數(shù)據(jù)結(jié)構(gòu)中存儲分別表示組合通信服務(wù)、服務(wù)連接器和組分通信服務(wù)的信息。例如，這些數(shù)據(jù)結(jié)構(gòu)存儲在系統(tǒng)150中的存儲器158(圖4)，必要時進行更新以保持管理系統(tǒng)記錄準(zhǔn)確和最新。
如上對其它圖所述，僅僅為了示例的目的，圖11-13顯示了數(shù)據(jù)結(jié)構(gòu)的例子。
組合通信服務(wù)數(shù)據(jù)結(jié)構(gòu)340包括信息342，諸如名稱和/或ID，其標(biāo)識組合通信服務(wù)；信息344、346，分別標(biāo)識組合通信服務(wù)的n個組分通信服務(wù)，諸如組合通信服務(wù)名稱和/或ID；以及與組合通信服務(wù)有關(guān)的其它信息348，例如，任何或全部描述、總操作狀態(tài)、組合通信服務(wù)數(shù)量和連接器數(shù)量。因此，當(dāng)要測試組合通信服務(wù)時，通過訪問字段344、346中的信息來確定組合通信服務(wù)的組分通信服務(wù)。
服務(wù)連接器數(shù)據(jù)結(jié)構(gòu)350包括信息352，諸如標(biāo)識服務(wù)連接器的名稱和/或ID；信息353，指示了服務(wù)連接器類型，例子在上面已作了描述；信息354，諸如標(biāo)識了服務(wù)連接器所屬的組合通信服務(wù)的名稱和/或ID；信息356、358，諸如標(biāo)識了服務(wù)連接器連接的m個端點的名稱、ID、服務(wù)站點和/或接口；和其它服務(wù)連接器信息359，諸如服務(wù)連接器的狀態(tài)。雖然期望服務(wù)連接器將連接兩個通信服務(wù)，服務(wù)連接器概念的一個設(shè)想的變化可以定義多于兩個服務(wù)之間的互連。
對于服務(wù)連接器連接的每個通信服務(wù)，在356、358提供的端點信息可包括標(biāo)識通信服務(wù)、通信服務(wù)的特定服務(wù)站點的信息以及連接信息。例如，連接兩個服務(wù)，服務(wù)1和2的服務(wù)連接器可以在字段356、358中分別包括數(shù)據(jù)(服務(wù)ID1、服務(wù)站點ID1、SCP/綁定ID/連接裝置ID1)和(服務(wù)ID2、服務(wù)站點ID2、SCP/綁定ID/連接裝置ID2)。
例如，在只需要測試組合通信服務(wù)的一部分的情況下，服務(wù)連接器數(shù)據(jù)結(jié)構(gòu)350對于要測試哪個組分通信服務(wù)也是有利的?？梢酝ㄟ^數(shù)據(jù)結(jié)構(gòu)表示的服務(wù)連接器檢測組分服務(wù)間的互連，該數(shù)據(jù)結(jié)構(gòu)具有圖12所示的格式。
組分通信服務(wù)在數(shù)據(jù)結(jié)構(gòu)360中通過以下標(biāo)識符指定服務(wù)標(biāo)識符362，該服務(wù)標(biāo)識符是諸如名稱和/或ID的信息，其標(biāo)識了通信服務(wù)；組合通信服務(wù)標(biāo)識符364，包括標(biāo)識服務(wù)所屬的組合通信服務(wù)的信息；組合通信服務(wù)層366，指示了服務(wù)被分配的組合通信服務(wù)層或分層等級；以及其它信息368，如服務(wù)狀態(tài)，根據(jù)對通信服務(wù)執(zhí)行的測試功能可以確定該信息。
組合通信服務(wù)層366表示組合通信服務(wù)結(jié)構(gòu)中的組分通信服務(wù)的等級，且不必是測試功能結(jié)構(gòu)中的等級。比較圖2和10，MPLS/BGP VPN和VPLS服務(wù)出現(xiàn)在圖2的測試功能組結(jié)構(gòu)40的服務(wù)等級，但是處于圖10的組合通信服務(wù)300的不同等級。但是，應(yīng)理解，通信系統(tǒng)結(jié)構(gòu)或通信服務(wù)的測試功能等級可以用相似的方式表示，例如使用測試等級標(biāo)識符或?qū)嶓w類型標(biāo)識符。
存儲在管理系統(tǒng)的數(shù)據(jù)記錄可以包括圖11-13示出的一個以上數(shù)據(jù)結(jié)構(gòu)。管理系統(tǒng)數(shù)據(jù)庫可以包括一個或多個體現(xiàn)數(shù)據(jù)結(jié)構(gòu)340的組合通信服務(wù)數(shù)據(jù)記錄、一個或多個體現(xiàn)數(shù)據(jù)結(jié)構(gòu)350的服務(wù)連接器數(shù)據(jù)記錄和一個或多個體現(xiàn)數(shù)據(jù)結(jié)構(gòu)360的通信服務(wù)數(shù)據(jù)記錄。
簡言之，本發(fā)明的實施例可以在測試功能處理之前和之后階段中實現(xiàn)更多的智能，來簡化如通信系統(tǒng)測試和SLA管理的復(fù)雜任務(wù)。通過本發(fā)明的實施例，也可以處理關(guān)于確定服務(wù)性能問題的根本原因的問題。
在對各種組分建立特定測試功能的繁重任務(wù)中，這里公開的技術(shù)可以幫助操作者和其他人員。在測試功能組結(jié)構(gòu)中，可用的測試能被分類為不同的組和等級。如果必要，可以首先執(zhí)行較高等級的測試功能，隨后是較低等級的測試功能。根據(jù)先前測試功能的結(jié)果，能夠定義標(biāo)準(zhǔn)以命令策略或測試引擎，來運行下一個測試功能或測試功能組。能將相同或不同等級上的測試功能和一些實施例中的規(guī)則打包以形成測試策略。
本發(fā)明的實施例也可通過允許安排測試組合幫助服務(wù)提供商使得服務(wù)保證更加主動。例如可以運行MAC-ping來檢驗所有L2 SAP間的連通性，也檢測服務(wù)的延遲和抖動參數(shù)是否在可接受的閾值內(nèi)。如果滿足當(dāng)前等級的QoS目標(biāo)，可以配置測試功能順序，以使得較低測試等級的測試功能不要運行。例如，可以對于傳輸?shù)燃壓?或其他等級實現(xiàn)相似的安排。
在執(zhí)行時，可“實時(on the fly)”持續(xù)或創(chuàng)建從測試組合創(chuàng)建的測試功能。如從測試組合導(dǎo)出的一整組測試功能比系統(tǒng)操作者需要的更廣泛，本發(fā)明的實施例可以為用戶提供對將要執(zhí)行的具體測試功能的控制。如上所述，測試組合可以用于產(chǎn)生用于要測試實體的所有可能的測試功能，且因而可永久或臨時刪除不必要或不需要的測試功能。在測試組合中的測試功能已被修改的情況下，當(dāng)再次要測試同一個實體時，所期望的是，可以具有該測試功能存留持久，以避免必須移除該測試功能。另一個方面，實時測試創(chuàng)建可以幫助減少測試數(shù)據(jù)庫的大小，并確保與要測試的實體相關(guān)的新添加的實體也被測試。
已描述的僅僅是說明了本發(fā)明的實施例原理的應(yīng)用。在不偏離本發(fā)明的范圍的情況下，本領(lǐng)域技術(shù)人員可以實現(xiàn)其它設(shè)備和方法。
例如，一些上述測試情形涉及從較高到較低等級穿越系統(tǒng)/測試組結(jié)構(gòu)。本發(fā)明不以任何方式限制于這個或任何其它具體穿越順序。
本發(fā)明的實施例還提供比這里所描述的更進一步的與組合通信服務(wù)相關(guān)的技術(shù)特征，包括在上述相關(guān)專利申請中公開的技術(shù)特征。
也應(yīng)當(dāng)理解，可以考慮以實現(xiàn)本發(fā)明實施例的方式的變化。例如，雖然本文中主要描述了方法和系統(tǒng)，這里公開的技術(shù)也可以或替代地作為指令來實現(xiàn)，所述指令存儲在計算機可讀介質(zhì)中。
權(quán)利要求
1.一種系統(tǒng)，包括測試功能分類器，被配置為，將用于測試通信系統(tǒng)的實體的測試功能分配到多個測試功能組中的測試功能組；和測試功能管理器，可操作地耦合到所述測試功能分類器，并且被配置為基于通信系統(tǒng)的實體與所述通信系統(tǒng)的其它實體之間的操作相關(guān)性，如果有的話，將所述實體與用于測試所述其它實體的測試功能組相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1的系統(tǒng)，其中所述實體包括下列中的一個或多個所述通信系統(tǒng)中被支持的通信服務(wù)、所述通信系統(tǒng)中使用的通信協(xié)議棧的層和包含所述通信系統(tǒng)的設(shè)備。
3.根據(jù)權(quán)利要求1的系統(tǒng)，其中所述測試功能管理器被進一步配置為，從與要被測試的實體相關(guān)的每個測試功能組中選擇在所述通信系統(tǒng)中要被執(zhí)行的測試功能。
4.根據(jù)權(quán)利要求1至3中任一項的系統(tǒng)，進一步包括通信系統(tǒng)接口，可操作地耦合到所述測試功能管理器，用于將信息傳輸?shù)剿鐾ㄐ畔到y(tǒng)，其中，所述測試功能管理器被進一步配置為，通過向所述通信系統(tǒng)傳輸信息以使得一個或多個測試功能在所述通信系統(tǒng)中執(zhí)行。
5.根據(jù)權(quán)利要求3的系統(tǒng)，其中所述測試功能管理器被進一步配置為，確定在所述通信系統(tǒng)中執(zhí)行每個選擇的測試功能的順序。
6.根據(jù)權(quán)利要求1至3中任一項的系統(tǒng)，進一步包括用于接收下列中一個或多個的接口定義所述多個測試功能組中一個或多個測試功能組的輸入；在所述通信系統(tǒng)中控制哪些測試功能要被執(zhí)行的輸入；控制在所述通信系統(tǒng)中將執(zhí)行測試功能的順序的輸入；指定要被測試的實體的輸入；以及，指定與要被測試的實體具有操作相關(guān)性的其它實體的輸入，將針對所述要被測試的實體選擇測試功能。
7.根據(jù)權(quán)利要求1至3中任一項的系統(tǒng)，其中所述多個測試功能組包括具有多個測試功能子組的測試功能組，所述測試功能子組包括測試各個不同類型的實體的測試功能。
8.根據(jù)權(quán)利要求7的系統(tǒng)，其中通過測試功能組的一個或多個子組中的測試功能測試的實體，比通過所述測試功能組的其它子組中的測試功能測試的實體，具有不同的操作相關(guān)性。
9.根據(jù)權(quán)利要求1至3中任一項的系統(tǒng)，其中所述測試功能管理器被進一步配置為，基于一個或多個所述實體和每個其它實體的測試能力，從每個分別與所述實體和每個其它實體相關(guān)的一個或多個測試功能組中，選擇測試功能，所述其它實體與所述實體具有操作相關(guān)性。
10.一種方法，包括定義用于安排測試功能的多個測試功能組，所述測試功能用于測試通信系統(tǒng)的實體；并且基于所述實體間的操作相關(guān)性的順序，定義所述多個測試功能組的相對順序。
11.根據(jù)權(quán)利要求10的方法，進一步包括將測試功能分配給所述多個測試組中的測試組，和基于通信系統(tǒng)的實體和所述通信系統(tǒng)的其它實體之間的操作相關(guān)性，如果有的話，將所述實體與用于測試通信系統(tǒng)的所述其它實體的測試功能組相關(guān)聯(lián)。
12.根據(jù)權(quán)利要求11的方法，進一步包括從與要被測試的實體相關(guān)的每個測試功能組中，選擇將在所述通信系統(tǒng)中執(zhí)行的測試功能。
13.根據(jù)權(quán)利要求12的方法，進一步包括確定將在所述通信系統(tǒng)中執(zhí)行每個選擇的測試功能的順序。
14.根據(jù)權(quán)利要求13的方法，其中所述順序包括順序條件，所述順序條件條件導(dǎo)致下列中的一個或多個在測試功能確認正常的實體操作的情況下，停止測試功能的所述順序；在當(dāng)前測試功能顯示實體操作中的錯誤的情況下，執(zhí)行所述順序中的下一個測試功能；以及基于當(dāng)前測試功能的結(jié)果，從多個測試功能中選擇下一個測試功能。
15.根據(jù)權(quán)利要求11的方法，進一步包括基于一個或多個所述實體和每個其它實體的測試能力，從分別與所述實體和每個其它實體相關(guān)的一個或多個測試功能組的每一個中選擇測試功能，其中所述每個其它實體與所述實體具有操作相關(guān)性。
16.根據(jù)權(quán)利要求15的方法，進一步包括基于以下的一個或者多個來確定所述通信系統(tǒng)中將要執(zhí)行每個選擇的測試功能的順序所述實體和每個其它實體之間的操作相關(guān)性，以及指定測試功能順序的輸入。
17.根據(jù)權(quán)利要求12的方法，進一步包括下列一個或多個分析一個或多個選擇的測試功能的結(jié)果；以及提供一個或多個選擇的測試功能的結(jié)果的表示。
18.一種用于存儲指令的計算機可讀介質(zhì)，當(dāng)執(zhí)行所述指令時執(zhí)行權(quán)利要求10至17中任一項的方法。
19.一種用于存儲數(shù)據(jù)結(jié)構(gòu)的計算機可讀介質(zhì)，該數(shù)據(jù)結(jié)構(gòu)包括標(biāo)識用于測試通信系統(tǒng)的實體的測試功能的信息；和指示多個測試功能組中的、已被分配所述測試功能的測試功能組的信息，所述多個測試功能組具有相對順序，該順序基于所述通信系統(tǒng)的所述實體和其它實體之間的操作相關(guān)性的順序。
20.一種用戶接口，包括各個可視單元，表示用于測試通信系統(tǒng)的實體的測試功能，所述功能包括分配給多個測試功能組的測試功能，每個測試功能組包括各自一套用于測試所述通信系統(tǒng)的實體的一個或多個測試功能，其中由所述可視單元表示的所述測試功能包括用于測試所述通信系統(tǒng)中被操作相關(guān)性關(guān)聯(lián)的實體的測試功能。
全文摘要
公開了用于測試通信系統(tǒng)的分層測試系統(tǒng)和方法。測試實體的測試功能被分類為測試功能組，所述實體例如通信系統(tǒng)的設(shè)備或服務(wù)。測試功能組具有基于通信系統(tǒng)中的操作相關(guān)性順序的順序。針對要測試的特定實體將要執(zhí)行的測試功能，從用于測試實體本身的測試功能和用于測試其它實體的測試功能中進行選擇，其中所述其它實體與要測試的實體具有操作相關(guān)性。還公開了相關(guān)的數(shù)據(jù)結(jié)構(gòu)和用戶接口。
文檔編號H04L12/26GK1983996SQ20061016393
公開日2007年6月20日 申請日期2006年10月8日 優(yōu)先權(quán)日2005年10月4日
發(fā)明者C·N·恩戈, C·W·默雷, G·索普羅維赫 申請人:阿爾卡特公司