專利名稱：一種提高增量方式數(shù)據(jù)同步效率的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及通信領(lǐng)域，特別涉及一種提高增量方式數(shù)據(jù)同步效率的方法。
背景技術(shù)：
數(shù)據(jù)同步是通信領(lǐng)域中網(wǎng)管系統(tǒng)的 一項(xiàng)重要功能，在傳輸通信管理網(wǎng) 中，數(shù)據(jù)同步功能主要應(yīng)用于網(wǎng)元系統(tǒng)和網(wǎng)管系統(tǒng)之間的數(shù)據(jù)同步、網(wǎng)管系 統(tǒng)中上下層網(wǎng)管之間的數(shù)據(jù)同步和主備網(wǎng)管之間的數(shù)據(jù)同步。目前，從數(shù)據(jù)同步的機(jī)制講，主要有兩種同步機(jī)制 一種是TMF (電信管理論壇)513 規(guī)范中建議的同步機(jī)制；另 一種主要是通信設(shè)備廠家自主開發(fā)的數(shù)據(jù)同步機(jī) 制。TMF513中規(guī)定的同步機(jī)制的主要原理是 一種增量數(shù)據(jù)的同步方法， 每個(gè)管理實(shí)體統(tǒng)稱為對象，以對象的增、鄰'J、改的方式發(fā)送數(shù)據(jù)變更通知； 在每個(gè)變更通知中包含完整的同步數(shù)據(jù)信息；在上下層網(wǎng)管通信斷鏈情況下 的同步機(jī)制是下層網(wǎng)管只保存指定時(shí)間內(nèi)的通知信息，斷鏈時(shí)間大于指定 的超期時(shí)間(TIMEOUT)后，通知信息不再進(jìn)行保存，上層網(wǎng)管需要通過 同步全部數(shù)據(jù)來達(dá)到上下層數(shù)據(jù)的一致。通信設(shè)備廠商自動開發(fā)的數(shù)據(jù)同步 機(jī)制是 一種基于數(shù)據(jù)項(xiàng)的全量同步方式。首先劃分?jǐn)?shù)據(jù)項(xiàng)的粒度單位，每 次同步以該數(shù)據(jù)項(xiàng)為基本粒度進(jìn)行全量同步，如已公開的專利(專利號 CN200410004981，專利名稱實(shí)現(xiàn)網(wǎng)管系統(tǒng)和網(wǎng)元設(shè)備配置數(shù)據(jù)實(shí)時(shí)同步 的方法)中，通過每次同步后，記錄每個(gè)數(shù)據(jù)項(xiàng)的同步標(biāo)識(一般為流水號 或時(shí)間戳)作為下次是否需要進(jìn)行同步的判斷依據(jù)。上述兩種同步機(jī)制均有一定的缺陷。TMF513的同步機(jī)制的主要缺陷是 缺少通知管理機(jī)制，上下層網(wǎng)管斷鏈后的同步處理不夠完善， 一個(gè)缺陷是， 通過指定通知保留時(shí)間門限(TIMEOUT)的方式，由于在指定的時(shí)間內(nèi)通 知產(chǎn)生的數(shù)量是不確定的，有可能通知很多，也可能很少，在通知很多的情
況下，重新建鏈或初始化網(wǎng)管，同步的效率會比較低；另一個(gè)缺陷是保留 的通知被刪除后，上層網(wǎng)管需要全量同步所有的下層網(wǎng)管數(shù)據(jù)，導(dǎo)致同步效 率非常低，特別是在開局或維護(hù)過程中，經(jīng)常需要重新啟動網(wǎng)管系統(tǒng)，這會 嚴(yán)重降低網(wǎng)管的可用和易用性。廠商自主開發(fā)的同步機(jī)制(如專利CN200410004981 )的主要缺陷是 由于是一種數(shù)據(jù)項(xiàng)粒度的全量同步方式，也稱為基于同步日志的同步方式， 從機(jī)制上講，無法達(dá)到增量同步方式的效率。無論在正常運(yùn)行狀態(tài)還是離線 狀態(tài)下同步效率相對會比較低。例如，在下層網(wǎng)管某網(wǎng)元上安裝一塊單板， 系統(tǒng)會對整個(gè)數(shù)據(jù)庫中該網(wǎng)元的所有單板同步一次，而不僅僅同步新增的這 塊單板。發(fā)明內(nèi)容本發(fā)明要解決的技術(shù)問題是，提供一種提高增量方式數(shù)據(jù)同步效率的方 法，克服現(xiàn)有同步機(jī)制中存在的缺陷，特別是解決離線情況下數(shù)據(jù)修改，網(wǎng) 管重新建鏈后或初始化網(wǎng)管的數(shù)據(jù)同步效率問題。為解決上述問題，本發(fā)明提出了一種提高增量方式數(shù)據(jù)同步效率的方 法，下層網(wǎng)管以數(shù)據(jù)增量方式和上層網(wǎng)管同步數(shù)據(jù)，其特征在于，下層網(wǎng)管 存儲通知數(shù)據(jù)，在當(dāng)前存儲的通知記錄超出指定的門限值后，將通知?jiǎng)h除， 并把該通知的數(shù)據(jù)轉(zhuǎn)化為同步日志進(jìn)行存儲。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述同步日志標(biāo)識包含表明哪 類數(shù)據(jù)項(xiàng)類型發(fā)生了數(shù)據(jù)改變。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述通知有一個(gè)全網(wǎng)唯一的通 知標(biāo)識，新產(chǎn)生的通知其標(biāo)識4耍遞增方式進(jìn)行維護(hù)。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述門限值為通知記錄條數(shù)。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，離線情況下重新建鏈或網(wǎng)管初 始化時(shí)的同步包括如下步驟步驟一，上層網(wǎng)管向下層網(wǎng)管發(fā)送查詢通知消息，所述通知消息中攜帶
通知標(biāo)識'，步驟二，下層網(wǎng)管收到所述查詢通知消息后，將所述通知標(biāo)識與本地通知標(biāo)識進(jìn)行比較，并返回相應(yīng)信息給上層網(wǎng)管；步驟三，上層網(wǎng)管根據(jù)下層網(wǎng)管返回的信息進(jìn)行增量或數(shù)據(jù)項(xiàng)范圍內(nèi)的 全量同步。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟二中，下層網(wǎng)管本地 存儲的通知的最小標(biāo)識大于上層網(wǎng)管指定的通知標(biāo)識時(shí)，下層網(wǎng)管給上層網(wǎng) 管返回同步日志，所述步驟三中，上層網(wǎng)管進(jìn)行基于數(shù)據(jù)項(xiàng)的全量同步。其 中所述步驟二中，下層網(wǎng)管向上層網(wǎng)管返回同步日志時(shí)，還返回和當(dāng)前最新 通知的標(biāo)識號，作為下次同步的開始點(diǎn)。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟二中，下層網(wǎng)管本地 存在的通知的最小標(biāo)識小于等于上層網(wǎng)管指定的通知標(biāo)識時(shí)，下層網(wǎng)管給上 層網(wǎng)管返回指定通知標(biāo)識到最大通知標(biāo)識范圍的通知數(shù)據(jù)，作為本次同步的 數(shù)據(jù)內(nèi)容，所述步驟三中，上層網(wǎng)管進(jìn)行增量凄t據(jù)同步。進(jìn)一步地，上述方法還可具有以下特點(diǎn)，所述步驟二中，所述通知標(biāo)識 大于下層網(wǎng)管本地保存的最大通知標(biāo)識，則下層網(wǎng)管向上層網(wǎng)管發(fā)送本次查 詢無效的指示。本發(fā)明通過正常狀態(tài)下增量通知的方式，解決了基于lt據(jù)項(xiàng)全量同步的效率問題；通過引入通知管理機(jī)制，避免了離線情況下或網(wǎng)管初始化時(shí)進(jìn)行 全量范圍的全量同步問題，提高了同步效率。同時(shí)借鑒通知方式的同步優(yōu)點(diǎn) 和基于同步日志的數(shù)據(jù)項(xiàng)范圍內(nèi)的全量同步的優(yōu)點(diǎn)，解決了網(wǎng)管在正常或離 線、初始化情況下的同步效率問題。


圖1為離線情況下重新建鏈后上下層網(wǎng)管的同步機(jī)制。圖2為網(wǎng)絡(luò)層網(wǎng)管在線時(shí)下層網(wǎng)管生成的單板數(shù)據(jù)的通知格式。圖3為網(wǎng)絡(luò)層網(wǎng)管離線時(shí)下層網(wǎng)管生成的單板數(shù)據(jù)的通知格式。
具體實(shí)施方式
本發(fā)明的核心思想是結(jié)合通知方式的同步機(jī)制和日志方式的同步機(jī)制 優(yōu)點(diǎn)，提供完善的通知管理機(jī)制和離線情況下重新建鏈或初始化網(wǎng)管時(shí)高效 的同步才幾制。本發(fā)明提供的完善的通知管理機(jī)制具體為正常情況下數(shù)據(jù)同步采用通 知的方式，即增量數(shù)據(jù)的同步方式，并同時(shí)對通知數(shù)據(jù)進(jìn)行持久化存儲管理。每一個(gè)通知有一個(gè)全網(wǎng)唯一的通知標(biāo)識， 一個(gè)通知包含了完整的具體的 同步數(shù)據(jù)信息，新產(chǎn)生的通知其標(biāo)識^按遞增方式進(jìn)行維護(hù)。按照通知的記錄條數(shù)作為門限進(jìn)行存儲通知數(shù)據(jù)，當(dāng)當(dāng)前存儲的通知記 錄條數(shù)大于門限值后，把通知?jiǎng)h除，并把通知數(shù)據(jù)轉(zhuǎn)化為同步日志進(jìn)行存儲。 一條同步日志標(biāo)識的信息是表明哪類數(shù)據(jù)項(xiàng)類型發(fā)生了數(shù)據(jù)改變，不指明 改變的具體詳細(xì)信息。通知可以轉(zhuǎn)換為同步日志，但是同步日志不可以轉(zhuǎn)換 為通知。使用記錄條數(shù)作為門限，更加科學(xué)，可以合理控制離線情況下的同步效 率。而使用時(shí)間作為門限時(shí)，由于指定時(shí)間內(nèi)的數(shù)據(jù)變更量是未知的，當(dāng)變 更量很大時(shí)，會使同步效率降低很多。離線情況下重新建鏈或網(wǎng)管初始化時(shí)的同步機(jī)制則如圖1所示，具體過 程為1、 上層網(wǎng)管按照指定的通知標(biāo)識范圍，向下層網(wǎng)管查詢通知數(shù)據(jù)；2、 下層網(wǎng)管收到所述查詢通知消息后，將所述通知標(biāo)識與本地通知標(biāo) 識進(jìn)行比較，并返回相應(yīng)信息給上層網(wǎng)管；2.1當(dāng)下層網(wǎng)管本地存儲的通知的最小標(biāo)識大于上層網(wǎng)管指定的通知標(biāo) 識時(shí)，則表明通知被刪除并已轉(zhuǎn)換為同步日志，需要給上層網(wǎng)管返回同步日 志，和當(dāng)前最新通知的標(biāo)識號，作為下次同步的開始點(diǎn)。2.2當(dāng)下層網(wǎng)管本地存在的通知的最小標(biāo)識小于等于上層網(wǎng)管指定的 通知標(biāo)識時(shí)，則表明當(dāng)前本地的通知數(shù)據(jù)是可用的，下層網(wǎng)管給上層網(wǎng)管返 回指定的通知數(shù)據(jù)范圍，作為本次同步的凝:據(jù)內(nèi)容。2.3當(dāng)上層網(wǎng)管查詢的通知標(biāo)識范圍大于下層網(wǎng)管本地保存的最大通
知，則下層網(wǎng)管返回空值，或返回其他表明本次查詢無效的指示，表明本次 查詢無歲文。3、上層網(wǎng)管根據(jù)下層網(wǎng)管返回的信息進(jìn)行增量或^:據(jù)項(xiàng)范圍內(nèi)的全量 同步。當(dāng)下層網(wǎng)管返回的是通知數(shù)據(jù)時(shí)，則上層網(wǎng)管進(jìn)行增量數(shù)據(jù)同步，當(dāng) 返回的是同步日志時(shí)，則上層網(wǎng)管進(jìn)行基于數(shù)據(jù)項(xiàng)的全量同步。下面將結(jié)合附圖及實(shí)施例對本發(fā)明的技術(shù)方案進(jìn)行更詳細(xì)的說明。 實(shí)施例在傳輸網(wǎng)管系統(tǒng)中，網(wǎng)絡(luò)管理層網(wǎng)管(NM S )和網(wǎng)元管理層網(wǎng)管(EM S ) 是上下層網(wǎng)管關(guān)系，二者需要進(jìn)行數(shù)據(jù)同步。本發(fā)明以SDH(同步數(shù)字體 系)設(shè)備的單板數(shù)據(jù)為例來進(jìn)一步說明本發(fā)明的技術(shù)方案內(nèi)容。首先定義出單板的相關(guān)通知類型創(chuàng)建單板、刪除單板、設(shè)置(修改單 ;K屬性)三類通知。每個(gè)通知賦予一個(gè)唯一標(biāo)識號，如以時(shí)間戳+ ^t字序列 號作為通知的唯一標(biāo)識。在網(wǎng)元管理層網(wǎng)管的某網(wǎng)元上連續(xù)進(jìn)行單板操作 (增加、刪除、修改)5次，生成的通知格式如圖2所示。下層網(wǎng)管向上層 網(wǎng)管主動上報(bào)通知數(shù)據(jù)。網(wǎng)元管理層網(wǎng)管和網(wǎng)絡(luò)管理層網(wǎng)管通訊斷鏈后，假i殳在網(wǎng)元管理層網(wǎng)管 上又進(jìn)行單板操作5次。生成的通知記錄格式如圖3所示。上下層網(wǎng)管之間通訊重新建鏈后，進(jìn)行如下同步過程1. 上層網(wǎng)管下發(fā)查詢通知信息來同步數(shù)據(jù)，通知信息中攜帶通知標(biāo)識；由于上下層網(wǎng)管在線時(shí)的同步完成標(biāo)識是在通知NOTIFY ID-5處結(jié)束 的，所以重新建鏈后上層網(wǎng)管下發(fā)的通知查詢耳又值為大于NOTIFY ID-5的所有通知。2、 下層網(wǎng)管收到所述查詢通知消息后，將所述通知標(biāo)識與本地通知標(biāo) 識進(jìn)行比較，并返回相應(yīng)信息給上層網(wǎng)管。結(jié)合圖1來說明查詢所得的結(jié)果。此時(shí)，圖1中所示的Idx中的x等于 5, (n+k)即通知標(biāo)識最大值等于10。 n和k的值取決于設(shè)置的通知保存門 限。2.1、 假設(shè)通知保存門限值為4條，則NOTIFYID-1 ~NOTIFYID-6的 通知均被刪除并轉(zhuǎn)化為同步曰志，則本地網(wǎng)管向上層網(wǎng)管返回的是同步曰志 信息和當(dāng)前本地的最大通知標(biāo)識號NOTIFY ID-IO。2.2、 假設(shè)通知保存門限值為6條，則NOTIFY ID-1 - NOTIFY ID-4的 通知均被刪除并轉(zhuǎn)化為同步日志，但是對本次同步來說，仍然采用通知數(shù)據(jù)， 本地網(wǎng)管向上層網(wǎng)管返回NOTIFY ID-6 -NOTIFY ID-10范圍內(nèi)的通知it據(jù) 進(jìn)行同步。2.3、 特殊異常情況下，上層網(wǎng)管下發(fā)查詢的通知標(biāo)識大于當(dāng)前本地的 通知標(biāo)識最大值(如下發(fā)的通知標(biāo)識為NOTIFYID-11 ),則本次同步無效， 下層網(wǎng)管返回為NULL,或返回其他表明本次查詢無效的指示。3、上層網(wǎng)管根據(jù)下層網(wǎng)管返回的信息進(jìn)行增量或數(shù)據(jù)項(xiàng)范圍內(nèi)的全量 同步。其中，當(dāng)下層網(wǎng)管返回的是通知數(shù)據(jù)時(shí)，則上層網(wǎng)管進(jìn)行增量數(shù)據(jù)同步， 當(dāng)返回的是同步日志時(shí)，則上層網(wǎng)管進(jìn)行基于數(shù)據(jù)項(xiàng)的全量同步?；谕饺罩镜娜客?，僅針對指定數(shù)據(jù)項(xiàng)進(jìn)行全量同步，不是全網(wǎng) 數(shù)據(jù)進(jìn)行全量同步。而原增量數(shù)據(jù)同步方式中的全量同步是針對所有全網(wǎng)數(shù) 據(jù)的全量同步。當(dāng)然，本發(fā)明還可有其他多種實(shí)施例，在不背離本發(fā)明精神及其實(shí)質(zhì)的 形，但這些相應(yīng)的改變和變形都應(yīng)屬于本發(fā)明所附的權(quán)利要求的保護(hù)范圍。
權(quán)利要求
1、一種提高增量方式數(shù)據(jù)同步效率的方法，下層網(wǎng)管以數(shù)據(jù)增量方式和上層網(wǎng)管同步數(shù)據(jù)，其特征在于，下層網(wǎng)管存儲通知數(shù)據(jù)，在當(dāng)前存儲的通知記錄超出指定的門限值后，將通知?jiǎng)h除，并把該通知的數(shù)據(jù)轉(zhuǎn)化為同步日志進(jìn)行存儲。
2、 如權(quán)利要求1所述的方法，其特征在于，所述同步日志標(biāo)識包含表明哪類數(shù)據(jù)項(xiàng)類型發(fā)生了數(shù)據(jù)改變。
3、 如權(quán)利要求1所述的方法，其特征在于，所述通知有一個(gè)全網(wǎng)唯一 的通知標(biāo)識，新產(chǎn)生的通知其標(biāo)識按遞增方式進(jìn)行維護(hù)。
4、 如權(quán)利要求l所述的方法，其特征在于，所述門限值為通知記錄條數(shù)。
5、 如權(quán)利要求1或3或4所述的方法，其特征在于，離線情況下重新 建鏈或網(wǎng)管初始化時(shí)的同步包括如下步驟步驟一，上層網(wǎng)管向下層網(wǎng)管發(fā)送查詢通知消息，所述通知消息中攜帶 通知標(biāo)識；步驟二，下層網(wǎng)管收到所述查詢通知消息后，將所述通知標(biāo)識與本地通 知標(biāo)識進(jìn)行比較，并返回相應(yīng)信息給上層網(wǎng)管；步驟三，上層網(wǎng)管根據(jù)下層網(wǎng)管返回的信息進(jìn)行增量或數(shù)據(jù)項(xiàng)范圍內(nèi)的 全量同步。
6、 如權(quán)利要求5所述的方法，其特征在于，所述步驟二中，下層網(wǎng)管 本地存儲的通知的最小標(biāo)識大于上層網(wǎng)管指定的通知標(biāo)識時(shí)，下層網(wǎng)管給上 層網(wǎng)管返回同步日志，所述步驟三中，上層網(wǎng)管進(jìn)行基于數(shù)據(jù)項(xiàng)的全量同步。
7、 如權(quán)利要求6所述的方法，其特征在于，所述步驟二中，下層網(wǎng)管 向上層網(wǎng)管返回同步日志時(shí)，還返回和當(dāng)前最新通知的標(biāo)識號，作為下次同 步的開始點(diǎn)。
8、 如權(quán)利要求5所述的方法，其特征在于，所述步驟二中，下層網(wǎng)管 本地存在的通知的最小標(biāo)識小于等于上層網(wǎng)管指定的通知標(biāo)識時(shí)，下層網(wǎng)管 給上層網(wǎng)管返回指定通知標(biāo)識到最大通知標(biāo)識范圍的通知數(shù)據(jù)，作為本次同 步的數(shù)據(jù)內(nèi)容，所述步驟三中，上層網(wǎng)管進(jìn)行增量數(shù)據(jù)同步。
9、如權(quán)利要求5所述的方法，其特征在于，所述步驟二中，所述通知標(biāo)識大于下層網(wǎng)管本地保存的最大通知標(biāo)識，則下層網(wǎng)管向上層網(wǎng)管發(fā)送本 次查詢無效的指示。
全文摘要
一種提高增量方式數(shù)據(jù)同步效率的方法，下層網(wǎng)管以數(shù)據(jù)增量方式和上層網(wǎng)管同步數(shù)據(jù)，其特征在于，下層網(wǎng)管存儲通知數(shù)據(jù)，在當(dāng)前存儲的通知記錄超出指定的門限值后，將通知?jiǎng)h除，并把該通知的數(shù)據(jù)轉(zhuǎn)化為同步日志進(jìn)行存儲。本發(fā)明通過正常狀態(tài)下增量通知的方式，解決了基于數(shù)據(jù)項(xiàng)全量同步的效率問題；通過引入通知管理機(jī)制，避免了離線情況下或網(wǎng)管初始化時(shí)進(jìn)行全量范圍的全量同步問題，提高了同步效率。同時(shí)借鑒通知方式的同步優(yōu)點(diǎn)和基于同步日志的數(shù)據(jù)項(xiàng)范圍內(nèi)的全量同步的優(yōu)點(diǎn)，解決了網(wǎng)管在正?；螂x線、初始化情況下的同步效率問題。
文檔編號H04L7/00GK101127640SQ20071014980
公開日2008年2月20日 申請日期2007年9月10日 優(yōu)先權(quán)日2007年9月10日
發(fā)明者馬潤宏 申請人:中興通訊股份有限公司