專利名稱：管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
一般來說，本發(fā)明涉及服務(wù)多個(gè)工作負(fù)荷的計(jì)算機(jī)系統(tǒng)，具體來說，涉及用于管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷以改善系統(tǒng)性能的方法。
背景技術(shù)：
大型計(jì)算機(jī)系統(tǒng)，特別是那些運(yùn)行時(shí)間不同的工作負(fù)荷，難以保持協(xié)調(diào)。需要響應(yīng)變化的工作負(fù)荷調(diào)整系統(tǒng)參數(shù)，以便可以始終獲得系統(tǒng)的最佳性能。結(jié)果，可能需要理解許多交互參數(shù)，并適當(dāng)?shù)剡M(jìn)行調(diào)整。即使一個(gè)系統(tǒng)在一個(gè)點(diǎn)協(xié)調(diào)得很好，由于工作負(fù)荷不斷變化，在某些其他點(diǎn)也可能協(xié)調(diào)得比較差。協(xié)調(diào)得比較差的系統(tǒng)不僅系統(tǒng)性能會(huì)降低，它們還浪費(fèi)資源，并使用戶使用起來感到難受。人們對自主系統(tǒng)(即，動(dòng)態(tài)地自我調(diào)節(jié)的系統(tǒng))的興趣在不斷地增大。自我調(diào)節(jié)的一個(gè)主要方面是自我協(xié)調(diào)。
當(dāng)前對自主協(xié)調(diào)的工作比靜態(tài)協(xié)調(diào)稍微先進(jìn)一些。這樣的工作主要基于常規(guī)反饋控制原理圍繞反應(yīng)性的自主的基本概念而出現(xiàn)。反應(yīng)性的自主系統(tǒng)基于瞬時(shí)的需要，或者，充其量基于短期的歷史度量值來重新配置本身。如同涉及反饋控制的任何技術(shù)一樣，反應(yīng)性的自主系統(tǒng)也具有已知的潛在的不穩(wěn)定性或?qū)ψ兓磻?yīng)慢的問題。
使用反應(yīng)性的自主進(jìn)行自我協(xié)調(diào)或基于事件識別進(jìn)行錯(cuò)誤恢復(fù)的計(jì)算機(jī)存儲系統(tǒng)的示例有IBM Corporation提供的TivoliStorage Resource Manager和Candle Corporation提供的AF/Operator。許多其他計(jì)算機(jī)產(chǎn)品使用反饋系統(tǒng)，這些反饋系統(tǒng)在某些條件滿足時(shí)以自動(dòng)方式監(jiān)視事件并作出反應(yīng)。
美國專利5,537,542描述了用于根據(jù)客戶端性能目標(biāo)對服務(wù)器工作負(fù)荷進(jìn)行管理的設(shè)備和方法。它提供了一個(gè)工作負(fù)荷管理器，該管理器跟蹤性能目標(biāo)集，每一個(gè)目標(biāo)都與一個(gè)客戶端事務(wù)類別關(guān)聯(lián)。系統(tǒng)中的服務(wù)器集分析類別的性能，影響類別性能的性能目標(biāo)和資源。然后，根據(jù)需要對資源分配作出更改，以改善類別的性能。該方法提供了面向?qū)ο蟮目蛻舳?服務(wù)器工作負(fù)荷管理，這種管理是在客戶端的系統(tǒng)上確定的。此方法適用于客戶端-服務(wù)器工作負(fù)荷管理應(yīng)用程序，并需要在客戶端進(jìn)行服務(wù)器的選擇，是基于策略的管理方案。它不依賴于反饋或前饋，也不討論用于實(shí)現(xiàn)任何類型的性能目標(biāo)的預(yù)測或任何特定的方法。
美國專利6,014,700說明了一種基于在客戶端的系統(tǒng)上確定的工作負(fù)荷管理策略而在客戶端-服務(wù)器網(wǎng)絡(luò)中管理工作負(fù)荷的方法。選擇網(wǎng)絡(luò)中的服務(wù)器以基于工作負(fù)荷管理策略來滿足客戶端請求。該方法基于請求形成擴(kuò)展的對象引用，并使用擴(kuò)展的對象引用訪問工作負(fù)荷管理策略。根據(jù)工作負(fù)荷管理策略選擇其中一個(gè)服務(wù)器以處理請求。此方法適用于客戶端-服務(wù)器工作負(fù)荷管理應(yīng)用程序，需要在客戶端進(jìn)行服務(wù)器的選擇，它們的性能預(yù)測是基于當(dāng)前需求和能達(dá)到的需求而不是預(yù)測到的需求作出的。此外，該系統(tǒng)要求手動(dòng)指定模式，而本發(fā)明從觀察到的活動(dòng)的時(shí)間序列分析自動(dòng)生成模式。
PCT申請專利WO0239279A2描述了基于模式化的和監(jiān)視到的I/O資源信息的I/O資源管理系統(tǒng)。該系統(tǒng)動(dòng)態(tài)地使用資源管理體系結(jié)構(gòu)調(diào)整信息管理系統(tǒng)I/O操作參數(shù)，以滿足變化的要求或動(dòng)態(tài)應(yīng)用程序的需求。I/O資源管理系統(tǒng)包括資源管理器、資源模型、存儲設(shè)備工作負(fù)荷監(jiān)視器和存儲設(shè)備。所說明的發(fā)明的主題是管理I/O資源的使用而不是基于目標(biāo)預(yù)測和優(yōu)化系統(tǒng)。
因此，需要一種用于基于反饋和前饋性能信息連續(xù)地管理工作負(fù)荷而沒有上文所描述的缺點(diǎn)的方法和自主計(jì)算機(jī)系統(tǒng)。

發(fā)明內(nèi)容
本發(fā)明的目標(biāo)是提供一種基于反饋機(jī)制優(yōu)化計(jì)算機(jī)系統(tǒng)的性能的方法和系統(tǒng)。
本發(fā)明的另一個(gè)目標(biāo)是提供一種基于前饋機(jī)制優(yōu)化計(jì)算機(jī)系統(tǒng)的性能的方法和系統(tǒng)。
本發(fā)明的再一個(gè)目標(biāo)是提供一種以這樣的方式基于反饋和前饋機(jī)制的組合優(yōu)化性能的方法和系統(tǒng)，以便反饋和前饋優(yōu)化彼此相互補(bǔ)充。
本發(fā)明的再一個(gè)目標(biāo)是一種方法和系統(tǒng)，以確保所提供的用于優(yōu)化性能的機(jī)制對于各種工作負(fù)荷和環(huán)境實(shí)現(xiàn)起來比較簡單。
本發(fā)明的再一個(gè)目標(biāo)是提供一種系統(tǒng)和方法，以確保所提供的用于優(yōu)化性能的機(jī)制適用于包括單個(gè)系統(tǒng)的虛擬系統(tǒng)，而單個(gè)系統(tǒng)的屬性和功能可以顯著不同。
本發(fā)明的再一個(gè)目標(biāo)是提供一種系統(tǒng)和方法，該系統(tǒng)和方法自動(dòng)生成用于從性能目標(biāo)估計(jì)性能的模式。
為實(shí)現(xiàn)這些及其他目標(biāo)，本發(fā)明提供一種基于反饋和前饋性能信息管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的方法。該方法為系統(tǒng)確立性能目標(biāo)，確定系統(tǒng)中的瞬時(shí)需求的度量，連續(xù)跟蹤相對于度量的性能目標(biāo)，基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求，調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)這些目標(biāo)。性能目標(biāo)與置信水平關(guān)聯(lián)，通常包括所希望的系統(tǒng)響應(yīng)時(shí)間。跟蹤步驟包括獲取系統(tǒng)的性能數(shù)據(jù)并將性能數(shù)據(jù)存儲在一個(gè)永久數(shù)據(jù)存儲區(qū)。需求預(yù)測使用頻譜預(yù)測過程從當(dāng)前工作負(fù)荷預(yù)測未來的工作負(fù)荷。
自主計(jì)算機(jī)系統(tǒng)服務(wù)于許多客戶端，并具有可以調(diào)整以影響系統(tǒng)的性能的控制參數(shù)集。該系統(tǒng)包括自主控制器，該控制器為系統(tǒng)確立性能目標(biāo)，確定了系統(tǒng)中的瞬時(shí)需求的度量，跟蹤相對于度量的目標(biāo)，基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求，調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)系統(tǒng)性能目標(biāo)。
還將描述本發(fā)明的網(wǎng)絡(luò)附加存儲(NAS)系統(tǒng)的另一個(gè)優(yōu)選實(shí)施例。自主NAS系統(tǒng)包括被客戶端通過數(shù)據(jù)請求訪問的文件、用于處理來自客戶端的數(shù)據(jù)請求的數(shù)據(jù)存儲區(qū)，以及用于在數(shù)據(jù)存儲區(qū)之間分配數(shù)據(jù)請求的請求路由器。有許多控制系統(tǒng)的性能并可以調(diào)整的參數(shù)。管理操作是由自主控制器執(zhí)行的，該控制器跟蹤相對于性能目標(biāo)的數(shù)據(jù)請求并調(diào)整參數(shù)以滿足性能目標(biāo)。
在隨后的描述中將闡述本發(fā)明的其他目標(biāo)和優(yōu)點(diǎn)，經(jīng)過描述并參考附圖，這些目標(biāo)和優(yōu)點(diǎn)將變清楚，也可以通過本發(fā)明的實(shí)踐來了解。


圖1是一個(gè)顯示根據(jù)本發(fā)明的管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的一般過程的流程圖。
圖2是一個(gè)顯示根據(jù)本發(fā)明的用于預(yù)測自主系統(tǒng)中的未來工作負(fù)荷需求的優(yōu)選過程的流程圖。
圖3是一個(gè)顯示根據(jù)本發(fā)明的自主網(wǎng)絡(luò)附加存儲(NAS)系統(tǒng)的一般配置的方框圖。
圖4是一個(gè)顯示根據(jù)本發(fā)明的用于調(diào)整自主NAS系統(tǒng)的可控制的參數(shù)的優(yōu)選過程的流程圖。
圖5是一個(gè)顯示本發(fā)明的自主NAS系統(tǒng)的改進(jìn)的性能的圖表。
具體實(shí)施例方式
本發(fā)明將主要作為用于管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的方法和系統(tǒng)來描述。然而，所屬技術(shù)領(lǐng)域的專業(yè)人員將認(rèn)識到，諸如包括CPU、內(nèi)存、I/O、程序存儲器、連接總線在內(nèi)的數(shù)據(jù)處理系統(tǒng)之類的設(shè)備，及其他相應(yīng)的組件，可以被編程或者以別的方式設(shè)計(jì)為實(shí)施本發(fā)明的方法。這樣的系統(tǒng)將包括用于執(zhí)行本發(fā)明的操作的相應(yīng)的程序裝置。
此外，與數(shù)據(jù)處理系統(tǒng)一起使用的諸如預(yù)先記錄的磁盤之類的產(chǎn)品或其他類似的計(jì)算機(jī)程序產(chǎn)品，可以包括存儲介質(zhì)和記錄在其上的用于指示數(shù)據(jù)處理系統(tǒng)實(shí)施本發(fā)明的方法的程序手段。這樣的設(shè)備和產(chǎn)品也屬于本發(fā)明的精神和范圍內(nèi)。
圖1是一個(gè)顯示本發(fā)明的一般方法的流程圖。步驟101-102是配置步驟，而步驟103-106是操作步驟。在步驟101中，該方法確立了可以計(jì)量的系統(tǒng)目標(biāo)。在本發(fā)明的優(yōu)選實(shí)施例中，系統(tǒng)目標(biāo)包括性能目標(biāo)和置信水平。一個(gè)計(jì)算機(jī)系統(tǒng)的典型的性能目標(biāo)可以是系統(tǒng)在某一個(gè)時(shí)間窗內(nèi)執(zhí)行的事務(wù)的目標(biāo)數(shù)量。對于存儲系統(tǒng)，目標(biāo)可以是請求的目標(biāo)數(shù)量或一個(gè)文件類別或客戶端類別的平均響應(yīng)時(shí)間。對于網(wǎng)絡(luò)系統(tǒng)，目標(biāo)可以是系統(tǒng)在一個(gè)時(shí)段內(nèi)可以處理的網(wǎng)絡(luò)事務(wù)的數(shù)量。
系統(tǒng)目標(biāo)可以具有多個(gè)子類別。例如，自主計(jì)算機(jī)系統(tǒng)的某些客戶端可能愿意以響應(yīng)時(shí)間延長來換取成本的降低。因此，對于每一個(gè)客戶端類別，目標(biāo)可以不同。
置信水平度量系統(tǒng)必須滿足其性能目標(biāo)的密切程度。例如，計(jì)算機(jī)系統(tǒng)可能需要取得時(shí)間的66％的平均響應(yīng)時(shí)間。因此，在這種情況下，置信水平將是66％。
在步驟102中，確立系統(tǒng)中的瞬時(shí)需求的度量，以便可以使用度量來跟蹤系統(tǒng)目標(biāo)。在本發(fā)明的自主計(jì)算機(jī)系統(tǒng)中，瞬時(shí)需求的度量可以是系統(tǒng)當(dāng)前可以處理的一個(gè)文件類別或客戶端類別的請求數(shù)量。根據(jù)系統(tǒng)的特征，在步驟102中可以確立一個(gè)以上的度量。例如，一個(gè)度量可以是為一個(gè)文件完成的操作的數(shù)量，而第二個(gè)度量表示存儲節(jié)點(diǎn)完成的操作的數(shù)量。
在步驟103到105中，本發(fā)明的方法不斷地跟蹤、預(yù)測和調(diào)整系統(tǒng)的操作以實(shí)現(xiàn)目標(biāo)。在步驟103中，該方法跟蹤相對于瞬時(shí)需求的系統(tǒng)性能。在本發(fā)明的優(yōu)選實(shí)施例中，該方法還在諸如統(tǒng)計(jì)數(shù)據(jù)庫之類的永久存儲區(qū)中存儲隨著時(shí)間的系統(tǒng)性能數(shù)據(jù)。在存儲系統(tǒng)中，該方法將在請求正在被系統(tǒng)處理時(shí)跟蹤平均響應(yīng)時(shí)間。
在步驟104中，使用自回歸的時(shí)間序列，預(yù)測系統(tǒng)中的未來工作負(fù)荷需求，以及不確定性。自回歸的時(shí)間序列分析基于一個(gè)變量的歷史預(yù)測該變量的未來值，從而大大地簡化了預(yù)測。時(shí)間序列被視為無窮的移動(dòng)平均值。應(yīng)用頻譜預(yù)測法將時(shí)間序列從時(shí)間域轉(zhuǎn)換為頻率域，然后，可以使用該頻率域生成預(yù)測結(jié)果。該方法對永久存儲區(qū)中的數(shù)據(jù)應(yīng)用自回歸累積移動(dòng)平均(ARIMA)以獲取需求預(yù)測。數(shù)據(jù)序列應(yīng)用程序和頻譜預(yù)測可以自動(dòng)化。G.Box等人在課本“TimeSeries Analysis，F(xiàn)orecasting and Control，＂Third Edition，PrenticeHall，1994(下文稱Box等人)中描述了自回歸累積移動(dòng)平均(ARIMA)模式。
在步驟105中，調(diào)整系統(tǒng)的可控制的參數(shù)以滿足預(yù)測需求的系統(tǒng)目標(biāo)。預(yù)測被用作調(diào)整系統(tǒng)的可控制的參數(shù)的基礎(chǔ)。例如，在數(shù)據(jù)存儲系統(tǒng)中，該方法優(yōu)選情況下將把文件重新分配到數(shù)據(jù)存儲區(qū)，在數(shù)據(jù)存儲區(qū)之間復(fù)制文件或遷移文件，或者使數(shù)據(jù)存儲區(qū)聯(lián)機(jī)或脫機(jī)以滿足預(yù)測需求。跟蹤數(shù)據(jù)、需求預(yù)測和可控制的參數(shù)優(yōu)選情況下在統(tǒng)計(jì)數(shù)據(jù)庫106中維護(hù)。
通用計(jì)算機(jī)系統(tǒng)可以具有各種可以調(diào)整的控制參數(shù)，例如，這些控制參數(shù)可以是，用于控制或限制工作負(fù)荷的混合以使系統(tǒng)比其他工作請求優(yōu)先處理某些工作請求的參數(shù)，用于使系統(tǒng)資源可用或不可用的參數(shù)，或用于將資源專用于某些工作請求以及跨多個(gè)系統(tǒng)分布負(fù)載的參數(shù)。數(shù)據(jù)存儲系統(tǒng)和網(wǎng)絡(luò)系統(tǒng)具有類似的控制類型，即，用于限制請求數(shù)量的控制，系統(tǒng)被要求比其他請求優(yōu)先處理某些請求，添加或刪除資源以處理負(fù)載的控制，或使某些請求資源專用于某些請求，以及跨多個(gè)系統(tǒng)分布負(fù)載的控制。
由于這些系統(tǒng)的控制彼此類似，因此，使用這些控制根據(jù)需求優(yōu)化性能以實(shí)現(xiàn)目標(biāo)的方法也相似。這三種系統(tǒng)類型之間主要的不同是， 目標(biāo)和置信水平將不同，為需求測量的變量也將不同，但用于根據(jù)需求估計(jì)性能以實(shí)現(xiàn)每個(gè)系統(tǒng)的目標(biāo)的方法可以是相同的。
圖2是一個(gè)顯示根據(jù)本發(fā)明的用于預(yù)測自主系統(tǒng)中的未來工作負(fù)荷需求的優(yōu)選過程的流程圖。在步驟201中，基于變量的歷史預(yù)測系統(tǒng)變量的未來值。在步驟202中，應(yīng)用頻譜預(yù)測以將預(yù)測的值從時(shí)間域轉(zhuǎn)換為頻率域。在步驟203中，將頻率域內(nèi)的預(yù)測值應(yīng)用于跟蹤永久存儲區(qū)中的數(shù)據(jù)，以進(jìn)行需求預(yù)測。
為較好地說明上文描述的方法的操作，現(xiàn)在描述網(wǎng)絡(luò)附加存儲(NAS)系統(tǒng)的本發(fā)明的優(yōu)選實(shí)施例。本發(fā)明的操作允許系統(tǒng)成為一個(gè)可縮放的自主協(xié)調(diào)的NAS系統(tǒng)。在系統(tǒng)環(huán)境是共享磁盤環(huán)境的情況下，描述文件重新分配，而不描述文件復(fù)制或遷移。在連續(xù)共享磁盤或無共享的環(huán)境中，實(shí)現(xiàn)方式通常將包括文件復(fù)制和遷移。在這樣的環(huán)境中，當(dāng)和基于反饋的控制方法相比，本發(fā)明的性能更好，因?yàn)榛诜答伒目刂品椒ú荒茉谛枰那懊鎰?dòng)態(tài)地復(fù)制或遷移文件。
網(wǎng)絡(luò)附加存儲網(wǎng)絡(luò)附加存儲(NAS)系統(tǒng)是一個(gè)網(wǎng)絡(luò)文件服務(wù)器，它處理通過諸如網(wǎng)絡(luò)文件系統(tǒng)(NFS)之類的協(xié)議并借助于諸如以太網(wǎng)之類的媒介由一個(gè)或多個(gè)客戶端發(fā)送給它的請求。位于TCP/IP通信協(xié)議套件之上的NFS，使用遠(yuǎn)程過程調(diào)用體系結(jié)構(gòu)，在該體系結(jié)構(gòu)中，每個(gè)從客戶端發(fā)往服務(wù)器的請求都會(huì)產(chǎn)生一個(gè)從服務(wù)器發(fā)往客戶端的響應(yīng)。典型的NFS請求是創(chuàng)建文件、向文件寫入數(shù)據(jù)，從文件讀取數(shù)據(jù)，以及刪除文件。一個(gè)響應(yīng)表示對應(yīng)的請求是否被處理而沒有產(chǎn)生錯(cuò)誤，如果是這樣的話，是否包含請求特定的數(shù)據(jù)，例如，來自一個(gè)讀取的文件內(nèi)容。
NAS充當(dāng)在客戶端之間共享的數(shù)據(jù)的中心倉庫。借助于NAS，客戶端不必分別存儲數(shù)據(jù)，從而降低了成本。客戶端也不必協(xié)調(diào)對數(shù)據(jù)的更新，從而簡化了它們的工作。數(shù)據(jù)管理可以集中進(jìn)行，從而可以簡化管理并降低成本。小型計(jì)算機(jī)可以廣泛地部署；或者，大型系統(tǒng)可以進(jìn)一步擴(kuò)展。具有一個(gè)功能強(qiáng)大的NAS以支持更多客戶端或處理來自相同數(shù)量的客戶端的更多工作是十分理想的。在此說明書中，NAS系統(tǒng)是一個(gè)可擴(kuò)展的體系結(jié)構(gòu)，它將多個(gè)數(shù)據(jù)存儲區(qū)集成到一個(gè)單一的虛擬NAS中。請求被發(fā)送到虛擬NAS，并在單個(gè)存儲區(qū)之間分布。該體系結(jié)構(gòu)的優(yōu)點(diǎn)是，各個(gè)功能的系統(tǒng)，包括功能非常強(qiáng)大的系統(tǒng)，可以用相對便宜組件制成。缺點(diǎn)是，系統(tǒng)的總體性能將只等于其性能最差的數(shù)據(jù)存儲區(qū)的性能?？梢源笠?guī)模地提供虛擬NAS以最大限度地降低一個(gè)性能較差的數(shù)據(jù)存儲區(qū)的影響，但這將降低該體系結(jié)構(gòu)的優(yōu)點(diǎn)。或者，可以使用自主協(xié)調(diào)來平衡數(shù)據(jù)存儲區(qū)之間的工作負(fù)荷。優(yōu)選實(shí)施例選擇了后一種方法。
圖3是一個(gè)顯示根據(jù)本發(fā)明的自主網(wǎng)絡(luò)附加存儲(NAS)系統(tǒng)300的一般配置的方框圖。NAS系統(tǒng)300包括兩個(gè)代表性的客戶端301-302。客戶端301-302通過網(wǎng)絡(luò)交換機(jī)303連接到請求路由器304。請求路由器304通過一個(gè)存儲交換機(jī)305連接到數(shù)據(jù)存儲區(qū)(或服務(wù)器)306。數(shù)據(jù)存儲區(qū)306又訪問共享磁盤307上的數(shù)據(jù)。數(shù)據(jù)存儲區(qū)306處理對保存在系統(tǒng)300中維護(hù)的群集文件系統(tǒng)中的文件的請求。請求路由器304將請求在數(shù)據(jù)存儲區(qū)306之間分布。自主控制程序308遵循如上所述的本發(fā)明的方法指示請求路由器304?？傮w存儲系統(tǒng)300被稱為“NAS叢”，因?yàn)樗闪硕鄠€(gè)獨(dú)立的系統(tǒng)。
客戶端301-302、請求路由器304和數(shù)據(jù)存儲區(qū)306是計(jì)算機(jī)。雖然客戶端301-302配置相同，但是，數(shù)據(jù)存儲區(qū)306故意采用不同的配置，以便最初的未管理的NAS系統(tǒng)(沒有實(shí)施本發(fā)明的方法)原本就是不平衡的。數(shù)據(jù)存儲區(qū)306包含各種速度的處理器。有些數(shù)據(jù)存儲區(qū)306具有一個(gè)處理器，而有些數(shù)據(jù)存儲區(qū)可以具有一個(gè)以上的處理器。數(shù)據(jù)存儲區(qū)306可以具有不同的內(nèi)存大小。
自主NAS系統(tǒng)300按如下方式工作?？蛻舳?01向請求路由器304發(fā)送一個(gè)請求，而請求路由器304將請求轉(zhuǎn)發(fā)到其中一個(gè)數(shù)據(jù)存儲區(qū)306以便進(jìn)行處理。任何數(shù)據(jù)存儲區(qū)306都可以訪問任何文件，因?yàn)槲募扇杭募到y(tǒng)(在NAS系統(tǒng)300中)進(jìn)行管理，而群集文件系統(tǒng)協(xié)調(diào)對文件的訪問。哪一個(gè)數(shù)據(jù)存儲區(qū)306將處理一個(gè)給定請求是本發(fā)明的方法基于請求的類型、它引用的文件，以及系統(tǒng)的狀態(tài)所作出的。下面將比較詳細(xì)地描述決定過程。
本發(fā)明的操作能使NAS系統(tǒng)300的負(fù)載在其數(shù)據(jù)存儲區(qū)306之間共享。負(fù)載平衡或智能共享負(fù)載，具有兩個(gè)主要優(yōu)點(diǎn)。首先，如同任何現(xiàn)代化的計(jì)算機(jī)系統(tǒng)一樣，性能是非線性的。超過一個(gè)飽和點(diǎn)之后，負(fù)載的線性增大將導(dǎo)致響應(yīng)時(shí)間大大地延長。平衡載荷可以使NAS系統(tǒng)300在一個(gè)線性的性能區(qū)域內(nèi)操作。其次，向相同的數(shù)據(jù)存儲區(qū)306分配相關(guān)的請求可以利用數(shù)據(jù)緩存，從而使I/O數(shù)量、以及計(jì)算量變低。
在NAS系統(tǒng)300中，工作負(fù)荷可以靜態(tài)地平衡，即，文件可以遵循一個(gè)固定的時(shí)間表分配給數(shù)據(jù)存儲區(qū)306，它可以動(dòng)態(tài)地平衡，隨著時(shí)間的推移，文件分配也不斷地變化。事實(shí)上，靜態(tài)分配將證明一個(gè)不好的選擇。在時(shí)間上成簇地到達(dá)的請求傾向于相關(guān)，負(fù)載傾向于包括多個(gè)循環(huán)組件，并且負(fù)載傾向于隨著時(shí)間的推移而顯著地不同。NAS系統(tǒng)300將使用前饋控制來進(jìn)行動(dòng)態(tài)平衡。
請求路由器304能識別來自網(wǎng)絡(luò)文件系統(tǒng)(NFS)的請求及其響應(yīng)。請求路由器304以網(wǎng)絡(luò)速度分析并路由請求和響應(yīng)。請求路由器304每個(gè)文件地、每個(gè)請求地、以及每個(gè)服務(wù)器地、每個(gè)響應(yīng)地記錄統(tǒng)計(jì)信息。它使用默認(rèn)規(guī)則和異常集將請求轉(zhuǎn)發(fā)到相應(yīng)的存儲區(qū)。
本發(fā)明的自主NAS系統(tǒng)300使用NFS文件句柄(或文件標(biāo)識符)的簡單的散列來選擇一個(gè)數(shù)據(jù)存儲區(qū)306以處理傳入的請求。這也被用作選擇數(shù)據(jù)存儲區(qū)306的默認(rèn)規(guī)則。默認(rèn)規(guī)則具有多個(gè)特征它在數(shù)據(jù)存儲區(qū)306之間大致均勻地分布負(fù)載，它重復(fù)地將一個(gè)給定文件分配到相同的數(shù)據(jù)存儲區(qū)306，它計(jì)算起來比較簡單。給定了這些特征，NAS系統(tǒng)300利用存儲數(shù)據(jù)(和群集文件系統(tǒng)令牌)緩存；然而，它靜態(tài)地將文件分配到數(shù)據(jù)存儲區(qū)306，忽略了存儲負(fù)載和文件熱度，即，文件所產(chǎn)生的負(fù)載的程度。
本發(fā)明的方法使用請求路由器304收集的統(tǒng)計(jì)數(shù)據(jù)，定期執(zhí)行下列操作-它跟蹤和預(yù)測數(shù)據(jù)存儲區(qū)在一個(gè)給定負(fù)載下的響應(yīng)時(shí)間。
-它跟蹤和預(yù)測每個(gè)文件的熱度。
-它估計(jì)向數(shù)據(jù)存儲區(qū)306重新分配熱文件對響應(yīng)時(shí)間的影響；判斷要重新分配哪一個(gè)文件，并更新路由器的異常集，實(shí)際重新分配文件。
假設(shè)有循環(huán)組件要訪問模式，隨著其統(tǒng)計(jì)數(shù)據(jù)庫的擴(kuò)大，NAS系統(tǒng)300使投影和分配隨著時(shí)間變得精煉。如果在訪問模式方面有根本的變化，則反饋和前饋的組合可使本發(fā)明快速地檢測和調(diào)整分配。
本發(fā)明的NAS系統(tǒng)300使用類似于在計(jì)量經(jīng)濟(jì)學(xué)領(lǐng)域使用使用的時(shí)間序列分析方法來預(yù)測每一個(gè)文件的所期望的工作負(fù)荷。具體來說，系統(tǒng)300使用自回歸累積移動(dòng)平均(ARIMA)模式將工作負(fù)荷模式化，如Box等人所描述的，從該模式中，它提取循環(huán)組件。NAS系統(tǒng)300將頻譜預(yù)測過程應(yīng)用到組件，以從當(dāng)前工作負(fù)荷預(yù)測未來的工作負(fù)荷。頻譜預(yù)測過程由J.Geweke在＂Priors ForMacroeconomic Time Series and Their Applications，＂DiscussionPaper No.64，F(xiàn)ederal Reserve Bank of Minneapolis，Institute forEmpirical Macroeconomics，1992中進(jìn)行了描述。本質(zhì)上，每個(gè)時(shí)段的請求數(shù)量可以被視為無窮的移動(dòng)平均值，估計(jì)時(shí)間序列的傅里葉變換，計(jì)算對應(yīng)的時(shí)間域模式，并使用該模式預(yù)測負(fù)載。由于相同的模式應(yīng)用于所有這樣的序列，因此，該過程可以自動(dòng)化。
本發(fā)明的NAS系統(tǒng)300使用負(fù)荷預(yù)測來確定哪一個(gè)數(shù)據(jù)存儲區(qū)306(如果有的話)在下一個(gè)時(shí)段中可能會(huì)被超載。它反復(fù)提出了從超載的數(shù)據(jù)存儲區(qū)306重新分配文件。提議文件按照熱度(即，訪問頻率)的降序來重新分配。當(dāng)取得了NAS系統(tǒng)的性能目標(biāo)，或者，如果由于系統(tǒng)超載而不能實(shí)現(xiàn)目標(biāo)，當(dāng)NAS系統(tǒng)300中的工作負(fù)荷已經(jīng)平衡時(shí)，迭代結(jié)束。
給定一個(gè)提議的分配，NAS系統(tǒng)300使用用于估計(jì)廣義最小平方法的頻譜過程來估計(jì)一個(gè)數(shù)據(jù)存儲區(qū)306的響應(yīng)時(shí)間。E.J.Hannan在＂Time Series Analysis，＂pages 17-37，Wiley，1963中描述了頻譜過程的一個(gè)示例。假設(shè)所有因素都綜合在一起考慮(一個(gè)時(shí)段內(nèi)處理的請求的數(shù)量除外)，遵循穩(wěn)定的ARIMA過程，則此過程適用。在實(shí)踐中，證明此假設(shè)是合理的。由于相同的模式應(yīng)用于所有的數(shù)據(jù)序列，因此，該過程也可以自動(dòng)化。
NAS系統(tǒng)300不是使用默認(rèn)規(guī)則和反復(fù)提議重新分配幾個(gè)熱文件，而可以遵循隨機(jī)最佳化模式計(jì)算最佳的分配。此過程需要有關(guān)負(fù)載和響應(yīng)時(shí)間的歷史數(shù)據(jù)，這些數(shù)據(jù)是請求路由器304收集和記錄的。事實(shí)上，這樣的計(jì)算將十分復(fù)雜和緩慢。假設(shè)存在一個(gè)簡單的默認(rèn)規(guī)則，本發(fā)明具有一個(gè)充分的起點(diǎn)，從該起點(diǎn)，反復(fù)應(yīng)用增量變化，這將快速產(chǎn)生良好的結(jié)果。沒有必要應(yīng)用更復(fù)雜的過程。
圖4是一個(gè)顯示根據(jù)本發(fā)明的用于調(diào)整自主NAS系統(tǒng)300的可控制的參數(shù)的優(yōu)選過程的流程圖。在步驟401中，確立一個(gè)性能目標(biāo)，該性能目標(biāo)包括可測量的性能目標(biāo)和實(shí)現(xiàn)該目標(biāo)的置信水平。對于一個(gè)NAS系統(tǒng)，可測量的目標(biāo)可以是最大限度地縮短請求響應(yīng)時(shí)間，以便90％的時(shí)間在10毫秒內(nèi)處理一個(gè)請求并返回到請求者。
在步驟402，為一個(gè)或多個(gè)系統(tǒng)變量確立需求的度量。對于NAS系統(tǒng)，需求的度量可以是跟蹤對一個(gè)給定文件的請求的數(shù)量、類型和大小，一個(gè)請求被路由到哪一個(gè)數(shù)據(jù)存儲區(qū)306，以及需要花費(fèi)多長時(shí)間完成該請求。
在步驟403中，確立一個(gè)默認(rèn)規(guī)則，以便通過提供默認(rèn)操作或配置來靜態(tài)地重新配置NAS系統(tǒng)。對于NAS系統(tǒng)，默認(rèn)規(guī)則可以是基于文件標(biāo)識將請求路由到不同的數(shù)據(jù)存儲區(qū)306。例如，在圖3中，對一個(gè)文件的所有請求都進(jìn)入數(shù)據(jù)存儲區(qū)#1，而對另一個(gè)文件的請求將進(jìn)入數(shù)據(jù)存儲區(qū)#2。
在步驟404中，作為在永久存儲區(qū)中維護(hù)的數(shù)據(jù)跟蹤和記錄需求的度量。該示例中的NAS系統(tǒng)跟蹤路由到一個(gè)特定的數(shù)據(jù)存儲區(qū)的對某一個(gè)文件的請求的數(shù)量和大小，以及請求需要花多長時(shí)間才能完成，并按時(shí)間順序?qū)⒏檾?shù)據(jù)存儲在一個(gè)永久存儲區(qū)中。
在步驟405中，該方法使用自回歸的時(shí)間序列預(yù)測未來的需求。時(shí)間序列被視為一個(gè)值的無窮的移動(dòng)平均值。通過應(yīng)用頻譜預(yù)測技術(shù)，將時(shí)間序列從時(shí)間域轉(zhuǎn)換為頻率域，然后，可以使用該頻率域生成預(yù)測結(jié)果。所描述的方法適用于可以自動(dòng)化的所有數(shù)據(jù)序列。該方法對永久存儲區(qū)中的數(shù)據(jù)應(yīng)用自回歸累積移動(dòng)平均(ARIMA)以獲取需求預(yù)測。
在步驟406中，默認(rèn)規(guī)則應(yīng)用于每一個(gè)請求以產(chǎn)生如何路由請求的投影。對于NAS系統(tǒng)，使用該模式來確定如何在數(shù)據(jù)存儲區(qū)之間分配請求。
在步驟407中，使用生成的模式估計(jì)系統(tǒng)性能，并考慮到該方法判斷是相關(guān)的任何反饋。需求被用作對該模式的輸入以判斷系統(tǒng)性能。對于NAS系統(tǒng)，在一個(gè)時(shí)間間隔內(nèi)對文件的請求被用作輸入來判斷系統(tǒng)性能，包括由于反饋而作出的任何調(diào)整，其中，反饋將是偏離預(yù)測需求的文件請求活動(dòng)。速率可能對于一個(gè)文件不同，或者請求的分配是與預(yù)測的不同的文件。
在步驟408中，給定投影，該方法估計(jì)，在其當(dāng)前配置中，在所希望的置信水平內(nèi)，系統(tǒng)是否實(shí)現(xiàn)目標(biāo)。對于NAS系統(tǒng)，使用該模式的請求分配的結(jié)果預(yù)測系統(tǒng)配置在置信水平內(nèi)是否會(huì)實(shí)現(xiàn)目標(biāo)。
在步驟409中，如果投影估計(jì)，當(dāng)前配置不會(huì)實(shí)現(xiàn)目標(biāo)，那么，該方法重新配置系統(tǒng)以嘗試實(shí)現(xiàn)目標(biāo)。對于NAS系統(tǒng)，可以生成異常規(guī)則(在特定的情況下覆蓋默認(rèn)規(guī)則的規(guī)則)以重新分配請求。一個(gè)示例是，根據(jù)默認(rèn)規(guī)則，所有對文件28的請求都應(yīng)該進(jìn)入數(shù)據(jù)存儲區(qū)#2，而不是進(jìn)入數(shù)據(jù)存儲區(qū)#1。
要評估自主NAS系統(tǒng)300的性能，使用了實(shí)際系統(tǒng)的四個(gè)實(shí)際工作負(fù)荷。所有四個(gè)工作負(fù)荷都以非常高的速率發(fā)出對數(shù)據(jù)的請求。NAS系統(tǒng)300的響應(yīng)時(shí)間作為其負(fù)載的函數(shù)非線性地變化。以同時(shí)運(yùn)行和獨(dú)立運(yùn)行的工作負(fù)荷評估NAS系統(tǒng)300。首先，在文件重新分配被禁用的情況下運(yùn)行工作負(fù)荷，再次在啟用的情況下運(yùn)行工作負(fù)荷。下面給出的結(jié)果對應(yīng)于代表性的24小時(shí)跟蹤，開始622小時(shí)，但是，對此啟動(dòng)時(shí)段的特定選擇無關(guān)緊要。每一個(gè)時(shí)段都對應(yīng)于一個(gè)小時(shí)的跟蹤。
圖5是一個(gè)顯示文件重新分配對使用本發(fā)明的NAS系統(tǒng)中的響應(yīng)時(shí)間的影響的圖。該圖顯示了每個(gè)存儲區(qū)的響應(yīng)時(shí)間的平均值的最大值?！盎尽北硎緵]有重新分配的測量時(shí)間，而“調(diào)整”表示使用了重新分配的時(shí)間。NAS系統(tǒng)300在幾乎所有的時(shí)段中都實(shí)現(xiàn)了其目標(biāo)的性能分量，或者非常接近。它只在時(shí)段637和639偏離校準(zhǔn)誤差。給定選擇的置信水平，它實(shí)現(xiàn)了其總體目標(biāo)。值得注意的是，在時(shí)段639和643，包括一個(gè)未達(dá)到其性能目標(biāo)的時(shí)段，本發(fā)明將系統(tǒng)的最大平均響應(yīng)時(shí)間幾乎降低了一半。
雖然是參考優(yōu)選實(shí)施例特別顯示和描述本發(fā)明的，但是那些精通本技術(shù)的人員將理解，在不偏離本發(fā)明的精神和范圍的情況下，可以進(jìn)行各種修改。相應(yīng)地，所說明的發(fā)明只是說明性的，并局限于所附的權(quán)利要求所說明的范圍內(nèi)。
權(quán)利要求
1.一種用于管理具有許多控制參數(shù)的計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的方法，該方法包括下列步驟為系統(tǒng)確立性能目標(biāo)；確定系統(tǒng)中的瞬時(shí)需求的度量；相對于該度量跟蹤目標(biāo)；基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求；以及調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)目標(biāo)。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，性能目標(biāo)與置信水平相關(guān)聯(lián)。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，性能目標(biāo)包括系統(tǒng)響應(yīng)時(shí)間。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，度量包括系統(tǒng)在一個(gè)時(shí)段內(nèi)可以處理的事務(wù)的數(shù)量。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，度量包括系統(tǒng)在一個(gè)時(shí)段內(nèi)可以服務(wù)的數(shù)據(jù)請求的數(shù)量。
6.根據(jù)權(quán)利要求1所述的方法，其特征在于，跟蹤步驟包括下列步驟獲取系統(tǒng)的性能數(shù)據(jù)；以及將性能數(shù)據(jù)存儲在一個(gè)永久數(shù)據(jù)存儲區(qū)中。
7.根據(jù)權(quán)利要求1所述的方法，其特征在于，預(yù)測步驟是基于自回歸累積移動(dòng)平均(ARIMA)模式進(jìn)行的。
8.根據(jù)權(quán)利要求7所述的方法，其特征在于，預(yù)測步驟包括使用頻譜預(yù)測過程從當(dāng)前工作負(fù)荷預(yù)測未來的工作負(fù)荷。
9.根據(jù)權(quán)利要求1所述的方法，其特征在于，調(diào)整步驟是基于預(yù)測需求和該預(yù)測需求對系統(tǒng)的估計(jì)的影響進(jìn)行的。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，該影響是使用廣義最小平方法過程來進(jìn)行估計(jì)的。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，參數(shù)是響應(yīng)對系統(tǒng)的估計(jì)的影響來調(diào)整的。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，調(diào)整步驟進(jìn)一步基于當(dāng)前需求對系統(tǒng)的反饋進(jìn)行。
13.一種用于管理具有許多控制參數(shù)和數(shù)據(jù)的計(jì)算機(jī)存儲系統(tǒng)中的工作負(fù)荷的方法，所述數(shù)據(jù)被客戶端通過對數(shù)據(jù)的請求來訪問，該方法包括下列步驟為系統(tǒng)確立性能目標(biāo)；基于系統(tǒng)正在處理的請求數(shù)量確定系統(tǒng)中的瞬時(shí)需求的度量；相對于該度量跟蹤目標(biāo)；基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求；以及調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)目標(biāo)。
14.一種自主計(jì)算機(jī)系統(tǒng)，包括訪問系統(tǒng)的許多客戶端；控制系統(tǒng)性能的許多參數(shù)；以及自主控制器，用于為系統(tǒng)確立性能目標(biāo)，確定系統(tǒng)中的瞬時(shí)需求的度量，相對于該度量跟蹤目標(biāo)，基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求，調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)目標(biāo)。
15.一種自主計(jì)算機(jī)存儲系統(tǒng)，包括用于控制系統(tǒng)性能的許多參數(shù)；許多被客戶端通過數(shù)據(jù)請求訪問的數(shù)據(jù)文件；許多用于處理來自客戶端的數(shù)據(jù)請求的數(shù)據(jù)存儲區(qū)；用于在數(shù)據(jù)存儲區(qū)之間分配數(shù)據(jù)請求的請求路由器；以及自主控制器，用于確立目標(biāo)請求-處理目標(biāo)，確定瞬時(shí)處理的請求的度量，相對于該度量跟蹤目標(biāo)，基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求，以及調(diào)整參數(shù)以實(shí)現(xiàn)性能目標(biāo)。
16.一種與計(jì)算機(jī)系統(tǒng)一起使用的計(jì)算機(jī)程序產(chǎn)品，用于管理系統(tǒng)中的工作負(fù)荷，系統(tǒng)具有許多控制參數(shù)，該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀的介質(zhì)；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于為系統(tǒng)確立性能目標(biāo)的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于確定系統(tǒng)中的瞬時(shí)需求的度量的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于相對于該度量跟蹤目標(biāo)的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求的裝置；以及在計(jì)算機(jī)可讀的介質(zhì)上提供的用于調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)目標(biāo)的裝置。
17.一種與計(jì)算機(jī)存儲系統(tǒng)一起使用的計(jì)算機(jī)程序產(chǎn)品，用于管理系統(tǒng)中的工作負(fù)荷，系統(tǒng)被數(shù)據(jù)請求訪問，并具有許多控制參數(shù)，該計(jì)算機(jī)程序產(chǎn)品包括計(jì)算機(jī)可讀的介質(zhì)；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于確立目標(biāo)請求-處理目標(biāo)的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于確定瞬時(shí)處理的請求的度量的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于相對于該度量跟蹤目標(biāo)的裝置；在計(jì)算機(jī)可讀的介質(zhì)上提供的用于基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求的裝置；以及在計(jì)算機(jī)可讀的介質(zhì)上提供的用于調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)目標(biāo)的裝置。
全文摘要
一種基于反饋和前饋性能信息管理自主計(jì)算機(jī)系統(tǒng)中的工作負(fù)荷的方法和系統(tǒng)。該方法為系統(tǒng)確立性能目標(biāo)，確定系統(tǒng)中的瞬時(shí)需求的度量，相對于該度量連續(xù)跟蹤性能目標(biāo)，基于系統(tǒng)的自回歸的時(shí)間序列預(yù)測未來的需求，調(diào)整系統(tǒng)的控制參數(shù)以實(shí)現(xiàn)這些目標(biāo)。性能目標(biāo)與置信水平關(guān)聯(lián)，通常包括所希望的系統(tǒng)響應(yīng)時(shí)間。跟蹤步驟包括獲取系統(tǒng)的性能數(shù)據(jù)并將性能數(shù)據(jù)存儲在一個(gè)永久數(shù)據(jù)存儲區(qū)中。需求預(yù)測使用頻譜預(yù)測過程從當(dāng)前工作負(fù)荷預(yù)測未來的工作負(fù)荷。
文檔編號G06F9/46GK1510570SQ20031012310
公開日2004年7月7日 申請日期2003年12月17日 優(yōu)先權(quán)日2002年12月20日
發(fā)明者斯蒂芬·P.·摩根, 愛德華·G.·克勞恩, 蘭斯·W.·拉塞爾, G. 克勞恩, W. 拉塞爾, 斯蒂芬 P. 摩根 申請人:國際商業(yè)機(jī)器公司