專利名稱：一種多增量虛擬機內(nèi)存管理系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明屬于虛擬化技術(shù)領(lǐng)域，更具體地，涉及一種多增量虛擬機內(nèi)存管理系統(tǒng)和方法。
背景技術(shù)：
系統(tǒng)虛擬化是云計算的重要技術(shù)支撐，基于x86架構(gòu)的系統(tǒng)虛擬化技術(shù)是整個云計算發(fā)展的基石之一。在以系統(tǒng)虛擬化為技術(shù)支撐的云計算環(huán)境下，每臺物理機上都運行著多個虛擬機，他們由各個物理機上的虛擬機管理系統(tǒng)(VirtualMachine Monitor,簡稱VMM)統(tǒng)一管理。物理機之上多個虛擬機創(chuàng)建啟動的速度和運行的效率成為了計算機科學(xué)工作者關(guān)注的焦點。SnowFlock是多倫多大學(xué)的一個項目，核心想法是把Unix操作系統(tǒng)中fork的概念引入到云計算,不過不是用于fork進程,是fork虛擬機,包括fork虛擬機到其他的物理機上，之所以如此設(shè)計一個快速克隆的系統(tǒng)主要是為了達到虛擬機快速創(chuàng)建和啟動也就是快速部署的目的，究其原理之所以克隆速度快，主要是因為該系統(tǒng)只復(fù)制了必要的狀態(tài)信息，比如VM描述器(Descriptor)、內(nèi)存狀態(tài)以及多播、資源分配上的優(yōu)化等等。針對內(nèi)存，差別引擎(Difference Engine)系統(tǒng)在VMM上進行了頁面共享、頁面補丁、頁面壓縮方面的嘗試提高了內(nèi)存的使用效率，Satori系統(tǒng)提供了一套在VMM上快速偵測頁面共享時機的方案以較小的開銷減小了內(nèi)存的使用量。此外被提出和實現(xiàn)的方案還有按照虛擬機需求動態(tài)調(diào)整虛擬機內(nèi)存大小、Hotplug和Balloon技術(shù)等等。另一方面，為了減小虛擬機對物理磁盤的占用量，寫時復(fù)制(Copy onWrite，簡稱COW)技術(shù)被廣泛運用在了虛擬機的虛擬磁盤上。在物理機上,虛擬機往往選擇單個鏡像文件來作為自己的虛擬硬盤，一個虛擬機的虛擬硬盤中如果被占用了 10GB，那么作為虛擬硬盤的鏡像文件就至少會有IOGB的大小，而一臺物理機上往往有多個啟動了的或是關(guān)閉著的虛擬機，這就意味著有多個鏡像文件將大量吞噬著物理磁盤的空間?，F(xiàn)在可以基于一個現(xiàn)有的基礎(chǔ)鏡像文件生成多個增量鏡像文件來創(chuàng)建虛擬機，也就是每創(chuàng)建一個虛擬機只多生成一個增量鏡像文件，這樣新創(chuàng)建的虛擬機后續(xù)的改變將會被記錄在增量鏡像文件中，而基礎(chǔ)鏡像文件中的操作系統(tǒng)和應(yīng)用程序還有數(shù)據(jù)都可以被新創(chuàng)建的虛擬機使用。在本文檔中基于增量鏡像文件創(chuàng)建的虛擬機被簡稱為增量虛擬機。由于增量鏡像文件是很小的，這樣基于同一個基礎(chǔ)鏡像文件創(chuàng)建多臺虛擬機就節(jié)省了大量的物理硬盤空間。在這里，我們考慮單臺物理機搭建的Xen虛擬化平臺上有多個虛擬機由基于同一個基礎(chǔ)鏡像的多個增量鏡像創(chuàng)建的情況。首先虛擬機管理系統(tǒng)中的特權(quán)域?qū)τ趤碜愿鱾€鏡像文件的頁面有兩種處理方式，一種方式是不緩存任何虛擬機讀取的頁面，另一種方式是對所有的虛擬機讀取的頁面采用默認(rèn)的頁面置換策略來緩存。在前一種方式下，虛擬機啟動運行過程中都要向基礎(chǔ)鏡像申請頁面，一方面由增量鏡像創(chuàng)建的虛擬機訪問基礎(chǔ)鏡像文件中的頁面需要經(jīng)過一個較為復(fù)雜的多級鏡像查找過程，另一方面基礎(chǔ)鏡像中的頁面會被多個虛擬機重復(fù)申請。在后一種方式下，所有虛擬機讀取的頁面都有機會被緩存在domO中，對于頁面的淘汰并沒有因頁面的來源而不同。就如普通的計算平臺上增加了虛擬化層后原有的磁盤調(diào)度算法對I/o密集型應(yīng)用無法良好適應(yīng)、緩存污染型應(yīng)用的影響造成競爭應(yīng)用緩存命中率降低等等一樣，由于系統(tǒng)運行在虛擬域中與底層硬件隔離，特權(quán)域頁面緩存的置換算法無法公平應(yīng)對各個虛擬機的需求。另外，由于使用增量鏡像文件作為虛擬機的虛擬磁盤之后，物理機上基于同一基礎(chǔ)鏡像文件創(chuàng)建的多臺增量虛擬機之間有許多相似之處，可是這些相似因子并沒有被加以利用。

發(fā)明內(nèi)容
針對現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種多增量虛擬機內(nèi)存管理系統(tǒng)，該系統(tǒng)能夠優(yōu)化這種情況中多個虛擬機的整體效率，并通過利用基于同一基礎(chǔ)鏡像文件創(chuàng)建的多臺增量虛擬機之間的相似因子，使得來自基礎(chǔ)鏡像文件的頁面可以被物理機上運行的多臺增量虛擬機共享，避免了基于同一基礎(chǔ)鏡像文件的多個增量虛擬機針對磁盤上基礎(chǔ)鏡像文件中相同的數(shù)據(jù)內(nèi)容所進行的重復(fù)的讀操作。為實現(xiàn)上述目的，本發(fā)明提供了一種多增量虛擬機管理系統(tǒng)，包括頁面讀監(jiān)控模塊、頁面寫監(jiān)控模塊、共享管理模塊、頁面拷貝模塊、內(nèi)存分配回收模塊以及類氣球驅(qū)動模塊，頁面讀監(jiān)控模塊用于監(jiān)控虛擬機對鏡像文件的讀操作，并在虛擬機讀取過程中需要訪問基礎(chǔ)鏡像文件時通知共享管理模塊，頁面寫監(jiān)控模塊用于監(jiān)控虛擬機對內(nèi)存頁面的寫操作，并在寫操作作用在共享管理模塊管理的頁面上時通知共享管理模塊，共享管理模塊用于管理來自基礎(chǔ)鏡像文件的頁面，并對該頁面做標(biāo)記以方便頁面寫監(jiān)控模塊進行寫監(jiān)控，記錄所管理的各個頁面被索引的次數(shù)，以及處理來自頁面讀監(jiān)控模塊或頁面寫監(jiān)控模塊的通知，并根據(jù)該通知向頁面拷貝模塊或內(nèi)存分配回收模塊發(fā)出通知，頁面拷貝模塊用于根據(jù)來自于共享管理模塊的請求通知內(nèi)存分配回收模塊獲取內(nèi)存，并拷貝共享管理模塊指定的頁面，內(nèi)存分配回收模塊用于管理由于共享管理模塊實現(xiàn)的頁面共享而節(jié)省下來的內(nèi)存和系統(tǒng)中閑置的內(nèi)存，即管理類氣球驅(qū)動模塊占據(jù)的內(nèi)存與系統(tǒng)中未被分配給虛擬域的閑置內(nèi)存，運行過程中處理共享管理模塊、頁面拷貝模塊的請求，適時地通知類氣球驅(qū)動模塊膨脹或壓縮，以及完成本來Xen虛擬化平臺上系統(tǒng)內(nèi)存分配回收的相關(guān)任務(wù)，類氣球驅(qū)動模塊用于控制虛擬機內(nèi)存的整體大小，完成來自內(nèi)存分配回收模塊的要求。多增量虛擬機管理系統(tǒng)構(gòu)建在開源的Xen虛擬化平臺之上，Xen虛擬化平臺包括特權(quán)域、非特權(quán)域以及Xen，頁面讀監(jiān)控模塊設(shè)置于特權(quán)域中，類氣球驅(qū)動模塊設(shè)置于非特權(quán)域中，頁面寫監(jiān)控模塊、共享管理模塊、頁面拷貝模塊以及內(nèi)存分配回收模塊設(shè)置于Xen中。具體而言，頁面寫監(jiān)控模塊訪問共享管理模塊維護的基礎(chǔ)鏡像文件的位圖，負(fù)責(zé)監(jiān)控虛擬機對頁面的修改，當(dāng)有虛擬機需要對頁面做寫操作時就在共享管理模塊維護的基礎(chǔ)鏡像文件的位圖中查找，若找到即寫操作作用在來自基礎(chǔ)鏡像文件的頁面上則通知共享管理模塊。具體而言，共享管理模塊統(tǒng)一管理該物理機上各個虛擬機中來自基礎(chǔ)鏡像文件的頁面，并且為每個基礎(chǔ)鏡像文件采用一個位圖來標(biāo)明其中有哪些頁面被緩存在虛擬機的內(nèi)存或閑置物理內(nèi)存中哪些沒有被緩存，此外還記錄各個頁面被虛擬機索引的次數(shù)和在物理內(nèi)存中的地址，當(dāng)共享管理模塊接收到來自于頁面讀監(jiān)控模塊的通知時,該通知包括有讀操作的虛擬機對應(yīng)的基礎(chǔ)鏡像文件和具體的頁面等相關(guān)信息，共享管理模塊會在對應(yīng)基礎(chǔ)鏡像文件的位圖中進行查找，如果需要被讀取的頁面已經(jīng)被緩存在某個其他的虛擬機中或物理機上閑置的內(nèi)存中，就讓發(fā)出讀請求的虛擬機與之共享，并修改對應(yīng)頁面被索弓I的次數(shù)，否則就繼續(xù)虛擬機正常的讀虛擬硬盤的操作并將此頁面在對應(yīng)基礎(chǔ)鏡像文件的位圖中登記且記錄頁面在內(nèi)存中的位置，在虛擬機請求讀操作后共享管理模塊執(zhí)行了共享的情況下，由于共享的頁面沒有占虛擬機的內(nèi)存，此時會通知內(nèi)存分配回收模塊壓縮虛擬機的內(nèi)存，以保證運行的過程中虛擬機的內(nèi)存大小能夠維持在創(chuàng)建時的配置大小，當(dāng)共享管理模塊接收到來自于頁面寫監(jiān)控模塊的通知時，共享管理模塊首先檢查被寫頁面被索引的次數(shù)，如果被索引次數(shù)為則說明該頁面沒有被其他虛擬機共享，執(zhí)行寫操作，但為了將此頁面繼續(xù)緩存在閑置的物理內(nèi)存中，而將此頁面?zhèn)魉徒o頁面拷貝模塊，最后記錄拷貝頁面的物理地址，如果被索引次數(shù)大于，則說明還有其他虛擬機共享此頁面，此時如果該頁面位于該虛擬機的內(nèi)存中則通知頁面拷貝模塊為其他需要共享的虛擬機拷貝一份供其繼續(xù)共享，如果該頁面是共享的其它虛擬機的，則通知頁面拷貝模塊為其拷貝一份供其獨占的頁面。當(dāng)虛擬機要讀取的基礎(chǔ)鏡像文件中的頁面已經(jīng)存在于內(nèi)存中時，在共享管理模塊通知下，內(nèi)存分配回收模塊會通知對應(yīng)虛擬機中的類氣球驅(qū)動模塊膨脹占據(jù)與共享頁面大小相同的內(nèi)存，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面又沒有被共享時，在頁面拷貝模塊的申請下，內(nèi)存分配回收模塊會在閑置內(nèi)存中分配頁面來緩存來自基礎(chǔ)鏡像文件的頁面，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面屬于自己并且又被其他的虛擬機共享時，內(nèi)存分配回收模塊也會在頁面共享模塊的申請下在閑置內(nèi)存中分配內(nèi)存來緩存該頁面并供其他虛擬機共享，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面不屬于自己又是共享而來的時候，內(nèi)存分配回收模塊也會在頁面共享模塊的申請下分配內(nèi)存提供給該頁面拷貝模塊來拷貝一份供該虛擬機獨占的頁面，同時由于分配了內(nèi)存給虛擬機，內(nèi)存分配回收模塊會通知該虛擬機中類氣球驅(qū)動模塊釋放同樣大小的內(nèi)存，在物理機閑置內(nèi)存被用完的情況下，內(nèi)存分配回收模塊會淘汰沒有被共享的頁面。通過本發(fā)明所構(gòu)思的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下的有益效果:(I)減少I/O操作，加速增量虛擬機運行效率:由于采用了頁面讀監(jiān)控模塊和共享管理模塊，虛擬機原本對硬盤中增量鏡像文件的讀操作被截獲進行分析，如果需要執(zhí)行讀操作的頁面數(shù)據(jù)在基礎(chǔ)鏡像文件中且已經(jīng)緩存在了物理機上其他虛擬機的內(nèi)存中或物理機上的閑置內(nèi)存中，則使得發(fā)出讀操作請求的虛擬機共享這個頁面，這樣就避免了一次讀硬盤的操作，轉(zhuǎn)而在內(nèi)存中獲取數(shù)據(jù)，由于硬盤的讀速度遠(yuǎn)遠(yuǎn)比內(nèi)存的讀速度慢，所以增量虛擬機的讀操作在此被改進了，減少了讀操作的同時加速了增量虛擬機的整體效率。(2)節(jié)省內(nèi)存:由于采用了共享管理模塊、內(nèi)存分配回收模塊，虛擬機中的頁面被共享使用，使得虛擬機實際占用的物理內(nèi)存變少，余下的內(nèi)存轉(zhuǎn)入內(nèi)存分配回收模塊，因而節(jié)省了內(nèi)存。(3)充分利用內(nèi)存:由于采用了共享管理模塊、內(nèi)存分配回收模塊、類氣球驅(qū)動模塊，系統(tǒng)中未被分配給任何虛擬域的空閑內(nèi)存也被內(nèi)存分配回收模塊管理起來，既能夠在需要時分配給新創(chuàng)建的虛擬機和遷移來的虛擬機，也能夠在沒有被分配時存儲來自基礎(chǔ)鏡像文件的頁面。在內(nèi)存分配回收模塊的管理下，各個虛擬機中氣球驅(qū)動占據(jù)的內(nèi)存與系統(tǒng)中未被分配的空閑內(nèi)存也可一并被分配給新的虛擬機，因此內(nèi)存得以充分利用、甚至實現(xiàn)分時復(fù)用。(4)保證了虛擬化平臺的用戶透明性:所有模塊的采用雖然對Xen虛擬化平臺的工作流程進行了一番修改，但Xen原有的管理工具例如遷移虛擬機、創(chuàng)建虛擬機等功能仍不受影響，因此本方法對Xen虛擬機管理工具透明、對Xen虛擬化平臺用戶透明。本發(fā)明的另一目的在于提供一種多增量虛擬機內(nèi)存管理方法，該方法能夠優(yōu)化這種情況中多個虛擬機的整體效率，并通過利用基于同一基礎(chǔ)鏡像文件創(chuàng)建的多臺增量虛擬機之間的相似因子，使得來自基礎(chǔ)鏡像文件的頁面可以被物理機上運行的多臺增量虛擬機共享，避免了基于同一基礎(chǔ)鏡像文件的多個增量虛擬機針對磁盤上基礎(chǔ)鏡像文件中相同的數(shù)據(jù)內(nèi)容所進行的重復(fù)的讀操作。為實現(xiàn)上述目的，本發(fā)明提供了一種多增量虛擬機內(nèi)存管理方法，其應(yīng)用于上述權(quán)利要求1-5中任意一項所述的多增量虛擬機內(nèi)存管理系統(tǒng)中，包括以下步驟:(I)特權(quán)域判斷虛擬機執(zhí)行的操作，是對虛擬硬盤的讀操作還是對內(nèi)存頁面的寫操作，如果是讀操作則轉(zhuǎn)入步驟(2)，如果是寫操作則轉(zhuǎn)入步驟(7)；(2)頁面讀監(jiān)控模塊判斷是否讀取的是基礎(chǔ)鏡像文件，如果是則轉(zhuǎn)入步驟(3)，如果不是則轉(zhuǎn)入步驟(4);(3) Xen虛擬化平臺執(zhí)行正常的讀操作；(4)共享管理模塊查詢該虛擬機對應(yīng)的基礎(chǔ)鏡像文件位圖，以判斷要讀取的頁面是否已經(jīng)緩存在其他虛擬機或閑置內(nèi)存中，如果不是則轉(zhuǎn)入步驟(5)，如果是則轉(zhuǎn)入步驟(6)；(5)Xen虛擬化平臺執(zhí)行正常的I/O訪問，并且在共享管理模塊內(nèi)的位圖上登記讀取的頁面以及記錄該頁面在物理內(nèi)存中的地址以便于以后被其他虛擬機共享；(6)共享管理模塊使得該虛擬機共享其他虛擬機或閑置內(nèi)存中已有的頁面并修改該頁面被索引的次數(shù)，并且共享管理模塊通知內(nèi)存分配回收模塊去通知類氣球驅(qū)動模塊壓縮該虛擬機內(nèi)存以彌補共享頁面的額外大??；(7)虛擬機發(fā)出的寫操作將被頁面寫監(jiān)控模塊截獲而分析出需要對其進行寫操作的具體是哪一個頁面，并在共享管理模塊維護的基礎(chǔ)鏡像文件的位圖中查找這個頁面，如果沒有找到則說明該被寫頁面不是是來自基礎(chǔ)鏡像文件的頁面就繼續(xù)執(zhí)行Xen虛擬化平臺原有的寫操作；否則說明該被寫頁面是來自基礎(chǔ)鏡像文件的頁面，共享管理模塊判斷該頁面是否被共享，如果沒有被共享則轉(zhuǎn)入步驟(8 )，否則轉(zhuǎn)入步驟(9 );(8)內(nèi)存分配回收模塊在閑置內(nèi)存中分配內(nèi)存給頁面拷貝模塊，頁面拷貝模塊將該頁面拷貝以供之后被其他虛擬機共享，記錄拷貝的頁面的具體物理地址，并在該虛擬機內(nèi)的頁面上執(zhí)行寫操作；(9)判斷該頁面是否位于該虛擬機自己的原內(nèi)存中，如果是則轉(zhuǎn)入步驟(10)，否則轉(zhuǎn)入步驟(11)；(10)內(nèi)存分配回收模塊在閑置內(nèi)存中拷貝一份該頁面供其他虛擬機共享，且共享管理模塊記錄對應(yīng)新拷貝頁面的物理地址，登記相關(guān)修改，并在該頁面上執(zhí)行寫操作；(11)共享管理模塊通知內(nèi)存分配回收模塊命令該虛擬機中的類氣球驅(qū)動模塊釋放內(nèi)存，將重新獲得的內(nèi)存交給頁面拷貝模塊，通知頁面拷貝模塊拷貝該頁面一份，供該虛擬機獨占使用，共享管理模塊修改原頁面被索引的次數(shù)，并在新分配拷貝的頁面上執(zhí)行寫操作。通過本發(fā)明所構(gòu)思的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下的有益效果:(I)減少I/O操作，加速增量虛擬機運行效率由于采用了步驟(4)和步驟(6)來自基礎(chǔ)鏡像文件的頁面被共享管理模塊統(tǒng)一管理,能夠直接供虛擬機共享，因此本方法具有能夠部分避免虛擬機到物理磁盤中的基礎(chǔ)鏡像文件上去讀取頁面的I/o操作、提高虛擬機運行效率的優(yōu)點；(2)節(jié)省內(nèi)存由于步驟(4)、步驟(5)和步驟(6)，有部分來自基礎(chǔ)鏡像文件的頁面被2個或2個以上的虛擬機共享，大量虛擬機頁面被節(jié)省下來，合并到內(nèi)存分配回收模塊被統(tǒng)一管理而得到充分利用，因此本方法具有節(jié)省內(nèi)存的優(yōu)點。(3)充分利用內(nèi)存由于步驟(6)、步驟(8)和步驟(11)，系統(tǒng)中未被分配給任何虛擬域的空閑內(nèi)存也被內(nèi)存分配回收模塊管理起來，既能夠在需要時分配給新創(chuàng)建的虛擬機和遷移來的虛擬機，也能夠在沒有被分配時存儲來自基礎(chǔ)鏡像文件的頁面。在內(nèi)存分配回收模塊的管理下，各個虛擬機中氣球驅(qū)動占據(jù)的內(nèi)存與系統(tǒng)中未被分配的空閑內(nèi)存也可一并被分配給新的虛擬機，因此本方法具有充分利用內(nèi)存、使得內(nèi)存能夠分時復(fù)用的優(yōu)點。(4)保證了虛擬化平臺的用戶透明性盡管在內(nèi)存管理上本系統(tǒng)進行了一定的修改，但在所有的步驟的修改作用下，Xen原有的管理工具例如遷移等功能仍不受影響，因此本方法具有對Xen虛擬機管理工具透明、對Xen虛擬化平臺用戶透明的優(yōu)點。


圖1是本發(fā)明多增量虛擬機內(nèi)存管理系統(tǒng)的結(jié)構(gòu)示意圖。圖2是本發(fā)明多增量虛擬機內(nèi)存管理方法的流程示意圖。圖3是本發(fā)明多增量虛擬機內(nèi)存管理系統(tǒng)的內(nèi)存參考實例示意圖。
具體實施例方式為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對本發(fā)明進行進一步詳細(xì)說明。應(yīng)當(dāng)理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并不用于限定本發(fā)明。本發(fā)明專門針對的是單臺物理機搭建的Xen虛擬化平臺上多個虛擬機由基于同一個基礎(chǔ)鏡像的多個增量鏡像而創(chuàng)建的情況，也就是單臺物理機的硬盤中有多個基礎(chǔ)鏡像文件，基于每個基礎(chǔ)鏡像文件都有對應(yīng)的若干個增量鏡像文件，而每個增量鏡像文件都被用于創(chuàng)建一個虛擬機。如圖1所示，本發(fā)明多增量虛擬機管理系統(tǒng)構(gòu)建在開源的Xen虛擬化平臺之上，該Xen虛擬化平臺包括特權(quán)域(即DomainO)、多臺虛擬機(即非特權(quán)域Dom U)以及多虛擬機管理系統(tǒng)(Xen)，多增量虛擬機管理系統(tǒng)包括設(shè)置于DomainO中的頁面讀監(jiān)控模塊1、設(shè)置于Xen中的頁面寫監(jiān)控模塊2、共享管理模塊3、頁面拷貝模塊4、內(nèi)存分配回收模塊5以及設(shè)置于虛擬機中的類氣球驅(qū)動模塊6。Xen虛擬化平臺上DomainO對虛擬機的讀寫操作分別處理,在特權(quán)域處理讀操作的流程中設(shè)置了頁面讀監(jiān)控模塊1，在特權(quán)域處理寫操作的流程中設(shè)置了頁面寫監(jiān)控模塊2。頁面讀監(jiān)控模塊I用于監(jiān)控虛擬機對虛擬硬盤(即鏡像文件)的讀操作，并在虛擬機讀取過程中需要訪問基礎(chǔ)鏡像文件時通知共享管理模塊3 ;具體而言，頁面讀監(jiān)控模塊I用于在鏡像文件的讀過程中截獲相應(yīng)的讀請求進行分析，只有在監(jiān)控到增量虛擬機要讀取基礎(chǔ)鏡像文件的時候通知共享管理模塊3來處理。頁面讀監(jiān)控模塊I在這里具有能夠在讀操作上需要處理的情形發(fā)生時及時發(fā)出通知的優(yōu)點。頁面寫監(jiān)控模塊2用于監(jiān)控虛擬機對內(nèi)存頁面的寫操作，并在寫操作作用在共享管理模塊3管理的頁面上時通知共享管理模塊3 ;具體而言，頁面寫監(jiān)控模塊2可以訪問共享管理模塊3維護的基礎(chǔ)鏡像文件的位圖，負(fù)責(zé)監(jiān)控虛擬機對頁面的修改，當(dāng)有虛擬機需要對頁面做寫操作時就在共享管理模塊3維護的基礎(chǔ)鏡像文件的位圖中查找，若找到即寫操作作用在來自基礎(chǔ)鏡像文件的頁面上則通知共享管理模塊3。頁面寫監(jiān)控模塊2在這里能夠利用共享管理模塊3中的位圖快速判斷需要進行寫操作的頁面是否來自基礎(chǔ)鏡像文件的優(yōu)點。共享管理模塊3用于管理來自基礎(chǔ)鏡像文件的頁面，并對該頁面做標(biāo)記以方便頁面寫監(jiān)控模塊進行寫監(jiān)控，記錄所管理的各個頁面被索引的次數(shù)，以及處理來自頁面讀監(jiān)控模塊或頁面寫監(jiān)控模塊的通知，并根據(jù)該通知向頁面拷貝模塊4或內(nèi)存分配回收模塊5發(fā)出通知；具體而言，共享管理模塊3統(tǒng)一管理該物理機上各個虛擬機中來自基礎(chǔ)鏡像文件的頁面，并且為每個基礎(chǔ)鏡像文件采用一個位圖來標(biāo)明其中有哪些頁面被緩存在虛擬機的內(nèi)存或閑置物理內(nèi)存中哪些沒有被緩存，此外還記錄各個頁面被虛擬機索引的次數(shù)和在物理內(nèi)存中的地址。當(dāng)共享管理模塊3接收到來自于頁面讀監(jiān)控模塊I的通知時，該通知包括有讀操作的虛擬機對應(yīng)的基礎(chǔ)鏡像文件和具體的頁面等相關(guān)信息，共享管理模塊3會在對應(yīng)基礎(chǔ)鏡像文件的位圖中進行查找，如果需要被讀取的頁面已經(jīng)被緩存在某個其他的虛擬機中或物理機上閑置的內(nèi)存中，就讓發(fā)出讀請求的虛擬機與之共享，并修改對應(yīng)頁面被索引的次數(shù)，否則就繼續(xù)虛擬機正常的讀虛擬硬盤的操作并將此頁面在對應(yīng)基礎(chǔ)鏡像文件的位圖中登記且記錄頁面在內(nèi)存中的位置。在虛擬機請求讀操作后共享管理模塊3執(zhí)行了共享的情況下，由于共享的頁面沒有占虛擬機的內(nèi)存，此時會通知內(nèi)存分配回收模塊5壓縮虛擬機的內(nèi)存，以保證運行的過程中虛擬機的內(nèi)存大小能夠維持在創(chuàng)建時的配置大小。當(dāng)共享管理模塊3接收到來自于頁面寫監(jiān)控模塊2的通知時，共享管理模塊3首先檢查被寫頁面被索引的次數(shù)，如果被索引次數(shù)為I則說明該頁面沒有被其他虛擬機共享，執(zhí)行寫操作，但為了將此頁面繼續(xù)緩存在閑置的物理內(nèi)存中，而將此頁面?zhèn)魉徒o頁面拷貝模塊4，最后記錄拷貝頁面的物理地址。如果被索引次數(shù)大于1，則說明還有其他虛擬機共享此頁面，此時如果該頁面位于該虛擬機的內(nèi)存中則通知頁面拷貝模塊4為其他需要共享的虛擬機拷貝一份供其繼續(xù)共享，如果該頁面是共享的其它虛擬機的，則通知頁面拷貝模塊4為其拷貝一份供其獨占的頁面。共享管理模塊3在這里具有使得整個系統(tǒng)節(jié)省內(nèi)存、充分利用內(nèi)存、減少了對磁盤的讀操作的優(yōu)點。頁面拷貝模塊4用于根據(jù)來自于共享管理模塊3的請求通知內(nèi)存分配回收模塊5獲取內(nèi)存，并拷貝共享管理模塊3指定的頁面。具體而言，頁面拷貝模塊4向內(nèi)存分配回收模塊5申請獲取內(nèi)存，復(fù)制共享管理模塊3通知的的頁面交給共享管理模塊3，使得發(fā)出請求的虛擬機對相關(guān)頁面有一份屬于自己獨占的拷貝或使得某頁面繼續(xù)緩存在閑置內(nèi)存中。頁面拷貝模塊4在這里具有能及時處理滿足共享模塊3寫時拷貝的需求優(yōu)點。內(nèi)存分配回收模塊5用于管理由于共享管理模塊3實現(xiàn)的頁面共享而節(jié)省下來的內(nèi)存和系統(tǒng)中閑置的內(nèi)存，即管理類氣球驅(qū)動模塊6占據(jù)的內(nèi)存與系統(tǒng)中未被分配給虛擬域的閑置內(nèi)存，運行過程中處理共享管理模塊3、頁面拷貝模塊4的請求，適時地通知類氣球驅(qū)動模塊6膨脹或壓縮，以及完成本來Xen虛擬化平臺上系統(tǒng)內(nèi)存分配回收的相關(guān)任務(wù)；具體而言，當(dāng)虛擬機要讀取的基礎(chǔ)鏡像文件中的頁面已經(jīng)存在于內(nèi)存中時，在共享管理模塊3通知下，內(nèi)存分配回收模塊5會通知對應(yīng)虛擬機中的類氣球驅(qū)動模塊6膨脹占據(jù)與共享頁面大小相同的內(nèi)存。當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面又沒有被共享時，在頁面拷貝模塊4的申請下，內(nèi)存分配回收模塊5會在閑置內(nèi)存中分配頁面來緩存來自基礎(chǔ)鏡像文件的頁面。當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面屬于自己并且又被其他的虛擬機共享時，內(nèi)存分配回收模塊5也會在頁面共享模塊4的申請下在閑置內(nèi)存中分配內(nèi)存來緩存該頁面并供其他虛擬機共享。當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面不屬于自己又是共享而來的時候，內(nèi)存分配回收模塊5也會在頁面共享模塊4的申請下分配內(nèi)存提供給該頁面拷貝模塊4來拷貝一份供該虛擬機獨占的頁面，同時由于分配了內(nèi)存給虛擬機，內(nèi)存分配回收模塊5會通知該虛擬機中類氣球驅(qū)動模塊6釋放同樣大小的內(nèi)存。在物理機閑置內(nèi)存被用完的情況下，內(nèi)存分配回收模塊5會淘汰沒有被共享的頁面。此外，虛擬機創(chuàng)建關(guān)閉過程中內(nèi)存的分配回收都由內(nèi)存分配回收模塊5負(fù)責(zé)。類氣球驅(qū)動模塊6存在于各個虛擬機中，用于控制虛擬機內(nèi)存的整體大小，完成來自內(nèi)存分配回收模塊5的要求。具體而言，當(dāng)內(nèi)存分配回收模塊5發(fā)來通知要求縮小虛擬機內(nèi)存時，類氣球驅(qū)動模塊6就膨脹占據(jù)所在虛擬機的通知中要求的內(nèi)存。當(dāng)內(nèi)存分配回收模塊5發(fā)來通知要求增加虛擬機內(nèi)存時，類氣球驅(qū)動模塊6就釋放所在虛擬機的通知中要求內(nèi)存大小。如圖2所示，本發(fā)明的多增量虛擬機內(nèi)存管理方法是應(yīng)用于上述多增量虛擬機內(nèi)存管理系統(tǒng)中，由于虛擬機的創(chuàng)建和關(guān)閉屬于Xen自身存在的功能，所以在此圖中不考慮內(nèi)存分配回收模塊負(fù)責(zé)的虛擬機創(chuàng)建分配內(nèi)存和虛擬機關(guān)閉回收內(nèi)存。本發(fā)明的多增量虛擬機內(nèi)存管理方法包括以下步驟:(I)特權(quán)域判斷虛擬機執(zhí)行的操作，是對虛擬硬盤的讀操作還是對內(nèi)存頁面的寫操作，如果是讀操作則轉(zhuǎn)入步驟(2)，如果是寫操作則轉(zhuǎn)入步驟(7)；(2)頁面讀監(jiān)控模塊判斷是否讀取的是基礎(chǔ)鏡像文件，如果是則轉(zhuǎn)入步驟(3)，如果不是則轉(zhuǎn)入步驟(4);(3) Xen虛擬化平臺執(zhí)行正常的讀操作；
(4)共享管理模塊查詢該虛擬機對應(yīng)的基礎(chǔ)鏡像文件位圖，以判斷要讀取的頁面是否已經(jīng)緩存在其他虛擬機或閑置內(nèi)存中，如果不是則轉(zhuǎn)入步驟(5)，如果是則轉(zhuǎn)入步驟(6)；(5)Xen虛擬化平臺執(zhí)行正常的I/O訪問，并且在共享管理模塊內(nèi)的位圖上登記讀取的頁面以及記錄該頁面在物理內(nèi)存中的地址以便于以后被其他虛擬機共享；(6)共享管理模塊使得該虛擬機共享其他虛擬機或閑置內(nèi)存中已有的頁面并修改該頁面被索引的次數(shù)，并且共享管理模塊通知內(nèi)存分配回收模塊去通知類氣球驅(qū)動模塊壓縮該虛擬機內(nèi)存以彌補共享頁面的額外大?。?7)虛擬機發(fā)出的寫操作將被頁面寫監(jiān)控模塊截獲而分析出需要對其進行寫操作的具體是哪一個頁面，并在共享管理模塊維護的基礎(chǔ)鏡像文件的位圖中查找這個頁面，如果沒有找到則說明該被寫頁面不是是來自基礎(chǔ)鏡像文件的頁面就繼續(xù)執(zhí)行Xen虛擬化平臺原有的寫操作；否則說明該被寫頁面是來自基礎(chǔ)鏡像文件的頁面，共享管理模塊判斷該頁面是否被共享。具體地，共享管理模塊是會查看該頁面被索引的次數(shù)，如果次數(shù)為I就說明該頁面沒有被共享，否則如果大于I就說明該頁面有被共享。如果沒有被共享則轉(zhuǎn)入步驟(8)，否則轉(zhuǎn)入步驟(9)；(8)內(nèi)存分配回收模塊在閑置內(nèi)存中分配內(nèi)存給頁面拷貝模塊，頁面拷貝模塊將該頁面拷貝以供之后被其他虛擬機共享，記錄拷貝的頁面的具體物理地址，并在該虛擬機內(nèi)的頁面上執(zhí)行寫操作；(9)判斷該頁面是否位于該虛擬機自己的原內(nèi)存中，如果是則轉(zhuǎn)入步驟(10)，否則轉(zhuǎn)入步驟(11)；(10)內(nèi)存分配回收模塊在閑置內(nèi)存中拷貝一份該頁面供其他虛擬機共享，且共享管理模塊記錄對應(yīng)新拷貝頁面的物理地址，登記相關(guān)修改，并在該頁面上執(zhí)行寫操作；(11)共享管理模塊通知內(nèi)存分配回收模塊命令該虛擬機中的類氣球驅(qū)動模塊釋放內(nèi)存，將重新獲得的內(nèi)存交給頁面拷貝模塊，通知頁面拷貝模塊拷貝該頁面一份，供該虛擬機獨占使用，共享管理模塊修改原頁面被索引的次數(shù)，并在新分配拷貝的頁面上執(zhí)行寫操作。實例為了驗證本發(fā)明系統(tǒng)的可行性和有效性，在真實環(huán)境下配置本發(fā)明系統(tǒng)，對三個基于同一基礎(chǔ)鏡像文件的增量虛擬機進行實驗。物理計算機裝載Xen虛擬機平臺，創(chuàng)建了三臺增量虛擬機，三個虛擬機分別安裝Fed0ral7操作系統(tǒng)，詳細(xì)實驗環(huán)境配置如表I所
/Jn ο
權(quán)利要求
1.一種多增量虛擬機管理系統(tǒng)，包括頁面讀監(jiān)控模塊、頁面寫監(jiān)控模塊、共享管理模塊、頁面拷貝模塊、內(nèi)存分配回收模塊以及類氣球驅(qū)動模塊，其特征在于， 頁面讀監(jiān)控模塊用于監(jiān)控虛擬機對鏡像文件的讀操作，并在虛擬機讀取過程中需要訪問基礎(chǔ)鏡像文件時通知共享管理模塊； 頁面寫監(jiān)控模塊用于監(jiān)控虛擬機對內(nèi)存頁面的寫操作，并在寫操作作用在共享管理模塊管理的頁面上時通知共享管理模塊； 共享管理模塊用于管理來自基礎(chǔ)鏡像文件的頁面，并對該頁面做標(biāo)記以方便頁面寫監(jiān)控模塊進行寫監(jiān)控，記錄所管理的各個頁面被索引的次數(shù)，以及處理來自頁面讀監(jiān)控模塊或頁面寫監(jiān)控模塊的通知，并根據(jù)該通知向頁面拷貝模塊或內(nèi)存分配回收模塊發(fā)出通知；頁面拷貝模塊用于根據(jù) 來自于共享管理模塊的請求通知內(nèi)存分配回收模塊獲取內(nèi)存，并拷貝共享管理模塊指定的頁面； 內(nèi)存分配回收模塊用于管理由于共享管理模塊實現(xiàn)的頁面共享而節(jié)省下來的內(nèi)存和系統(tǒng)中閑置的內(nèi)存，即管理類氣球驅(qū)動模塊占據(jù)的內(nèi)存與系統(tǒng)中未被分配給虛擬域的閑置內(nèi)存，運行過程中處理共享管理模塊、頁面拷貝模塊的請求，適時地通知類氣球驅(qū)動模塊膨脹或壓縮，以及完成本來Xen虛擬化平臺上系統(tǒng)內(nèi)存分配回收的相關(guān)任務(wù)； 類氣球驅(qū)動模塊用于控制虛擬機內(nèi)存的整體大小，完成來自內(nèi)存分配回收模塊的要求。
2.根據(jù)權(quán)利要求1所述的多增量虛擬機管理系統(tǒng)，其特征在于，多增量虛擬機管理系統(tǒng)構(gòu)建在開源的Xen虛擬化平臺之上，Xen虛擬化平臺包括特權(quán)域、非特權(quán)域以及Xen，頁面讀監(jiān)控模塊設(shè)置于特權(quán)域中，類氣球驅(qū)動模塊設(shè)置于非特權(quán)域中，頁面寫監(jiān)控模塊、共享管理模塊、頁面拷貝模塊以及內(nèi)存分配回收模塊設(shè)置于Xen中。
3.根據(jù)權(quán)利要求1所述的多增量虛擬機管理系統(tǒng)，其特征在于，具體而言，頁面寫監(jiān)控模塊訪問共享管理模塊維護的基礎(chǔ)鏡像文件的位圖，負(fù)責(zé)監(jiān)控虛擬機對頁面的修改，當(dāng)有虛擬機需要對頁面做寫操作時就在共享管理模塊維護的基礎(chǔ)鏡像文件的位圖中查找，若找到即寫操作作用在來自基礎(chǔ)鏡像文件的頁面上則通知共享管理模塊。
4.根據(jù)權(quán)利要求1所述的多增量虛擬機管理系統(tǒng)，其特征在于，具體而言，共享管理模塊統(tǒng)一管理該物理機上各個虛擬機中來自基礎(chǔ)鏡像文件的頁面，并且為每個基礎(chǔ)鏡像文件采用一個位圖來標(biāo)明其中有哪些頁面被緩存在虛擬機的內(nèi)存或閑置物理內(nèi)存中哪些沒有被緩存，此外還記錄各個頁面被虛擬機索引的次數(shù)和在物理內(nèi)存中的地址，當(dāng)共享管理模塊接收到來自于頁面讀監(jiān)控模塊的通知時，該通知包括有讀操作的虛擬機對應(yīng)的基礎(chǔ)鏡像文件和具體的頁面等相關(guān)信息，共享管理模塊會在對應(yīng)基礎(chǔ)鏡像文件的位圖中進行查找，如果需要被讀取的頁面已經(jīng)被緩存在某個其他的虛擬機中或物理機上閑置的內(nèi)存中，就讓發(fā)出讀請求的虛擬機與之共享，并修改對應(yīng)頁面被索引的次數(shù)，否則就繼續(xù)虛擬機正常的讀虛擬硬盤的操作并將此頁面在對應(yīng)基礎(chǔ)鏡像文件的位圖中登記且記錄頁面在內(nèi)存中的位置，在虛擬機請求讀操作后共享管理模塊執(zhí)行了共享的情況下，由于共享的頁面沒有占虛擬機的內(nèi)存，此時會通知內(nèi)存分配回收模塊壓縮虛擬機的內(nèi)存，以保證運行的過程中虛擬機的內(nèi)存大小能夠維持在創(chuàng)建時的配置大小，當(dāng)共享管理模塊接收到來自于頁面寫監(jiān)控模塊的通知時，共享管理模塊首先檢查被寫頁面被索弓I的次數(shù)，如果被索弓I次數(shù)為則說明該頁面沒有被其他虛擬機共享，執(zhí)行寫操作，但為了將此頁面繼續(xù)緩存在閑置的物理內(nèi)存中，而將此頁面?zhèn)魉徒o頁面拷貝模塊，最后記錄拷貝頁面的物理地址，如果被索引次數(shù)大于，則說明還有其他虛擬機共享此頁面，此時如果該頁面位于該虛擬機的內(nèi)存中則通知頁面拷貝模塊為其他需要共享的虛擬機拷貝一份供其繼續(xù)共享，如果該頁面是共享的其它虛擬機的，則通知頁面拷貝模塊為其拷貝一份供其獨占的頁面。
5.根據(jù)權(quán)利要求1所述的多增量虛擬機管理系統(tǒng)，其特征在于，當(dāng)虛擬機要讀取的基礎(chǔ)鏡像文件中的頁面已經(jīng)存在于內(nèi)存中時，在共享管理模塊通知下，內(nèi)存分配回收模塊會通知對應(yīng)虛擬機中的類氣球驅(qū)動模塊膨脹占據(jù)與共享頁面大小相同的內(nèi)存，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面又沒有被共享時，在頁面拷貝模塊的申請下，內(nèi)存分配回收模塊會在閑置內(nèi)存中分配頁面來緩存來自基礎(chǔ)鏡像文件的頁面，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面屬于自己并且又被其他的虛擬機共享時，內(nèi)存分配回收模塊也會在頁面共享模塊的申請下在閑置內(nèi)存中分配內(nèi)存來緩存該頁面并供其他虛擬機共享，當(dāng)虛擬機寫操作作用在來自基礎(chǔ)鏡像文件的頁面上而該頁面不屬于自己又是共享而來的時候，內(nèi)存分配回收模塊也會在頁面共享模塊的申請下分配內(nèi)存提供給該頁面拷貝模塊來拷貝一份供該虛擬機獨占的頁面，同時由于分配了內(nèi)存給虛擬機，內(nèi)存分配回收模塊會通知該虛擬機中類氣球驅(qū)動模塊釋放同樣大小的內(nèi)存，在物理機閑置內(nèi)存被用完的情況下，內(nèi)存分配回收模塊會淘汰沒有被共享的頁面。
6.一種多增量虛擬機內(nèi)存管理方法，其應(yīng)用于上述權(quán)利要求1-5中任意一項所述的多增量虛擬機內(nèi)存管理系統(tǒng)中，其特征在于，包括以下步驟: (1)特權(quán)域判斷虛擬機執(zhí)行的操作，是對虛擬硬盤的讀操作還是對內(nèi)存頁面的寫操作，如果是讀操作則轉(zhuǎn)入步驟(2)，如果是寫操作則轉(zhuǎn)入步驟(7)； (2)頁面讀監(jiān)控模塊判斷是否讀取的是基礎(chǔ)鏡像文件，如果是則轉(zhuǎn)入步驟(3)，如果不是則轉(zhuǎn)入步驟(4)； (3)Xen虛擬化平臺執(zhí)行正常的讀操作； (4)共享管理模塊查詢該虛擬機對應(yīng)的基礎(chǔ)鏡像文件位圖，以判斷要讀取的頁面是否已經(jīng)緩存在其他虛擬機或閑置內(nèi)存中，如果不是則轉(zhuǎn)入步驟(5)，如果是則轉(zhuǎn)入步驟(6)； (5)Xen虛擬化平臺執(zhí)行正常的I/O訪問，并且在共享管理模塊內(nèi)的位圖上登記讀取的頁面以及記錄該頁面在物理內(nèi)存中的地址以便于以后被其他虛擬機共享； (6)共享管理模塊使得該虛擬機共享其他虛擬機或閑置內(nèi)存中已有的頁面并修改該頁面被索引的次數(shù)，并且共享管理模塊通知內(nèi)存分配回收模塊去通知類氣球驅(qū)動模塊壓縮該虛擬機內(nèi)存以彌補共享頁面的額外大小； (7)虛擬機發(fā)出的寫操作將被頁面寫監(jiān)控模塊截獲而分析出需要對其進行寫操作的具體是哪一個頁面，并在共享管理模塊維護的基礎(chǔ)鏡像文件的位圖中查找這個頁面，如果沒有找到則說明該被寫頁面不是是來自基礎(chǔ)鏡像文件的頁面就繼續(xù)執(zhí)行Xen虛擬化平臺原有的寫操作；否則說明該被寫頁面是來自基礎(chǔ)鏡像文件的頁面，共享管理模塊判斷該頁面是否被共享，如果沒有被共享則轉(zhuǎn)入步驟(8 )，否則轉(zhuǎn)入步驟(9 ); (8)內(nèi)存分配回收模塊在閑置內(nèi)存中分配內(nèi)存給頁面拷貝模塊，頁面拷貝模塊將該頁面拷貝以供之后被其他虛擬機共享，記錄拷貝的頁面的具體物理地址，并在該虛擬機內(nèi)的頁面上執(zhí)行寫操作； (9)判斷該頁面是否位于該虛擬機自己的原內(nèi)存中，如果是則轉(zhuǎn)入步驟(10)，否則轉(zhuǎn)入步驟(11)； (10)內(nèi)存分配回收模塊在閑置內(nèi)存中拷貝一份該頁面供其他虛擬機共享，且共享管理模塊記錄對應(yīng)新拷貝頁面的物理地址，登記相關(guān)修改，并在該頁面上執(zhí)行寫操作； (11)共享管理模塊通知內(nèi)存分配回收模塊命令該虛擬機中的類氣球驅(qū)動模塊釋放內(nèi)存，將重新獲得的內(nèi)存交給頁面拷貝模塊，通知頁面拷貝模塊拷貝該頁面一份，供該虛擬機獨占使用，共享管理模塊修改原頁面被索引的次數(shù)，并在新分配拷貝的頁面上執(zhí)行寫操作 。
全文摘要
本發(fā)明公開了一種多增量虛擬機管理系統(tǒng)，包括頁面讀監(jiān)控模塊、頁面寫監(jiān)控模塊、共享管理模塊、頁面拷貝模塊、內(nèi)存分配回收模塊以及類氣球驅(qū)動模塊，頁面讀監(jiān)控模塊用于監(jiān)控虛擬機對鏡像文件的讀操作，并在虛擬機讀取過程中需要訪問基礎(chǔ)鏡像文件時通知共享管理模塊，頁面寫監(jiān)控模塊用于監(jiān)控虛擬機對內(nèi)存頁面的寫操作，并在寫操作作用在共享管理模塊管理的頁面上時通知共享管理模塊，共享管理模塊用于管理來自基礎(chǔ)鏡像文件的頁面，并對該頁面做標(biāo)記以方便頁面寫監(jiān)控模塊進行寫監(jiān)控，記錄所管理的各個頁面被索引的次數(shù)。本發(fā)明避免了基于同一基礎(chǔ)鏡像文件的多個增量虛擬機針對磁盤上基礎(chǔ)鏡像文件中相同的數(shù)據(jù)內(nèi)容所進行的重復(fù)的讀操作。
文檔編號G06F9/455GK103092678SQ20131002242
公開日2013年5月8日 申請日期2013年1月22日 優(yōu)先權(quán)日2013年1月22日
發(fā)明者吳松, 金海 , 石宣化, 胡修堃 申請人:華中科技大學(xué)