本發(fā)明屬于固態(tài)硬盤數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種融合多種機(jī)器學(xué)習(xí)算法的固態(tài)硬盤熱數(shù)據(jù)識(shí)別方法。

背景技術(shù)：

近年來(lái)，隨著固態(tài)硬盤SSD(Solid State Disk，SSD)設(shè)計(jì)技術(shù)的不斷進(jìn)步，相比傳統(tǒng)的機(jī)械硬盤，SSD顯示出具有讀寫速度快、功耗低、體積小、防震抗摔、便于攜帶等方面的優(yōu)勢(shì)，它已經(jīng)在許多領(lǐng)域開始替代傳統(tǒng)機(jī)械硬盤。

閃存具有三大特性：1)按頁(yè)(page)、塊(block)、平面(plane)的結(jié)構(gòu)進(jìn)行組織；提供讀、寫和擦除3種操作；頁(yè)是讀/寫的最小單位；塊是擦除的最小單位。2)閃存擦除后只能寫一次，即所謂的寫前擦除，這造成閃存不能原地更新，否則會(huì)帶來(lái)巨大的開銷。3)閃存每個(gè)存儲(chǔ)單元的編程/擦除(P/E)次數(shù)有限，超過(guò)擦除次數(shù)后該存儲(chǔ)單元存儲(chǔ)數(shù)據(jù)不再可靠。隱藏閃存上述特性，使得這些不方便的特性對(duì)用戶而言透明，在SSD的設(shè)計(jì)中，一般要提供一個(gè)中間軟件轉(zhuǎn)換層實(shí)現(xiàn)對(duì)閃存的管理，稱為閃存轉(zhuǎn)換層FTL(Flash Translation Layer)。

FTL一般由地址映射、垃圾回收和磨損均衡三個(gè)模塊組成。地址映射負(fù)責(zé)將來(lái)自文件系統(tǒng)的邏輯地址轉(zhuǎn)換為閃存中的物理地址；垃圾回收負(fù)責(zé)將回收塊中的有效數(shù)據(jù)復(fù)制到新的物理塊中，將回收塊擦除后重新利用；磨損均衡負(fù)責(zé)保證每個(gè)塊的磨損速率盡量一致，防止部分塊因磨損過(guò)快而提前損壞。

為實(shí)現(xiàn)高效的垃圾回收，避免在垃圾回收過(guò)程中復(fù)制過(guò)多的有效數(shù)據(jù)，F(xiàn)TL需要有效地把頻繁更新的數(shù)據(jù)(即熱數(shù)據(jù))和非頻繁更新的數(shù)據(jù)(即冷數(shù)據(jù))分開，即熱數(shù)據(jù)識(shí)別。在閃存的數(shù)據(jù)管理中，一方面，熱數(shù)據(jù)識(shí)別技術(shù)可以將識(shí)別出來(lái)的熱數(shù)據(jù)聚集到同一個(gè)塊中來(lái)提高垃圾回收效率，減少垃圾回收的開銷；另一方面，熱數(shù)據(jù)識(shí)別技術(shù)可以將熱數(shù)據(jù)分配到擦除次數(shù)較少的塊中，防止某些塊因?yàn)轭l繁擦除而磨損過(guò)快，改善閃存的磨損均衡。因此，熱數(shù)據(jù)識(shí)別對(duì)提高SSD的性能非常關(guān)鍵。

然而，目前現(xiàn)存的SSD熱數(shù)據(jù)識(shí)別方法存在下面兩個(gè)方面的問(wèn)題：

(1)內(nèi)存開銷大。目前大部分的熱數(shù)據(jù)識(shí)別機(jī)制均是采用識(shí)別NAND閃存中熱數(shù)據(jù)頁(yè)的思想，這些機(jī)制的核心原理就是給每個(gè)頁(yè)增添一個(gè)頁(yè)訪問(wèn)計(jì)數(shù)器，在一定時(shí)間段內(nèi)記錄與NAND閃存頁(yè)相對(duì)應(yīng)的邏輯頁(yè)地址的讀寫操作次數(shù)。如果讀寫操作次數(shù)大于設(shè)定的閾值，則該頁(yè)被判定為熱頁(yè)，否則，則判定為冷頁(yè)。為每個(gè)頁(yè)設(shè)置了一個(gè)計(jì)數(shù)器，這樣方式需要消耗大量的內(nèi)存空間，對(duì)內(nèi)存空間有限的固態(tài)硬盤來(lái)說(shuō)，這種方式顯然是不太適用的。

(2)準(zhǔn)確度低。常用的固態(tài)硬盤的冷熱數(shù)據(jù)識(shí)別機(jī)制包括基于請(qǐng)求大小、訪問(wèn)模式、最近最少使用、布農(nóng)濾波等方法。這些方法考慮因素比較單一，沒(méi)能綜合考慮負(fù)載的局部性特征，熱數(shù)據(jù)識(shí)別的準(zhǔn)確度不高。此外，布農(nóng)濾波方法還存在假陽(yáng)性問(wèn)題，即將不屬于不在集合內(nèi)的數(shù)據(jù)錯(cuò)誤判定為在集合內(nèi)。

技術(shù)實(shí)現(xiàn)要素：

本發(fā)明公開了一種融合多種機(jī)器學(xué)習(xí)算法的固態(tài)硬盤熱數(shù)據(jù)識(shí)別方法，以克服現(xiàn)有方法的上述缺陷。該方法能在較小的內(nèi)存開銷前提下，提高冷熱數(shù)據(jù)識(shí)別率。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案包括以下步驟：

步驟1、使用K-means聚類(K＝2，即2均值聚類)根據(jù)當(dāng)前負(fù)載大小進(jìn)行分類；利用K-means聚類算法根據(jù)當(dāng)前請(qǐng)求的負(fù)載大小對(duì)數(shù)據(jù)進(jìn)行分類，分為C1(小請(qǐng)求類)和C2(大請(qǐng)求類)兩類，若當(dāng)前請(qǐng)求大小屬于C1，則判定當(dāng)前請(qǐng)求為熱數(shù)據(jù)；反之為冷數(shù)據(jù)。

步驟2、使用K近鄰分類算法根據(jù)當(dāng)前請(qǐng)求的邏輯地址進(jìn)行分類。

由K-means聚類方法得到兩個(gè)已知類別屬性的兩類樣本C1和C2，然后根據(jù)K近鄰分類算法，從C1和C2中取K個(gè)與當(dāng)前待分類的請(qǐng)求的邏輯頁(yè)號(hào)(LPN)最接近的請(qǐng)求，然后根據(jù)K個(gè)請(qǐng)求的LPN中大多數(shù)LPN所屬的類別來(lái)判定當(dāng)前LPN所屬的類別。如果K個(gè)LPN中大多數(shù)屬于C1，則當(dāng)前LPN屬于C1(熱數(shù)據(jù))；否則，屬于C2(冷數(shù)據(jù))。

步驟3、對(duì)比步驟1和步驟2的兩種分類方式對(duì)當(dāng)前請(qǐng)求的冷熱性的分類結(jié)果。

如果K-means聚類和K近鄰分類兩種方式對(duì)當(dāng)前請(qǐng)求的類別的分類結(jié)果一致，則識(shí)別過(guò)程結(jié)束；如果不一致，則執(zhí)行步驟4。

步驟4、采用最近鄰原則對(duì)分類結(jié)果進(jìn)行修正。

從K個(gè)最近鄰的LPN中找到與當(dāng)前LPN的距離dist最小的LPN，以該LPN所屬的類別來(lái)作為當(dāng)前請(qǐng)求的類別。

本發(fā)明的有益效果在于：

本發(fā)明提出的融合多種機(jī)器學(xué)習(xí)算法的熱數(shù)據(jù)識(shí)別方法，僅需保存有限的數(shù)據(jù)信息，內(nèi)存開銷低，非常有利于實(shí)際的運(yùn)用。同時(shí)，與現(xiàn)有熱數(shù)據(jù)識(shí)別方法比較，還能提高熱數(shù)據(jù)識(shí)別準(zhǔn)確率，而且能夠適應(yīng)不同的負(fù)載。

附圖說(shuō)明

圖1：融合多種機(jī)器學(xué)習(xí)算法的熱數(shù)據(jù)識(shí)別方法示意圖。

圖2：根據(jù)請(qǐng)求大小采用2均值聚類算法進(jìn)行冷熱數(shù)據(jù)識(shí)別示意圖。

圖3：根據(jù)請(qǐng)求的邏輯地址采用K近鄰分類算法進(jìn)行冷熱數(shù)據(jù)識(shí)別示意圖。

具體實(shí)施方式

下面結(jié)合附圖通過(guò)具體實(shí)例對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。以請(qǐng)求序列的冷熱識(shí)別為例，示例詳細(xì)描述了本發(fā)明方法識(shí)別熱數(shù)據(jù)的流程。示例中，為了方便闡述作如下設(shè)置：

固態(tài)硬盤轉(zhuǎn)換層(FTL)接收到的請(qǐng)求R格式為(type，LPN，size)，設(shè)K近鄰分類方法中K的值取5，且已經(jīng)訪問(wèn)過(guò)的10個(gè)請(qǐng)求已經(jīng)被分為熱數(shù)據(jù)C₁和冷數(shù)據(jù)C₂兩類：C₁：{(w,12,1)，(w,35,4)，(w,41,2)，(w,41,5)，(r,12,4)}，基于請(qǐng)求大小的聚類中心為3.2；C₂：{(w,20,7)，(r,38,9)，(w,14,12)，(r,53,8)，(r,30,10)}，聚類中心為9.2。即將訪問(wèn)的請(qǐng)求順序?yàn)椋簉1(w,42,7)，r2(w,24,3)，r3(w,41,7)，r4(r,29,11)。

實(shí)施例1：

當(dāng)請(qǐng)求r1(r,42,7)到來(lái)時(shí)，操作過(guò)程如圖1所示：

步驟1.使用K-means聚類(K＝2，即2均值聚類)根據(jù)當(dāng)前負(fù)載大小進(jìn)行分類。K-means根據(jù)負(fù)載大小進(jìn)行冷熱數(shù)據(jù)識(shí)別,示意圖如圖2所示，r1的請(qǐng)求大小為7，離C₂的聚類中心近，由K-means聚類算法判別為C₂類。K-means算法的具體流程如下：

步驟1.1：初始化2個(gè)聚類中心(m₁，m₂)；

步驟1.2：對(duì)每個(gè)請(qǐng)求r_i，根據(jù)請(qǐng)求大小找到離它最近的聚類中心，將其分配到該類中；

步驟1.3：重新計(jì)算C₁和C₂的聚類中心，i＝1,2；

步驟1.4：計(jì)算聚類誤差平方和準(zhǔn)則函數(shù)，

步驟1.5：直到f值收斂，則輸出C₁、C₂和m₁、m₂，算法結(jié)束；否則，重復(fù)步驟1.2和步驟1.3，直到f收斂。

步驟2.使用K近鄰分類對(duì)當(dāng)前負(fù)載邏輯地址進(jìn)行分類，如圖3所示。根據(jù)r1的LPN采用K近鄰分類算法從C₁和C₂中找到的5個(gè)最近鄰LPN為：41、41、38、35、53，因?yàn)?個(gè)最近鄰有3個(gè)為C₁類，判定R1為C₁類。K近鄰分類算法的具體流程如下：

步驟2.1：初始化K值；

步驟2.2：計(jì)算當(dāng)前LPN與C1、C2中每個(gè)樣本的LPN之間的距離dist。樣本間的“近鄰”使用歐式距離測(cè)量，設(shè)兩個(gè)樣本的邏輯地址LPN分別為x和x’，則x與x’之間的歐式距離定義為：dist(x,x')＝|x-x'|；

步驟2.3：重復(fù)步驟2.2直到計(jì)算完當(dāng)前LPN與所有樣本間的距離dist；

步驟2.4：對(duì)所有的dist進(jìn)行升序排列，選出前K個(gè)最近鄰的樣本；

步驟2.5：統(tǒng)計(jì)K個(gè)最近鄰樣本中每個(gè)類別出現(xiàn)的次數(shù)；

步驟2.6：選擇出現(xiàn)頻率最大的類別作為當(dāng)前請(qǐng)求的類別。

步驟3.對(duì)比兩種分類方式對(duì)當(dāng)前請(qǐng)求的冷熱性的判定結(jié)果。有上述判定結(jié)果可以發(fā)現(xiàn)，兩種方式的判定結(jié)果產(chǎn)生了矛盾，因此，我們需要對(duì)判定結(jié)果進(jìn)行修正，執(zhí)行步驟4。

步驟4.采用最近鄰原則對(duì)分類結(jié)果進(jìn)行修正。根據(jù)最近鄰原則，選取最近鄰LPN＝41做參考，因?yàn)長(zhǎng)PN＝41屬于C₁類，因此，最終判定R1為C₁類，并更新C1類的LPN為{12,35,41,41,12,42}，聚類中心更新為3.83。

實(shí)施例2：

當(dāng)請(qǐng)求R2(w,24,3)到來(lái)時(shí)，根據(jù)圖1中步驟1，R2的請(qǐng)求大小為3，離C₁的聚類中心近，由K-means聚類算法判別為C₁類；根據(jù)圖1中步驟2，對(duì)請(qǐng)求R2的LPN采用K近鄰分類算法從C₁和C₂中找到的5個(gè)最近鄰LPN為：20、30、14、35、12，因?yàn)?個(gè)最近鄰中有3個(gè)是屬于C₂類，判定R2為C₂類。由圖1的步驟3可知，此時(shí)判定結(jié)果也產(chǎn)生了矛盾。因此，執(zhí)行步驟4，選取最近鄰LPN＝20做參考，因?yàn)長(zhǎng)PN＝20屬于C₂類，因此，最終判定R2為C₂類，并更新C₂類實(shí)體，為了簡(jiǎn)便，后面我們僅表示類中的LPN的值，更新為{20,38,14,53,30}，聚類中心為8.16。

實(shí)施例3：

當(dāng)請(qǐng)求R3(w,41,7)到來(lái)時(shí)，根據(jù)圖1中步驟1，R3的請(qǐng)求大小為7，離C₂的聚類中心近，由K-means判定為C₂類根據(jù)圖1中步驟2，對(duì)請(qǐng)求R3的LPN采用K近鄰分類算法從C₁和C₂中找到的5個(gè)最近鄰LPN為：41、41、42、38、35，因?yàn)?個(gè)最近鄰中有4個(gè)是屬于C₁類，判定R3為C₁類；根據(jù)圖1中步驟3，此時(shí)判定結(jié)果也產(chǎn)生了矛盾。因此，執(zhí)行步驟4，我們選取最近鄰LPN＝41做參考，因?yàn)長(zhǎng)PN＝41屬于C₁類，因此，最終判定R3為C₁類，更新C₁類的LPN為{12,35,41,41,41,12,42,24}，聚類中心為4.12。

實(shí)施例4：

當(dāng)請(qǐng)求R4(r,29,11)到來(lái)時(shí)，根據(jù)圖1中步驟1，R4的請(qǐng)求大小為11，離C₂的聚類中心近，由K-means聚類算法判別為C₂類；根據(jù)圖1中步驟2，對(duì)請(qǐng)求R4的LPN采用K近鄰分類算法從C₁和C₂中找到的5個(gè)最近鄰LPN為：30、24、35、20、38，因?yàn)?個(gè)最近鄰中有3個(gè)是屬于C₂類，判定R4為C₂類。根據(jù)圖1中步驟3，兩種方法判定結(jié)果一致，R4確實(shí)屬于C₂類，更新C₂類的LPN為{20,38,14,53,30,29}，聚類中心為8.57。