文件，并將誤刪除的所述數(shù)據(jù)文件移動(dòng)到Hbase在HDFS中相對(duì)應(yīng)的數(shù)據(jù)目錄下；
[0062]調(diào)用所述Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。
[0063]其中，當(dāng)要將誤刪除的數(shù)據(jù)文件進(jìn)行恢復(fù)時(shí)，可以直接將存儲(chǔ)文件中對(duì)應(yīng)的數(shù)據(jù)文件移動(dòng)到數(shù)據(jù)目錄中，直接利用元數(shù)據(jù)修復(fù)命令，對(duì)數(shù)據(jù)進(jìn)行修復(fù)。例如Hbase的表數(shù)據(jù)被刪除時(shí)，將HDFS存儲(chǔ)文件的目錄下的Hbase表數(shù)據(jù)移動(dòng)到Hbase的表數(shù)據(jù)存儲(chǔ)區(qū)，調(diào)用Hbase修復(fù)元數(shù)據(jù)的命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。
[0064]即上述方法的具體實(shí)施過程可以是:
[0065]指定一個(gè)HDFS的存儲(chǔ)文件也是存儲(chǔ)目錄，用于存儲(chǔ)被用戶刪除的Hbase的表數(shù)據(jù)；
[0066]在crontab配置文件中添加定時(shí)任務(wù)，每間隔一定時(shí)間查看Hbase在HDFS目錄下的“archive”文件夾也即緩存文件夾是否有新增文件；如果有新增文件，定時(shí)任務(wù)會(huì)將新增文件移動(dòng)到用戶指定的存儲(chǔ)目錄。
[0067]如果用戶發(fā)現(xiàn)有Hbase表誤刪除，可以到指定目錄下將表數(shù)據(jù)移動(dòng)到Hbase在HDFS的相應(yīng)數(shù)據(jù)目錄下，然后調(diào)用Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。
[0068]即利用Iinux下的crontab命令建定時(shí)啟動(dòng)任務(wù)(5分鐘以內(nèi))，定期掃描Hbase數(shù)據(jù)庫在HDFS目錄下的“archive”文件夾，如果發(fā)現(xiàn)有新增文件，則將新增文件移動(dòng)到HDFS的指定目錄即存儲(chǔ)文件中。當(dāng)Hbase用戶發(fā)現(xiàn)誤刪表之后，可以在存儲(chǔ)文件中目錄下找回丟失的數(shù)據(jù)，將丟失的數(shù)據(jù)移動(dòng)到Hbase的數(shù)據(jù)存儲(chǔ)路徑下，然后調(diào)用Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。
[0069]基于上述任意技術(shù)方案，該方法還可以包括:
[0070]當(dāng)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件的存儲(chǔ)空間大于閾值時(shí)，提醒用戶對(duì)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件進(jìn)行清理。
[0071 ] 其中，考慮到隨著時(shí)間的積累，如果Hbase刪除的數(shù)據(jù)過多，HDFS的指定目錄中的數(shù)據(jù)就會(huì)很大，需要定期的清理。閾值的設(shè)定可以由用戶根據(jù)實(shí)際情況進(jìn)行確定。
[0072]這里可以不再設(shè)置定時(shí)任務(wù)，因?yàn)槿绻O(shè)置定時(shí)清理任務(wù)，有可能會(huì)發(fā)生剛被刪除的表移動(dòng)到指定目錄又緊著接被定時(shí)清理的情況。
[0073]清理的過程由用戶確定需要?jiǎng)h除的數(shù)據(jù)文件進(jìn)行徹底刪除，或者是按照時(shí)間來確定需要進(jìn)行清理的數(shù)據(jù)文件。因?yàn)?，時(shí)間最早的數(shù)據(jù)文件說明被刪除的時(shí)間已經(jīng)很長了，仍沒有發(fā)現(xiàn)是誤刪除的數(shù)據(jù)文件，因此，很大可能就是需要進(jìn)行刪除數(shù)據(jù)文件。這里也可以由用戶結(jié)合自身的實(shí)際情況確定出清理的方案。
[0074]這里不對(duì)提醒的具體形式進(jìn)行限定，可以是語音提醒，也可以是燈光提醒，也可以是顯示提醒等。
[0075]基于上述技術(shù)方案，本發(fā)明實(shí)施例提供的防止HBase中數(shù)據(jù)誤刪除的方法，利用Iinux下的crontab命令建定時(shí)啟動(dòng)任務(wù)(5分鐘以內(nèi))，定期掃描Hbase數(shù)據(jù)庫在HDFS目錄下的“archive”文件夾，如果發(fā)現(xiàn)有新增文件，則將新增文件移動(dòng)到HDFS的指定目錄即存儲(chǔ)文件中。當(dāng)Hbase用戶發(fā)現(xiàn)誤刪表之后，可以在存儲(chǔ)文件中目錄下找回丟失的數(shù)據(jù)，將丟失的數(shù)據(jù)移動(dòng)到Hbase的數(shù)據(jù)存儲(chǔ)路徑下，然后調(diào)用Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)，并且定期對(duì)存儲(chǔ)文件進(jìn)行清理，防止存儲(chǔ)文件占用空間大，影響正常空間的分配和使用。該方法能夠防止HBase中數(shù)據(jù)誤刪除，大大減少HBase中數(shù)據(jù)被刪除后技術(shù)人員的工作量。
[0076]本發(fā)明實(shí)施例提供了防止HBase中數(shù)據(jù)誤刪除的方法，通過上述方法能夠防止HBase中數(shù)據(jù)誤刪除。
[0077]下面對(duì)本發(fā)明實(shí)施例提供的防止HBase中數(shù)據(jù)誤刪除的系統(tǒng)進(jìn)行介紹，下文描述的防止HBase中數(shù)據(jù)誤刪除的系統(tǒng)與上文描述的防止HBase中數(shù)據(jù)誤刪除的方法可相互對(duì)應(yīng)參照。
[0078]請參考圖2，圖2為本發(fā)明實(shí)施例所提供的防止HBase中數(shù)據(jù)誤刪除的系統(tǒng)的結(jié)構(gòu)框圖；該系統(tǒng)可以包括:
[0079]存儲(chǔ)模塊100，用于根據(jù)用戶操作在HDFS目錄下設(shè)定存儲(chǔ)被刪除的數(shù)據(jù)文件的存儲(chǔ)文件；
[0080]監(jiān)控模塊200，用于設(shè)定監(jiān)控的時(shí)間周期，按照所述時(shí)間周期，監(jiān)控Hbase在HDFS目錄下的緩存文件夾是否有新增的數(shù)據(jù)文件；
[0081]若有，則觸發(fā)存儲(chǔ)模塊300將新增的所述數(shù)據(jù)文件存儲(chǔ)到所述存儲(chǔ)文件下。
[0082]可選的，所述監(jiān)控模塊200包括:
[0083]設(shè)定單元，用于在定時(shí)啟動(dòng)腳本中添加掃描監(jiān)控緩存文件夾程序，并設(shè)定定時(shí)啟動(dòng)所述掃描監(jiān)控緩存文件夾程序的時(shí)間周期；
[0084]監(jiān)控單元，用于調(diào)用所述啟動(dòng)腳本，按照所述時(shí)間周期掃描所述緩存文件夾是否有新增的數(shù)據(jù)文件。
[0085]可選的，所述存儲(chǔ)模塊100具體用于:
[0086]將新增的所述數(shù)據(jù)文件移動(dòng)到所述存儲(chǔ)文件下。
[0087]其中，請參考圖3，當(dāng)用戶出現(xiàn)HBase中數(shù)據(jù)誤刪除時(shí)，還包括:
[0088]移動(dòng)模塊400，用于在所述存儲(chǔ)文件中確定誤刪除的數(shù)據(jù)文件，并將誤刪除的所述數(shù)據(jù)文件移動(dòng)到Hbase在HDFS中相對(duì)應(yīng)的數(shù)據(jù)目錄下；
[0089]修復(fù)模塊500，用于調(diào)用所述Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。
[0090]基于上述任意技術(shù)方案，請參考圖4，該系統(tǒng)還可以包括:
[0091]提醒模塊600，用于當(dāng)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件的存儲(chǔ)空間大于閾值時(shí)，提醒用戶對(duì)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件進(jìn)行清理。
[0092]說明書中各個(gè)實(shí)施例采用遞進(jìn)的方式描述，每個(gè)實(shí)施例重點(diǎn)說明的都是與其他實(shí)施例的不同之處，各個(gè)實(shí)施例之間相同相似部分互相參見即可。對(duì)于實(shí)施例公開的裝置而言，由于其與實(shí)施例公開的方法相對(duì)應(yīng)，所以描述的比較簡單，相關(guān)之處參見方法部分說明即可。
[0093]專業(yè)人員還可以進(jìn)一步意識(shí)到，結(jié)合本文中所公開的實(shí)施例描述的各示例的單元及算法步驟，能夠以電子硬件、計(jì)算機(jī)軟件或者二者的結(jié)合來實(shí)現(xiàn)，為了清楚地說明硬件和軟件的可互換性，在上述說明中已經(jīng)按照功能一般性地描述了各示例的組成及步驟。這些功能究竟以硬件還是軟件方式來執(zhí)行，取決于技術(shù)方案的特定應(yīng)用和設(shè)計(jì)約束條件。專業(yè)技術(shù)人員可以對(duì)每個(gè)特定的應(yīng)用來使用不同方法來實(shí)現(xiàn)所描述的功能，但是這種實(shí)現(xiàn)不應(yīng)認(rèn)為超出本發(fā)明的范圍。
[0094]結(jié)合本文中所公開的實(shí)施例描述的方法或算法的步驟可以直接用硬件、處理器執(zhí)行的軟件模塊，或者二者的結(jié)合來實(shí)施。軟件模塊可以置于隨機(jī)存儲(chǔ)器(RAM)、內(nèi)存、只讀存儲(chǔ)器(ROM)、電可編程R0M、電可擦除可編程R0M、寄存器、硬盤、可移動(dòng)磁盤、CD-ROM、或技術(shù)領(lǐng)域內(nèi)所公知的任意其它形式的存儲(chǔ)介質(zhì)中。
[0095]以上對(duì)本發(fā)明所提供的防止HBase中數(shù)據(jù)誤刪除的方法及系統(tǒng)進(jìn)行了詳細(xì)介紹。本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明只是用于幫助理解本發(fā)明的方法及其核心思想。應(yīng)當(dāng)指出，對(duì)于本技術(shù)領(lǐng)域的普通技術(shù)人員來說，在不脫離本發(fā)明原理的前提下，還可以對(duì)本發(fā)明進(jìn)行若干改進(jìn)和修飾，這些改進(jìn)和修飾也落入本發(fā)明權(quán)利要求的保護(hù)范圍內(nèi)。
【主權(quán)項(xiàng)】
1.一種防止HBase中數(shù)據(jù)誤刪除的方法，其特征在于，包括: 根據(jù)用戶操作在HDFS目錄下設(shè)定存儲(chǔ)被刪除的數(shù)據(jù)文件的存儲(chǔ)文件； 設(shè)定監(jiān)控的時(shí)間周期，按照所述時(shí)間周期，監(jiān)控Hbase在HDFS目錄下的緩存文件夾是否有新增的數(shù)據(jù)文件； 若有，則將新增的所述數(shù)據(jù)文件存儲(chǔ)到所述存儲(chǔ)文件下。2.如權(quán)利要求1所述的方法，其特征在于，所述設(shè)定監(jiān)控的時(shí)間周期，按照所述時(shí)間周期，監(jiān)控Hbase在HDFS目錄下的緩存文件夾是否有新增的數(shù)據(jù)文件，包括: 在定時(shí)啟動(dòng)腳本中添加掃描監(jiān)控緩存文件夾程序，并設(shè)定定時(shí)啟動(dòng)所述掃描監(jiān)控緩存文件夾程序的時(shí)間周期； 調(diào)用所述啟動(dòng)腳本，按照所述時(shí)間周期掃描所述緩存文件夾是否有新增的數(shù)據(jù)文件。3.如權(quán)利要求2所述的方法，其特征在于，所述將新增的所述數(shù)據(jù)文件存儲(chǔ)到所述存儲(chǔ)文件下包括: 將新增的所述數(shù)據(jù)文件移動(dòng)到所述存儲(chǔ)文件下。4.如權(quán)利要求3所述的方法，其特征在于，當(dāng)用戶出現(xiàn)HBase中數(shù)據(jù)誤刪除時(shí)，還包括: 在所述存儲(chǔ)文件中確定誤刪除的數(shù)據(jù)文件，并將誤刪除的所述數(shù)據(jù)文件移動(dòng)到Hbase在HDFS中相對(duì)應(yīng)的數(shù)據(jù)目錄下； 調(diào)用所述Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。5.如權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，還包括: 當(dāng)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件的存儲(chǔ)空間大于閾值時(shí)，提醒用戶對(duì)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件進(jìn)行清理。6.一種防止HBase中數(shù)據(jù)誤刪除的系統(tǒng)，其特征在于，包括: 存儲(chǔ)模塊，用于根據(jù)用戶操作在HDFS目錄下設(shè)定存儲(chǔ)被刪除的數(shù)據(jù)文件的存儲(chǔ)文件；監(jiān)控模塊，用于設(shè)定監(jiān)控的時(shí)間周期，按照所述時(shí)間周期，監(jiān)控Hbase在HDFS目錄下的緩存文件夾是否有新增的數(shù)據(jù)文件； 若有，則觸發(fā)存儲(chǔ)模塊將新增的所述數(shù)據(jù)文件存儲(chǔ)到所述存儲(chǔ)文件下。7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述監(jiān)控模塊包括: 設(shè)定單元，用于在定時(shí)啟動(dòng)腳本中添加掃描監(jiān)控緩存文件夾程序，并設(shè)定定時(shí)啟動(dòng)所述掃描監(jiān)控緩存文件夾程序的時(shí)間周期； 監(jiān)控單元，用于調(diào)用所述啟動(dòng)腳本，按照所述時(shí)間周期掃描所述緩存文件夾是否有新增的數(shù)據(jù)文件。8.如權(quán)利要求7所述的系統(tǒng)，其特征在于，所述存儲(chǔ)模塊具體用于: 將新增的所述數(shù)據(jù)文件移動(dòng)到所述存儲(chǔ)文件下。9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，當(dāng)用戶出現(xiàn)HBase中數(shù)據(jù)誤刪除時(shí)，還包括: 移動(dòng)模塊，用于在所述存儲(chǔ)文件中確定誤刪除的數(shù)據(jù)文件，并將誤刪除的所述數(shù)據(jù)文件移動(dòng)到Hbase在HDFS中相對(duì)應(yīng)的數(shù)據(jù)目錄下； 修復(fù)模塊，用于調(diào)用所述Hbase的元數(shù)據(jù)修復(fù)命令對(duì)元數(shù)據(jù)進(jìn)行修復(fù)。10.如權(quán)利要求6至9任一項(xiàng)所述的系統(tǒng)，其特征在于，還包括: 提醒模塊，用于當(dāng)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件的存儲(chǔ)空間大于閾值時(shí)，提醒用戶對(duì)所述存儲(chǔ)文件中存儲(chǔ)的數(shù)據(jù)文件進(jìn)行清理。
【專利摘要】本發(fā)明公開了一種防止HBase中數(shù)據(jù)誤刪除的方法，包括：根據(jù)用戶操作在HDFS目錄下設(shè)定存儲(chǔ)被刪除的數(shù)據(jù)文件的存儲(chǔ)文件；設(shè)定監(jiān)控的時(shí)間周期，按照所述時(shí)間周期，監(jiān)控Hbase在HDFS目錄下的緩存文件夾是否有新增的數(shù)據(jù)文件；若是，則將新增的所述數(shù)據(jù)文件存儲(chǔ)到所述存儲(chǔ)文件下；該方法能夠防止HBase中數(shù)據(jù)誤刪除；本發(fā)明還公開了一種防止HBase中數(shù)據(jù)誤刪除的系統(tǒng)。
【IPC分類】G06F17/30, G06F21/64
【公開號(hào)】CN105243340
【申請?zhí)枴緾N201510796233
【發(fā)明人】房體盈
【申請人】浪潮(北京)電子信息產(chǎn)業(yè)有限公司
【公開日】2016年1月13日
【申請日】2015年11月18日