一種基于python的hbasejdbc連接方法【專利摘要】本發(fā)明提供一種基于python的hbasejdbc連接方法，屬于IT通信業(yè)【
技術(shù)領(lǐng)域：
】，本發(fā)明本發(fā)明采用python語言實(shí)現(xiàn)，通過對HBase的jdbc接口進(jìn)行封裝在客戶端遠(yuǎn)程控制HBase數(shù)據(jù)庫，實(shí)現(xiàn)DDL、DML和查詢HBase元數(shù)據(jù)等數(shù)據(jù)庫操作，將方法的代碼封裝成python模塊可以供其它語言連接HBase的需求，方便了跨平臺(tái)的HBase數(shù)據(jù)庫遠(yuǎn)程調(diào)用和開發(fā)?！緦＠f明】—種基于python的hbasejdbc連接方法【
技術(shù)領(lǐng)域：
】[0001]本發(fā)明涉及IT通信業(yè)技術(shù),尤其涉及一種基于python的hbasejdbc連接方法，HBase是一款應(yīng)用廣泛的Nosql數(shù)據(jù)庫,本發(fā)明是解決使用python語言連接HBase問題?！?br>背景技術(shù)：
】[0002]近年來，包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)在內(nèi)的IT通信業(yè)迅速發(fā)展，數(shù)據(jù)的快速增長成了許多行業(yè)共同面對的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇，因此現(xiàn)代信息社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。大數(shù)據(jù)改變的不只是人們的日常生活和工作模式、企業(yè)運(yùn)作和經(jīng)營模式，甚至還引起科學(xué)研究模式的根本性改變。一般意義上，大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)機(jī)器和軟硬件工具對其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。[0003]HBase是一個(gè)分布式的、面向列的開源數(shù)據(jù)庫，該技術(shù)來源于FayChang所撰寫的Google論文“Bigtable:—個(gè)結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)系統(tǒng)”。就像Bigtable利用了Google文件系統(tǒng)(FileSystem)所提供的分布式數(shù)據(jù)存儲(chǔ)一樣,HBase在hdfs之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項(xiàng)目的子項(xiàng)目。HBase不同于一般的關(guān)系數(shù)據(jù)庫，它是一個(gè)適合于非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫。另一個(gè)不同的是HBase基于列的而不是基于行的模式。[0004]HBase是一款基于java語言開發(fā)的開源Nosql數(shù)據(jù)庫。HBase分布式數(shù)據(jù)庫采用Java語言開發(fā)，提供了豐富的JavaAPI，所以目前開發(fā)基于HBase的數(shù)據(jù)庫存取系統(tǒng)大都采用Java語言調(diào)用HBase提供的API實(shí)現(xiàn)，該方法比較適合用Java語言開發(fā)的項(xiàng)目，但是對于非java語言開發(fā)的項(xiàng)目的連接要求就需要提供各種接口技術(shù)予以實(shí)現(xiàn)。Python語法簡潔而清晰，具有豐富和強(qiáng)大的類庫。它常被昵稱為膠水語言，它能夠把用其他語言制作的各種模塊很輕松地聯(lián)結(jié)在一起，眾多開源的計(jì)算軟件包都提供了Python的調(diào)用接口?，F(xiàn)今HBase對于非java語言的連接支持大部分是以Thrift實(shí)現(xiàn)的，但該方法主要是以HBaseApi接口的形式實(shí)現(xiàn)的無法支持sql語言的訪問，元數(shù)據(jù)的讀取也不是很方便?！?br/>發(fā)明內(nèi)容】[0005]本發(fā)明采用python語言實(shí)現(xiàn),通過對HBase的jdbc接口進(jìn)行封裝在客戶端遠(yuǎn)程控制HBase數(shù)據(jù)庫，實(shí)現(xiàn)DDL、DML和查詢HBase元數(shù)據(jù)等數(shù)據(jù)庫操作，將方法的代碼封裝成python模塊可以供其它語言連接HBase的需求，方便了跨平臺(tái)的HBase數(shù)據(jù)庫遠(yuǎn)程調(diào)用和開發(fā)。為了保證數(shù)據(jù)庫操作的安全可靠，本發(fā)明實(shí)現(xiàn)了一種穩(wěn)定的客戶端到數(shù)據(jù)庫服務(wù)器的連接機(jī)制。本發(fā)明在實(shí)際項(xiàng)目中得到不錯(cuò)的應(yīng)用效果，因此本發(fā)明具有一定的應(yīng)用價(jià)值和意義。[0006]I)通過開啟Hbase數(shù)據(jù)庫服務(wù)器端的zooke印er服務(wù)實(shí)現(xiàn)與Hbase數(shù)據(jù)庫服務(wù)器的互聯(lián)通信；2)客戶端采用python語言編寫，可以編譯python模塊，方便跨平臺(tái)下的二次開發(fā)；3)python客戶端封裝了jdbc客戶端,可以采用sql語句對Hbase數(shù)據(jù)庫進(jìn)行DDL、DML和查詢HBase元數(shù)據(jù)等操作。通過對jdbc封裝,提出了一種穩(wěn)定的Hbase數(shù)據(jù)庫連接機(jī)制，具體包括:a)Hbase數(shù)據(jù)庫服務(wù)器端開啟zooke印er服務(wù)，用戶輸入要連接的服務(wù)器IP和zookeeper中的rootnode；b)用戶請求連接Hbase數(shù)據(jù)庫,python客戶端調(diào)用jdbc接口與服務(wù)器建立連接,如果連接成功，bool型變量isConnect1n的值設(shè)為true,否則設(shè)為false,并將結(jié)果反饋給用戶；c)用戶請求對Hbase數(shù)據(jù)庫進(jìn)行遠(yuǎn)程操作，python客戶端首先檢查isConnect1n的值是否為true,isConnect1n的值為true則對用戶輸入的數(shù)據(jù)庫操作參數(shù)進(jìn)行格式轉(zhuǎn)換，并調(diào)用jdbc接口進(jìn)行數(shù)據(jù)庫操作；isConnect1n的值為false則重新與Hbase服務(wù)器建立連接I次，連接成功則isConnect1n的值設(shè)為true,對輸入?yún)?shù)進(jìn)行格式轉(zhuǎn)換，并調(diào)用jdbc接口進(jìn)行數(shù)據(jù)庫操作；連接失敗則isConnect1n的值設(shè)為false,退出Hbase的操作；d)用戶請求斷開Hbase數(shù)據(jù)庫的互聯(lián)，python客戶端調(diào)用jdbc接口斷開連接，并將isConnect1n的值設(shè)置為false。[0007]本發(fā)明的有益效果是:1、能夠在跨平臺(tái)應(yīng)用中對Hbase數(shù)據(jù)庫進(jìn)行DDL、DML和獲得元數(shù)據(jù)等操作；2、該方法操作簡單，試用多種版本的Hbase，并可以在該方法基礎(chǔ)上開發(fā)多種跨平臺(tái)的HBase數(shù)據(jù)庫系統(tǒng)；3、提出一種穩(wěn)定的Hbase數(shù)據(jù)庫連接機(jī)制,保證數(shù)據(jù)庫連接的準(zhǔn)確性；4、有效的提聞了業(yè)務(wù)質(zhì)量。【專利附圖】【附圖說明】[0008]附圖1連接HBase操作流程圖?！揪唧w實(shí)施方式】[0009]下面參照附圖，以一個(gè)具體實(shí)例來描述本發(fā)明遠(yuǎn)程控制Hbase數(shù)據(jù)庫的過程和本發(fā)明安全穩(wěn)定的Hbase數(shù)據(jù)庫連接方法。[0010]步驟如下:1)客戶端輸入Hbase服務(wù)器IP和zookeeper中的rootnode；2)客戶端調(diào)用jdbc接口與Hbase服務(wù)器建立連接,連接成功將isConnect1n參數(shù)設(shè)置為true,連接失敗則系統(tǒng)退出；3)連接成功之后，用戶可以在客戶端發(fā)起一系列的Hbase操作請求，對Hbase進(jìn)行遠(yuǎn)程控制，下面參照附圖1對Hbase的遠(yuǎn)程操作流程進(jìn)行詳細(xì)說明:a)客戶端輸入數(shù)據(jù)庫操作的參數(shù)；b)判斷isConnect1n是否為true,isConnect1n為true則跳轉(zhuǎn)到步驟c),isConnect1n為false則跳轉(zhuǎn)到步驟d)；c)客戶端調(diào)用jdbc進(jìn)行遠(yuǎn)程的Hbase操作，將返回結(jié)果進(jìn)行預(yù)處理然后將結(jié)果顯示到客戶端，跳轉(zhuǎn)到步驟f);d)重復(fù)與Hbase建立連接，然后跳轉(zhuǎn)到步驟e)；e)重復(fù)判斷isConnect1n是否為true，isConnect1n為true則跳轉(zhuǎn)到步驟C)，isConnect1n為false則跳轉(zhuǎn)到步驟f)；f)遠(yuǎn)程控制Hbase數(shù)據(jù)庫操作結(jié)束；g)用戶進(jìn)行其他數(shù)據(jù)庫的操作，客戶端重復(fù)進(jìn)行步驟3)的操作；h)用戶選擇斷開Hbase數(shù)據(jù)庫，客戶端調(diào)用jdbc接口斷開與Hbase數(shù)據(jù)庫連接，將isConnect1n設(shè)置為false，系統(tǒng)退出?！緳?quán)利要求】1.一種基于python的hbasejdbc連接方法,其特征在于，具體包括:a)Hbase數(shù)據(jù)庫服務(wù)器端開啟zooke印er服務(wù)，用戶輸入要連接的服務(wù)器IP和zookeeper中的rootnode；b)用戶請求連接Hbase數(shù)據(jù)庫,python客戶端調(diào)用jdbc接口與服務(wù)器建立連接,如果連接成功，bool型變量isConnect1n的值設(shè)為true,否則設(shè)為false,并將結(jié)果反饋給用戶；c)用戶請求對Hbase數(shù)據(jù)庫進(jìn)行遠(yuǎn)程操作，python客戶端首先檢查isConnect1n的值是否為true,isConnect1n的值為true則對用戶輸入的數(shù)據(jù)庫操作參數(shù)進(jìn)行格式轉(zhuǎn)換，并調(diào)用jdbc接口進(jìn)行數(shù)據(jù)庫操作；isConnect1n的值為false則重新與Hbase服務(wù)器建立連接I次，連接成功則isConnect1n的值設(shè)為true,對輸入?yún)?shù)進(jìn)行格式轉(zhuǎn)換，并調(diào)用jdbc接口進(jìn)行數(shù)據(jù)庫操作；連接失敗則isConnect1n的值設(shè)為false,退出Hbase的操作；d)用戶請求斷開Hbase數(shù)據(jù)庫的互聯(lián)，python客戶端調(diào)用jdbc接口斷開連接，并將isConnect1n的值設(shè)置為false。2.根據(jù)權(quán)利要求1所述的方法，其特征在于通過Hbase數(shù)據(jù)庫服務(wù)器端的zooke印r服務(wù)實(shí)現(xiàn)與Hbase數(shù)據(jù)庫服務(wù)器的互聯(lián)通信。3.根據(jù)權(quán)利要求1所述的方法，其特征在于使用sql語句對Hbase數(shù)據(jù)庫進(jìn)行DDL、DML和查詢HBase元數(shù)據(jù)操作?！疚臋n編號(hào)】G06F17/30GK104376102SQ201410686546【公開日】2015年2月25日申請日期:2014年11月26日優(yōu)先權(quán)日:2014年11月26日【發(fā)明者】盧軍佐,曹連超,辛國茂,亓開元,趙仁明,房體盈申請人:浪潮電子信息產(chǎn)業(yè)股份有限公司