醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)服務(wù)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，特別是涉及一種醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)服務(wù)系統(tǒng)。
【背景技術(shù)】
[0002]近年來隨著互聯(lián)網(wǎng)、云計(jì)算、移動和物聯(lián)網(wǎng)等的迅猛發(fā)展，無所不在的移動設(shè)備、RFID、無線傳感器每分每秒都在產(chǎn)生數(shù)據(jù)，數(shù)以億計(jì)用戶的互聯(lián)網(wǎng)服務(wù)時(shí)時(shí)刻刻在產(chǎn)生巨量的交互，要處理的數(shù)據(jù)量巨大，數(shù)據(jù)一直都在以每年50%的速度增長，而業(yè)務(wù)需求和競爭壓力對數(shù)據(jù)處理的實(shí)時(shí)性、有效性又提出了更高要求，傳統(tǒng)的常規(guī)技術(shù)手段根本無法應(yīng)付，因此，大數(shù)據(jù)技術(shù)(Big Data)成為近來的一個(gè)技術(shù)熱點(diǎn)，引起了廣泛的重視。
[0003]大數(shù)據(jù)創(chuàng)造價(jià)值是基于這樣一個(gè)核心邏輯，即當(dāng)今社會在商業(yè)、經(jīng)濟(jì)、政府及相關(guān)領(lǐng)域中，決策行為越來越取決于數(shù)據(jù)和分析，而不再是經(jīng)驗(yàn)和直覺。大數(shù)據(jù)技術(shù)可以為決策提供一定的“預(yù)見參考”，而成功的分析和預(yù)見往往能帶來商業(yè)和經(jīng)濟(jì)價(jià)值。
[0004]除了較早前就開始利用大數(shù)據(jù)的互聯(lián)網(wǎng)公司，醫(yī)療行業(yè)是讓大數(shù)據(jù)分析最先發(fā)揚(yáng)光大的傳統(tǒng)行業(yè)之一。醫(yī)療行業(yè)早就遇到了海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的挑戰(zhàn)，而近年來很多國家都在積極推進(jìn)醫(yī)療信息化發(fā)展，因此，醫(yī)療行業(yè)將和銀行、電信、保險(xiǎn)等行業(yè)一起首先邁入大數(shù)據(jù)時(shí)代。麥肯錫在其報(bào)告中指出，排除體制障礙，大數(shù)據(jù)分析可以幫助美國的醫(yī)療服務(wù)業(yè)一年創(chuàng)造3000億美元的附加價(jià)值。
[0005]通過大數(shù)據(jù)技術(shù)可以加速醫(yī)學(xué)的猜想、發(fā)現(xiàn)到醫(yī)療實(shí)踐的轉(zhuǎn)化:借助于不斷增長的私密和公開醫(yī)療數(shù)據(jù)，大數(shù)據(jù)技術(shù)幫助人們存儲管理好醫(yī)療大數(shù)據(jù)并從大體量、高復(fù)雜的數(shù)據(jù)中提取價(jià)值，相關(guān)的醫(yī)療技術(shù)、產(chǎn)品將不斷涌現(xiàn)，將有可能給醫(yī)療行業(yè)開拓一個(gè)新的黃金時(shí)代。
[0006]大數(shù)據(jù)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用具有非常廣闊的前景，但由于網(wǎng)絡(luò)安全性不高、技術(shù)不足、觀念落后等原因，大數(shù)據(jù)技術(shù)在醫(yī)療領(lǐng)域的應(yīng)用還存在一些困難:
首先數(shù)據(jù)量大，數(shù)據(jù)類型復(fù)雜。醫(yī)療領(lǐng)域的數(shù)據(jù)量巨大，數(shù)據(jù)類型復(fù)雜。到2020年，醫(yī)療數(shù)據(jù)將增至35ZB，相當(dāng)于2009年數(shù)據(jù)量的44倍。另外，在醫(yī)院，每個(gè)患者不但要經(jīng)過辨證論治的個(gè)體化診療，還會經(jīng)過各種理化檢測進(jìn)行疾病及其預(yù)后的診斷，所以不光有病歷資料中包含的信息，還會有生化檢查、多種影像或病理切片檢查的生物學(xué)信息，數(shù)據(jù)類型十分復(fù)雜。這給數(shù)據(jù)的存儲、分析、處理、傳輸?shù)葞砗艽筇魬?zhàn)。
[0007]其次，信息采集不足，收集渠道不暢。要想在醫(yī)療領(lǐng)域使用大數(shù)據(jù)技術(shù)，首先要有足夠的病人、藥物等相關(guān)信息，這是數(shù)據(jù)分析的基礎(chǔ)，然而許多病人可能出于隱私考慮不愿提供這些信息，制藥企業(yè)也有可能因?yàn)樯虡I(yè)利益不愿共享藥物成分等敏感信息。另外，各個(gè)醫(yī)院及機(jī)構(gòu)的醫(yī)療信息、軟件及硬件服務(wù)都各自獨(dú)立，缺乏合理接口，大數(shù)據(jù)收集的渠道不暢，導(dǎo)致采集與應(yīng)用存在一定程度上的脫離。
[0008]第三，大數(shù)據(jù)高效分析能力欠缺，采集到足夠信息后，需要由相關(guān)領(lǐng)域的專業(yè)人士與信息技術(shù)專家一起對數(shù)據(jù)進(jìn)行有針對性地歸納和分析，得出由大量新興技術(shù)(如HadoopMap Reduce,內(nèi)存數(shù)據(jù)庫等)組成的高性能的專業(yè)的分析技術(shù)架構(gòu)解決方案，而這種跨學(xué)科、跨領(lǐng)域合作能否順利實(shí)現(xiàn)，是大數(shù)據(jù)技術(shù)實(shí)際應(yīng)用中的重要問題。
[0009]此外，大數(shù)據(jù)的安全缺乏保障。隨著數(shù)據(jù)量的不斷增加，數(shù)據(jù)存儲的物理安全性越來越重要，對數(shù)據(jù)的多副本與容災(zāi)機(jī)制提出更高的要求。但是網(wǎng)絡(luò)和數(shù)字化生活使得犯罪分子更容易獲得關(guān)于人的信息，也有了更多不易被追蹤和防范的犯罪手段，大數(shù)據(jù)的保護(hù)越來越重要。
[0010]為解決目前醫(yī)療大數(shù)據(jù)應(yīng)用中普遍存在的上述挑戰(zhàn)，需要設(shè)計(jì)一種醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)平臺以解決數(shù)據(jù)量大且數(shù)據(jù)類型復(fù)雜、信息采集不足與收集渠道不暢、大數(shù)據(jù)高效分析能力和安全保障欠缺等問題。

【發(fā)明內(nèi)容】

[0011]本發(fā)明提供了一種醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)服務(wù)系統(tǒng)，用以解決目前醫(yī)療大數(shù)據(jù)數(shù)據(jù)量大且數(shù)據(jù)類型復(fù)雜、信息采集不足與收集渠道不暢、大數(shù)據(jù)高效分析能力和安全保障欠缺等問題，本發(fā)明解決所述問題的技術(shù)方案為。
[0012]一種醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)服務(wù)系統(tǒng)，其特征是包括大數(shù)據(jù)云ETL子系統(tǒng)、大數(shù)據(jù)基礎(chǔ)內(nèi)核子系統(tǒng)、醫(yī)療大數(shù)據(jù)分析挖掘子系統(tǒng)、運(yùn)行管理監(jiān)控子系統(tǒng):
I)大數(shù)據(jù)云ETL子系統(tǒng):主要包括數(shù)據(jù)抽取、數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)據(jù)加載、調(diào)度引擎等，是醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)平臺的數(shù)據(jù)來源工具，負(fù)責(zé)對醫(yī)院信息系統(tǒng)的相關(guān)數(shù)據(jù)進(jìn)行抽取、清洗轉(zhuǎn)換和加載。
[0013]2)大數(shù)據(jù)基礎(chǔ)內(nèi)核子系統(tǒng):主要包括Storm流計(jì)算、MapReduce批量計(jì)算、Spark、醫(yī)療大數(shù)據(jù)元數(shù)據(jù)、醫(yī)療大數(shù)據(jù)模型、HBASE半結(jié)構(gòu)化數(shù)據(jù)存儲，實(shí)現(xiàn)醫(yī)療大數(shù)據(jù)的存儲、計(jì)算和分析。
[0014]3)醫(yī)療大數(shù)據(jù)分析挖掘子系統(tǒng):主要包括數(shù)據(jù)探索、挖掘建模、模型評估，對醫(yī)療大數(shù)據(jù)基礎(chǔ)內(nèi)核平臺存儲和處理的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和挖掘。
[0015]4)運(yùn)行管理監(jiān)控子系統(tǒng):主要包括狀態(tài)監(jiān)控、配置節(jié)點(diǎn)管理、集群節(jié)點(diǎn)管理、節(jié)點(diǎn)和服務(wù)狀態(tài)管理、數(shù)據(jù)安全管理，為醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)平臺提供所需的支持、監(jiān)控、配置和安全服務(wù)。
【附圖說明】
[0016]圖1為本發(fā)明系統(tǒng)總體架構(gòu)圖。
[0017]圖2為本發(fā)明Storm流計(jì)算架構(gòu)圖。
[0018]圖3為本發(fā)明MapReduce處理流程圖。
【具體實(shí)施方式】
[0019]下面將結(jié)合本發(fā)明實(shí)施例中的附圖及具體實(shí)施例進(jìn)一步說明本發(fā)明的技術(shù)方案。應(yīng)當(dāng)理解，此處所描述的具體實(shí)施例僅僅用于解釋本發(fā)明，并不用于限定本發(fā)明。
[0020]本發(fā)明提供了一種醫(yī)療大數(shù)據(jù)應(yīng)用基礎(chǔ)服務(wù)系統(tǒng)，其特征是包括大數(shù)據(jù)云ETL子系統(tǒng)、大數(shù)據(jù)基礎(chǔ)內(nèi)核子系統(tǒng)、醫(yī)療大數(shù)據(jù)分析挖掘子系統(tǒng)、運(yùn)行管理監(jiān)控子系統(tǒng)。
[0021]整個(gè)系統(tǒng)在軟件架構(gòu)上主要分為大數(shù)據(jù)云ETL、大數(shù)據(jù)基礎(chǔ)內(nèi)核、醫(yī)療大數(shù)據(jù)分析挖掘和系統(tǒng)運(yùn)行管理監(jiān)控，用以支持醫(yī)療大數(shù)據(jù)眾多典型應(yīng)用(電子病歷大數(shù)據(jù)產(chǎn)品、藥品研發(fā)、實(shí)時(shí)統(tǒng)計(jì)分析、就診行為分析、傳染病模型分析、基本藥物臨床應(yīng)用分析、臨床決策支持、遠(yuǎn)程病人數(shù)據(jù)分析)，滿足個(gè)人(醫(yī)生、臨床研究員、公眾)和機(jī)構(gòu)(醫(yī)療器械、商業(yè)保險(xiǎn)、醫(yī)療企業(yè))中的不同用戶對于海量數(shù)據(jù)訪問、處理和分析的需求。
[0022]系統(tǒng)體系架構(gòu)如圖1所示，大數(shù)據(jù)云ETL子系統(tǒng)是在大數(shù)據(jù)平臺的基礎(chǔ)上，對醫(yī)院信息系統(tǒng)(HIS、PACS、CIS、RIS、LIS、EMR)的相關(guān)數(shù)據(jù)進(jìn)行抽取、清洗轉(zhuǎn)換和加載，并通過調(diào)度引擎進(jìn)行任務(wù)調(diào)度與監(jiān)控，從而提供數(shù)據(jù)整合的解決方案。醫(yī)療大數(shù)據(jù)基礎(chǔ)內(nèi)核子系統(tǒng)是利用大數(shù)據(jù)基礎(chǔ)能力中所使用的Storm流計(jì)算、MapReduce批量計(jì)算、Spark內(nèi)存計(jì)算、Metadata元數(shù)據(jù)管理、DataModel醫(yī)療大數(shù)據(jù)模型、HDFS分布式文件存儲、HBASE半結(jié)構(gòu)化數(shù)據(jù)存儲等，實(shí)現(xiàn)醫(yī)療大數(shù)據(jù)的存儲、計(jì)算和分析。醫(yī)療大數(shù)據(jù)分析挖掘子系統(tǒng)利用數(shù)據(jù)探索、挖掘建模和模型評估，對醫(yī)療大數(shù)據(jù)基礎(chǔ)內(nèi)核平臺存儲和處理的結(jié)構(gòu)和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行分析和挖掘，從而支持用戶的業(yè)務(wù)和管理活動。運(yùn)行管理監(jiān)控子系統(tǒng)對整體的產(chǎn)品運(yùn)行體系提供所需的支持、監(jiān)控、配置和安全服務(wù)。對云ETL提供可視化的配置服務(wù)，對系統(tǒng)的軟硬件環(huán)境、網(wǎng)絡(luò)、運(yùn)行程序、處理任務(wù)進(jìn)行統(tǒng)一的監(jiān)控，對數(shù)據(jù)進(jìn)行保密性處理和安全性管理，對業(yè)務(wù)用戶的使用提供單點(diǎn)登錄、權(quán)限配置和訪問管理等服務(wù)。
[0023]大數(shù)據(jù)云ETL子系統(tǒng)包括數(shù)據(jù)抽取、數(shù)據(jù)清洗轉(zhuǎn)換、數(shù)