大容量感知云計(jì)算平臺(tái)系統(tǒng)的制作方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及云計(jì)算平臺(tái)技術(shù)領(lǐng)域，特別是涉及一種大容量感知云計(jì)算平臺(tái)系統(tǒng)。
【背景技術(shù)】
[0002]云計(jì)算平臺(tái)也稱為云平臺(tái)。云計(jì)算平臺(tái)可以劃分為3類:以數(shù)據(jù)存儲(chǔ)為主的存儲(chǔ)型云平臺(tái)，以數(shù)據(jù)處理為主的計(jì)算型云平臺(tái)以及計(jì)算和數(shù)據(jù)存儲(chǔ)處理兼顧的綜合云計(jì)算平臺(tái)。平臺(tái)容量達(dá)到一定規(guī)模后，平臺(tái)將不得不面對(duì)存儲(chǔ)和管理海量數(shù)據(jù)，處理大量用戶并發(fā)訪問(wèn)，保證平臺(tái)的穩(wěn)定性等諸多問(wèn)題，如何在這種情況下保證云計(jì)算平臺(tái)的服務(wù)質(zhì)量，使用戶獲得與使用小容量服務(wù)平臺(tái)時(shí)相同的用戶體驗(yàn)是一個(gè)必須解決的問(wèn)題。

【發(fā)明內(nèi)容】

[0003]本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種大容量感知云計(jì)算平臺(tái)系統(tǒng)，能夠處理大量用戶并發(fā)訪問(wèn)，保證平臺(tái)的穩(wěn)定性。
[0004]本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是:提供一種大容量感知云計(jì)算平臺(tái)系統(tǒng)，包括由下而上分布的云計(jì)算集群管理層、基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層和云端服務(wù)族，所述云計(jì)算集群管理層用于對(duì)云計(jì)算集群中的硬件資源和軟件資源進(jìn)行統(tǒng)一監(jiān)控和管理，為所述基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層提供資源管理和調(diào)度的底層支撐;所述基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層用于提供海量數(shù)據(jù)分布式存儲(chǔ)服務(wù)、分布式并行計(jì)算服務(wù)、分布式應(yīng)用集成服務(wù)、組態(tài)化軟插件管理服務(wù)、分布式流程調(diào)度與管理服務(wù)和車載智能終端信息采集服務(wù);所述云服務(wù)族用于實(shí)現(xiàn)具體服務(wù)功能。
[0005]所述云計(jì)算集群管理層包括集群主機(jī)硬件狀態(tài)監(jiān)視部分和集群主機(jī)云計(jì)算平臺(tái)服務(wù)管理部分，所述集群主機(jī)硬件狀態(tài)監(jiān)視部分用于對(duì)云計(jì)算集群中的硬件資源進(jìn)行統(tǒng)一監(jiān)控和管理;所述集群主機(jī)云計(jì)算平臺(tái)服務(wù)管理部分用于對(duì)云計(jì)算集群中的軟件服務(wù)資源進(jìn)行統(tǒng)一監(jiān)控和管理。
[0006]所述海量數(shù)據(jù)分布式存儲(chǔ)服務(wù)通過(guò)命名空間虛擬化技術(shù)、負(fù)載均衡技術(shù)、數(shù)據(jù)大規(guī)模迀移與故障恢復(fù)技術(shù)、以及數(shù)據(jù)副本管理機(jī)制，為云平臺(tái)用戶提供文件系統(tǒng)的組織與管理、分布式存儲(chǔ)虛擬文件系統(tǒng)管理、存儲(chǔ)節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)顯示、數(shù)據(jù)分塊存儲(chǔ)與負(fù)載均衡功會(huì)K。
[0007]所述分布式并行計(jì)算服務(wù)對(duì)集群虛擬計(jì)算環(huán)境中的資源進(jìn)行抽象，采用并執(zhí)行任務(wù)映射\規(guī)約算法，提取并執(zhí)行并行計(jì)算模型，實(shí)現(xiàn)集群中分布式數(shù)據(jù)的并行處理。
[0008]所述分布式應(yīng)用集成服務(wù)通過(guò)路由、尋址和通信技術(shù)為平臺(tái)用戶提供通信、服務(wù)交互、服務(wù)集成和映射、以及協(xié)議轉(zhuǎn)換的功能。
[0009]所述組態(tài)化軟插件管理服務(wù)對(duì)軟插件容器進(jìn)行統(tǒng)一管理，構(gòu)建一個(gè)支持動(dòng)態(tài)擴(kuò)充、動(dòng)態(tài)改變系統(tǒng)行為的運(yùn)行時(shí)軟件環(huán)境。
[0010]所述分布式流程調(diào)度與管理服務(wù)通過(guò)實(shí)現(xiàn)流程的自動(dòng)流轉(zhuǎn)和調(diào)度，為平臺(tái)用戶提供對(duì)任務(wù)信息的分析、加工和處理功能，并制定相應(yīng)的調(diào)度策略完成對(duì)任務(wù)的調(diào)度控制的功能。
[0011]所述車載智能終端信息采集服務(wù)為平臺(tái)用戶提供基于車載智能終端的監(jiān)控?cái)?shù)據(jù)模型管理功能、設(shè)備通信管理功能以及設(shè)備驅(qū)動(dòng)管理功能。
[0012]大容量感知云計(jì)算平臺(tái)系統(tǒng)采用異構(gòu)數(shù)據(jù)集成中間件實(shí)現(xiàn)平臺(tái)系統(tǒng)之間的集成，所述異構(gòu)數(shù)據(jù)集成中間件是基于XML標(biāo)準(zhǔn)設(shè)計(jì)的支持?jǐn)?shù)據(jù)庫(kù)和XML元數(shù)據(jù)相互存取的繼承中間件，主要分為配置基礎(chǔ)層和集成數(shù)據(jù)交換層;所述配置基礎(chǔ)層為支持中間件的配置組件，生成配置文件作為數(shù)據(jù)交換的媒介，分別實(shí)現(xiàn)數(shù)據(jù)的輸入和輸出功能;所述集成數(shù)據(jù)交換層用于實(shí)現(xiàn)從異構(gòu)數(shù)據(jù)源到XML文件以及由XML格式文件到目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)轉(zhuǎn)換工作。
[0013]有益效果
[0014]由于采用了上述的技術(shù)方案，本發(fā)明與現(xiàn)有技術(shù)相比，具有以下的優(yōu)點(diǎn)和積極效果:本發(fā)明能夠處理大量用戶并發(fā)訪問(wèn)，保證平臺(tái)的穩(wěn)定性，使得用戶獲得與使用小容量服務(wù)平臺(tái)時(shí)相同的用戶體驗(yàn)。
【附圖說(shuō)明】
[0015]圖1是本發(fā)明的結(jié)構(gòu)原理圖；
[0016]圖2是異構(gòu)數(shù)據(jù)集成配置流程圖；
[0017]圖3是預(yù)警信息異構(gòu)平臺(tái)/終端適配流程圖。
【具體實(shí)施方式】
[0018]下面結(jié)合具體實(shí)施例，進(jìn)一步闡述本發(fā)明。應(yīng)理解，這些實(shí)施例僅用于說(shuō)明本發(fā)明而不用于限制本發(fā)明的范圍。此外應(yīng)理解，在閱讀了本發(fā)明講授的內(nèi)容之后，本領(lǐng)域技術(shù)人員可以對(duì)本發(fā)明作各種改動(dòng)或修改，這些等價(jià)形式同樣落于本申請(qǐng)所附權(quán)利要求書(shū)所限定的范圍。
[0019]本發(fā)明的實(shí)施方式涉及一種大容量感知云計(jì)算平臺(tái)系統(tǒng)，如圖1所示，包括由下而上分布的云計(jì)算集群管理層、基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層和云端服務(wù)族，所述云計(jì)算集群管理層用于對(duì)云計(jì)算集群中的硬件資源和軟件資源進(jìn)行統(tǒng)一監(jiān)控和管理，為所述基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層提供資源管理和調(diào)度的底層支撐;所述基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層用于提供海量數(shù)據(jù)分布式存儲(chǔ)服務(wù)、分布式并行計(jì)算服務(wù)、分布式應(yīng)用集成服務(wù)、組態(tài)化軟插件管理服務(wù)、分布式流程調(diào)度與管理服務(wù)和車載智能終端信息采集服務(wù);所述云服務(wù)族用于實(shí)現(xiàn)具體服務(wù)功能。其中，云計(jì)算集群管理層和基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層作為整個(gè)大容量感知云計(jì)算平臺(tái)系統(tǒng)的核心存在。
[0020]云計(jì)算集群管理層包括集群主機(jī)硬件狀態(tài)監(jiān)視部分以及集群主機(jī)云計(jì)算平臺(tái)服務(wù)管理部分。平臺(tái)通過(guò)這兩方面對(duì)云計(jì)算集群中的硬件資源和軟件服務(wù)資源進(jìn)行統(tǒng)一監(jiān)控和管理，為基礎(chǔ)云計(jì)算平臺(tái)服務(wù)提供資源管理和調(diào)度的底層支撐。
[0021]所述基礎(chǔ)云計(jì)算平臺(tái)服務(wù)層用于提供海量數(shù)據(jù)分布式存儲(chǔ)服務(wù)、分布式并行計(jì)算服務(wù)、分布式應(yīng)用集成服務(wù)、組態(tài)化軟插件管理服務(wù)、分布式流程調(diào)度與管理服務(wù)和車載智能終端?目息米集服務(wù)。
[0022]海量數(shù)據(jù)分布式存儲(chǔ)服務(wù)通過(guò)命名空間虛擬化技術(shù)、負(fù)載均衡技術(shù)、數(shù)據(jù)大規(guī)模迀移與故障恢復(fù)技術(shù)、數(shù)據(jù)副本管理機(jī)制等，為云平臺(tái)用戶提供文件系統(tǒng)的組織與管理、分布式存儲(chǔ)虛擬文件系統(tǒng)管理、存儲(chǔ)節(jié)點(diǎn)網(wǎng)絡(luò)狀態(tài)顯示、數(shù)據(jù)分塊存儲(chǔ)與負(fù)載均衡等功能。
[0023]海量數(shù)據(jù)存儲(chǔ)與管理技術(shù)能夠提供一個(gè)穩(wěn)定的共享存儲(chǔ)和分析系統(tǒng)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的存儲(chǔ)與管理，每一個(gè)數(shù)據(jù)節(jié)點(diǎn)都有兩個(gè)備份節(jié)點(diǎn)，當(dāng)該數(shù)據(jù)節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)，可以根據(jù)預(yù)先設(shè)置好的策略使用備份機(jī)，從而提高數(shù)據(jù)的可靠性，保證平臺(tái)的服務(wù)質(zhì)量。
[0024]其中，海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)，包括大數(shù)據(jù)存儲(chǔ)模塊和小數(shù)據(jù)存儲(chǔ)模塊，所述大數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的大數(shù)據(jù)進(jìn)行存儲(chǔ)和管理;所述小數(shù)據(jù)存儲(chǔ)模塊針對(duì)車載智能終端所上傳的小數(shù)據(jù)進(jìn)行存儲(chǔ)和管理。該分布式存儲(chǔ)系統(tǒng)提供海量數(shù)據(jù)的存儲(chǔ)與管理服務(wù)，是云計(jì)算系統(tǒng)運(yùn)行的基礎(chǔ)。
[0025]大數(shù)據(jù)存儲(chǔ)模塊是針對(duì)車載智能終端所上傳的大數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的模塊，如運(yùn)輸車輛報(bào)警之后的關(guān)鍵音視頻數(shù)據(jù)等，其數(shù)據(jù)量較大，則可以用此存儲(chǔ)模塊進(jìn)行存儲(chǔ)。
[0026]該模塊主要由索引數(shù)據(jù)節(jié)點(diǎn)和數(shù)據(jù)節(jié)點(diǎn)組成，一般文件的元數(shù)據(jù)存儲(chǔ)在索引數(shù)據(jù)節(jié)點(diǎn)，而數(shù)據(jù)則分散存儲(chǔ)在不同的數(shù)據(jù)節(jié)點(diǎn)上。在該模塊中，每一份數(shù)據(jù)都有其副本數(shù)據(jù)，主數(shù)據(jù)和副本數(shù)據(jù)之間通過(guò)分布式日志系統(tǒng)保證它們之間的一致性。平時(shí)只有主數(shù)據(jù)提供訪問(wèn)，當(dāng)主數(shù)據(jù)所在節(jié)點(diǎn)失效后，訪問(wèn)自動(dòng)切換到副本數(shù)據(jù)上。
[0027]小數(shù)據(jù)存儲(chǔ)模塊時(shí)針對(duì)車載智能終端所上傳的小數(shù)據(jù)進(jìn)行存儲(chǔ)和管理的模塊，如運(yùn)輸車輛的位置信息和車輛傳感信息，其數(shù)據(jù)通常較小，則可以用此存儲(chǔ)模塊進(jìn)行存儲(chǔ)。
[0028]該模塊采用存儲(chǔ)虛擬化技術(shù)將存儲(chǔ)硬件、存儲(chǔ)軟件和存儲(chǔ)管理進(jìn)行有機(jī)整合，形成了一個(gè)支持虛擬化的可擴(kuò)展的曙光云存儲(chǔ)，并提供統(tǒng)一的管理平臺(tái)，簡(jiǎn)化系統(tǒng)管理員工作。通過(guò)存儲(chǔ)管理軟件，采用虛擬化技術(shù)將眾多存儲(chǔ)節(jié)點(diǎn)構(gòu)成存儲(chǔ)池，可以支持超過(guò)10，000個(gè)虛擬卷，這些虛擬卷可以分配給不同的用戶使用，用戶可以共用這些硬件，但沒(méi)法存取其他用戶的數(shù)據(jù)，每個(gè)用戶的數(shù)據(jù)是互相獨(dú)立的。
[0029]所述的海量數(shù)據(jù)分布式存儲(chǔ)系統(tǒng)還包括災(zāi)備存儲(chǔ)模塊，所述災(zāi)備存儲(chǔ)模塊用于對(duì)存儲(chǔ)的車輛日常關(guān)鍵數(shù)據(jù)進(jìn)行容災(zāi)備份。在災(zāi)難發(fā)生時(shí)，災(zāi)備存儲(chǔ)模塊可以用備份數(shù)據(jù)對(duì)車輛日常關(guān)鍵數(shù)據(jù)進(jìn)行恢復(fù)。
[0030]分布式并行計(jì)算服務(wù)對(duì)集群虛擬計(jì)算環(huán)境中的資源進(jìn)行抽象，采用并行執(zhí)行任務(wù)映射/規(guī)約算法，提取并執(zhí)行并行計(jì)算模型，實(shí)現(xiàn)集群中分布式數(shù)據(jù)的并行處理功能，為平臺(tái)用戶提供并行計(jì)算、合理分布數(shù)據(jù)、調(diào)用調(diào)度算法以提高計(jì)算效率、保證輸出計(jì)算結(jié)果確定性以及支持原子性任務(wù)的功能。
[0031]高性能分布式計(jì)算技術(shù)能夠管理大規(guī)模的高性能分布式計(jì)算集群，從而能夠處理大量用戶的并發(fā)訪問(wèn)和查詢請(qǐng)求，同時(shí)能夠容忍計(jì)算節(jié)點(diǎn)的錯(cuò)誤，使部分節(jié)點(diǎn)的失效不會(huì)影響系統(tǒng)的正常運(yùn)行，因此可以保證平臺(tái)的服務(wù)質(zhì)量。
[0032]分布式應(yīng)用集成服務(wù)通過(guò)路由、尋址、通信技術(shù)等，為平臺(tái)