1.一種基于flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,包括以下步驟:
2.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟一中,apache?kafka具體配置信息,包括:
3.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟一中,數(shù)據(jù)輸入端是kafka;kafka集群用于接收和傳輸來自露天煤礦車輛的實(shí)時(shí)數(shù)據(jù);kafka集群包括多個(gè)分布式節(jié)點(diǎn),用于提高數(shù)據(jù)傳輸?shù)目煽啃院蛿U(kuò)展性,系統(tǒng)通過kafka對車輛數(shù)據(jù)流進(jìn)行接收與消費(fèi);車輛數(shù)據(jù)包含車輛的終端號、經(jīng)緯度坐標(biāo)、車輛種類、車輛狀態(tài)、車輛駕駛?cè)?、所屬公司、?dāng)前速度、當(dāng)前時(shí)間。
4.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟二中,apache?flink流處理平臺對kafka集群中接收到的車輛數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、過濾、聚合和復(fù)雜事件處理。
5.根據(jù)權(quán)利要求4所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,所述數(shù)據(jù)清洗過濾方式包括過濾車輛狀態(tài)為停用或損壞、產(chǎn)生時(shí)間距當(dāng)前系統(tǒng)時(shí)間超過30秒的數(shù)據(jù)。
6.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟二中,不同事件的計(jì)算邏輯如下:
7.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟三中,hbase數(shù)據(jù)庫用于高效存儲和快速查詢處理后的車輛數(shù)據(jù),hbase數(shù)據(jù)庫配置為支持大規(guī)模數(shù)據(jù)的列式存儲和快速讀寫操作;
8.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟四中,前端通過后端暴露的restful?api接口請求hbase數(shù)據(jù)庫中的處理數(shù)據(jù),并以圖表或儀表盤的形式展示車輛的實(shí)時(shí)狀態(tài)和歷史狀態(tài),用于實(shí)時(shí)展示露天煤礦車輛的運(yùn)行狀態(tài)和歷史數(shù)據(jù)分析。
9.根據(jù)權(quán)利要求8所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,展示的信息包括:
10.一種基于flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理系統(tǒng),其特征在于,所述系統(tǒng)采用如權(quán)利要求1-9之任一項(xiàng)所述的方法,所述系統(tǒng)包括: