国产精品1024永久观看,大尺度欧美暖暖视频在线观看,亚洲宅男精品一区在线观看,欧美日韩一区二区三区视频,2021中文字幕在线观看

  • <option id="fbvk0"></option>
    1. <rt id="fbvk0"><tr id="fbvk0"></tr></rt>
      <center id="fbvk0"><optgroup id="fbvk0"></optgroup></center>
      <center id="fbvk0"></center>

      <li id="fbvk0"><abbr id="fbvk0"><dl id="fbvk0"></dl></abbr></li>

      一種基于Flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法及系統(tǒng)

      文檔序號:39615968發(fā)布日期:2024-10-11 13:27閱讀:來源:國知局

      技術(shù)特征:

      1.一種基于flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,包括以下步驟:

      2.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟一中,apache?kafka具體配置信息,包括:

      3.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟一中,數(shù)據(jù)輸入端是kafka;kafka集群用于接收和傳輸來自露天煤礦車輛的實(shí)時(shí)數(shù)據(jù);kafka集群包括多個(gè)分布式節(jié)點(diǎn),用于提高數(shù)據(jù)傳輸?shù)目煽啃院蛿U(kuò)展性,系統(tǒng)通過kafka對車輛數(shù)據(jù)流進(jìn)行接收與消費(fèi);車輛數(shù)據(jù)包含車輛的終端號、經(jīng)緯度坐標(biāo)、車輛種類、車輛狀態(tài)、車輛駕駛?cè)?、所屬公司、?dāng)前速度、當(dāng)前時(shí)間。

      4.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟二中,apache?flink流處理平臺對kafka集群中接收到的車輛數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、過濾、聚合和復(fù)雜事件處理。

      5.根據(jù)權(quán)利要求4所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,所述數(shù)據(jù)清洗過濾方式包括過濾車輛狀態(tài)為停用或損壞、產(chǎn)生時(shí)間距當(dāng)前系統(tǒng)時(shí)間超過30秒的數(shù)據(jù)。

      6.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟二中,不同事件的計(jì)算邏輯如下:

      7.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟三中,hbase數(shù)據(jù)庫用于高效存儲和快速查詢處理后的車輛數(shù)據(jù),hbase數(shù)據(jù)庫配置為支持大規(guī)模數(shù)據(jù)的列式存儲和快速讀寫操作;

      8.根據(jù)權(quán)利要求1所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,步驟四中,前端通過后端暴露的restful?api接口請求hbase數(shù)據(jù)庫中的處理數(shù)據(jù),并以圖表或儀表盤的形式展示車輛的實(shí)時(shí)狀態(tài)和歷史狀態(tài),用于實(shí)時(shí)展示露天煤礦車輛的運(yùn)行狀態(tài)和歷史數(shù)據(jù)分析。

      9.根據(jù)權(quán)利要求8所述的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,其特征在于,展示的信息包括:

      10.一種基于flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理系統(tǒng),其特征在于,所述系統(tǒng)采用如權(quán)利要求1-9之任一項(xiàng)所述的方法,所述系統(tǒng)包括:


      技術(shù)總結(jié)
      本發(fā)明公開了一種基于Flink的露天煤礦車輛數(shù)據(jù)實(shí)時(shí)流處理方法,包括如下步驟:步驟一、在分布式環(huán)境中,部署和配置Apache?Kafka集群,進(jìn)行數(shù)據(jù)源的接收;步驟二、在分布式環(huán)境中,部署和配置Apache?Flink流處理平臺,消費(fèi)Kafka集群數(shù)據(jù),對數(shù)據(jù)流進(jìn)行清洗、聚合、過濾和處理;步驟三、部署HBase數(shù)據(jù)庫,對流處理后的數(shù)據(jù)進(jìn)行列式存儲;步驟四、前端展示處理過后的統(tǒng)計(jì)數(shù)據(jù),對整個(gè)露天煤礦的車輛狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)測。本發(fā)明還公開了實(shí)現(xiàn)上述方法的流處理系統(tǒng),具有極高的實(shí)用性和商業(yè)價(jià)值。

      技術(shù)研發(fā)人員:王江濤,馬法俊,柏廣成,楊方圓,陳正陽
      受保護(hù)的技術(shù)使用者:華東師范大學(xué)
      技術(shù)研發(fā)日:
      技術(shù)公布日:2024/10/10
      當(dāng)前第2頁1 2 
      網(wǎng)友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點(diǎn)贊!
      1