1.基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:包括:
2.根據(jù)權(quán)利要求1所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述前端感知模塊包括影像采集裝置和環(huán)境傳感器;影像采集裝置用于采集城市環(huán)境影像,環(huán)境傳感器包括濕度、噪聲、空氣質(zhì)量傳感器,用于輔助分析違法行為。
3.根據(jù)權(quán)利要求2所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述邊緣計算模塊,包括時序處理子模塊,用于利用transformer模型處理視頻幀序列,識別行為的動態(tài)過程,理解行為的起始、發(fā)展和結(jié)束階段,并進(jìn)行視頻中的幀序列建模。
4.根據(jù)權(quán)利要求3所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述邊緣計算模塊,還包括數(shù)據(jù)融合子模塊,用于融合視頻圖像數(shù)據(jù)、音頻信號和文本信息,同時引入交叉模態(tài)注意力機(jī)制,允許不同模態(tài)之間的信息交互,以增強(qiáng)特征表達(dá)。
5.根據(jù)權(quán)利要求4所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述邊緣計算模塊,還包括特征處理子模塊,利用transformer編碼器-解碼器結(jié)構(gòu)自動提取特征,并加入位置編碼,在訓(xùn)練過程中動態(tài)調(diào)整注意力權(quán)重,自適應(yīng)地學(xué)習(xí)對違法行為識別最重要的特征。
6.根據(jù)權(quán)利要求5所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述邊緣計算模塊,還包括空間建模子模塊,用于對視頻中不同尺度的空間信息進(jìn)行建模,利用多頭自注意力機(jī)制,同時關(guān)注不同尺度的特征,通過調(diào)整自注意力層的頭數(shù)和每個頭的感知范圍,捕捉行為的微觀局部細(xì)節(jié)和宏觀整體場景。
7.根據(jù)權(quán)利要求1所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述邊緣計算模塊,還包括計算推理子模塊,用于分析識別大規(guī)模城市現(xiàn)場信息中的違法行為;對計算推理子模塊的優(yōu)化過程包括以下內(nèi)容:
8.根據(jù)權(quán)利要求1所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述數(shù)據(jù)管理模塊,包括:
9.根據(jù)權(quán)利要求8所述的基于大模型的城市管理違法行為識別系統(tǒng),其特征在于:所述數(shù)據(jù)管理模塊,還包括:
10.基于大模型的城市管理違法行為識別方法,其特征在于:運(yùn)用了如權(quán)利要求1-9所述的基于大模型的城市管理違法行為識別系統(tǒng)。