本發(fā)明公開一種方法和系統(tǒng)，涉及人工智能，具體地說是一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法和系統(tǒng)。

背景技術：

1、現(xiàn)有的快銷品巡店督導方法主要依賴于人工觀察和手動記錄，存在一些缺點，比如：

2、人力資源消耗高：需要大量的人力資源進行巡店督導，包括派遣巡店人員、培訓和管理人員等，成本較高；

3、效率低下：人工觀察和手動記錄需要較長的時間，并且容易出現(xiàn)疏漏和錯誤，導致巡店效率低下；

4、主觀性影響：由于依賴于人工觀察，巡店結果容易受到觀察者主觀因素的影響，導致結果不夠客觀和準確；

5、數(shù)據(jù)分析困難：采集的數(shù)據(jù)通常是非結構化的，難以進行系統(tǒng)化的分析和挖掘，限制了巡店結果的深入理解和應用。為了解決這些問題，近年來出現(xiàn)了一些基于人工智能技術的巡店督導方法，但仍存在一些局限性：

6、單一模態(tài)數(shù)據(jù)分析：只關注單一模態(tài)數(shù)據(jù)，如圖像或語音，而忽視了多模態(tài)數(shù)據(jù)融合的優(yōu)勢，導致特征表征不夠全面和準確；

7、數(shù)據(jù)處理復雜性：多模態(tài)數(shù)據(jù)的處理和分析需要涉及多個領域的專業(yè)知識，如計算機視覺、語音識別等，技術復雜度較高，還不完善；

8、實時性和適用性：在實際應用中存在實時性不足、適用性差等問題，無法滿足快速變化的市場需求。

技術實現(xiàn)思路

1、本發(fā)明針對現(xiàn)有技術的問題，提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法和系統(tǒng)，結合深度學習、神經(jīng)網(wǎng)絡等人工智能技術，提高巡店效率、準確性和智能化水平。

2、本發(fā)明提出的具體方案是：

3、本發(fā)明提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法，包括：

4、步驟1：在巡店過程中，針對店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進行多模態(tài)數(shù)據(jù)采集，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)和語音數(shù)據(jù)，

5、步驟2：對多模態(tài)數(shù)據(jù)進行處理：結合計算機視覺技術和自然語言處理技術提取圖像數(shù)據(jù)的特征，結合語音識別技術和自然語言處理技術提取語音數(shù)據(jù)的音頻特征和語義特征，

6、步驟3：將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，獲得融合后的多模態(tài)特征，利用深度學習模型中多模態(tài)神經(jīng)網(wǎng)絡根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓練識別模型，獲取特征之間的關聯(lián)信息和相互影響，

7、步驟4：利用識別模型基于融合后的多模態(tài)特征進行問題檢測，

8、步驟5：根據(jù)問題檢測的結果，自動生成巡店報告。

9、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法中步驟1中所述進行多模態(tài)數(shù)據(jù)采集，包括：針對店內(nèi)環(huán)境，部署攝像頭、麥克風和聲音傳感器，分別通過攝像頭、麥克風和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

10、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法中步驟3中所述將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，包括：

11、利用特征融合的公式:

12、

13、進行特征融合，其中ffused是融合后的多模態(tài)特征向量，fi表示某一模態(tài)特征向量，wi對應表示某一模態(tài)特征向量的權重，用于調(diào)節(jié)各個模態(tài)特征的貢獻度。

14、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法中步驟5中所述生成巡店報告，包括：根據(jù)問題檢測的結果，將問題的分類、描述以及改進建議生成在巡店報告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識別模型。

15、本發(fā)明還提供一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)，包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、問題檢測模塊和報告生成模塊，

16、數(shù)據(jù)采集模塊在巡店過程中，針對店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進行多模態(tài)數(shù)據(jù)采集，多模態(tài)數(shù)據(jù)包括圖像數(shù)據(jù)和語音數(shù)據(jù)，

17、數(shù)據(jù)處理模塊對多模態(tài)數(shù)據(jù)進行處理：結合計算機視覺技術和自然語言處理技術提取圖像數(shù)據(jù)的特征，結合語音識別技術和自然語言處理技術提取語音數(shù)據(jù)的音頻特征和語義特征，

18、將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，獲得融合后的多模態(tài)特征，利用深度學習模型中多模態(tài)神經(jīng)網(wǎng)絡根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓練識別模型，獲取特征之間的關聯(lián)信息和相互影響，

19、問題檢測模塊利用識別模型基于融合后的多模態(tài)特征進行問題檢測，

20、報告生成模塊根據(jù)問題檢測的結果，自動生成巡店報告。

21、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)的數(shù)據(jù)采集模塊進行多模態(tài)數(shù)據(jù)采集，包括：針對店內(nèi)環(huán)境，部署攝像頭、麥克風和聲音傳感器，分別通過攝像頭、麥克風和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

22、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)的數(shù)據(jù)處理模塊將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，包括：

23、利用特征融合的公式:

24、

25、進行特征融合，其中ffused是融合后的多模態(tài)特征向量，fi表示某一模態(tài)特征向量，wi對應表示某一模態(tài)特征向量的權重，用于調(diào)節(jié)各個模態(tài)特征的貢獻度。

26、進一步，所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)的報告生成模塊生成巡店報告，包括：根據(jù)問題檢測的結果，將問題的分類、描述以及改進建議生成在巡店報告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識別模型。

27、本發(fā)明的有益之處是：

28、提高巡店效率：通過自動化數(shù)據(jù)采集、處理和分析，以及智能化的問題檢測和報告生成，實現(xiàn)巡店過程的高效化，減少人力資源消耗，節(jié)省時間成本。

29、提高巡店準確性：結合多模態(tài)數(shù)據(jù)融合技術，綜合考慮圖像、語音等多種信息源，提高對店內(nèi)情況的全面理解和準確分析，減少人為因素的影響，提高巡店結果的客觀性和準確性。

30、降低巡店成本：減少人工操作和管理成本，提高巡店效率和準確性，從而降低巡店的總體成本，提升企業(yè)的競爭力和盈利能力。

31、提升巡店智能化水平：利用人工智能技術，實現(xiàn)對巡店過程的自動化和智能化，不斷優(yōu)化巡店方法和技術，使其能夠適應市場需求的變化，提升巡店管理水平和品牌形象。

技術特征：

1.一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法，其特征是包括：

2.根據(jù)權利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法，其特征是步驟1中所述進行多模態(tài)數(shù)據(jù)采集，包括：針對店內(nèi)環(huán)境，部署攝像頭、麥克風和聲音傳感器，分別通過攝像頭、麥克風和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

3.根據(jù)權利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法，其特征是步驟3中所述將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，包括：

4.根據(jù)權利要求1所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法，其特征是步驟5中所述生成巡店報告，包括：根據(jù)問題檢測的結果，將問題的分類、描述以及改進建議生成在巡店報告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識別模型。

5.一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)，其特征是包括數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、問題檢測模塊和報告生成模塊，

6.根據(jù)權利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)，其特征是數(shù)據(jù)采集模塊進行多模態(tài)數(shù)據(jù)采集，包括：針對店內(nèi)環(huán)境，部署攝像頭、麥克風和聲音傳感器，分別通過攝像頭、麥克風和聲音傳感器采集店內(nèi)圖像數(shù)據(jù)和語音數(shù)據(jù)。

7.根據(jù)權利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)，其特征是數(shù)據(jù)處理模塊將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，包括：

8.根據(jù)權利要求5所述的一種基于多模態(tài)數(shù)據(jù)融合的巡店督導系統(tǒng)，其特征是報告生成模塊生成巡店報告，包括：根據(jù)問題檢測的結果，將問題的分類、描述以及改進建議生成在巡店報告中，并根據(jù)問題的分類、描述調(diào)節(jié)優(yōu)化識別模型。

技術總結
本發(fā)明公開一種基于多模態(tài)數(shù)據(jù)融合的巡店督導方法和系統(tǒng)，涉及人工智能技術領域；包括：步驟1：在巡店過程中，針對店內(nèi)貨架陳列情況、產(chǎn)品擺放情況和客流量進行多模態(tài)數(shù)據(jù)采集，步驟2：對多模態(tài)數(shù)據(jù)進行處理：結合計算機視覺技術和自然語言處理技術提取圖像數(shù)據(jù)的特征，結合語音識別技術和自然語言處理技術提取語音數(shù)據(jù)的音頻特征和語義特征，步驟3：將圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征進行融合，獲得融合后的多模態(tài)特征，利用深度學習模型中多模態(tài)神經(jīng)網(wǎng)絡根據(jù)圖像數(shù)據(jù)的特征、語音數(shù)據(jù)的音頻特征和語義特征聯(lián)合訓練識別模型，步驟4：利用識別模型基于融合后的多模態(tài)特征進行問題檢測，步驟5：根據(jù)問題檢測的結果，自動生成巡店報告。

技術研發(fā)人員：王霄鵬,鄭斌,李伍,孫振,肖建國
受保護的技術使用者：山東浪潮數(shù)字商業(yè)科技有限公司
技術研發(fā)日：
技術公布日：2024/12/19