本發(fā)明涉及擬人生態(tài)管理，更具體地說，本發(fā)明涉及一種多模式擬人生態(tài)重建系統(tǒng)及其方法。

背景技術(shù)：

1、擬人生態(tài)(anthropic?ecosystem)是一個(gè)涵蓋人工智能、機(jī)器學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺等技術(shù)，用于創(chuàng)造和維護(hù)能夠模擬人類行為、情感、思維和互動(dòng)的數(shù)字實(shí)體的集成系統(tǒng)，這個(gè)概念不僅包括了單一的技術(shù)應(yīng)用，而是指一個(gè)廣泛的、多技術(shù)融合的環(huán)境，目的是創(chuàng)造一個(gè)與人類社會(huì)動(dòng)態(tài)相互作用的數(shù)字生命形態(tài)。

2、這是擬人生態(tài)中最為核心的部分，指的是通過人工智能技術(shù)創(chuàng)建的具有個(gè)性和情感的虛擬人類形象。這些數(shù)字人格可以在不同程度上模擬真實(shí)人類的思維、行為、語言和情感反應(yīng)。

3、現(xiàn)有技術(shù)存在的不足：在多模式擬人生態(tài)重建中，跨模態(tài)數(shù)據(jù)整合涉及如何有效地合并來自不同感知通道(如視覺、聽覺、語言等)的數(shù)據(jù)，并在此基礎(chǔ)上生成一致且連貫的數(shù)字人格反應(yīng)，現(xiàn)有的系統(tǒng)往往在處理和融合來自不同模態(tài)的數(shù)據(jù)時(shí)存在局限，如同步問題、數(shù)據(jù)丟失、解釋困難等，這些問題影響了數(shù)字人格的自然性和交互質(zhì)量，進(jìn)而影響擬人生態(tài)重建的質(zhì)量。

技術(shù)實(shí)現(xiàn)思路

1、為了克服現(xiàn)有技術(shù)的上述缺陷，本發(fā)明提供一種多模式擬人生態(tài)重建系統(tǒng)及其方法，以解決上述背景技術(shù)中提出的多模式擬人生態(tài)的管理過程中交互質(zhì)量差的問題。

2、為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種多模式擬人生態(tài)重建方法，包括如下步驟：

4、進(jìn)行數(shù)據(jù)源識(shí)別，確定擬人生態(tài)的多模態(tài)數(shù)據(jù)的數(shù)據(jù)類型和來源，多模態(tài)數(shù)據(jù)包括視覺數(shù)據(jù)、聽覺數(shù)據(jù)以及文本數(shù)據(jù)；

5、對(duì)視覺數(shù)據(jù)、聽覺數(shù)據(jù)以及文本數(shù)據(jù)進(jìn)行預(yù)處理，將預(yù)處理后的多模態(tài)數(shù)據(jù)輸入到多頭注意力模型中進(jìn)行數(shù)據(jù)整合；

6、使用多模態(tài)情緒神經(jīng)網(wǎng)絡(luò)對(duì)整合后數(shù)據(jù)進(jìn)行情緒狀態(tài)解析，并生成相應(yīng)的情感反應(yīng)，根據(jù)生成對(duì)抗網(wǎng)絡(luò)生成不同情境下的數(shù)字人格，對(duì)生成的數(shù)字人格的反應(yīng)與用戶當(dāng)前情境的相匹配情況進(jìn)行分析；

7、獲取在進(jìn)行數(shù)字人格反應(yīng)與用戶當(dāng)前情境匹配過程中產(chǎn)生的匹配適應(yīng)信息，根據(jù)匹配適應(yīng)信息確定匹配情況并生成信號(hào)，根據(jù)生成的信號(hào)進(jìn)行對(duì)應(yīng)的模式策略管理。

8、在一個(gè)優(yōu)選的實(shí)施方式中，對(duì)視覺數(shù)據(jù)、聽覺數(shù)據(jù)以及文本數(shù)據(jù)進(jìn)行預(yù)處理，具體過程如下：

9、對(duì)視覺數(shù)據(jù)中所采集的圖像進(jìn)行裁剪和縮放，并使用高斯模糊技術(shù)去除圖像中的噪聲；

10、使用sobel算法提取圖像邊緣，對(duì)于后續(xù)的圖像進(jìn)行形狀分析和物體識(shí)別；

11、在圖像邊緣提取后，使用尺度不變特征變換算法來檢測(cè)圖像中的關(guān)鍵點(diǎn)和描述符并作為視覺數(shù)據(jù)的特征；

12、對(duì)聽覺數(shù)據(jù)使用梅爾頻率倒譜系數(shù)確定聽覺數(shù)據(jù)中聲音信號(hào)的特征，并計(jì)算聲音信號(hào)的功率譜或?qū)?shù)功率譜，分析頻率成分；

13、對(duì)文本數(shù)據(jù)進(jìn)行處理，去除停用詞、標(biāo)點(diǎn)符號(hào)和非標(biāo)準(zhǔn)字符，并進(jìn)行文本標(biāo)準(zhǔn)化；

14、使用詞袋模型提取文本數(shù)據(jù)特征，從文本數(shù)據(jù)中識(shí)別所有單詞，并構(gòu)建一個(gè)詞匯索引，對(duì)每個(gè)文檔，統(tǒng)計(jì)詞匯表中的單詞出現(xiàn)的次數(shù)，并將這些計(jì)數(shù)作為特征向量的元素。

15、在一個(gè)優(yōu)選的實(shí)施方式中，在圖像邊緣提取后，使用尺度不變特征變換算法來檢測(cè)圖像中的關(guān)鍵點(diǎn)和描述符并作為視覺數(shù)據(jù)的特征，具體過程如下：

16、構(gòu)建高斯差分尺度空間，對(duì)原始圖像應(yīng)用不同尺度的高斯模糊，計(jì)算相鄰高斯模糊圖像的差異；

17、對(duì)高斯差分尺度空間中的每個(gè)像素點(diǎn)，比較像素點(diǎn)與相鄰點(diǎn)的大小，若是局部極大或極小值，則作為關(guān)鍵點(diǎn)；

18、基于局部圖像梯度的方向和大小，對(duì)每個(gè)關(guān)鍵點(diǎn)賦予一個(gè)或多個(gè)方向；

19、在每個(gè)關(guān)鍵點(diǎn)周圍的鄰域內(nèi)，根據(jù)關(guān)鍵點(diǎn)的尺度選取相應(yīng)大小的窗口，將窗口分割成小的子區(qū)塊，并在每個(gè)子區(qū)塊內(nèi)計(jì)算8個(gè)方向的梯度直方圖匯總形成一個(gè)描述符。

20、在一個(gè)優(yōu)選的實(shí)施方式中，使用多模態(tài)情緒神經(jīng)網(wǎng)絡(luò)對(duì)整合后數(shù)據(jù)進(jìn)行情緒狀態(tài)解析，并生成相應(yīng)的情感反應(yīng)，根據(jù)生成對(duì)抗網(wǎng)絡(luò)生成不同情境下的數(shù)字人格，具體過程如下：

21、將來自不同模態(tài)的數(shù)據(jù)特征，訓(xùn)練多模態(tài)情緒神經(jīng)網(wǎng)絡(luò)，來識(shí)別用戶的整體情緒狀態(tài)，使用監(jiān)督學(xué)習(xí)方法，基于標(biāo)注的情緒數(shù)據(jù)集進(jìn)行訓(xùn)練；

22、進(jìn)行情感數(shù)據(jù)庫(kù)構(gòu)建，即創(chuàng)建一個(gè)包含情感反應(yīng)的數(shù)據(jù)庫(kù)，情感反應(yīng)包括預(yù)定義的文本、聲音或表情反應(yīng)；

23、根據(jù)情緒類別設(shè)計(jì)并分類情感反應(yīng)，每個(gè)類別包括文本響應(yīng)、聲音、表情，根據(jù)實(shí)時(shí)情緒識(shí)別結(jié)果，從情感數(shù)據(jù)庫(kù)中選擇或生成相應(yīng)的情感反應(yīng)，并使用生成對(duì)抗網(wǎng)絡(luò)來實(shí)時(shí)創(chuàng)建用戶特定的情感反應(yīng)。

24、在一個(gè)優(yōu)選的實(shí)施方式中，獲取在進(jìn)行數(shù)字人格反應(yīng)與用戶當(dāng)前情境匹配過程中產(chǎn)生的匹配適應(yīng)信息，具體過程如下：

25、匹配適應(yīng)信息包括多模情景信息、情景適應(yīng)信息；

26、多模情景信息包括多模數(shù)據(jù)適配指數(shù)，情景適應(yīng)信息包括多層次情景適應(yīng)指數(shù)；

27、將獲取到多模數(shù)據(jù)適配指數(shù)、多層次情景適應(yīng)指數(shù)進(jìn)行聯(lián)立計(jì)算得到模式匹配穩(wěn)定系數(shù)。

28、在一個(gè)優(yōu)選的實(shí)施方式中，根據(jù)匹配適應(yīng)信息確定匹配情況并生成信號(hào)，根據(jù)生成的信號(hào)進(jìn)行對(duì)應(yīng)的模式策略管理，具體過程如下：

29、獲取聯(lián)立計(jì)算得到的模式匹配穩(wěn)定系數(shù)，將模式匹配穩(wěn)定系數(shù)與重建調(diào)整閾值進(jìn)行對(duì)比；

30、若模式匹配穩(wěn)定系數(shù)大于或等于重建調(diào)整閾值，則生成擬人生態(tài)穩(wěn)定信號(hào)，不進(jìn)行額外的措施管理；

31、若模式匹配穩(wěn)定系數(shù)小于重建調(diào)整閾值，則生成模式重建信號(hào)，進(jìn)行擬人生態(tài)的重建調(diào)整。

32、一種多模式擬人生態(tài)重建系統(tǒng)，用于實(shí)現(xiàn)上述一種多模式擬人生態(tài)重建方法，包括：

33、數(shù)據(jù)采集處理模塊，用于進(jìn)行數(shù)據(jù)源識(shí)別，確定擬人生態(tài)的多模態(tài)數(shù)據(jù)的數(shù)據(jù)類型和來源，多模態(tài)數(shù)據(jù)包括視覺數(shù)據(jù)、聽覺數(shù)據(jù)以及文本數(shù)據(jù)，對(duì)視覺數(shù)據(jù)、聽覺數(shù)據(jù)以及文本數(shù)據(jù)進(jìn)行預(yù)處理，將預(yù)處理后的多模態(tài)數(shù)據(jù)輸入到多頭注意力模型中進(jìn)行數(shù)據(jù)整合；

34、場(chǎng)景匹配分析模塊，用于使用多模態(tài)情緒神經(jīng)網(wǎng)絡(luò)對(duì)整合后數(shù)據(jù)進(jìn)行情緒狀態(tài)解析，并生成相應(yīng)的情感反應(yīng)，根據(jù)生成對(duì)抗網(wǎng)絡(luò)生成不同情境下的數(shù)字人格，對(duì)生成的數(shù)字人格的反應(yīng)與用戶當(dāng)前情境的相匹配情況進(jìn)行分析；

35、模式調(diào)控模塊，用于獲取在進(jìn)行數(shù)字人格反應(yīng)與用戶當(dāng)前情境匹配過程中產(chǎn)生的匹配適應(yīng)信息，根據(jù)匹配適應(yīng)信息確定匹配情況并生成信號(hào)，根據(jù)生成的信號(hào)進(jìn)行對(duì)應(yīng)的模式策略管理。

36、本發(fā)明的技術(shù)效果和優(yōu)點(diǎn)：

37、本發(fā)明通過高效整合視覺、聽覺和文本數(shù)據(jù)，并應(yīng)用多頭注意力模型與多模態(tài)情緒神經(jīng)網(wǎng)絡(luò)，提高了數(shù)字人格系統(tǒng)的情緒識(shí)別與響應(yīng)能力，然后，采用生成對(duì)抗網(wǎng)絡(luò)動(dòng)態(tài)生成并調(diào)整數(shù)字人格，以適應(yīng)不同交互情境，從而增強(qiáng)用戶的沉浸感和滿意度，這種跨模態(tài)數(shù)據(jù)融合實(shí)現(xiàn)了更全面的數(shù)據(jù)利用和分析，還優(yōu)化了信息處理的全面性和深度，使得擬人生態(tài)構(gòu)建時(shí)能夠更精確地理解復(fù)雜用戶輸入。此外，根據(jù)在進(jìn)行實(shí)時(shí)匹配分析過程中生成的匹配適應(yīng)信息自動(dòng)調(diào)整反應(yīng)策略，通過自動(dòng)生成信號(hào)并據(jù)此進(jìn)行模式策略的自動(dòng)管理，進(jìn)一步提高了操作效率和智能化水平，還顯著減少了人工干預(yù)的需求?？傮w而言，本發(fā)明提供了一個(gè)高度集成和智能化的解決方案，能夠有效提升系統(tǒng)的適應(yīng)性、用戶個(gè)性化體驗(yàn)及整體用戶滿意度。