本發(fā)明涉及人工智能神經(jīng)網(wǎng)絡(luò)，更具體地說，涉及一種基于感知真實世界的自處理方法。

背景技術(shù)：

1、現(xiàn)有技術(shù)關(guān)于人工智能神經(jīng)網(wǎng)絡(luò)的類型(如傳統(tǒng)的cnn、rnn、gans)等、規(guī)模及應(yīng)用，主要用于對單模態(tài)輸入進行處理，或者結(jié)合不同模態(tài)的模型，對不同模態(tài)輸入進行處理。而無論是處理單模態(tài)輸入或者不同模態(tài)輸入，均是以輸入的本身進行處理，即提取相應(yīng)的特征向量，再進行模型訓(xùn)練等。因而，現(xiàn)有技術(shù)中，訓(xùn)練完成的人工智能模型，具備極強的應(yīng)用場景(如文字問答、語音問答、圖像識別等，同時，一個應(yīng)用場景在不同技術(shù)領(lǐng)域的人工智能模型，也無法進行跨技術(shù)領(lǐng)域直接應(yīng)用)針對性，特別是輸入的模態(tài)具有嚴(yán)重的局限性；而當(dāng)需要對多個不同模態(tài)而且互相關(guān)聯(lián)的輸入進行處理，則需要設(shè)置多個針對于不同模態(tài)對應(yīng)的應(yīng)用場景的模型，然后對分別輸出的處理結(jié)果進行關(guān)聯(lián)處理?？梢姡F(xiàn)有技術(shù)要實現(xiàn)多模態(tài)處理，存在模型類型多、需要分別訓(xùn)練、需要結(jié)合訓(xùn)練、應(yīng)用場景存在局限性、輸入的模態(tài)存在局限性等不足。

2、現(xiàn)有技術(shù)中，訓(xùn)練完成的人工智能模型所輸出的處理結(jié)果，受訓(xùn)練樣本的限制，即訓(xùn)練樣本對人工智能模型的處理結(jié)果具有極強的決定性，一旦訓(xùn)練樣本存在偏頗，就容易導(dǎo)致訓(xùn)練出來的模型具有一定缺陷。

3、當(dāng)基于現(xiàn)有技術(shù)的人工智能模型的處理結(jié)果進行進一步應(yīng)用，例如以處理結(jié)果作為指令，對其他執(zhí)行設(shè)備進行控制，由于執(zhí)行設(shè)備的操作不由人工智能模型直接控制，而需要匹配執(zhí)行設(shè)備的指令與各種處理結(jié)果，實施時，先通過人工智能模型輸出處理結(jié)果，然后尋找與處理結(jié)果匹配的指令，執(zhí)行設(shè)備再基于指令進行動作。而用于控制執(zhí)行設(shè)備的指令固定，反過來也限制了處理結(jié)果的多樣性(即，不允許處理結(jié)果出現(xiàn)已完成匹配的其他情況，否定將無法用于控制執(zhí)行設(shè)備)。同時，人工智能模型的輸出結(jié)果在匹配對應(yīng)指令時，容易成為安全薄弱點，遭遇攻擊。

4、隨著大模型的“涌現(xiàn)”，一定程度上克服了人工智能模型在應(yīng)用場景上的局限性，特別是形成一定條件下的通用模型，即在一定條件下對于不同技術(shù)領(lǐng)域均可進行適用。進一步地，將大規(guī)模語言模型與其他模態(tài)的大規(guī)模模型結(jié)合，可得到多模態(tài)大規(guī)模模型，利用一個多模態(tài)大規(guī)模模型則可對語言與其他模態(tài)進行處理，并生成多模態(tài)輸出。例如，palm-e模型為大規(guī)模語言模型結(jié)合大規(guī)模視覺模型，部署于機器人，則可通過自然語言提出需求，然后機器人基于視覺輸入，自動執(zhí)行所述的需求。

5、但是，現(xiàn)有技術(shù)的大規(guī)模多模態(tài)模型對多模態(tài)輸入進行處理時，將分別對各個模態(tài)輸入以其本身的模態(tài)進行處理，如palm-e模型在接收以自然語言提出的需求后，對需求進行響應(yīng)執(zhí)行的過程中，當(dāng)需要對圖像進行識別以便進行下一步響應(yīng)時，仍然需要將獲取的圖像以圖像的形式進行處理(由palm-e模型的視覺模型vit進行處理)，具體過程如下：

6、1)將輸入圖像分割成固定大小的碎片(例如16x16)，并將每個碎片投影為一個向量，作為transformer的輸入序列；

7、2)在輸入序列中添加一個特殊的類別標(biāo)記(cls)，用于表示圖像的類別信息；同時，為每個碎片添加一個位置編碼，用于表示碎片在圖像中的位置信息；

8、3)將輸入序列送入transformer的編碼器，進行多層自注意力和前饋網(wǎng)絡(luò)的計算，得到每個碎片的輸出向量。

9、4)取出類別標(biāo)記對應(yīng)的輸出向量，經(jīng)過一個線性層和一個softmax層，得到圖像的類別預(yù)測概率。

10、如果需要處理更多模態(tài)輸入，則對應(yīng)的大規(guī)模多模態(tài)模型需要結(jié)合更多不同模態(tài)的大規(guī)模模型，需要更大的數(shù)據(jù)集進行訓(xùn)練，并且需要更大的算力用于大規(guī)模多模態(tài)模型的計算。

11、另一方面，現(xiàn)有技術(shù)中，感知數(shù)據(jù)的采集、利用人工智能模型對輸入的感知數(shù)據(jù)進行處理，通常為點式發(fā)生，或者在不同位置進行重復(fù)的點式發(fā)生。例如，身份的確認(rèn)或識別，通常采用點式進行身份確認(rèn)或身份識別，即只在一個位置進行識別，或者在多個位置進行重復(fù)識別。

12、當(dāng)對人進行身份的確認(rèn)或識別時，方式為：在需要識別的位置進行用戶密碼校驗或者生物識別；不足在于：一方面是存在較大安全隱患，當(dāng)密碼失竊或者人臉被仿制，無論在一個位置進行識別，還是在多個位置進行重復(fù)識別，均存在身份仿冒的風(fēng)險；另一方面是需要用戶進行主動式的信息輸出，使用體驗較差。

13、當(dāng)對車輛進行身份的確認(rèn)或識別時，方式為：特征識別；不足在于：識別結(jié)果容易斷鏈，數(shù)據(jù)源不完全可信，對識別技術(shù)要求高，但識別精度低。

14、并且，單點識別的方式要求在每個點都進行高速的識別運算，對硬件要求較高，隨著數(shù)據(jù)量的增加，還將降低執(zhí)行效率。

15、同理，其他應(yīng)用場景在以點式發(fā)生的形式進行應(yīng)用時，也存在單點識別所存在的不足。

16、可見，大規(guī)模多模態(tài)模型目前還處于實驗室階段，在具體進行生產(chǎn)應(yīng)用時，還需要解決效率、成本、可靠性、安全性等問題。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種基于感知真實世界的自處理方法，可同時采集多模態(tài)的感知數(shù)據(jù)，并利用專用大語言模型進行處理，即可完成對于實時輸入的描述多模態(tài)感知數(shù)據(jù)的執(zhí)行用詞向量的自處理；所述的符號化還包括通過編碼對多模態(tài)的感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)進行簡化轉(zhuǎn)碼，獲得對多維矩陣進行簡化轉(zhuǎn)碼的符號組合格式的訓(xùn)練用編碼語料、執(zhí)行用編碼語料，并與訓(xùn)練用詞向量、執(zhí)行用詞向量結(jié)合，進行模型優(yōu)化訓(xùn)練、以及自處理，實現(xiàn)了優(yōu)化訓(xùn)練與自處理的高效率、低成本、高可靠性、高安全性等效果，可用于真實世界的感知，并準(zhǔn)確地進行自動響應(yīng)、處理。

2、本發(fā)明的技術(shù)方案如下：

3、一種基于感知真實世界的自處理方法，包括如下步驟：

4、1)優(yōu)化訓(xùn)練步驟：利用部署于工作區(qū)域的各種類型數(shù)據(jù)采集裝置采集各類對應(yīng)類型的感知數(shù)據(jù)，采集的各個類型的感知數(shù)據(jù)覆蓋對應(yīng)類型的數(shù)據(jù)采集裝置的監(jiān)控范圍內(nèi)的對象；獲取與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)；將包括但不限于所述的采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)進行符號化，形成具備自然語義的訓(xùn)練用詞向量，所述的訓(xùn)練用詞向量描述多模態(tài)的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，將訓(xùn)練用詞向量作為訓(xùn)練數(shù)據(jù)，輸入通用大語言模型，對通用大語言模型進行優(yōu)化訓(xùn)練，獲得專用大語言模型；

5、2)自處理步驟：利用部署于工作區(qū)域的各種類型數(shù)據(jù)采集裝置采集各類對應(yīng)類型的感知數(shù)據(jù)，將采集的各個類型的感知數(shù)據(jù)進行符號化，形成具備自然語義的執(zhí)行用詞向量，所述的執(zhí)行用詞向量描述多模態(tài)的感知數(shù)據(jù)，將執(zhí)行用詞向量作為實時數(shù)據(jù)，輸入專用大語言模型，生成具備自然語義的自處理結(jié)果數(shù)據(jù)，基于自處理結(jié)果數(shù)據(jù)執(zhí)行對應(yīng)的自處理操作。

6、作為優(yōu)選，步驟1)中，以功能場景為單位，利用不同的功能場景中采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)對應(yīng)形成的訓(xùn)練用詞向量輸入通用大語言模型進行優(yōu)化訓(xùn)練，生成專用大語言模型；所述的專用大語言模型基于執(zhí)行用用詞向量生成自處理結(jié)果數(shù)據(jù)；其中，不需要預(yù)先定義功能場景。

7、作為優(yōu)選，步驟1)具體為，利用部署于工作區(qū)域的各種類型數(shù)據(jù)采集裝置連續(xù)采集各類對應(yīng)類型的感知數(shù)據(jù)，連續(xù)采集的各個類型的感知數(shù)據(jù)包含對應(yīng)類型的數(shù)據(jù)采集裝置監(jiān)控范圍所覆蓋的工作區(qū)域內(nèi)的對象被采集的具備時間先后順序的感知數(shù)據(jù)；將所述的連續(xù)采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)進行符號化，轉(zhuǎn)換為具備自然語義的訓(xùn)練用詞向量，將所述的訓(xùn)練用詞向量輸入用于通用大語言模型進行優(yōu)化訓(xùn)練，生成專用大語言模型。

8、作為優(yōu)選，通過三維建模構(gòu)建獲得三維全局模型，三維全局模型包含代表對象的三維對象模型；

9、步驟1)中，在三維全局模型中部署對應(yīng)的各種類型的虛擬采集裝置；利用虛擬采集裝置對三維對象模型進行模型內(nèi)采集，獲取模型內(nèi)感知數(shù)據(jù)；將模型內(nèi)感知數(shù)據(jù)對應(yīng)形成的模型內(nèi)訓(xùn)練用詞向量輸入專用大語言模型，生成模型內(nèi)自處理結(jié)果數(shù)據(jù)，對應(yīng)模型內(nèi)自處理結(jié)果數(shù)據(jù)生成自動化腳本；模型內(nèi)自處理結(jié)果數(shù)據(jù)為針對三維對象模型被采集模型內(nèi)感知數(shù)據(jù)的時刻的行為、屬性、狀態(tài)或?qū)ο笾g的關(guān)系的模型內(nèi)處理方案；將模型內(nèi)自處理結(jié)果數(shù)據(jù)作為與模型內(nèi)感知數(shù)據(jù)對應(yīng)的模型內(nèi)處理結(jié)果數(shù)據(jù)；利用自動化腳本控制或手動控制模型內(nèi)處理結(jié)果數(shù)據(jù)對應(yīng)的三維對象模型在三維全局模型中執(zhí)行模型內(nèi)處理方案，進而對專用大語言模型進行優(yōu)化訓(xùn)練。

10、作為優(yōu)選，步驟1)、步驟2)所述的符號化，還包括通過編碼，將步驟1)所述的包括但不限于采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，以及步驟2)所述的采集的各個類型的感知數(shù)據(jù)，分別轉(zhuǎn)換獲得對多維矩陣進行簡化轉(zhuǎn)碼的符號組合格式的訓(xùn)練用編碼語料、執(zhí)行用編碼語料，具體為：

11、對不同類型的數(shù)據(jù)采集裝置所采集的屬于不同對象的不同類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，基于轉(zhuǎn)碼規(guī)則進行簡化轉(zhuǎn)碼，得到匹配的符號簡碼；對數(shù)據(jù)采集裝置采集的所有當(dāng)前感知數(shù)據(jù)對應(yīng)的符號簡碼構(gòu)建感知多維矩陣；所述的符號組合格式包括但不限于各類自然語言的文本、字符、超大進制序列、非自然語言的已知符號、自定義符號中的一種或多種組合；

12、步驟1)中，將訓(xùn)練用編碼語料結(jié)合訓(xùn)練用詞向量，作為訓(xùn)練數(shù)據(jù)，輸入通用大語言模型，對通用大語言模型進行優(yōu)化訓(xùn)練；步驟2)中，將執(zhí)行用編碼語料結(jié)合執(zhí)行用詞向量，作為實時數(shù)據(jù)，輸入專用大語言模型，生成具備自然語義的自處理結(jié)果數(shù)據(jù)。

13、作為優(yōu)選，如果步驟1)中，利用不同工作區(qū)域、不同對象、不同模態(tài)的感知數(shù)據(jù)獲得新的訓(xùn)練用詞向量，并對專用大語言模型進行優(yōu)化訓(xùn)練，則對專用大語言模型進行優(yōu)化訓(xùn)練，實現(xiàn)專用大語言模型對不同對象、不同模態(tài)的感知數(shù)據(jù)進行增加適配。

14、作為優(yōu)選，設(shè)置對等計算體系，對等計算體系包括多個節(jié)點設(shè)備，所有節(jié)點設(shè)備之間無主次關(guān)系；利用對等計算體系的節(jié)點設(shè)備采集與目標(biāo)相關(guān)的各個類型的感知數(shù)據(jù)，所述的目標(biāo)包括工作區(qū)域內(nèi)已存在的對象、進入工作區(qū)域內(nèi)的對象；

15、節(jié)點設(shè)備部署對感知數(shù)據(jù)進行符號化的向量化器；對于某一個節(jié)點設(shè)備，利用向量化器對所述的采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)進行符號化形成訓(xùn)練用詞向量或執(zhí)行用詞向量，并將所述的訓(xùn)練用詞向量或執(zhí)行用詞向量作為原始數(shù)據(jù)進行處理，得到結(jié)果數(shù)據(jù)，并向其他節(jié)點設(shè)備傳播所述的結(jié)果數(shù)據(jù)；接收到所述的結(jié)果數(shù)據(jù)的其他節(jié)點設(shè)備，將所述的結(jié)果數(shù)據(jù)作為采集的原始數(shù)據(jù)之一，通過所述的結(jié)果數(shù)據(jù)對其他節(jié)點設(shè)備的結(jié)果數(shù)據(jù)形成影響；

16、基于此，對等計算體系中的多個節(jié)點設(shè)備進行協(xié)同計算，當(dāng)協(xié)同計算的結(jié)果數(shù)據(jù)能夠確定目標(biāo)感知結(jié)果時，即完成對多模態(tài)的感知數(shù)據(jù)對應(yīng)的目標(biāo)進行感知獲取目標(biāo)感知結(jié)果，其中，目標(biāo)感知結(jié)果為目標(biāo)的行為、屬性、狀態(tài)或?qū)ο笾g的關(guān)系的一種或多種組合的綜合狀態(tài)，并表征于結(jié)果數(shù)據(jù)。

17、作為優(yōu)選，節(jié)點設(shè)備連接并控制對應(yīng)的執(zhí)行裝置；

18、對于某一個節(jié)點設(shè)備，將連接的執(zhí)行裝置對應(yīng)的部分自處理結(jié)果數(shù)據(jù)，作為原始數(shù)據(jù)進行處理，得到結(jié)果數(shù)據(jù)，并向其他節(jié)點設(shè)備傳播所述的結(jié)果數(shù)據(jù)；接收到所述的結(jié)果數(shù)據(jù)的其他節(jié)點設(shè)備，將所述的結(jié)果數(shù)據(jù)作為采集的原始數(shù)據(jù)之一，通過所述的結(jié)果數(shù)據(jù)對其他節(jié)點設(shè)備的結(jié)果數(shù)據(jù)形成影響；

19、對等計算體系中的節(jié)點設(shè)備隨著原始數(shù)據(jù)的獲取與結(jié)果數(shù)據(jù)的計算，進行協(xié)同計算；基于協(xié)同計算對自處理結(jié)果數(shù)據(jù)進行響應(yīng)直至某一個或多個節(jié)點設(shè)備計算得到的結(jié)果數(shù)據(jù)匹配自處理結(jié)果數(shù)據(jù)對應(yīng)的請求內(nèi)容；

20、將結(jié)果數(shù)據(jù)表征的自處理結(jié)果數(shù)據(jù)通過部署于節(jié)點設(shè)備的向量化器進行符號化，轉(zhuǎn)換為對應(yīng)執(zhí)行裝置的控制用詞向量，通過控制用詞向量對執(zhí)行裝置進行控制；或者，將輸出控制用詞向量作為請求，計算獲取的結(jié)果數(shù)據(jù)，包含對應(yīng)的控制用詞向量，直接通過控制用詞向量對執(zhí)行裝置進行控制。

21、作為優(yōu)選，步驟1)中，利用對等計算體系的節(jié)點設(shè)備采集與目標(biāo)相關(guān)的各個類型的感知數(shù)據(jù)；對于某一個節(jié)點設(shè)備，獲取所述的采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)對應(yīng)形成的訓(xùn)練用詞向量；

22、利用訓(xùn)練用詞向量進行優(yōu)化訓(xùn)練時，節(jié)點設(shè)備接收分配的優(yōu)化訓(xùn)練任務(wù)及訓(xùn)練用詞向量，進行相應(yīng)的優(yōu)化訓(xùn)練；將訓(xùn)練結(jié)果作為原始數(shù)據(jù)進行處理，得到結(jié)果數(shù)據(jù)，并向其他節(jié)點設(shè)備傳播所述的結(jié)果數(shù)據(jù)；接收到所述的結(jié)果數(shù)據(jù)的其他節(jié)點設(shè)備，將所述的結(jié)果數(shù)據(jù)作為采集的原始數(shù)據(jù)之一，通過所述的結(jié)果數(shù)據(jù)對其他節(jié)點設(shè)備的結(jié)果數(shù)據(jù)形成影響；

23、對等計算體系中的節(jié)點設(shè)備隨著原始數(shù)據(jù)的獲取與結(jié)果數(shù)據(jù)的計算，進行協(xié)同計算；基于協(xié)同計算對訓(xùn)練結(jié)果進行響應(yīng)直至某一個或多個節(jié)點設(shè)備計算得到的結(jié)果數(shù)據(jù)滿足優(yōu)化訓(xùn)練的目標(biāo)。

24、作為優(yōu)選，利用訓(xùn)練用詞向量對通用大語言模型進行優(yōu)化訓(xùn)練時，將采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)存儲于對應(yīng)的節(jié)點設(shè)備所連接的數(shù)據(jù)采集裝置的數(shù)據(jù)存儲模塊；

25、將調(diào)用、輸出感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)作為請求，進行結(jié)果數(shù)據(jù)的計算；對等計算體系中對應(yīng)的節(jié)點設(shè)備在進行結(jié)果數(shù)據(jù)的計算后，將驅(qū)動所連接的數(shù)據(jù)采集裝置的數(shù)據(jù)存儲模塊通過在對等計算體系的節(jié)點設(shè)備之間建立文件傳輸通道或者以其他網(wǎng)絡(luò)通訊模式建立文件傳輸通道，將感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)發(fā)送到特定位置。

26、作為優(yōu)選，步驟1)中，利用對等計算體系的節(jié)點設(shè)備采集與目標(biāo)相關(guān)的各個類型的感知數(shù)據(jù)；對于某一個節(jié)點設(shè)備，獲取所述的采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)對應(yīng)形成的訓(xùn)練用詞向量；

27、將訓(xùn)練用詞向量作為訓(xùn)練數(shù)據(jù)，輸入用于生成通用大語言模型的神經(jīng)網(wǎng)絡(luò)，訓(xùn)練生成通用大語言模型；進行模型訓(xùn)練時，節(jié)點設(shè)備接收分配的模型訓(xùn)練任務(wù)及訓(xùn)練用詞向量，進行相應(yīng)的模型訓(xùn)練；將訓(xùn)練結(jié)果作為原始數(shù)據(jù)進行處理，得到結(jié)果數(shù)據(jù)，并向其他節(jié)點設(shè)備傳播所述的結(jié)果數(shù)據(jù)；接收到所述的結(jié)果數(shù)據(jù)的其他節(jié)點設(shè)備，將所述的結(jié)果數(shù)據(jù)作為采集的原始數(shù)據(jù)之一，通過所述的結(jié)果數(shù)據(jù)對其他節(jié)點設(shè)備的結(jié)果數(shù)據(jù)形成影響；

28、對等計算體系中的節(jié)點設(shè)備隨著原始數(shù)據(jù)的獲取與結(jié)果數(shù)據(jù)的計算，進行協(xié)同計算；基于協(xié)同計算對訓(xùn)練結(jié)果進行響應(yīng)直至某一個或多個節(jié)點設(shè)備計算得到的結(jié)果數(shù)據(jù)滿足模型訓(xùn)練的目標(biāo)。

29、作為優(yōu)選，步驟2)中，利用對等計算體系的節(jié)點設(shè)備采集與目標(biāo)相關(guān)的各個類型的感知數(shù)據(jù)；對于某一個節(jié)點設(shè)備，獲取所述的采集的各個類型的感知數(shù)據(jù)形成的執(zhí)行用詞向量；

30、利用專用大語言模型生成自處理結(jié)果數(shù)據(jù)時，節(jié)點設(shè)備接收分配的生成任務(wù)，進行相應(yīng)部分的自處理結(jié)果數(shù)據(jù)的生成；將生成結(jié)果作為原始數(shù)據(jù)進行處理，得到結(jié)果數(shù)據(jù)，并向其他節(jié)點設(shè)備傳播所述的結(jié)果數(shù)據(jù)；接收到所述的結(jié)果數(shù)據(jù)的其他節(jié)點設(shè)備，將所述的結(jié)果數(shù)據(jù)作為采集的原始數(shù)據(jù)之一，通過所述的結(jié)果數(shù)據(jù)對其他節(jié)點設(shè)備的結(jié)果數(shù)據(jù)形成影響；

31、對等計算體系中的節(jié)點設(shè)備隨著原始數(shù)據(jù)的獲取與結(jié)果數(shù)據(jù)的計算，進行協(xié)同計算；基于協(xié)同計算對生成結(jié)果進行響應(yīng)直至某一個或多個節(jié)點設(shè)備計算得到的結(jié)果數(shù)據(jù)匹配自處理結(jié)果數(shù)據(jù)。

32、作為優(yōu)選，節(jié)點設(shè)備部署用于生成訓(xùn)練用編碼語料、執(zhí)行用編碼語料的編碼器，以及與編碼器匹配的解碼器；

33、將步驟1)所述的包括但不限于采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，或者步驟2)所述的采集的各個類型的感知數(shù)據(jù)，輸入編碼器，生成符號組合格式的訓(xùn)練用編碼語料或執(zhí)行用編碼語料；

34、將簡碼值+修正碼的符號組合形式的訓(xùn)練用編碼語料或執(zhí)行用編碼語料作為計算結(jié)果數(shù)據(jù)的原始數(shù)據(jù)之一，計算獲得的結(jié)果數(shù)據(jù)傳遞至后續(xù)節(jié)點設(shè)備；

35、后續(xù)節(jié)點設(shè)備接收所述的結(jié)果數(shù)據(jù)，利用解碼器，從結(jié)果數(shù)據(jù)中還原獲得作為訓(xùn)練用編碼語料或執(zhí)行用編碼語料的簡碼值+修正碼后，再將簡碼值翻譯還原為原碼參數(shù)串，并將原碼參數(shù)串拆解成為對應(yīng)當(dāng)前節(jié)點設(shè)備的若干個原碼參數(shù)；將修正碼翻譯還原為修正值串，并將修正值串拆解成為對應(yīng)當(dāng)前節(jié)點設(shè)備的若干個修正值；將修正值與原碼參數(shù)對應(yīng)的等級段落的首值相加，還原得到當(dāng)前節(jié)點設(shè)備發(fā)送的類型的感知數(shù)據(jù)的等級；

36、基于此，當(dāng)存在數(shù)據(jù)還原請求時，結(jié)合結(jié)果數(shù)據(jù)與解碼器，還原獲得步驟1)所述的包括但不限于采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，以及步驟2)所述的采集的各個類型的感知數(shù)據(jù)。

37、作為優(yōu)選，步驟1)中，不對訓(xùn)練用編碼語料對應(yīng)的包括但不限于所述的采集的各個類型的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)進行存儲；

38、步驟2)中，不對執(zhí)行用編碼語料對應(yīng)的各類對應(yīng)類型的感知數(shù)據(jù)進行存儲。

39、作為優(yōu)選，當(dāng)對等計算體系中的某一個或多個節(jié)點設(shè)備計算得到的結(jié)果數(shù)據(jù)匹配自處理結(jié)果數(shù)據(jù)對應(yīng)的請求內(nèi)容，則按照預(yù)設(shè)條件或者提前部署的程序或者節(jié)點設(shè)備上部署的數(shù)據(jù)處理模型的輸出，將請求內(nèi)容對應(yīng)的結(jié)果表征到所述的某一個或者多個節(jié)點設(shè)備輸出的結(jié)果數(shù)據(jù)中；如果判定當(dāng)前節(jié)點設(shè)備需響應(yīng)該請求命令，當(dāng)前節(jié)點設(shè)備將按照計算得到的結(jié)果數(shù)據(jù)向連接于當(dāng)前節(jié)點設(shè)備上的執(zhí)行裝置發(fā)送控制指令；當(dāng)需響應(yīng)的所有節(jié)點設(shè)備所連接的執(zhí)行裝置全部完成響應(yīng)動作后，自處理操作完成。

40、本發(fā)明的有益效果如下：

41、本發(fā)明所述的基于感知真實世界的自處理方法，在進行通用大語言模型的優(yōu)化訓(xùn)練、利用專用大語言模型對輸入進行響應(yīng)實現(xiàn)自處理的步驟中，將兩個步驟中分別采集的各個類型的感知數(shù)據(jù)、優(yōu)化訓(xùn)練步驟中獲得的與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，即多模態(tài)的感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)進行符號化，形成具備自然語義的訓(xùn)練用詞向量、執(zhí)行用詞向量，所述的訓(xùn)練用詞向量描述多模態(tài)的感知數(shù)據(jù)、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)，所述的執(zhí)行用詞向量描述多模態(tài)的感知數(shù)據(jù)；進而，將多個不同模態(tài)的感知數(shù)據(jù)變換為具備自然語義的詞向量，且符號化獲得的詞向量包含的信息量與多個不同模態(tài)的感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)包含的信息量總和近似相等?；诖?，本發(fā)明可將多模態(tài)感知數(shù)據(jù)進行詞向量化，并適用于通用大語言模型的優(yōu)化訓(xùn)練，進而降低專用大語言模型的優(yōu)化訓(xùn)練復(fù)雜程度，提高訓(xùn)練效率與響應(yīng)效率，降低訓(xùn)練成本與實施成本。

42、本發(fā)明中，所述的符號化還包括通過編碼對多模態(tài)的感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)進行簡化轉(zhuǎn)碼，獲得對多維矩陣進行簡化轉(zhuǎn)碼的符號組合格式的訓(xùn)練用編碼語料、執(zhí)行用編碼語料，并與訓(xùn)練用詞向量、執(zhí)行用詞向量結(jié)合，進行模型優(yōu)化訓(xùn)練、以及自處理。由于技術(shù)方案實施后，數(shù)據(jù)采集裝置的類型可知，即感知數(shù)據(jù)的類型可知，也即感知數(shù)據(jù)的模態(tài)可知，并且在確定與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)后，即可涵蓋每個類型的感知數(shù)據(jù)、多模態(tài)的感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù)之間的固有規(guī)律。因此，簡化轉(zhuǎn)碼獲取的訓(xùn)練用編碼語料、執(zhí)行用編碼語料具有特定固有規(guī)律，且上下文邏輯明確，在保證訓(xùn)練效率的同時，提高專用大語言模型輸出的準(zhǔn)確性。所述的訓(xùn)練用編碼語料、執(zhí)行用編碼語料對于其表征的感知數(shù)據(jù)具有確定的對應(yīng)性，訓(xùn)練用編碼語料、執(zhí)行用編碼語料不必須與自然語言詞匯相關(guān)。對于大語言模型而言，訓(xùn)練用編碼語料、執(zhí)行用編碼語料可看作相當(dāng)于傳感器之間使用的“語言”。

43、基于此，本發(fā)明進行模型的優(yōu)化訓(xùn)練時，將多模態(tài)的感知數(shù)據(jù)、對應(yīng)的結(jié)果處理數(shù)據(jù)轉(zhuǎn)換為具備自然語義的訓(xùn)練用詞向量，或者結(jié)合符號組合格式的訓(xùn)練用編碼語料，然后利用包含了訓(xùn)練用詞向量，或者結(jié)合訓(xùn)練用編碼語料，對通用大語言模型進行優(yōu)化訓(xùn)練；利用專用大語言模型對輸入的具備自然語義的執(zhí)行用詞向量，或者結(jié)合符號組合格式的執(zhí)行用編碼語料進行響應(yīng)實現(xiàn)自處理時，以較為簡單的方式實現(xiàn)較為復(fù)雜的多模態(tài)感知數(shù)據(jù)的處理。即，本發(fā)明中，輸入專用大語言模型的不是感知數(shù)據(jù)本身，專用大語言模型不需要對應(yīng)不同模態(tài)的感知數(shù)據(jù)進行對應(yīng)的處理，例如，當(dāng)需要對采集的圖像進行響應(yīng)時，專用大語言模型不是直接接收圖像數(shù)據(jù)，而是接收符號化(包括詞向量化，或者結(jié)合簡化轉(zhuǎn)碼)后的圖像數(shù)據(jù)，然后利用專用大語言模型對符號化的實時數(shù)據(jù)進行處理，生成自處理結(jié)果數(shù)據(jù)，再基于自處理結(jié)果數(shù)據(jù)執(zhí)行對應(yīng)的自處理操作。

44、所述的專用大語言模型完成部署后，本發(fā)明通過部署于工作區(qū)域內(nèi)的數(shù)據(jù)采集裝置對所有對象進行不同類型的感知數(shù)據(jù)的連續(xù)采集，并進行符號化后，再利用專用大語言模型對輸入的實時數(shù)據(jù)進行響應(yīng)，完成自處理，進而，實現(xiàn)對真實世界的感知?；诒景l(fā)明的技術(shù)方案，可完美規(guī)避現(xiàn)有技術(shù)的大規(guī)模語言模型和真實世界無法形成對應(yīng)關(guān)系的不足，在不需要結(jié)合其他模態(tài)的大規(guī)模模型的情況下，仍然能夠?qū)崿F(xiàn)對多模態(tài)的真實世界進行感知(本發(fā)明中記載的感知，與感知數(shù)據(jù)采集為不同的定義，所述的感知表示完成對多模態(tài)的感知數(shù)據(jù)對應(yīng)的目標(biāo)或?qū)ο筮M行感知獲取目標(biāo)感知結(jié)果)。

45、同時，將包括但不限于法律法規(guī)、執(zhí)行標(biāo)準(zhǔn)、規(guī)范、自定義約束條件也作為感知數(shù)據(jù)，進而，即也作為一類訓(xùn)練數(shù)據(jù)，并且在其他訓(xùn)練數(shù)據(jù)為對真實世界進行感知的真實數(shù)據(jù)的情況下，確保輸入大模型的訓(xùn)練數(shù)據(jù)所對應(yīng)的行為、事件是在真實世界的法律、法規(guī)、科學(xué)規(guī)律的約束下進行的，進而可避免提供虛假、片面的訓(xùn)練數(shù)據(jù)，防止大模型進行自處理的準(zhǔn)確性及功能實現(xiàn)受到影響。

46、本發(fā)明以功能場景為單位，對通用大語言模型進行優(yōu)化訓(xùn)練，可采用如transformer模型進行無監(jiān)督學(xué)習(xí)，即可在不需要預(yù)先定義功能場景的情況下，完成針對不同技術(shù)領(lǐng)域的訓(xùn)練，在大規(guī)模數(shù)據(jù)集的基礎(chǔ)上，即可獲得一定條件下的專用大語言模型。

47、本發(fā)明還可以利用三維模型，在三維模型中對專用大語言模型進行優(yōu)化訓(xùn)練，本發(fā)明可以搭建一個模擬真實世界的三維全局模型，或者以真實世界為原型，搭建與真實世界基本相同的三維全局模型，三維全局模型中包含所有對應(yīng)虛擬對象或真實對象的三維對象模型，并按照一定規(guī)則進行相互運動、相互作用，然后通過對三維對象模型進行不同類型的感知數(shù)據(jù)的采集、與采集的感知數(shù)據(jù)對應(yīng)的處理結(jié)果數(shù)據(jù)的提供，對專用大語言模型進行優(yōu)化訓(xùn)練。通過三維全局模型對專用大語言模型進行優(yōu)化訓(xùn)練，在自動化腳本的輔助下，可減少人力的投入，并可最大化時間利用率，提高專用大語言模型進行優(yōu)化訓(xùn)練的效率，降低成本。

48、本發(fā)明利用對等計算體系，通過協(xié)同計算，計算并傳遞結(jié)果數(shù)據(jù)(計算并傳遞的結(jié)果數(shù)據(jù)中不包含詞向量化的訓(xùn)練用詞向量、執(zhí)行用詞向量、符號組合格式的訓(xùn)練用編碼語料、執(zhí)行用編碼語料等訓(xùn)練數(shù)據(jù)、實時數(shù)據(jù)，而是基于對應(yīng)的數(shù)據(jù)處理模式對訓(xùn)練數(shù)據(jù)、實時數(shù)據(jù)進行計算所獲得的計算結(jié)果，即，傳遞結(jié)果數(shù)據(jù)時，并不進行訓(xùn)練數(shù)據(jù)、實時數(shù)據(jù)的直接傳遞)，進而進行通用大語言模型的優(yōu)化訓(xùn)練、對輸入進行響應(yīng)。所述的對等計算體系中，所有節(jié)點設(shè)備之間無主從關(guān)系，節(jié)點設(shè)備之間無固定連接路徑，節(jié)點設(shè)備僅接收其他節(jié)點設(shè)備的計算結(jié)果(即其他節(jié)點設(shè)備計算的結(jié)果數(shù)據(jù))，向外發(fā)出自身計算的結(jié)果數(shù)據(jù)，對優(yōu)化訓(xùn)練和/或?qū)斎脒M行響應(yīng)不依靠單個節(jié)點設(shè)備進行處理與控制，而是通過對等計算體系中的多個節(jié)點設(shè)備進行協(xié)同計算、結(jié)果數(shù)據(jù)的傳遞完成。

49、進而，本發(fā)明的優(yōu)化訓(xùn)練、對輸入進行響應(yīng)不依賴點式發(fā)生，將運算功能全布于整個對等計算體系，不僅減輕單點運算的軟硬件要求，執(zhí)行效率高，大大提高抗攻擊能力；而且在節(jié)點設(shè)備之間呈信息相對對稱狀態(tài)，能夠免疫數(shù)據(jù)非法篡改的問題，即使單個節(jié)點設(shè)備被物理破解而篡改其發(fā)出的數(shù)據(jù)，但是因為對等計算體系的運算是一種超高度冗余的復(fù)雜計算和超多維度校驗，所以，單個節(jié)點設(shè)備發(fā)出數(shù)據(jù)被篡改不影響對等計算體系的計算結(jié)果，而且能快速定位故障及被篡改的節(jié)點設(shè)備，保證對等計算體系的計算結(jié)果的可信度。

50、本發(fā)明中，特別是在小規(guī)模場景、小時間段的應(yīng)用場景中，且采用簡化轉(zhuǎn)碼獲取訓(xùn)練用編碼語料、執(zhí)行用編碼語料，并基于對等計算體系，將原始數(shù)據(jù)的信息量通過協(xié)同計算，融入結(jié)果數(shù)據(jù)中，則在進行優(yōu)化訓(xùn)練、進行自處理時，所采集的原始數(shù)據(jù)(即步驟1)、步驟2)采集感知數(shù)據(jù)、對應(yīng)的處理結(jié)果數(shù)據(jù))不需要進行存儲，也能夠被還原獲得，進而可節(jié)省存儲成本，并免疫通過提供虛假或者瑕疵訓(xùn)練數(shù)據(jù)對模型的攻擊。