本公開涉及用于響應文本查詢或人類語音輸入的生成系統(tǒng)。

背景技術：

1、弱學習器可以指在訓練數據的任何指定分布上，能夠以某個給定的余量獲得比隨機機會更好的性能的分類器。機器學習的早期突破之一已確定的是，經由一個集成過程(ensembling?procedure)，弱學習足以進行任意強的分類。這導致了提升(boosting)算法的發(fā)展，這是一類繼續(xù)表現(xiàn)非常好的方法，特別是在缺乏視覺或語言任務的輸入空間規(guī)律性的表格數據集上。

2、在一個看似獨立的研究領域中，近年來基于變換器架構的大型語言模型(llm)已經開始主導許多自然語言領域。這些模型通常在新的下游任務的數據上微調，但近年來也示出單獨地經由用一段上下文字符串提示該模型作為零樣本(zero-shot)或少樣本學習展現(xiàn)強大性能。

技術實現(xiàn)思路

1、第一實施例是一種用于自然語言處理的計算機實現(xiàn)的方法，包括接收與一個或多個記錄相關聯(lián)的表格數據，將表格數據轉換成指示表格數據的文本表示，生成與表格數據的文本表示相關聯(lián)的元數據，其中元數據指示表格數據的描述。該方法包括，對于一次或多次迭代，響應于利用大型語言模型(llm)以及表格數據的元數據和文本表示的零樣本提示，輸出指示表格數據的一個或多個自然語言數據描述，其中l(wèi)lm包括具有多個參數的神經網絡。此外，對于一次或多次迭代，該方法包括利用llm，并且在一個或多個自然語言數據描述上附加提示輸出一個或多個概要，其中一個或多個概要包括比一個或多個自然語言數據描述更少的文本，對于一次或多次迭代，響應于具有最小驗證率的單個概要，選擇一個或多個概要中的單個概要，接收與表格數據相關聯(lián)的查詢，對于一次或多次迭代，利用對單個概要和查詢的llm輸出與查詢相關聯(lián)的一個或多個預測，并且響應于從一次或多次迭代生成的一個或多個預測滿足收斂閾值，輸出與查詢相關聯(lián)的最終預測，其中響應于從一次或多次迭代生成的所有一個或多個預測的加權多數投票，選擇最終預測。

2、第二實施例公開了一種系統(tǒng)，其包括到系統(tǒng)的輸入接口，其中輸入接口被配置為接收與系統(tǒng)相關聯(lián)的數據，以及與輸入接口通信的一個或多個處理器，一個或多個處理器被編程為接收與一個或多個記錄相關聯(lián)的表格數據，將表格數據轉換為指示表格數據的文本表示，生成與表格數據的文本表示相關聯(lián)的元數據，其中元數據指示表格數據的描述。該處理器還被編程為響應于利用大型語言模型(llm)以及表格數據的元數據和文本表示的零樣本提示，輸出指示表格數據的一個或多個自然語言數據描述，其中l(wèi)lm包括具有多個參數的神經網絡，利用llm和一個或多個自然語言數據描述輸出一個或多個概要，其中所述一個或多個概要包括比所述一個或多個自然語言數據描述更少的文本，對于一次或多次迭代，響應于具有最小驗證率的單個概要，選擇所述一個或多個概要中的單個概要，接收與所述表格數據相關聯(lián)的查詢，對于一次或多次迭代，利用對所述單個概要和所述查詢的llm，輸出與所述查詢相關聯(lián)的一個或多個預測；以及響應于從輸出一個或多個預測的一次或多次迭代中生成的一個或多個預測滿足收斂閾值，輸出與查詢相關聯(lián)的最終預測。

3、第三實施例公開了用于自然語言處理的計算機實現(xiàn)的方法，該方法包括接收與一個或多個記錄相關聯(lián)的表格數據，將表格數據轉換成指示表格數據的文本表示，生成與表格數據的文本表示相關聯(lián)的元數據，其中元數據指示表格數據的描述，響應于利用大型語言模型(llm)以及表格數據的元數據和文本表示的零樣本提示，輸出指示表格數據的一個或多個自然語言數據描述；利用llm并且在一個或多個自然語言數據描述上附加提示輸出一個或多個概要，其中一個或多個概要包括比一個或多個自然語言數據描述更少的文本，對于一次或多次迭代，響應于具有最小驗證率的單個概要，選擇一個或多個概要中的單個概要，創(chuàng)建單個概要的子集，接收與表格數據相關聯(lián)的查詢，對于一次或多次迭代，利用對單個概要的子集的單個概要之一和查詢的llm，輸出與查詢相關聯(lián)的一個或多個預測，創(chuàng)建一個或多個預測的子集，并且響應于一個或多個預測的子集滿足收斂閾值，輸出與查詢相關聯(lián)的最終預測，其中響應于一個或多個預測的子集的加權多數投票，選擇最終預測。

技術特征：

1.一種用于自然語言處理的計算機實現(xiàn)的方法，包括:

2.根據權利要求1所述的方法，其中所述llm不利用微調或構建新的語言模型來輸出最終預測。

3.根據權利要求1所述的方法，其中所述多個參數超過十億。

4.根據權利要求1所述的方法，其中所述llm是gpt-4。

5.根據權利要求1所述的方法，其中所述文本表示是經解析的json文件。

6.根據權利要求1所述的方法，其中與表格數據相關聯(lián)的任何數字特征被編碼成百分位數。

7.根據權利要求1所述的方法，其中利用所述llm輸出一個或多個概要包括在所述一個或多個自然語言數據描述上附加提示。

8.根據權利要求1所述的方法，其中所述一個或多個預測是弱學習器。

9.根據權利要求1所述的方法，其中該方法包括利用加權分層采樣來選擇單個概要。

10.一種系統(tǒng)，包括:

11.根據權利要求10所述的系統(tǒng)，其中所述處理器還被編程為響應于從一次或多次迭代生成的所有一個或多個預測的加權多數投票，輸出最終預測。

12.根據權利要求10所述的系統(tǒng)，其中與表格數據相關聯(lián)的數字特征被編碼成百分位數。

13.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器被編程為利用所述llm并在所述一個或多個自然語言數據描述上附加提示來輸出一個或多個概要。

14.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器被共同編程以執(zhí)行步驟。

15.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器包括被編程為執(zhí)行步驟的單個處理器。

16.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器被編程為利用加權分層采樣來選擇所述一個或多個概要的代表性子集。

17.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器被編程為利用加權分層采樣來選擇所述一個或多個概要的代表性子集。

18.根據權利要求10所述的系統(tǒng)，其中所述一個或多個處理器被編程為從固定次數的迭代中選擇所述一個或多個概要的代表性子集。

19.根據權利要求10所述的系統(tǒng)，其中所述處理器被編程為對于一次或多次迭代，輸出所述一個或多個自然語言數據描述，并輸出所述一個或多個概要。

20.一種用于自然語言處理的計算機實現(xiàn)的方法，包括:

技術總結
本公開涉及用于在大型語言模型上利用弱學習器的系統(tǒng)和方法。一種計算機實現(xiàn)的方法包括將表格數據轉換成文本表示，生成與表格數據的文本表示相關聯(lián)的元數據，響應于利用大型語言模型(LLM)以及表格數據的元數據和文本表示的零樣本提示，輸出指示表格數據的一個或多個自然語言數據描述，利用LLM，并在一個或多個自然語言數據描述上附加提示輸出一個或多個概要，響應于具有最小驗證率的單個概要，選擇一個或多個概要中的單個概要，接收與表格數據相關聯(lián)的查詢，輸出與查詢相關聯(lián)的一個或多個預測，以及響應于從一次或多次迭代生成的一個或多個預測滿足收斂閾值，輸出與查詢相關聯(lián)的最終預測。

技術研發(fā)人員：H·馬尼坎丹,Y·姜,J·柯爾特,邱晨,林婉怡,F·J·C·孔德薩
受保護的技術使用者：羅伯特·博世有限公司
技術研發(fā)日：
技術公布日：2024/12/12