本發(fā)明涉及語音交互，具體為一種基于語音交互的數(shù)據(jù)分析系統(tǒng)。

背景技術(shù)：

1、語音交互識別技術(shù)在媒體行業(yè)中的應(yīng)用日趨廣泛，語音交互識別技術(shù)通過將人類的語音信息轉(zhuǎn)化為文本，為媒體行業(yè)提供了更便捷、高效的方法，尤其是用戶在各多媒體短視頻中通過自動語音識別轉(zhuǎn)文本的使用，用戶通過將拍攝的多個短視頻片段以及在拍攝時說的話自動轉(zhuǎn)化為對應(yīng)視頻片段的文本表述，但現(xiàn)有的很多語音自動識別形成的文本，出現(xiàn)由于識別時的語音不清晰以及語速過快導(dǎo)致的轉(zhuǎn)文本錯誤，針對于不太擅長短視頻軟件的語音轉(zhuǎn)文本對應(yīng)的編輯和校對的創(chuàng)作者，就會直接應(yīng)用語音交互識別轉(zhuǎn)換的錯誤文本表述，導(dǎo)致用戶在觀看時的語音和轉(zhuǎn)換的字幕不匹配，或出現(xiàn)匹配文本不理解的問題，就會導(dǎo)致觀看的用戶對該短視頻的興趣度降低，減少該視頻的推送，創(chuàng)作者整體的短視頻流量數(shù)據(jù)就較差。因此，設(shè)計提高語音交互識別轉(zhuǎn)換準(zhǔn)確性和語義理解精確度的一種基于語音交互的數(shù)據(jù)分析系統(tǒng)是很有必要的。

技術(shù)實現(xiàn)思路

1、本發(fā)明的目的在于提供一種基于語音交互的數(shù)據(jù)分析系統(tǒng)，以解決上述背景技術(shù)中提出的問題。

2、為了解決上述技術(shù)問題，本發(fā)明提供如下技術(shù)方案：一種基于語音交互的數(shù)據(jù)分析系統(tǒng)，包括語音識別特征提取模塊、語音匹配文本轉(zhuǎn)換模塊、文本錯誤組合檢測模塊，其特征在于：所述語音識別特征提取模塊用于基于視頻文件中的語音交互進行語音識別特征的提?。凰稣Z音匹配文本轉(zhuǎn)換模塊用于進行語音匹配文本的轉(zhuǎn)換；所述文本錯誤組合檢測模塊用于對轉(zhuǎn)換匹配的領(lǐng)域文本進行錯誤組合檢測。

3、根據(jù)上述技術(shù)方案，所述語音識別特征提取模塊包括：語音流過濾切分模塊、特征向量模塊、語音幀分類模塊、特征序列生成模塊，所述語音流過濾切分模塊用于從視頻文件對應(yīng)的語音流中過濾切分出語音交互片段和靜音片段；所述特征向量模塊用于利用特征向量表示每一幀的語音信號；所述語音幀分類模塊用于將語音交互片段按分段的時間進行幀分類；所述特征序列生成模塊用于利用語音交互序列與歷史輸出字符進行特征序列的迭代。

4、根據(jù)上述技術(shù)方案，所述語音匹配文本轉(zhuǎn)換模塊包括：文本序列轉(zhuǎn)化模塊、補充特征添加模塊、表征向量提取模塊、字符特征轉(zhuǎn)換模塊，所述文本序列轉(zhuǎn)化模塊用于利用語言模型將單元序列轉(zhuǎn)化為文本序列；所述補充特征添加模塊用于在聲學(xué)特征序列中加入補充特征；所述表征向量提取模塊用于對轉(zhuǎn)換后的待處理的文本進行包含原信息的表征向量的提取；所述字符特征轉(zhuǎn)換模塊用于對輸出的向量進行音字特征轉(zhuǎn)換并生成轉(zhuǎn)換結(jié)果。

5、根據(jù)上述技術(shù)方案，所述文本錯誤組合檢測模塊包括：文本特征轉(zhuǎn)換模型模塊、文本錯誤點檢測模塊、匹配文本比較模塊、正確文本替換輸出模塊，所述文本特征轉(zhuǎn)換模型模塊用于采用深度上下文信息的文本特征轉(zhuǎn)換模型；所述文本錯誤點檢測模塊用于根據(jù)輸出的錯誤點候選集利用領(lǐng)域語料訓(xùn)練模型對每個錯誤點進行檢查；所述匹配文本比較模塊用于依次比較候選語段匹配文本與期望語段匹配文本長度的關(guān)聯(lián)度；所述正確文本替換輸出模塊用于利用權(quán)重最高的字詞替代當(dāng)前待糾錯文本中錯誤字詞，并輸出替換的正確文本。

6、根據(jù)上述技術(shù)方案，所述系統(tǒng)的運行方法包括以下步驟：

7、步驟一：基于視頻文件中的語音交互進行語音識別特征的提?。?/p>

8、步驟二：進行語音匹配文本的轉(zhuǎn)換；

9、步驟三：根據(jù)提取的語音識別特征轉(zhuǎn)換后的文本匹配領(lǐng)域庫；

10、步驟四：對轉(zhuǎn)換匹配的領(lǐng)域文本進行錯誤組合檢測；

11、步驟五：根據(jù)錯誤組合檢測篩選出正確匹配的文本。

12、根據(jù)上述技術(shù)方案，所述基于視頻文件中的語音交互進行語音識別特征的提取的方法包括：

13、步驟11：從視頻文件對應(yīng)的語音流中過濾切分出語音交互片段和靜音片段，根據(jù)過濾切分的語音交互片段確定交互語音識別特征提取的檢測起點和檢測尾點；

14、步驟12：從檢測起點開始將語音交互片段中的語音信號分解為頻譜信號和韻律信號，對頻譜信號和韻律信號進行預(yù)加重、加窗和分幀的預(yù)處理，利用預(yù)處理后的高維原始頻譜信號提取低維的頻譜表示，對每一幀語音信號做離散傅里葉變換，每一幀的語音信號都由一個特征向量表示；

15、步驟13：將語音信號在檢測起點到檢測尾點這一完整的時間上進行分段，再將語音交互片段按分段的時間進行幀分類，從每個分類的語音幀提取語音特征，將韻律特征分解對應(yīng)文本的識別參數(shù)；

16、步驟14：將預(yù)處理后的高維語音交互序列搭建為視頻文件中的語音到顯示的文本序列之間的聯(lián)系，利用語音交互序列與歷史輸出字符進行特征序列的迭代，通過多次迭代生成完整的聲學(xué)特征序列。

17、根據(jù)上述技術(shù)方案，所述進行語音匹配文本的轉(zhuǎn)換的方法包括以下流程：

18、步驟21：通過信號預(yù)處理對語音信號進行高頻信號處理與去噪處理，從處理后的信號提取特征，將特征輸入到聲學(xué)模型后輸出聲學(xué)模型所建模出的單元序列，利用語言模型將單元序列轉(zhuǎn)化為文本序列；

19、步驟22：同時在聲學(xué)特征序列中加入補充特征，對每個特征中的幀進行幀擴展，增加特征維度，通過對聲學(xué)信息進行轉(zhuǎn)換，利用神經(jīng)網(wǎng)絡(luò)模型輸入特征為提取的聲學(xué)特征和幀擴展，輸出為一個二分類的概率；

20、步驟23：進一步進行特征對齊并得到對齊序列，根據(jù)對齊序列填入相應(yīng)幀數(shù)的特征后得到訓(xùn)練數(shù)據(jù)，用特征數(shù)據(jù)訓(xùn)練語音匹配文本的轉(zhuǎn)換模型，利用前向傳播計算模型對轉(zhuǎn)換后的文本特征做參數(shù)生成；

21、步驟24：對轉(zhuǎn)換后的待處理的文本進行包含原信息的表征向量的提取，將待處理的文本中的字符映射為向量，將字符的語義信息嵌入到相對應(yīng)的向量中并輸出，最后對輸出的向量進行音字特征轉(zhuǎn)換后再生成轉(zhuǎn)換結(jié)果，將包含多讀音特征的輸出轉(zhuǎn)換為符合上下文語境的唯一字符特征輸出。

22、根據(jù)上述技術(shù)方案，所述根據(jù)提取的語音識別特征轉(zhuǎn)換后的文本匹配領(lǐng)域庫的方法流程包括：

23、步驟31：利用轉(zhuǎn)換為后輸出字符特征對應(yīng)的領(lǐng)域本體知識庫與文本前綴樹生成候選集，文本相似度大于設(shè)定閾值時加入到文本候選集，采用深度上下文信息的文本特征轉(zhuǎn)換模型，在轉(zhuǎn)換的文本表征中融合語音轉(zhuǎn)換的文本對應(yīng)的上下文文本信息，計算支持度，選取支持度top-1的候選詞進行替換，當(dāng)候選集為空時從領(lǐng)域語言知識庫中進行匹配，通過錯誤點的前后文本匹配對應(yīng)的前驅(qū)詞和后驅(qū)詞，當(dāng)匹配相似度大于設(shè)定閾值則加入候選；

24、步驟32：基于上下文預(yù)測當(dāng)前語音轉(zhuǎn)換文本的位置標(biāo)點、順滑的分類標(biāo)記，將輸入的序列記錄為時序產(chǎn)生的數(shù)據(jù)流，在數(shù)據(jù)流產(chǎn)生過程中同步的對轉(zhuǎn)換的文本信息進行編碼；

25、步驟32：利用領(lǐng)域語料訓(xùn)練模型對語音轉(zhuǎn)換的文本、句子中逐詞逐句進行匹配篩選，當(dāng)匹配概率低于設(shè)定閾值，則加入到轉(zhuǎn)換錯誤點候選集，根據(jù)輸出的錯誤點候選集利用領(lǐng)域語料訓(xùn)練模型對每個錯誤點進行檢查，當(dāng)匹配概率高于設(shè)定閾值時從候選集中刪除該匹配錯誤點。

26、根據(jù)上述技術(shù)方案，所述對轉(zhuǎn)換匹配的領(lǐng)域文本進行錯誤組合檢測的方法包括：

27、步驟41：利用基于統(tǒng)計的語言模型在匹配轉(zhuǎn)換后的文本中對領(lǐng)域詞匯進行轉(zhuǎn)換的錯誤檢測，將待檢錯的文本輸入到錯誤檢測中進行文本是否有錯、出錯類型及出錯位置的檢測，將匹配轉(zhuǎn)換錯誤組合檢測定義為文本序列標(biāo)注任務(wù)，在每個時間步長預(yù)測生成一個編輯動作，通過使用預(yù)測得到的編輯動作對匹配的源文本進行轉(zhuǎn)換，得到目標(biāo)文本，對轉(zhuǎn)換匹配的匹配文本是否存在語音轉(zhuǎn)換錯誤規(guī)則關(guān)系進行預(yù)測；

28、步驟42：進行候選文本生成時，在生成語段匹配文本按照置信度從大到小排序后，依次比較候選語段匹配文本與期望語段匹配文本長度的關(guān)聯(lián)度，當(dāng)關(guān)聯(lián)度在設(shè)定的閾值范圍內(nèi)時應(yīng)用該候選語段匹配文本，當(dāng)關(guān)聯(lián)度在設(shè)定的閾值范圍外時排除該候選語段匹配文本，進行下一候選匹配文本的比較；

29、步驟43：利用針對錯誤文本的依存解析器分析錯誤文本得到依存結(jié)果輸出，根據(jù)依存結(jié)果計算依存距離，將依存距離加入序列到序列糾錯模型的自注意力計算中，根據(jù)依存距離對注意分數(shù)進行衰減，構(gòu)建基于依存自注意力的序列到序列糾錯模型，用模型對匹配轉(zhuǎn)換后的文本進行置信度和字音相似度的檢測，輸出檢測判斷結(jié)果。

30、根據(jù)上述技術(shù)方案，所述根據(jù)錯誤組合檢測篩選出正確匹配的文本包括：將待糾錯文本中經(jīng)過錯誤判斷機制判定的疑似錯字輸入到模型中，通過模型推理預(yù)測該錯字或錯詞在語音轉(zhuǎn)換匹配錯誤前的正確字或詞，將所有的正確字詞組合起來構(gòu)成語音匹配轉(zhuǎn)換領(lǐng)域文本糾錯的候選字列表；

31、確定待糾錯文本中的字詞錯誤位置后使用錯誤規(guī)則判斷模型對字詞進行轉(zhuǎn)換錯誤規(guī)則判斷，根據(jù)該字詞在語音轉(zhuǎn)換中出現(xiàn)錯誤的預(yù)測，生成該錯誤字詞的正確字詞候選區(qū)間，利用候選詞篩選算法進行提取，根據(jù)錯誤字詞在語音轉(zhuǎn)換錯誤規(guī)則判斷模型中的判斷結(jié)果，生成候選字詞列表，利用候選字詞篩選算法進行綜合權(quán)重生成，對權(quán)重進行排序，利用權(quán)重最高的字詞替代當(dāng)前待糾錯文本中錯誤字詞，并輸出替換的正確文本。

32、與現(xiàn)有技術(shù)相比，本發(fā)明所達到的有益效果是：本發(fā)明，通過設(shè)置有語音識別特征提取模塊、語音匹配文本轉(zhuǎn)換模塊、文本錯誤組合檢測模塊，其中，語音識別特征提取模塊用于基于視頻文件中的語音交互進行語音識別特征的提取；語音匹配文本轉(zhuǎn)換模塊用于進行語音匹配文本的轉(zhuǎn)換；文本錯誤組合檢測模塊用于對轉(zhuǎn)換匹配的領(lǐng)域文本進行錯誤組合檢測，本發(fā)明，基于視頻文件中的語音交互進行語音識別特征的提??；進行語音匹配文本的轉(zhuǎn)換；根據(jù)提取的語音識別特征轉(zhuǎn)換后的文本匹配領(lǐng)域庫；對轉(zhuǎn)換匹配的領(lǐng)域文本進行錯誤組合檢測；根據(jù)錯誤組合檢測篩選出正確匹配的文本，降低了用戶在觀看時的語音和轉(zhuǎn)換的字幕不匹配，或出現(xiàn)匹配文本不理解的問題，提高了語音交互識別轉(zhuǎn)換準(zhǔn)確性的同時也提升了語義理解精確度。