技術(shù)特征：

1.一種基于c-adapter適配器的多模型語音識別方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述的一種基于c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：通過聲學(xué)編碼器對所述原始語音信號進(jìn)行特征提取，獲取語音特征信息；包括：

3.根據(jù)權(quán)利要求2所述的一種基于c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：通過聲學(xué)編碼器對所述原始語音信號進(jìn)行特征提取，獲取語音特征信息；包括：

4.根據(jù)權(quán)利要求1所述的一種基于c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：c-adapter適配器根據(jù)所述語音特征信息進(jìn)行下采樣和一維卷積處理，獲取低維特征信息，并通過多頭注意力層對所述低維特征信息進(jìn)行注意力機(jī)制調(diào)整，獲取加權(quán)特征信息，進(jìn)行歸一化處理和特征增強(qiáng)，生成模態(tài)適應(yīng)特征信息映射到語音識別空間中；包括：

5.根據(jù)權(quán)利要求4所述的一種c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：c-adapter適配器根據(jù)所述語音特征信息進(jìn)行下采樣和一維卷積處理，獲取低維特征信息，并通過多頭注意力層對所述低維特征信息進(jìn)行注意力機(jī)制調(diào)整，獲取加權(quán)特征信息，進(jìn)行歸一化處理和特征增強(qiáng)，生成模態(tài)適應(yīng)特征信息映射到語音識別空間中；包括：

6.根據(jù)權(quán)利要求5所述的一種c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：基于一維卷積神經(jīng)網(wǎng)絡(luò)，對所述語音特征采樣信號進(jìn)行特征壓縮，獲取低維特征信息；包括：

7.根據(jù)權(quán)利要求1所述的一種c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：設(shè)置語音識別任務(wù)字符，通過文本向量模型將所述語音識別任務(wù)字符映射到語音識別空間，構(gòu)建文本任務(wù)表征信息；包括：

8.根據(jù)權(quán)利要求1所述的一種c-adapter適配器的多模型語音識別方法，其特征在于，所述步驟：通過大語言模型對所述語音待識別信息進(jìn)行識別，獲取語音識別結(jié)果；包括：

技術(shù)總結(jié)
本發(fā)明提供了一種基于C?Adapter適配器的多模型語音識別方法，屬于語音識別技術(shù)領(lǐng)域，包括：通過聲學(xué)編碼器對原始語音信號進(jìn)行特征提取，獲取語音特征信息；C?Adapter適配器根據(jù)語音特征信息進(jìn)行處理，生成模態(tài)適應(yīng)特征信息映射到語音識別空間中；通過文本向量模型將語音識別任務(wù)字符映射到語音識別空間，構(gòu)建文本任務(wù)表征信息；將語音識別空間中的模態(tài)適應(yīng)特征信息和文本任務(wù)表征信息拼接，構(gòu)建語音待識別信息；通過大語言模型對語音待識別信息進(jìn)行識別，獲取語音識別結(jié)果。上述方法實現(xiàn)了語音識別模型與大語言模型的結(jié)合，并且有效地提高了語音識別的準(zhǔn)確率，提升了語音識別的速度，在改進(jìn)語音識別效率的同時，滿足了語音實時轉(zhuǎn)換文字的要求。

技術(shù)研發(fā)人員：付凱奇,楊帆,周舒然
受保護(hù)的技術(shù)使用者：北京百舸飛馳科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/12/10