技術(shù)特征:
技術(shù)總結(jié)
本發(fā)明提出了一種利用基于詞上下文的字嵌入與神經(jīng)網(wǎng)絡(luò)的中文分詞方法,在大規(guī)模的自動(dòng)切分?jǐn)?shù)據(jù)上學(xué)習(xí)字嵌入,將學(xué)習(xí)得到的字嵌入作為神經(jīng)網(wǎng)絡(luò)分詞模型的輸入,可以有效幫助模型學(xué)習(xí)。具體步驟如下:根據(jù)字上下文以及詞位標(biāo)記在大規(guī)模自動(dòng)切分?jǐn)?shù)據(jù)上學(xué)習(xí)字嵌入,將字嵌入作為神經(jīng)網(wǎng)絡(luò)分詞模型的輸入,有效地提高了分詞的性能。對(duì)比其它基于神經(jīng)網(wǎng)絡(luò)的中文分詞技術(shù),該方法采用了基于詞上下文的字嵌入,有效地將詞信息融合進(jìn)了分詞模型,成功的提高了分詞任務(wù)的準(zhǔn)確性。
技術(shù)研發(fā)人員:戴新宇;郁振庭;陳家駿;黃書劍;張建兵
受保護(hù)的技術(shù)使用者:南京大學(xué)
技術(shù)研發(fā)日:2017.05.23
技術(shù)公布日:2017.09.15