面向中文陌生文本的人機(jī)交互式分詞研究.pdf

1、自動(dòng)分詞是中文信息處理的基礎(chǔ)課題之一?，F(xiàn)有的分詞軟件和技術(shù)主要是針對(duì)現(xiàn)代漢語新聞科技等較為規(guī)范的文本，對(duì)于其他領(lǐng)域漢語文本處理能力較差。如何減少系統(tǒng)對(duì)先驗(yàn)知識(shí)的依賴，面向不同領(lǐng)域文本、不同分詞標(biāo)準(zhǔn)進(jìn)行分詞，無論是從實(shí)際的需要還是從理論和技術(shù)上看，都是亟需解決的問題。 本文提出了面向中文陌生文本的人機(jī)交互式分詞方法，在沒有分詞底表和訓(xùn)練語料等語言知識(shí)的條件下，由系統(tǒng)自動(dòng)地發(fā)現(xiàn)未登錄詞，提交給用戶進(jìn)行增刪，不斷重復(fù)此過程，反復(fù)獲取文

2、本中的詞語，以得到領(lǐng)域詞表，最后進(jìn)行最大匹配法分詞。 在自動(dòng)獲取未登錄詞方面，本文提出了改進(jìn)的后綴數(shù)組抽取方法，能夠快速高效地提取候選字串，通過互信息篩選，使得抽詞精確率達(dá)到70％以上。在獲取方法上，本文也嘗試一改傳統(tǒng)的單次獲取全部未登錄詞的做法，通過閾值的控制，逐批獲取未登錄詞。在相同的閾值條件下，獲取詞條的數(shù)量增加了9％，精確率提高了7％左右。 四個(gè)不同語料的實(shí)驗(yàn)顯示，在沒有人機(jī)交互的條件下，可以得到72％(F值)左