基于機械切分和標注的中文分詞研究.pdf

1、計算技術(shù)和互聯(lián)網(wǎng)的發(fā)展使信息量呈指數(shù)級增長，人工的查找和分析已經(jīng)不能滿足應(yīng)用的要求。信息處理特別是自然語言處理變得日益重要。要進行自然語言處理，就必須讓計算機“理解”人類的語言?！袄斫狻钡牡谝徊骄褪沁M行詞法分析，即分詞技術(shù)。將中文字符串切分成有意義的詞序列的過程即中文分詞過程。中文分詞是中文信息處理的基礎(chǔ)。 中文分詞的方法大致可以分為三類：機械分詞、統(tǒng)計分詞和語義分詞。機械分詞是一種重要的粗分方法，在很多領(lǐng)域得到應(yīng)用。作為統(tǒng)計分

2、詞方法的一種，近年提出的標注方法在國際中文分詞評測中表現(xiàn)突出。 在此背景下，本文對機械切分和標注方法進行深入研究，并結(jié)合搜索引擎這個具體應(yīng)用，給出了一個同時采用機械分詞和標注分詞的模型RMT（Reverse Matching and Matching and Tagging）。RMT在索引階段同時采用多種機械分詞方法，保留不同的分詞結(jié)果，分別建立索引；在搜索階段，由于用戶輸入的關(guān)鍵字較短，同時采用機械分詞和標注分詞，這樣既保證了

3、能夠快速返回搜索結(jié)果，也可以有效的發(fā)現(xiàn)新詞并擴充詞庫。RMT的機械分詞使用了一種先進的詞典結(jié)構(gòu)，可以提高建立索引和進行搜索引擎的速度。開發(fā)了一個基于Lucene的搜索引擎系統(tǒng)，按照模型RMT對該搜索引擎的分詞模塊進行了改進，測試結(jié)果表明，RMT模型適合用于搜索引擎。 標注分詞中需要使用語料庫進行機器學習，本文通過對機器學習模型的研究，在CRF++的基礎(chǔ)上對機器學習模型進行優(yōu)化。優(yōu)化后的模型可以為字強制指定標注，將訓(xùn)練好的二進制模