基于互聯(lián)網(wǎng)海量語料的新詞發(fā)現(xiàn)研究及中文分詞系統(tǒng)改進.pdf_第1頁
已閱讀1頁，還剩67頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明：本文檔由用戶提供并上傳，收益歸屬內(nèi)容提供方，若內(nèi)容存在侵權(quán)，請進行舉報或認領

文檔簡介

1、中文自動分詞是中文自然語言處理的基礎。隨著Web2.0的發(fā)展，網(wǎng)絡新詞的自動識別已經(jīng)成為中文分詞的一個主要難點和瓶頸。對此提出了一種非監(jiān)督的新詞識別方法，該方法利用互信息(PMI，Point-wise Mutual Information)的改進算法—PMIk算法與少量的基本規(guī)則相結(jié)合從大規(guī)模語料中自動識別2-n元網(wǎng)絡新詞（n代表發(fā)現(xiàn)的新詞最大長度，可以根據(jù)需要指定）。
　　新詞基于257MB的百度貼吧語料實驗，當PMIk方法的參

2、數(shù)等于5時，結(jié)果精度達到84.8％，相對PMI方法精度提高了16.2％，實驗結(jié)果表明該新詞發(fā)現(xiàn)方法能夠有效的從大規(guī)模網(wǎng)絡語料中發(fā)現(xiàn)新詞?；诖笠?guī)模語料庫對這些新詞進行詞性推測，得到的結(jié)果編纂成用戶詞典，加載到漢語詞法分析系統(tǒng)ICTCLAS(Institute of Computing Technology，Chinese Lexical Analysis System)中，基于10KB的百度貼吧語料實驗，相對加載用戶詞典前的分詞結(jié)果準確

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網(wǎng)頁內(nèi)容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲空間，僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯，并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評論

0/150

提交評論