基于統(tǒng)計的漢語分詞在機械產品設計中的應用.pdf

1、漢語分詞是自然語言理解中的一個主要組成部分，同時也是文本挖掘，機器翻譯，信息檢索的基礎。由于漢語分詞問題本身的復雜性，故而尋求準確有效的漢語分詞方法成為自然語言理解的主要研究內容之一。本文設計了基于統(tǒng)計和語義分析相結合的分詞模型，將其應用在產品的設計過程中。通過該模型將用戶以自然語言形式描述的需求進行切分，將切分結果經過自然語言理解系統(tǒng)的其余模塊的處理轉化成為計算機能夠識別的概念設計要求。
　　 本文分析了現(xiàn)有漢語分詞的方法及其

2、主要存在的問題，研究了基于語料庫的分詞方法及其關鍵技術，結合現(xiàn)有的分詞方法，提出將機械分詞、語料庫統(tǒng)計分詞和語義分析相結合的分詞模型，并將此分詞模型嵌入到某領域漢語理解系統(tǒng)之中。機械分詞階段，利用改進的最大匹配法，以求盡量得出所有的切分形式并用有向圖的形式表現(xiàn)出來，并且找出分詞中的歧義字段，對其進行消除歧義。語料庫統(tǒng)計階段，先將歧義字段中的各種常見搭配組合利用語料庫統(tǒng)計方法統(tǒng)計，統(tǒng)計其共現(xiàn)度和搭配情況，并把搭配情況反饋到統(tǒng)計詞典中，實現(xiàn)