無監(jiān)督的中文語義詞提取技術(shù)研究.pdf

1、基于詞典的中文分詞程序不能正確劃分文本中包含的新詞（詞典中沒有涵括的詞）。如果需要處理的中文文本中包含很多新詞，基于詞典的分詞效果并不理想。從文本中自動提取語義詞，從中識別新詞，用于擴充詞典，是解決新詞問題提高分詞正確性的有效方法。
　　基于統(tǒng)計的語義詞提取方法可以分為有監(jiān)督和無監(jiān)督兩大類，有監(jiān)督的方法依賴一個已經(jīng)正確分詞好的訓(xùn)練語料庫，但是準(zhǔn)備訓(xùn)練語料庫需要耗費大量時間。相反，無監(jiān)督的方法不需要訓(xùn)練語料庫，而是使用一個語義度量準(zhǔn)

2、則(goodness measure)衡量一個候選詞是一個語義詞的可能性大小。
　　本文研究無監(jiān)督的中文語義詞提取技術(shù)，提出了兩種新的語義度量準(zhǔn)則，重疊變化準(zhǔn)則(overlap variety)和重疊評估準(zhǔn)則(overlap estimation)。該準(zhǔn)則可以解釋為“如果候選詞是語義詞的可能性比它的重疊字符串高，那么候選詞很可能是一個有語義的詞”。另一種語義度量準(zhǔn)則，重疊評估，用于衡量一個候選詞包含粘合字的可能性大小。粘合字是經(jīng)常

3、挨在一個語義詞的詞首或詞尾的單字詞，但是粘合字與語義詞組成的復(fù)合詞是無語義的。另外，本文介紹了如何構(gòu)建文本集的PAT-tree數(shù)據(jù)結(jié)構(gòu)輔助語義詞提取，減少語義詞提取算法的時間復(fù)雜度。
　　當(dāng)文檔集很大的時候，對文本集構(gòu)建PAT-tree需要耗費很長的時間。本章提出一種基于多PAT-tree的語義詞提取方法，該方法采用分而治之的思想，將文本集分割成n份，獨立地建立n棵PAT-tree，并行地提取語義詞，極大地減少了構(gòu)建PAT-tre