基于詞嵌入文本聚類技術的研究與實現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展和電子媒體的繁榮，新聞文本數(shù)據(jù)的規(guī)模日益增長，而對新聞文本的組織、摘要和瀏覽會花費大量的時間。為了保證新聞的時效性，同時讓讀者方便地獲取特定種類的新聞，并使新聞的閱讀量最大化，需要對大規(guī)模的新聞文檔集進行快速的分組。
　　文本聚類技術做為一種非監(jiān)督的機器學習方法，能夠在沒有人工標注的情況下，對未分類的文本進行快速的初步分組，因此具有一定的靈活性和較高的自動化處理能力，故而使用文本聚類技術可以對大規(guī)模的新聞文本集進行

2、有效地組織、摘要和導航。
　　然而，傳統(tǒng)的基于詞袋模型（Bag of Words）的文本聚類方法可以根據(jù)詞頻統(tǒng)計信息等特征對文本中詞性進行加權，區(qū)別特征貢獻度，但無法捕捉文本中詞匯的語義關系；基于主題模型的文本聚類方法可以捕捉到新聞中詞語與文章的共現(xiàn)，提取新聞的隱含主題，卻不能捕捉詞與詞之間的共現(xiàn)關系；近年由Mikolov等人提出的Skip-Gram方法通過統(tǒng)計詞與上下文的共現(xiàn)，訓練得到的詞向量能夠攜帶詞匯間的語義關聯(lián)，在很多機器

3、學習任務中表現(xiàn)優(yōu)秀，但卻無法處理漢語中約20％的多義詞、同義詞和近義詞對文本語義的影響；而且，流行的文本聚類方法大都在詞語、短語這樣短文本上進行聚類是表現(xiàn)較好，卻無法有效在新聞這樣的長文本上進行聚類。
　　本文提出一個新的新聞文本聚類方法TDE-DC(Topic Document Embedding based Document Clustering)，通過結(jié)合Skip-Gram模型、主題模型和TF-IDF加權方法的優(yōu)點，克服各模

4、型單獨使用時的缺陷來獲得更好的新聞長文本聚類效果。TDE-DC文本聚類方法主要完成了如下工作：1）使用詞匯和詞匯所在文本的隱含主題一起作為輸入，通過Skip-Gram模型對上下文（Context）中的詞匯進行預測，從而得到同時攜帶詞匯間隱含語義關系和隱含主題的主題詞向量（Topic Word Embedding），即獲得了高質(zhì)量的詞向量表示，也有效地克服了漢語中高頻出現(xiàn)的多義詞、同義詞及近義詞對文本含義的特殊影響；2)以TF-IDF值為