基于全覆蓋粒計算模型的文本表示和特征提取研究.pdf

1、隨著大數(shù)據時代的到來產生海量的文本數(shù)據資源，文本挖掘面臨從按秒激增的文本中探求有價值信息的艱巨任務。文本表示模型和文本特征提取是文本挖掘領域的重要研究方向，能夠智能地挖掘文本中的信息是文本挖掘領域的迫切需求。粒計算是人工智能領域中一門挖掘海量信息的新理論。本文尋求基于粒計算理論的文本表示模型和特征提取算法來挖掘海量文本信息是一種有益的嘗試。
　　基于LDA(Latent Dirichlet Allocation)的文本主題模型是建

2、立在統(tǒng)計理論上的一種文本表示模型，其中關鍵詞是表征主題語義的基本特征。LDA可以將某個主題下生成概率大的關鍵詞提取出來，而這些關鍵詞對于表征該主題未必重要。鑒于此，本文提出了一種基于集合論的文本表示模型，即文本的全覆蓋粒計算模型(Full Covering Granular Computing Model of Texts，F(xiàn)CGMT)，并在此基礎上提出一種基于全覆蓋粒計算模型的重要關鍵詞提取算法，利用全覆蓋的約簡思想對LDA提取的關鍵

3、詞計算其重要度，從而選出表征該主題語義的關鍵詞。用復旦大學語料庫、搜狗新聞語料和網絡抓取的實時語料三類型語料庫做實驗，與基于TF IDF的關鍵詞提取算法和基于LDA的關鍵詞提取算法做比較，證明本文算法的有效性。
　　本文的主要研究內容有：
　　1、在全覆蓋粒計算模型的基礎上設計文本的全覆蓋粒計算模型表示方法，基于LDA主題模型的訓練獲得候選詞，然后根據覆蓋粒計算模型理論，找到語料庫、文檔、主題、候選詞與論域、論域中的點、覆蓋

4、、覆蓋元之間的一一對應關系，構建出文本的“主題-候選詞-文檔”全覆蓋粒計算模型，給基于F CG MT的重要關鍵詞提取算法提供理論依據。
　　2、提出全覆蓋粒的約簡算法的一種改進方法，優(yōu)化了全覆蓋粒計算模型中屬性約簡的過程，針對文本特征的多維性，特征的屬性重要度具有多樣性并不是單純的1和0，重新定義了屬性重要度的度量方法。并通過重要關鍵詞提取實驗證明粒的約簡的改進算法的有效性。
　　3、設計了一種基于文本的全覆蓋粒計算模型的關