基于全覆蓋粒計算模型的文本表示和特征提取研究.pdf

1、隨著大數(shù)據(jù)時代的到來產(chǎn)生海量的文本數(shù)據(jù)資源，文本挖掘面臨從按秒激增的文本中探求有價值信息的艱巨任務(wù)。文本表示模型和文本特征提取是文本挖掘領(lǐng)域的重要研究方向，能夠智能地挖掘文本中的信息是文本挖掘領(lǐng)域的迫切需求。粒計算是人工智能領(lǐng)域中一門挖掘海量信息的新理論。本文尋求基于粒計算理論的文本表示模型和特征提取算法來挖掘海量文本信息是一種有益的嘗試。
　　基于LDA(Latent Dirichlet Allocation)的文本主題模型是建

2、立在統(tǒng)計理論上的一種文本表示模型，其中關(guān)鍵詞是表征主題語義的基本特征。LDA可以將某個主題下生成概率大的關(guān)鍵詞提取出來，而這些關(guān)鍵詞對于表征該主題未必重要。鑒于此，本文提出了一種基于集合論的文本表示模型，即文本的全覆蓋粒計算模型(Full Covering Granular Computing Model of Texts，F(xiàn)CGMT)，并在此基礎(chǔ)上提出一種基于全覆蓋粒計算模型的重要關(guān)鍵詞提取算法，利用全覆蓋的約簡思想對LDA提取的關(guān)鍵

3、詞計算其重要度，從而選出表征該主題語義的關(guān)鍵詞。用復(fù)旦大學(xué)語料庫、搜狗新聞?wù)Z料和網(wǎng)絡(luò)抓取的實時語料三類型語料庫做實驗，與基于TF IDF的關(guān)鍵詞提取算法和基于LDA的關(guān)鍵詞提取算法做比較，證明本文算法的有效性。
　　本文的主要研究內(nèi)容有：
　　1、在全覆蓋粒計算模型的基礎(chǔ)上設(shè)計文本的全覆蓋粒計算模型表示方法，基于LDA主題模型的訓(xùn)練獲得候選詞，然后根據(jù)覆蓋粒計算模型理論，找到語料庫、文檔、主題、候選詞與論域、論域中的點、覆蓋

4、、覆蓋元之間的一一對應(yīng)關(guān)系，構(gòu)建出文本的“主題-候選詞-文檔”全覆蓋粒計算模型，給基于F CG MT的重要關(guān)鍵詞提取算法提供理論依據(jù)。
　　2、提出全覆蓋粒的約簡算法的一種改進方法，優(yōu)化了全覆蓋粒計算模型中屬性約簡的過程，針對文本特征的多維性，特征的屬性重要度具有多樣性并不是單純的1和0，重新定義了屬性重要度的度量方法。并通過重要關(guān)鍵詞提取實驗證明粒的約簡的改進算法的有效性。
　　3、設(shè)計了一種基于文本的全覆蓋粒計算模型的關(guān)