基于最長閉頻繁序列模式的文本分類方法.pdf

1、大數(shù)據(jù)時代，文本信息量呈爆炸式增長，想要從中篩選有用類別信息極具挑戰(zhàn)。“基于詞語”和“基于模式”是文本分類領域兩種有效的處理途徑?！盎谠~語”方法以其易操作性，深受廣大研究者青睞，但其性能受到同義詞、一詞多義及噪聲問題制約。相比之下，“基于模式”方法憑借自身更多的有用信息，可以有效避免“基于詞語”方法面臨的問題，挖掘出的特征更具有鑒別力，對分類而言更為高效。論文主要研究基于最長閉頻繁序列模式的文本分類方法，解決基于最長閉頻繁序列模式的文

2、本處理過程中數(shù)據(jù)預處理、最長閉頻繁序列模式挖掘、特征選擇與文本分類問題。主要工作包括:
　　(1)基于詞頻統(tǒng)計規(guī)律的文本數(shù)據(jù)預處理方法
　　文本挖掘性能被特征的“高維—稀疏”所困擾，在文本挖掘前進行有效數(shù)據(jù)預處理顯得至關重要。提出基于詞頻統(tǒng)計規(guī)律的文本數(shù)據(jù)預處理方法:首先，基于齊普夫定律和最大值法推導出同頻詞數(shù)表達式;然后，基于同頻詞數(shù)表達式探究各頻次詞語在文中的分布規(guī)律，發(fā)現(xiàn)詞頻為1和2的詞語與文檔關聯(lián)度較低，但比重高達2

3、/3;最后，基于詞頻統(tǒng)計規(guī)律進行數(shù)據(jù)預處理，在預處理階段去除低頻詞，減小特征維度。在公共數(shù)據(jù)集Reuters-21578和20-Newsgroups上進行驗證，結果表明:各頻次詞語分布規(guī)律是正確的;基于詞頻統(tǒng)計規(guī)律進行文本數(shù)據(jù)預處理，在保證分類性能的前提下，運行時間明顯降低，文本挖掘效率得到顯著提高。
　　(2)文本最長閉頻繁序列模式挖掘方法
　　“基于模式”方法可以很好地解決“基于詞語”所面臨的諸多問題，對分類更加有效，執(zhí)

4、行效率優(yōu)于“基于詞語”方法。但實際應用中，挖掘出的大量頻繁模式會降低其有效性。因此，從規(guī)模龐大的模式集合中選擇最具區(qū)別力和代表性的模式尤為重要。提出文本最長閉頻繁序列模式挖掘模型:首先，提出剪枝模型，用于去除噪聲模式;其次，提出頻繁序列模式擴展和頻繁序列模式后綴集合提取模型，結合剪枝模型挖掘最長閉頻繁序列模式;再次，提出基于包含度原理的冗余文本頻繁模式篩選算法，通過冗余模式去噪，提升文本頻繁模式挖掘性能;最后，挖掘出非冗余最具類別區(qū)分力

5、的最長閉頻繁序列模式。在公共數(shù)據(jù)集上的實驗證實，提出的最長閉頻繁序列模式挖掘模型是有效的。
　　(3)基于最長閉頻繁序列模式的文本特征選擇方法
　　對于高維數(shù)據(jù)處理，文本分類的關鍵任務是進行特征選擇。由于文檔中存在規(guī)模龐大的詞語和模式，想要保證所挖掘特征質量是一項巨大挑戰(zhàn)。模式挖掘面臨長模式與新文檔低匹配度問題，如何高效選擇并利用文本中的有用模式仍是難題。提出基于最長閉頻繁序列模式的特征選擇方法:首先，提出最長閉頻繁序列模式

6、特征詞語加權模型，將模式轉換到詞語空間，克服長模式與新文檔低匹配度問題，并將詞語在模式中的支持度作為其初始權重進行特征選擇;然后，提出基于特異度的特征詞語分類及權重更新模型，基于詞語相對文檔的特異度將詞語劃分為正特異詞語和一般詞語，并對兩類詞語進行權重更新。最后，得到基于最長閉頻繁序列模式的特征集及對應權重。通過在公共數(shù)據(jù)集上的驗證得知，該方法優(yōu)于當前普遍應用的文本特征選擇方法。
　　(4)基于最長閉頻繁序列模式的文本分類方法

7、r>　　基于相似性進行文本分類是當前流行的文本處理方法，提出基于最長閉頻繁序列模式的文本分類方法:首先，提出基于特征詞語“缺失—存在”的文本相似性度量方法，旨在利用特征與文檔間的隸屬關系度量文檔相似性，實現(xiàn)文本分類。該方法根據(jù)特征詞語與文檔間隸屬關系，對特征進行全隸屬、偏隸屬和無隸屬詞集劃分，并以此定義隸屬度函數(shù)。全隸屬詞集隸屬于兩篇文檔，隸屬度隨權差增大而降低;偏隸屬詞集僅隸屬于其中某一篇文檔，隸屬度為一個定值;無隸屬詞集與兩篇文檔無

8、隸屬關系，隸屬度為零。同類文檔間，全隸屬特征詞語較多，偏隸屬特征詞語較少，且相似度越高的文檔間全隸屬詞語權重越接近;異類文檔間偏隸屬特征詞語較多，全隸屬特征詞語較少，且全隸屬特征詞語權重差異較大。其次，將文檔間相似性度量方法，擴展為度量文檔與文檔集合間相似性;再次，將基于最長閉頻繁序列模式的文本特征選擇方法所選特征，用于該相似性度量方法;最后，將文檔歸入相似度最高的類別，實現(xiàn)文本分類。采用公共數(shù)據(jù)集驗證分類性能，結果表明該分類方法優(yōu)于傳

9、統(tǒng)方法和新方法。
　　論文的創(chuàng)新點在于:基于詞頻統(tǒng)計規(guī)律進行數(shù)據(jù)預處理，可有效降低特征維度;基于包含度原理挖掘非冗余最長閉頻繁序列模式，可通過冗余模式去噪提升文本頻繁模式挖掘性能;基于最長閉頻繁序列模式的特征選擇方法所提取的特征充分考慮特征詞語所在模式在文中的分布規(guī)律和特異性，與文檔間關系界定更加清晰;基于特征詞語“缺失—存在”的文本相似性度量方法，利用特征詞語與兩個文檔間三種關系定義不同貢獻度，特征類別劃分更加合理，可明顯提升分