云模型在文本挖掘應(yīng)用中的關(guān)鍵問題研究.pdf

1、文本挖掘(Text Mining,簡稱TM)是以文本信息作為挖掘?qū)ο?從中尋找信息的結(jié)構(gòu)、模型、模式等隱含的、具有潛在價(jià)值知識的過程。TM在信息檢索、模式識別、自然語言處理等等多個(gè)領(lǐng)域均有所涉及。由于文本是信息存儲的最主要途徑,因此TM的重要性也日益凸顯。
　　 在目前TM的研究中,傳統(tǒng)的數(shù)據(jù)挖掘方法依然占據(jù)著主導(dǎo)地位。然而隨著TM技術(shù)研究的進(jìn)一步深入,將傳統(tǒng)的數(shù)據(jù)挖掘方法應(yīng)用于TM面臨著越來越嚴(yán)峻的挑戰(zhàn)。例如文本對象的高維稀疏

2、性、算法復(fù)雜度過高及需要先驗(yàn)知識等等問題,已經(jīng)嚴(yán)重阻礙了TM技術(shù)的推廣應(yīng)用。
　　 TM面臨的這些難題歸根到底都是由于自然語言的不確定性造成的。自然語言中(尤其是文本語言)的不確定性,本質(zhì)上來源于人腦思維的不確定性。這種不確定性使得人們具有更為豐富的理解空間與更為深入的認(rèn)知能力,然而隨之而來也形成了TM的眾多難題。因此,若能從降低自然語言的復(fù)雜性入手,在充分利用現(xiàn)有技術(shù)的基礎(chǔ)上勇于創(chuàng)新,探索出適用于TM的不確定性人工智能處理方法

3、,將會大大促進(jìn)TM技術(shù)的快速發(fā)展。
　　 借助不確定性知識研究的重要工具——云模型在定性概念與定量數(shù)據(jù)間的轉(zhuǎn)換作用,作者將云理論引入TM關(guān)鍵問題研究當(dāng)中。用以拋磚引玉,為TM技術(shù)的進(jìn)一步發(fā)展提供一種新的思路與解決方法。本文的主要內(nèi)容如下:
　　 ①云模型在TM中的理論擴(kuò)充。
　　 對文本知識表示以及相應(yīng)模型的物理空間轉(zhuǎn)換方法、文本概念的相似性度量進(jìn)行了研究,為云模型的引入打好理論基礎(chǔ)。包含以下三個(gè)方面內(nèi)容:

4、>　　 1)基于VSM的文本信息表。將知識表示中信息表的概念引入文本表示,在VSM模型基礎(chǔ)上將文本系統(tǒng)用文本信息表來進(jìn)行知識表示。
　　 2)基于云模型的文本信息表轉(zhuǎn)換。文本間的不確定性關(guān)系可以通過云模型進(jìn)行概念表示,但前提是各屬性的取值須處于相同的論域內(nèi)。也就是說文本在不同屬性上的值都有必須具有同一物理含義。未處理的文本信息表屬性含義不統(tǒng)一并且取值也差異較大。因此,在利用云模型進(jìn)行數(shù)據(jù)挖掘前,必須將文本信息表進(jìn)行轉(zhuǎn)換。在概率

5、統(tǒng)計(jì)方法的基礎(chǔ)上,本文提出一種新的文本信息表轉(zhuǎn)換方法。通過該方法,文本信息表由不同屬性空間轉(zhuǎn)換成同一物理空間中,體現(xiàn)了屬性取值的概率分布。
　　 3)基于云相似度的文本云相似度量。目前TM中一般使用余弦相似度來衡量文檔之間的相關(guān)性,但目前無論哪一種相似度度量方法均是以基于對象屬性之間的嚴(yán)格匹配進(jìn)行計(jì)算,而對文本對象的整體性考慮不足。結(jié)合TM中文本對象的整體性質(zhì)與個(gè)體特點(diǎn)考慮,本文提出了基于云向量數(shù)字特征的云相似度。用云向量的數(shù)字

6、特征來對文本進(jìn)行整體刻畫,文本間的相似即可轉(zhuǎn)換為云向量之間的相似進(jìn)行度量。此相似度不僅能快速提高挖掘性能,找出對象間的共性特點(diǎn),而且能充分考慮到屬性值的隨機(jī)性與模糊性。
　　 ②基于云模型的文本特征自動提取算法。
　　 特征選擇是文本特征降維的一種有效方法?，F(xiàn)有選擇尺度的確定均通過實(shí)驗(yàn)驗(yàn)證得到,即基于經(jīng)驗(yàn)的方法。在綜合考慮文本特征整體與局部分布基礎(chǔ)上,提出了一種高性能的文本特征自動提取算法。算法應(yīng)用云隸屬度對特征分布進(jìn)行

7、修正,在不需任何先驗(yàn)知識的條件下通過云隸屬度大小來對特征權(quán)值進(jìn)行刻畫并完成特征的選擇,充分體現(xiàn)了特征的概率分布特點(diǎn)。通過橫向?qū)嶒?yàn)對比與結(jié)果分析,顯示出該特征集不僅特征個(gè)數(shù)較少,而且分類精度較高,在性能上領(lǐng)先于主要的一些特征選擇方法。
　　 ③基于云概念躍升的文本分類算法。
　　 云模型對定性知識表示、定性定量知識轉(zhuǎn)換具有較好的處理能力。在此基礎(chǔ)上,利用云模型中的概念抽取方法來進(jìn)行文本分類應(yīng)用。在將文本集轉(zhuǎn)換為基于vSM模

8、型的文本知識表的基礎(chǔ)上,對訓(xùn)練集中相同類別文檔的定性概念進(jìn)行躍升。根據(jù)測試文本與各類別定性概念之間云相似度的大小決定測試文本所屬類別。通過在不同特征提取方法下與不同分類器的性能對比,證明該算法不僅具有較強(qiáng)的特征適應(yīng)能力,在分類性能上也優(yōu)于主流的分類器。
　　 ④基于云相似度量的快速無監(jiān)督文本聚類。
　　 針對目前文本聚類算法存在的問題,提出了一種基于云相似度量的快速無監(jiān)督文本聚類算法。該算法以特征自動提取算法為基礎(chǔ),在k