web文本分類(lèi)中特征向量?jī)?yōu)化技術(shù)研究.pdf

1、隨著Internet的迅猛發(fā)展和日益普及,電子文本信息迅速膨脹,如何有效地組織和管理這些信息,并快速、準(zhǔn)確、全面地從中找到用戶(hù)所需要的信息是當(dāng)前信息科學(xué)技術(shù)領(lǐng)域面臨的一大挑戰(zhàn).文本分類(lèi)作為處理和組織大量文本數(shù)據(jù)的關(guān)鍵技術(shù),可以在較大程度上解決信息雜亂現(xiàn)象,方便用戶(hù)準(zhǔn)確地定位所需的信息.而且作為信息過(guò)濾、信息檢索、搜索引擎、文本數(shù)據(jù)庫(kù)、數(shù)字化圖書(shū)館等領(lǐng)域的技術(shù)基礎(chǔ),文本分類(lèi)有著廣泛的應(yīng)用前景. 要進(jìn)行web文本分類(lèi),首先要做的就是對(duì)

2、web文本數(shù)據(jù)進(jìn)行數(shù)學(xué)描述,其中最常用的模型就是向量空間模型和潛在語(yǔ)義索引模型等.在向量空間模型中,每一個(gè)不同的單詞都作為特征空間中的一維,每一個(gè)文本就是特征空間中的一個(gè)向量.潛在語(yǔ)義索引模型在最初對(duì)文本的描述上也與之類(lèi)似.但是,這種描述方法引發(fā)了一個(gè)非常嚴(yán)重的問(wèn)題,那就是高維稀疏,加之文本數(shù)據(jù)所特有的近義詞、多義詞等等問(wèn)題,使得文本分類(lèi)具有相當(dāng)高的時(shí)間復(fù)雜度,而且這些問(wèn)題也極大地干擾了分類(lèi)算法的準(zhǔn)確性,使得文本分類(lèi)的性能急劇下降.因此

3、,迫切需要通過(guò)其它技術(shù)優(yōu)化文本向量表示以幫助提高文本分類(lèi)的性能. 文本向量的優(yōu)化技術(shù)總的來(lái)說(shuō)分為兩類(lèi),首先是權(quán)重調(diào)整方法.權(quán)重調(diào)整方法是通過(guò)綜合考慮一個(gè)單詞相對(duì)于一個(gè)文本、一個(gè)數(shù)據(jù)集或者一個(gè)類(lèi)的重要性來(lái)調(diào)整其在不同文本中的權(quán)重,使其值盡可能正確地反映一個(gè)單詞與一個(gè)文本在語(yǔ)義上的關(guān)系.另一類(lèi)優(yōu)化技術(shù)是降維,它指的是通過(guò)降低特征空間的維度優(yōu)化文本的表示.主要包括特征選擇和特征抽取兩種技術(shù). 本文從向量?jī)?yōu)化技術(shù)入手,將研究點(diǎn)分為了

4、兩大塊:特征選擇及其權(quán)重計(jì)算方案,特征抽取及其權(quán)重計(jì)算方案,所做的主要工作如下: 在特征選擇的研究上,針對(duì)目前很少有關(guān)于冗余特征研究的現(xiàn)狀,分析和論證了在特征選擇過(guò)程中消除冗余特征的重要性,提出了在特征選擇過(guò)程中消除冗余特征的途徑-特征之間的關(guān)聯(lián)性分析.該方法以信息論量度為基本工具,綜合考慮了計(jì)算代價(jià)以及特征評(píng)估的客觀性等問(wèn)題,形成了一種基于關(guān)聯(lián)分析的特征選擇算法,算法在保留類(lèi)別相關(guān)特征的同時(shí)識(shí)別并摒棄了冗余特征,取得了較好的約簡(jiǎn)

5、效果;在針對(duì)特征選擇的權(quán)重計(jì)算方面,首先對(duì)傳統(tǒng)的權(quán)重計(jì)算方案進(jìn)行了分析,在指出其不足的基礎(chǔ)上提出了改進(jìn)方案:(1) 對(duì)特征的類(lèi)別區(qū)分能力予以了著重加強(qiáng),在傳統(tǒng)的權(quán)重公式中擴(kuò)展了一項(xiàng)單詞的類(lèi)區(qū)分能力:w<,id>=local(t,d)<'*> global(t)<'*>classDisc(t) (2) 對(duì) web 文檔信息特征進(jìn)行分析,并且提出了web 文檔中主特征詞、主特征域和主特征空間的概念.分析論證了在主特征空間上應(yīng)當(dāng)使用文檔頻度D

6、F(document frequency)信息而非傳統(tǒng)意義上的IDFI(inverse document frequency)信息進(jìn)行權(quán)值計(jì)算,以更加精確地描述web文本. 在特征抽取的研究上,提出了針對(duì)局部LSI的權(quán)重計(jì)算方案.本文研究了典型的潛在語(yǔ)義索引技術(shù)(LSI)在文本分類(lèi)上的兩種應(yīng)用方式:全局LSI和局部LSI.全局LSI完全無(wú)視訓(xùn)練數(shù)據(jù)中已知的類(lèi)信息,所以全局LSI不但不會(huì)提高反而還會(huì)降低文本分類(lèi)的性能.相比于全局LS

7、I,局部LSI不是在整個(gè)訓(xùn)練數(shù)據(jù)上執(zhí)行LSI,而是在每一個(gè)類(lèi)的局部區(qū)域上分別執(zhí)行奇異值分解從而為每一個(gè)類(lèi)都創(chuàng)建了一個(gè)局部語(yǔ)義空間,然后每一個(gè)新的文本都分別被映射到每一個(gè)局部語(yǔ)義空間中進(jìn)行分類(lèi).局部LSI通過(guò)利用已知的類(lèi)信息很好地抽取出了區(qū)分一個(gè)類(lèi)和其他類(lèi)的語(yǔ)義結(jié)構(gòu),所以較之全局LSI有了一定的進(jìn)步;但是通過(guò)對(duì)局部LSI的權(quán)重計(jì)算方案的分析我們發(fā)現(xiàn),其權(quán)重計(jì)算方法只是簡(jiǎn)單繼承向量空間模型,雖然潛在語(yǔ)義索引與向量空間模型在描述文本上有一定的

8、相似性,但其基本思想有本質(zhì)的不同:VSM本質(zhì)上將詞語(yǔ)看作空間的維度,將文檔根據(jù)其所包含的詞語(yǔ)看作是該空間中的一個(gè)點(diǎn):LSI中不再將詞語(yǔ)看作是單獨(dú)的維度,潛在語(yǔ)義空間中的維度被認(rèn)為是對(duì)應(yīng)著各個(gè)"潛概念",詞語(yǔ)向量被看作是它們?cè)诟鱾€(gè)"潛概念"上的投影,文檔向量是其所包含的詞語(yǔ)向量之和.為此本文提出了一種新的基于加權(quán)平滑的局部LSI方法,這個(gè)方法通過(guò)在語(yǔ)義信息表達(dá)更清晰的局部區(qū)域上執(zhí)行奇異值分解從而抽取出了更具類(lèi)區(qū)分力的局部語(yǔ)義結(jié)構(gòu).