基于SVM的中文網(wǎng)頁(yè)分類方法的研究.pdf

1、隨著互聯(lián)網(wǎng)上信息的海量增長(zhǎng),尤其是萬(wàn)維網(wǎng)的普及,網(wǎng)絡(luò)信息資源己經(jīng)涵蓋了社會(huì)生活的各個(gè)方面。通過(guò)什么樣的方法和途徑使網(wǎng)站的網(wǎng)頁(yè)信息資源得到合理有效地組織,提高信息檢索速度和準(zhǔn)確度,是個(gè)讓人們感興趣的問題,也是國(guó)內(nèi)外研究的熱點(diǎn)。網(wǎng)頁(yè)分類提供了處理和組織大規(guī)模文本信息的關(guān)鍵技術(shù),使得網(wǎng)絡(luò)信息資源得以合理有效地組織。
　　九十年代中后期,互聯(lián)網(wǎng)才開始在中國(guó)起步并發(fā)展,因此中文網(wǎng)頁(yè)分類技術(shù)相對(duì)落后,國(guó)內(nèi)很多機(jī)構(gòu)比如中科院軟件研究所等近年來(lái)都

2、致力于研究中文文本和中文網(wǎng)頁(yè)的分類技術(shù)的研究,并取得一定的成果。目前網(wǎng)頁(yè)分類算法中,支持向量機(jī)(SVM)是研究的熱點(diǎn)。
　　在中文網(wǎng)頁(yè)分類中,網(wǎng)頁(yè)數(shù)量多,從網(wǎng)頁(yè)中提取的特征詞屬性數(shù)量大,這樣的大數(shù)據(jù)集必然會(huì)加長(zhǎng)分類時(shí)間。實(shí)質(zhì)上,在樣本數(shù)量一定的條件下,只有部分特征屬性對(duì)分類起作用,因此人們采取對(duì)特征空間降維的方法,減少數(shù)據(jù)量。傳統(tǒng)上,主要采用主成分分析或者奇異值分解進(jìn)行降維處理,這兩種方法把線性相關(guān)的屬性組合起來(lái)產(chǎn)生新特征,并按信

3、息比例選取若干項(xiàng)作為新的屬性集,雖然會(huì)失去一定的信息量,但是實(shí)現(xiàn)起來(lái)很容易,應(yīng)用廣泛。
　　支持向量機(jī)處理小樣本分類時(shí),能得到較好的效果,但應(yīng)用于中文網(wǎng)頁(yè)分類時(shí),由于數(shù)據(jù)量大,其魯棒性特點(diǎn)得不到發(fā)揮。PCA約簡(jiǎn)能降低原屬性空間的維數(shù),從而減少了用于支持向量機(jī)分類學(xué)習(xí)的數(shù)據(jù)量,可以提高支持向量機(jī)的訓(xùn)練速度和測(cè)試速度。此外,支持向量機(jī)主要用來(lái)處理線性數(shù)據(jù),而實(shí)際上的樣本數(shù)據(jù)往往都是非線性的,通過(guò)引入核函數(shù),可以很方便地對(duì)樣本進(jìn)行映射,