基于神經(jīng)網(wǎng)絡(luò)的HTML文檔分類研究.pdf

1、隨著社會網(wǎng)絡(luò)的日益普及，互聯(lián)網(wǎng)上產(chǎn)生了大量的數(shù)據(jù)和文檔，互聯(lián)網(wǎng)上海量信息的提取、分類處理技術(shù)成為目前研究的熱點(diǎn)。本文對Internet上信息進(jìn)行綜合深入的分析，對文本提取和處理的技術(shù)，以及分類的技術(shù)進(jìn)行了集成整合。
　　 首先研究從HTML文檔提取正文的技術(shù)，以及如何使用文本處理方法來減少提取數(shù)據(jù)的大小。提取的文本還需要有效的表示方法以便可以接下來進(jìn)行更好的分類。本文采用了潛在語義索引的方法來更好地表示抽取后的文本，將文本變成基

2、于語義的長度可變向量。同時，本文提出了一個加權(quán)的系統(tǒng)，在處理文本階段使用了權(quán)重來強(qiáng)調(diào)一些HTML標(biāo)簽中的詞，為了讓這些詞跟某個類別有更強(qiáng)的關(guān)系。
　　 基于理論研究的成果實(shí)現(xiàn)一個HTML文檔分類，該系統(tǒng)可以處理第一部分的向量輸出，然后通過訓(xùn)練過程來分類新的數(shù)據(jù)。本文提出的系統(tǒng)使用神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行分類，使用兩種模式來比較分類的效果。第一個模式采取的傳統(tǒng)的反向傳播算法，第二個模式采取的是粒子群優(yōu)化算法。
　　 通過實(shí)驗(yàn)發(fā)現(xiàn)