中文網(wǎng)頁自動分類技術研究.pdf

1、隨著科學技術的飛速發(fā)展，人們進入了數(shù)字信息化時代，同時，電子信息急劇膨脹。在這個時代，信息就是財富，信息決定成敗。只有及時獲取準確、有效的信息，才能跟上時代的步伐。因此，對于浩如煙海的信息，幫助人們從中獲取準確、有效的信息成為信息處理領域的一個重要研究課題。網(wǎng)頁是電子信息的載體，其自動分類由此成為這個領域的一個重要研究方向。相對于人工分類，它能夠大大節(jié)省時間、物力和財力，還能提高自動分類的準確率和召回率。簡言之，研究實現(xiàn)中文網(wǎng)頁自動分類

2、不僅對于幫助人們快速、準確獲取所需信息具有積極的意義，而且對于推動和發(fā)展中文信息檢索技術也有重要意義。 本文首先介紹了論文的課題背景、意義和國內外的研究現(xiàn)狀，概述了文本自動分類相關理論、主要技術和重要算法，在此基礎上，簡述中文網(wǎng)頁自動分類，再重點分析中文網(wǎng)頁自動分類的關鍵技術，包括網(wǎng)頁格式的轉換、中文分詞技術、特征項選擇方法、遺傳算法降維和自動分類方法等。對于網(wǎng)頁格式的轉換，本文通過分析網(wǎng)頁的結構信息，針對其特點利用開源軟件提取

3、對分類有一定貢獻的文本信息：對于中文分詞技術，采用分詞性能良好的海量中文智能分詞功能基礎件研究版進行分詞；分詞結束后，先組合文本頻數(shù)和x2統(tǒng)計法進行初步的特征項選擇，再根據(jù)分詞結果結合網(wǎng)頁結構信息特點改進TF-IDF權重公式，使用改進后的公式對特征項權重調整之后進行特征項的二次選擇，然后，用文本表示模型表示網(wǎng)頁。這樣，網(wǎng)頁就轉化成了文本，網(wǎng)頁自動分類也就轉化為了文本自動分類；在綜合比較了當前幾個典型的網(wǎng)頁自動分類算法之后，本文選取了分類