Web頁面鏈接文本信息抽取與分類的研究.pdf

1、 本文分析和利用超鏈接信息，即利用對鏈接文本和標題、所指向網(wǎng)頁內(nèi)容分析來對該鏈接文本(亦即對鏈接所指向的網(wǎng)頁)進行分類并進行錯標、漏標識別。本文首要提出網(wǎng)頁中的鏈接文本與相關(guān)鏈接。并過濾掉無用的導航、廣告等無用鏈接。為此，本論文分別針對鏈接文本和相關(guān)鏈接提出不同的準確高效算法策略。對鏈接文本、相關(guān)鏈接分類涉及到關(guān)鍵詞表的建立、未登陸詞識別、與標題的相關(guān)度計算、特征句的提取還有分類體系的建立和鏈接漏標、錯標識別。針對中文網(wǎng)頁的特點和

2、網(wǎng)頁分析過程中的對特征詞分類的要求，提出了針對Web文檔的改進的TF-IDF算法，可以更有效的提取關(guān)鍵詞表。對于未登錄詞的識別，本文提出可以從詞的結(jié)構(gòu)特點和特征詞之間的二元關(guān)系兩個方面來輔助識別未登錄詞，并取得了較好的實驗效果。鏈接與標題之間的相關(guān)度我們用向量空間模型表示。另外，本文通過實驗結(jié)果表明所找到的特征句和從句子中提取出的信息能夠大大的補充僅僅分析網(wǎng)頁標題和鏈接標題的不足。在特征詞表建立和特征信息表示中，本文引入等價、從屬和同屬