基于綜合特征空間的Blog網(wǎng)頁識別方法研究.pdf

1、Blog的影響日益擴大，其信息量迅速增長，并已通過頻繁的鏈接和交互在互聯(lián)網(wǎng)上構(gòu)建起了一個動態(tài)且緊密的虛擬網(wǎng)絡(luò)，該虛擬網(wǎng)絡(luò)已與現(xiàn)實社會相互影響、密不可分，成為現(xiàn)實社會一個重要的信息來源。然而，面對Web領(lǐng)域中海量的電子信息，人工進行檢索、分析、識別是不可想象的，因此要想對Blog開展研究工作，首先必須通過自動識別將Blog信息從浩如煙海的網(wǎng)絡(luò)信息中區(qū)分出來，這一步是整個Blog研究領(lǐng)域的必由之路。 近幾年來，盡管針對Blog網(wǎng)頁識

2、別領(lǐng)域開展的研究工作逐漸增多，然而由于Blog領(lǐng)域自身的特殊性和復(fù)雜性，直接利用文本分類的相關(guān)技術(shù)或在其基礎(chǔ)上簡單修改移植后的應(yīng)用效果并不令人滿意。當(dāng)今社會迫切需要高效便捷的Blog網(wǎng)頁識別技術(shù)，在這一背景下，本文開展了對Blog網(wǎng)頁識別方法的研究工作。 本文研究了與Blog網(wǎng)頁識別相關(guān)的各種方法和技術(shù)，并在此基礎(chǔ)上提出了基于綜合特征空間的Blog網(wǎng)頁識別方法。本文所做的工作主要有以下幾個方面： (1)研究了網(wǎng)頁特征信息

3、抽取的方法，分析了網(wǎng)頁獲取、清洗、解析和信息抽取的整個過程，提出了Blog綜合特征空間的概念，并且詳細論述了該空間中三大類共五種Blog特征的概念、定義和抽取方法。 (2)研究了網(wǎng)頁的形式化表示方法，分析了特征項的提取、選擇和權(quán)重計算的整個過程，在此基礎(chǔ)上設(shè)計了基于標(biāo)簽信息的TF-IDF算法以及標(biāo)簽權(quán)重調(diào)整方案。隨后，提出了網(wǎng)頁文本內(nèi)容特征的形式化表示方法和頁面布局特征的形式化表示方法，并詳細的闡述了兩種形式化特征的概念、定義和