面向個(gè)性化服務(wù)的網(wǎng)頁特征描述研究及應(yīng)用.pdf

1、作為一個(gè)廣泛分布的全球信息服務(wù)中心，萬維網(wǎng)集中了海量的信息，其中大多數(shù)是以網(wǎng)頁文本的形式存放的。這些文本信息種類繁雜，缺乏組織，現(xiàn)有的以搜索引擎為代表的網(wǎng)絡(luò)信息系統(tǒng)難以為每個(gè)用戶都提供滿意的服務(wù)。個(gè)性化服務(wù)的概念應(yīng)運(yùn)而生。所謂個(gè)性化服務(wù)指的是通過收集和分析用戶信息來學(xué)習(xí)用戶的興趣和行為，從而實(shí)現(xiàn)主動(dòng)推薦的目的。
　　為了準(zhǔn)確地表示用戶興趣，應(yīng)該對(duì)用戶訪問過并且感興趣的網(wǎng)頁特征進(jìn)行準(zhǔn)確地描述。即希望能用簡(jiǎn)潔而有代表性的特征描述網(wǎng)頁內(nèi)

2、容。因此，對(duì)于網(wǎng)頁信息描述的準(zhǔn)確與否將直接影響用戶興趣描述的準(zhǔn)確與否，這是個(gè)性化服務(wù)的核心問題。然而，對(duì)于網(wǎng)頁信息的描述方法卻很少有人系統(tǒng)地研究，本文針對(duì)網(wǎng)頁特征的描述方法作了研究，完成了以下三個(gè)方面的研究工作：
　?、倬W(wǎng)頁正文的提取。目前網(wǎng)頁的形式多種多樣，包含了大量與網(wǎng)頁主題無關(guān)的內(nèi)容，如廣告、圖片、無關(guān)鏈接等，這些與網(wǎng)頁主題無關(guān)的內(nèi)容會(huì)嚴(yán)重影響搜索引擎等Web服務(wù)的效果。本文通過對(duì)網(wǎng)頁HTML的語法分析，基于啟發(fā)式規(guī)則提出了

3、兩種網(wǎng)頁正文提取方法：HTML元素選擇刪除法和超鏈接判斷正文過濾法，測(cè)試表明這兩種方法都能有效地得到大部分HTML網(wǎng)頁的正文部分。
　　②網(wǎng)頁關(guān)鍵詞提取。傳統(tǒng)的機(jī)械分詞的分詞詞典數(shù)據(jù)量龐大，分詞系統(tǒng)的負(fù)荷很大，針對(duì)網(wǎng)絡(luò)用戶的興趣不同，本文提出個(gè)性化詞典這一新概念，通過對(duì)不同用戶瀏覽過的網(wǎng)頁集進(jìn)行分詞處理，分別為每個(gè)用戶建立不同的個(gè)性化詞典。該詞典存放于客戶端，從而將網(wǎng)頁關(guān)鍵詞提取的工作由服務(wù)器端轉(zhuǎn)移到客戶端，節(jié)省了系統(tǒng)開支，并且通

4、過實(shí)驗(yàn)表明基于個(gè)性化詞典的網(wǎng)頁關(guān)鍵詞提取在保持分詞精度的同時(shí)可以增強(qiáng)系統(tǒng)的實(shí)時(shí)性，降低了網(wǎng)頁描述的維度。
　　③網(wǎng)頁特征詞的權(quán)重改進(jìn)計(jì)算。TF-IDF公式是常用的詞語權(quán)重計(jì)算公式，但是TF-IDF公式是一種經(jīng)驗(yàn)公式，它并不適用于任何情況下。本文以矢量空間模型為Web文本的表示方法，提出了一種改進(jìn)的TF-IDF網(wǎng)頁特征詞加權(quán)方法。該方法在網(wǎng)頁標(biāo)簽分析的基礎(chǔ)上，在網(wǎng)頁描述時(shí)結(jié)合了中文詞長(zhǎng)特征，改進(jìn)的權(quán)值公式與TF-IDF公式進(jìn)行實(shí)驗(yàn)比