基于Nutch的網(wǎng)頁(yè)自動(dòng)分類與推薦的研究.pdf

1、網(wǎng)頁(yè)分類技術(shù)和推薦系統(tǒng)是目前解決信息負(fù)載的兩種有效手段。網(wǎng)頁(yè)分類技術(shù)目前主要是應(yīng)用于門戶網(wǎng)站，例如新浪、搜狐、58同城等等，推薦系統(tǒng)目前主要的應(yīng)用場(chǎng)所是電商網(wǎng)站。二者對(duì)于信息的快速定位都具有各自的優(yōu)勢(shì)，網(wǎng)頁(yè)分類技術(shù)可以給用戶一個(gè)對(duì)于信息更直觀的導(dǎo)航；對(duì)于推薦系統(tǒng)這種手段而言，它要迅速的創(chuàng)建針對(duì)每一個(gè)用戶的興趣模型，自動(dòng)為用戶推薦出大概會(huì)想瀏覽的網(wǎng)頁(yè)?；诙呱鲜龅膬?yōu)點(diǎn)，網(wǎng)頁(yè)分類和推薦系統(tǒng)在當(dāng)下互聯(lián)網(wǎng)快速發(fā)展的階段都占據(jù)了重要的位置。

2、r>　　本文提出了一種基于主題的網(wǎng)頁(yè)自動(dòng)分類的模型，并且將分類系統(tǒng)與推薦系統(tǒng)結(jié)合，開(kāi)發(fā)出了一套便于用戶快速發(fā)現(xiàn)自己喜好信息的系統(tǒng)。首先通過(guò)研究Nutch，抽取出了其中爬蟲(chóng)部分，設(shè)計(jì)出了針對(duì)專門領(lǐng)域的主題爬蟲(chóng)，同時(shí)加入了主題去噪，這一模型大大過(guò)濾了無(wú)關(guān)網(wǎng)頁(yè)，采集的網(wǎng)頁(yè)的有效性大大加強(qiáng)；針對(duì)網(wǎng)頁(yè)的特殊結(jié)構(gòu)，對(duì)網(wǎng)頁(yè)錨文本、標(biāo)題、正文分別賦予不同權(quán)重，改進(jìn)了KNN算法并且設(shè)計(jì)了相應(yīng)的KNN分類器；系統(tǒng)通過(guò)機(jī)器學(xué)習(xí)，自動(dòng)為網(wǎng)頁(yè)賦標(biāo)簽，網(wǎng)頁(yè)與網(wǎng)頁(yè)之

3、間通過(guò)標(biāo)簽確定二者相似度，然后通過(guò)建立用戶興趣模型，進(jìn)行基于用戶興趣的網(wǎng)頁(yè)推薦。
　　系統(tǒng)的分類部分的實(shí)驗(yàn)驗(yàn)證了以主題爬蟲(chóng)和主題去噪為基礎(chǔ)的基于主題的網(wǎng)頁(yè)自動(dòng)分類模型對(duì)于網(wǎng)頁(yè)分類的準(zhǔn)確度、分類效率方面有較大的提高；網(wǎng)頁(yè)自動(dòng)分類結(jié)果顯示改進(jìn)的分類算法設(shè)計(jì)出的分類器更加適合針對(duì)于網(wǎng)頁(yè)的分類，相較于直接使用文本分類算法有顯著的分類準(zhǔn)確度提高；另外，網(wǎng)頁(yè)分類系統(tǒng)和網(wǎng)頁(yè)推薦系統(tǒng)的結(jié)合，對(duì)于用戶定位自己感興趣的網(wǎng)頁(yè)提供了極大的方便，縮短了用戶