基于URL特征的網(wǎng)頁(yè)分類研究.pdf

1、互聯(lián)網(wǎng)提供了大量的廣泛分布和高動(dòng)態(tài)資源信息，網(wǎng)頁(yè)信息分散且不方便管理。網(wǎng)頁(yè)分類能有效解決這些問(wèn)題。在網(wǎng)頁(yè)分類過(guò)程中，選取特征是其中重要一環(huán)，傳統(tǒng)的特征從網(wǎng)頁(yè)正文、錨文本、標(biāo)題等網(wǎng)頁(yè)文本中選取，這樣的選擇方式耗時(shí)且代價(jià)很高。同時(shí)，特征冗余，特征維數(shù)過(guò)高也是網(wǎng)頁(yè)分類中常見的問(wèn)題。如何快速鑒別網(wǎng)頁(yè)類別同時(shí)提高分類精度以及特征降維成為了急需解決的問(wèn)題。
　　 論文系統(tǒng)地分析了網(wǎng)頁(yè)分類的產(chǎn)生背景、發(fā)展現(xiàn)狀及研究意義，對(duì)網(wǎng)頁(yè)分類的關(guān)鍵技術(shù)進(jìn)

2、行深入的學(xué)習(xí)和研究，并在已有研究成果的基礎(chǔ)上，主要完成了這些方面的創(chuàng)新：URL 是網(wǎng)頁(yè)唯一的標(biāo)識(shí)，直接根據(jù)URL 特征進(jìn)行網(wǎng)頁(yè)分類可以省去處理網(wǎng)頁(yè)正文的時(shí)耗。論文分析了URL的結(jié)構(gòu)，提出了n-gram 方法處理URL 得到特征，n-gram 法通過(guò)分割URL 得到一系列字符串，充分利用URL 上所包含的信息，選用weka 工具做分類實(shí)驗(yàn)。通過(guò)選擇不同的n值對(duì)比，得出從提取到分類所需的時(shí)間比傳統(tǒng)的正文要快很多，并能達(dá)到較高的精度。實(shí)驗(yàn)通過(guò)