企業(yè)搜索引擎中網(wǎng)頁分類技術(shù)的研究與實(shí)現(xiàn).pdf

1、近十年來,互聯(lián)網(wǎng)信息呈現(xiàn)了爆炸式的增長?；ヂ?lián)網(wǎng)的迅猛發(fā)展使得我們跳出了本地的局限,可以隨意訪問世界上所有的在線文本。在這種背景下,企業(yè)中的網(wǎng)頁信息也隨著企業(yè)規(guī)模的擴(kuò)大而逐漸增加。如何有效的組織和管理這些信息,成為了目前急需解決的問題。搜索引擎的確可以幫助用戶將網(wǎng)絡(luò)信息本地化,但是在組織和管理企業(yè)內(nèi)部網(wǎng)頁信息等方面的功能卻很有限。因此,設(shè)計(jì)和實(shí)現(xiàn)一個(gè)網(wǎng)頁分類器幫助企業(yè)快速地組織和分類網(wǎng)頁信息是十分必要的。
　　 本文對(duì)網(wǎng)頁分類中所

2、涉及的特征提取方法和網(wǎng)頁分類算法進(jìn)行了研究。首先,提出了基于詞性的特征提取方法和SWT權(quán)重計(jì)算方法,該特征提取方法將提取出對(duì)文本分類有意義的實(shí)詞,過濾掉一些無用的虛詞和停用詞,降低了特征項(xiàng)的維數(shù),提高了文本分類的效率；對(duì)于特征權(quán)重的計(jì)算,并沒有采用傳統(tǒng)的TF-IDF公式,而是提出了新的計(jì)算特征項(xiàng)權(quán)重的方法,即SWT方法。其次,提出了改進(jìn)的KNN算法,該方法與原有方法相比提高了分類的召回率和分類速度。再次,提出了結(jié)合文本結(jié)構(gòu)的向量空間模型

3、算法,該算法主要是針對(duì)網(wǎng)頁文本的特殊性,將網(wǎng)頁文本的結(jié)構(gòu)與向量空間模型相結(jié)合。最后,基于以上兩種分類算法設(shè)計(jì)并實(shí)現(xiàn)了網(wǎng)頁分類器。
　　 本文首先對(duì)企業(yè)搜索引擎進(jìn)行了介紹,其次講述了文本分類的相關(guān)技術(shù),包括文本表示模型、常用的特征提取方法和文本分類算法(KNN,支持向量機(jī),類中心向量,貝葉斯等),再次研究了新的特征提取方法和網(wǎng)頁分類算法,對(duì)于特征項(xiàng)權(quán)重的計(jì)算,提出了新的計(jì)算特征項(xiàng)權(quán)重的方法,即SWT方法。最后根據(jù)提出的算法設(shè)計(jì)和實(shí)