網(wǎng)頁分類特征選擇方法研究及系統(tǒng)實現(xiàn).pdf

1、互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展不僅體現(xiàn)在傳統(tǒng)互聯(lián)網(wǎng)行業(yè)的日新月異，更體現(xiàn)在“互聯(lián)網(wǎng)+”的日益興起，它正在悄然地改變著更多的行業(yè)和領(lǐng)域。這也導(dǎo)致，各行各業(yè)的信息資源都大量散落在Internet上，且主要以文本形式存在，并呈現(xiàn)指數(shù)級的增長趨勢。行業(yè)用戶要想獲取這些資源或者查詢所需行業(yè)信息主要通過網(wǎng)絡(luò)搜索，但是，用戶往往需要從大量的搜索結(jié)果中排除掉許多無用信息，才能找到自己真正需要的那一小部分信息，這樣不僅效率不高，還導(dǎo)致用戶查詢信息的體驗不夠理想，如

2、何從龐大繁雜的互聯(lián)網(wǎng)資源中挖掘出有價值的行業(yè)信息，一直是領(lǐng)域研究的熱點。本文關(guān)于中文網(wǎng)頁的特征選擇方法與分類研究首先抽取出中文網(wǎng)頁中的標(biāo)題、正文等代表網(wǎng)頁主題的文本信息，再研究并改進(jìn)相關(guān)文本特征選擇和表示方法對網(wǎng)頁文本信息進(jìn)行特征提取，將中文網(wǎng)頁表示成計算機(jī)能夠識別與處理的網(wǎng)頁中間形式，最后設(shè)計實現(xiàn)一個中文網(wǎng)頁分類系統(tǒng)對爬蟲采集的生物醫(yī)學(xué)領(lǐng)域相關(guān)中文網(wǎng)頁進(jìn)行分類，將其細(xì)分為六個子類別，為后續(xù)建立主題信息系統(tǒng)提供領(lǐng)域知識，使得面向主題的信

3、息查詢范圍更加專業(yè)化，查詢效率和準(zhǔn)確率更高，滿足生物醫(yī)學(xué)領(lǐng)域?qū)τ谥R查詢的需求。
　　本文完成的主要工作及創(chuàng)新點如下：
　　(1)基于課題的研究內(nèi)容，對爬蟲采集的生物醫(yī)學(xué)領(lǐng)域相關(guān)中文網(wǎng)頁進(jìn)行“去噪”處理，運用正則表達(dá)式技術(shù)設(shè)計一種匹配模型抽取出中文網(wǎng)頁中的標(biāo)題、正文等代表網(wǎng)頁主題的文本信息，便于從中提取出網(wǎng)頁特征，以用于網(wǎng)頁分類。
　　(2)研究分析了常用文本特征選擇和表示方法，針對 CHI方法的不足，提出一種改進(jìn)的C