基礎(chǔ)教育搜索引擎中的網(wǎng)頁(yè)文檔特征提取研究.pdf

1、Intemet的快速發(fā)展使得網(wǎng)絡(luò)上基礎(chǔ)教育資源數(shù)量快速增長(zhǎng)，越來(lái)越多的人開(kāi)始利用互聯(lián)網(wǎng)進(jìn)行學(xué)習(xí)，搜索引擎已成為獲取教育資源的一條重要渠道。為了向用戶提供更有效的教育信息，提高搜索的準(zhǔn)確性，需要對(duì)海量的網(wǎng)頁(yè)進(jìn)行自動(dòng)分類處理，而自動(dòng)分類的前提又在于網(wǎng)頁(yè)的特征提取。本文圍繞網(wǎng)頁(yè)文檔特征提取展開(kāi)，對(duì)其中包含的若干關(guān)鍵問(wèn)題進(jìn)行了系統(tǒng)研究。 前一部分簡(jiǎn)要介紹了本文的研究背景并對(duì)與特征提取相關(guān)的文檔表示理論、自動(dòng)分類技術(shù)等進(jìn)行了概述；后一部分

2、重點(diǎn)研究了針對(duì)網(wǎng)頁(yè)文檔的特征提取方法：首先闡述了網(wǎng)頁(yè)文檔標(biāo)記預(yù)處理及中文分詞的方法，接著構(gòu)建了一個(gè)基礎(chǔ)教育文檔集，并在此基礎(chǔ)上對(duì)特征提取所包含的特征選擇和權(quán)重計(jì)算兩部分做了重點(diǎn)探索，其中，特征選擇部分比較研究了文檔頻率、信息增益、期望交叉熵、互信息、X<'2>統(tǒng)計(jì)、文本證據(jù)權(quán)等算法，在分析實(shí)驗(yàn)結(jié)果的基礎(chǔ)上提出了增加詞頻因子P的改進(jìn)型互信息算法，實(shí)驗(yàn)證明，改進(jìn)型互信息算法要明顯優(yōu)于原來(lái)的互信息算法；權(quán)重計(jì)算部分比較研究了TFIDF以