基于機(jī)器學(xué)習(xí)算法的Web文本挖掘應(yīng)用研究.pdf

1、本論文從熱點(diǎn)信息抽取、Web文本分類、Web文本聚類三方面對(duì)機(jī)器學(xué)習(xí)算法在Web文本信息挖掘中的應(yīng)用與研究進(jìn)行了深入地分析：
　　 1、實(shí)現(xiàn)熱點(diǎn)信息抽取系統(tǒng)時(shí)，提出了一種名為熱點(diǎn)算法基礎(chǔ)矩陣(HABM)的技術(shù)，其根據(jù)對(duì)比某單一詞條在一段歷史時(shí)期內(nèi)的詞頻與目前的詞頻，判斷該詞條是否為熱門詞匯。擁有一定數(shù)量熱門詞匯的文章便成為熱門文章被抽取出來(lái)。
　　 2、Web文本分類系統(tǒng)依據(jù)支持向量機(jī)(SVM)技術(shù)，對(duì)LibSVM工具進(jìn)

2、行二次開發(fā)來(lái)實(shí)現(xiàn)多類分類。鑒于此工具無(wú)法直接處理文字信息，將文字信息轉(zhuǎn)換為TF-IDF空間向量模型后再做運(yùn)算。另外還對(duì)LibSVM添加了雜質(zhì)分離的功能。
　　 3、Web文本聚類系統(tǒng)采用了改進(jìn)版的K-Means聚類算法，包括重新設(shè)計(jì)了聚類初始中心點(diǎn)的選擇算法、添加了分塊處理數(shù)據(jù)的能力、新增語(yǔ)料雜質(zhì)的分離等功能，使得算法在時(shí)間和空間上到達(dá)到處理大規(guī)模數(shù)據(jù)的要求。
　　 課題實(shí)現(xiàn)了一系列的優(yōu)化技術(shù)，包括磁盤散列文件、對(duì)象串行