基于隱馬爾可夫模型的Web文本挖掘技術(shù)研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的快速發(fā)展，網(wǎng)絡(luò)信息量迅速增加，呈現(xiàn)出海量、異構(gòu)、動(dòng)態(tài)的特點(diǎn)，如何從網(wǎng)絡(luò)信息中發(fā)掘潛在、有用的知識(shí)成為一個(gè)重要的研究方向。Web文本挖掘是使用數(shù)據(jù)挖掘技術(shù)自動(dòng)地從Web文檔和服務(wù)中發(fā)現(xiàn)和提取信息和知識(shí)的技術(shù)，在網(wǎng)絡(luò)信息處理過程中，Web文本挖掘是加快查找速度,提高查找準(zhǔn)確率的重要手段之一。 本文介紹了Web挖掘常用方法、Web挖掘分類，詳細(xì)闡述了Web文本挖掘流程、文本特征表示和提取、文本信息抽取、分類、聚類、關(guān)聯(lián)規(guī)

2、則等關(guān)鍵技術(shù)及典型算法。在比較了不同的機(jī)器學(xué)習(xí)方法后，本文提出基于隱馬爾可夫模型(HMM)的Web文本挖掘方法，介紹了實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)的收集，隱馬爾可夫模型的組成，隱馬爾可夫模型的三個(gè)問題及典型算法，在對(duì)訓(xùn)練數(shù)據(jù)集進(jìn)行標(biāo)記的基礎(chǔ)上，利用最大似然算法實(shí)現(xiàn)隱馬爾可夫模型的構(gòu)建，對(duì)實(shí)驗(yàn)數(shù)據(jù)集中的論文條目進(jìn)行進(jìn)一步解析，實(shí)現(xiàn)測(cè)試數(shù)據(jù)集中不同域信息的提取，實(shí)驗(yàn)結(jié)果表明該方法是可行的。 對(duì)于未標(biāo)記訓(xùn)練數(shù)據(jù)集，本文提出基于遺傳算法和隱馬爾可夫模型

3、的Web文本挖掘方法。該方法利用Baum-Welch算法學(xué)習(xí)隱馬爾可夫模型的概率分布，但Baum-Welch算法本身為梯度下降訓(xùn)練算法，在隱馬爾可夫模型概率分布學(xué)習(xí)過程中存在局部極小和對(duì)初始參數(shù)敏感的問題。為減少這些問題對(duì)識(shí)別過程的影響，本文引入遺傳算法，并結(jié)合Web文本的特點(diǎn)對(duì)基本遺傳算法進(jìn)行了相應(yīng)的調(diào)整，提出了GA-HMM模型，該模型利用遺傳算法尋找隱馬爾可夫模型初始參數(shù)的全局最優(yōu)解，改善了HMM訓(xùn)練效果，提高系統(tǒng)的效率。通過對(duì)大量