基于隱馬爾科夫過程的Blog相似性分析方法研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，結(jié)構(gòu)相似內(nèi)容相同的Blog網(wǎng)頁越來越多。這些Blog網(wǎng)頁會占用大量的網(wǎng)絡(luò)存儲資源，同時用戶在進(jìn)行Blog檢索時的準(zhǔn)確率也會降低，于是有必要對Blog的相似性加以分析，目的在于提高Blog檢索效率。將HMM應(yīng)用到Blog網(wǎng)頁識別中去就是這一背景下的產(chǎn)物。
　　 本文首先研究分析了文本相似性算法和Web相似性算法，介紹了Web網(wǎng)頁的分析與識別以及Blog網(wǎng)頁的分析與識別。提出了使用DoeView模型來定義W

2、eb網(wǎng)頁，使用半結(jié)構(gòu)化數(shù)據(jù)來標(biāo)識Web網(wǎng)頁內(nèi)容，并通過文本相似性的算法來對Web網(wǎng)頁進(jìn)行過濾；其次，分析Blog網(wǎng)頁結(jié)構(gòu)特點(diǎn)，在此基礎(chǔ)上對Blog網(wǎng)頁加以定義，同時提出了Blog網(wǎng)頁粗分類和細(xì)分類的方法。
　　 本文對HMM的特點(diǎn)進(jìn)行了研究，得出了可以將HMM應(yīng)用到Blog網(wǎng)頁識別中的結(jié)論。首先HMM的三個基本問題分別是評估問題、解碼問題和學(xué)習(xí)(或稱訓(xùn)練)問題，針對于這三個問題分別提出了前向-后向(Forward-backwar

3、d)算法、Viterbi算法和Baum-Welch估計(jì)算法加以解決。然后構(gòu)建了基于Blog網(wǎng)頁結(jié)構(gòu)相似性的HMM以及基于Blog網(wǎng)頁關(guān)鍵詞相似性的HMM。兩種模型構(gòu)建好之后就開始做HMM的訓(xùn)練過程。訓(xùn)練過程的步驟為訓(xùn)練集合、分離單詞、特征抽取、機(jī)器學(xué)習(xí)、預(yù)測記憶和預(yù)測集合。定義閾值并進(jìn)行模型測試。
　　 本論文取得的成果有：
　　 1、在HMM設(shè)計(jì)過程中，改進(jìn)了Blog網(wǎng)頁關(guān)鍵詞相似度的一般計(jì)算方法，對關(guān)鍵詞出現(xiàn)的頻度進(jìn)