基于語義相似度的WEB結(jié)構(gòu)挖掘研究及實(shí)現(xiàn).pdf

1、目前，Internet/Web技術(shù)逐漸趨于成熟，Web已經(jīng)成為人們的重要信息來源之一。但在提供豐富的信息資源的同時(shí)，它所具有的數(shù)據(jù)半結(jié)構(gòu)化或非結(jié)構(gòu)化、數(shù)據(jù)海量、實(shí)時(shí)的動(dòng)態(tài)性以及用戶的多態(tài)性等特點(diǎn)也給Web資源的使用造成了一定的難度。因此，將數(shù)據(jù)挖掘技術(shù)和Web特性結(jié)合起來，在浩瀚的信息資源中快捷、準(zhǔn)確地檢索到人們需要的信息，已成為一項(xiàng)迫切而有意義的研究課題。 本文以體現(xiàn)網(wǎng)頁鏈接結(jié)構(gòu)關(guān)系的當(dāng)代經(jīng)典PageRank算法為對(duì)象，深入分

2、析其基本思想并指出其對(duì)網(wǎng)頁評(píng)分時(shí)存在的不足。PageRank算法主要缺陷是將PageRank值在所有的出鏈接上進(jìn)行平均分配，而實(shí)際上每個(gè)鏈接的重要性和鏈接之間的相關(guān)性都是有差異的。它完全忽略了網(wǎng)頁內(nèi)容的語義信息，很容易受到無關(guān)鏈接的影響，降低了搜索結(jié)果的用戶滿意度。 針對(duì)上述缺陷，本文通過引入基于《知網(wǎng)》的語義相似度，使鏈接錨文本的質(zhì)量和其所指向網(wǎng)頁的內(nèi)容產(chǎn)生聯(lián)系。融入出鏈接與目標(biāo)網(wǎng)頁主題相似度信息，使得那些沒有價(jià)值的頁面，或者

3、主題不相關(guān)的網(wǎng)頁分得較少的PageRank值，提升了真正與主題相關(guān)、有價(jià)值的頁面的PageRank值。據(jù)此更加精確的體現(xiàn)各個(gè)鏈接之間的競(jìng)爭(zhēng)。 最后實(shí)現(xiàn)了一個(gè)模擬的搜索引擎。該模擬系統(tǒng)幾乎包含了搜索引擎的全部基本功能。并且在互聯(lián)網(wǎng)真實(shí)環(huán)境下進(jìn)行測(cè)試，對(duì)融入語義相似度的PageRank算法進(jìn)行驗(yàn)證。通過實(shí)驗(yàn)和分析，新的算法在不影響原算法的優(yōu)點(diǎn)和效率的情況下能更好地對(duì)網(wǎng)頁進(jìn)行評(píng)分，提升了用戶滿意度。它在網(wǎng)頁優(yōu)先級(jí)算法上向人工智能和語義