移動互聯(lián)網(wǎng)內(nèi)容相似性研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡信息呈爆炸式增長。由于眾多鏡像站點、轉(zhuǎn)載網(wǎng)頁、復制網(wǎng)頁的存在,使網(wǎng)絡中充斥著大量相似內(nèi)容,這些內(nèi)容降低搜索引擎結(jié)果的質(zhì)量、浪費硬件存儲資源、影響移動用戶的使用體驗。近年來移動互聯(lián)網(wǎng)的發(fā)展,問題越加嚴重。
　　針對目前在移動互聯(lián)網(wǎng)相似性方面研究的不足,本課題集中于網(wǎng)頁正文抽取技術(shù)和網(wǎng)頁相似性計算。在網(wǎng)頁正文抽取技術(shù)方面,首先比較了基于統(tǒng)計的網(wǎng)頁正文抽取技術(shù)、基于視覺分塊的網(wǎng)頁正文抽取技術(shù)及其他網(wǎng)頁正文抽取技術(shù),

2、然后本論文提出一種基于主題相似分塊的網(wǎng)頁正文抽取技術(shù)。在網(wǎng)頁相似性計算方面,首先比較了基于向量的相似性技術(shù)、基于特征的相似性技術(shù)、基于網(wǎng)頁文本結(jié)構(gòu)的相似性技術(shù)和基于語義的相似性技術(shù),然后提出一種基于特征詞的網(wǎng)頁相似性算法。
　　基于主題相似分塊的網(wǎng)頁正文抽取技術(shù)以標題標簽和分塊內(nèi)容的相似性為基礎,通過構(gòu)建網(wǎng)頁樹,抽取網(wǎng)頁的正文內(nèi)容。實驗表明,該算法對復雜網(wǎng)頁抽取準確率高。
　　基于特征詞的網(wǎng)頁相似性算法首先提取網(wǎng)頁特征詞,然