移動(dòng)互聯(lián)網(wǎng)內(nèi)容相似性研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)信息呈爆炸式增長。由于眾多鏡像站點(diǎn)、轉(zhuǎn)載網(wǎng)頁、復(fù)制網(wǎng)頁的存在,使網(wǎng)絡(luò)中充斥著大量相似內(nèi)容,這些內(nèi)容降低搜索引擎結(jié)果的質(zhì)量、浪費(fèi)硬件存儲(chǔ)資源、影響移動(dòng)用戶的使用體驗(yàn)。近年來移動(dòng)互聯(lián)網(wǎng)的發(fā)展,問題越加嚴(yán)重。
　　針對(duì)目前在移動(dòng)互聯(lián)網(wǎng)相似性方面研究的不足,本課題集中于網(wǎng)頁正文抽取技術(shù)和網(wǎng)頁相似性計(jì)算。在網(wǎng)頁正文抽取技術(shù)方面,首先比較了基于統(tǒng)計(jì)的網(wǎng)頁正文抽取技術(shù)、基于視覺分塊的網(wǎng)頁正文抽取技術(shù)及其他網(wǎng)頁正文抽取技術(shù),

2、然后本論文提出一種基于主題相似分塊的網(wǎng)頁正文抽取技術(shù)。在網(wǎng)頁相似性計(jì)算方面,首先比較了基于向量的相似性技術(shù)、基于特征的相似性技術(shù)、基于網(wǎng)頁文本結(jié)構(gòu)的相似性技術(shù)和基于語義的相似性技術(shù),然后提出一種基于特征詞的網(wǎng)頁相似性算法。
　　基于主題相似分塊的網(wǎng)頁正文抽取技術(shù)以標(biāo)題標(biāo)簽和分塊內(nèi)容的相似性為基礎(chǔ),通過構(gòu)建網(wǎng)頁樹,抽取網(wǎng)頁的正文內(nèi)容。實(shí)驗(yàn)表明,該算法對(duì)復(fù)雜網(wǎng)頁抽取準(zhǔn)確率高。
　　基于特征詞的網(wǎng)頁相似性算法首先提取網(wǎng)頁特征詞,然