基于相關(guān)背景圖的主題微博用戶(hù)發(fā)現(xiàn)方法的研究.pdf

1、隨著互聯(lián)網(wǎng)用戶(hù)的急劇增長(zhǎng),以及網(wǎng)絡(luò)應(yīng)用的進(jìn)一步深入,用戶(hù)個(gè)性化的需求不斷增長(zhǎng),通用搜索引擎難以滿(mǎn)足某些特殊用戶(hù)群體的需求。主題爬行技術(shù)作為一種新穎的搜索技術(shù)應(yīng)運(yùn)而生,更新周期快,它資源消耗少,更重要的是能滿(mǎn)足用戶(hù)的個(gè)性化需求。
　　相關(guān)背景圖(Relevancy Context Graph)可以收集給定主題的背景知識(shí),并根據(jù)這些背景知識(shí)給每個(gè)待訪(fǎng)問(wèn)網(wǎng)頁(yè)分配一個(gè)優(yōu)先訪(fǎng)問(wèn)值,從而指導(dǎo)爬蟲(chóng)的爬行方向。但是,在相關(guān)背景圖的背景知識(shí)構(gòu)建中沒(méi)

2、有充分提取出網(wǎng)頁(yè)之間的鏈接結(jié)構(gòu)信息,同時(shí)也沒(méi)有充分考慮網(wǎng)頁(yè)之間的語(yǔ)義關(guān)系。因此,許多噪聲網(wǎng)頁(yè)并沒(méi)有被有效的過(guò)濾掉。此外,相關(guān)背景圖的主題特征詞的定義也隱藏著一些缺陷。
　　本文的貢獻(xiàn)總結(jié)如下。(1)優(yōu)化了相關(guān)背景圖,并應(yīng)用相關(guān)背景圖在微博中收集與主題相關(guān)的用戶(hù)。在優(yōu)化的過(guò)程中,借用社會(huì)網(wǎng)絡(luò)中朋友鏈接預(yù)測(cè)的思想,重新設(shè)計(jì)了背景圖中的鏈接結(jié)構(gòu)關(guān)系,考慮了網(wǎng)頁(yè)之間更多的結(jié)構(gòu)關(guān)系,利用向量空間模型(Vector Space Model)以

3、及語(yǔ)義向量空間模型(Semantic Similarity Vector Space Model)去過(guò)濾掉一些噪聲網(wǎng)頁(yè),保證背景圖的有效性。(2)利用背景圖中詞之間的語(yǔ)義關(guān)系去擴(kuò)展主題特征單詞,并有效地計(jì)算了擴(kuò)展的主題特征單詞的分布。(3)提出了一個(gè)經(jīng)過(guò)鏈接分析和語(yǔ)義分析優(yōu)化后的相關(guān)背景圖的爬蟲(chóng)。(4)利用囊括各個(gè)領(lǐng)域的大量中文網(wǎng)頁(yè)構(gòu)建了中文通用語(yǔ)模型。(5)利用改進(jìn)的相關(guān)背景圖計(jì)算出的特征主題單詞的分布以及通用語(yǔ)模型,結(jié)合微博中傳播者