基于評論的博客搜索引擎的設(shè)計與實現(xiàn).pdf

1、博客又被稱為網(wǎng)絡(luò)日志，是一種個人信息的發(fā)布形式。從個人角度來說，博客是一種表達思想，以及與他人分享有價值資源的一種方式。隨著博客用戶的激增，越來越多的各行各業(yè)的人員利用博客進行廣泛的交流、知識的共享。當今博客在人們獲得資源的途徑中占有重要位置。
　　隨著互聯(lián)網(wǎng)的發(fā)展，各種應(yīng)用都允許用戶進行評論。用戶的評論則直接體現(xiàn)了用戶的情感傾向性。博客應(yīng)用也不例外，用戶總會在看到一篇高質(zhì)量的博客時忍不住留下自己的敬佩之情。因此可以認為含有很多好

2、評的博客是一篇優(yōu)質(zhì)的博客文章。本文通過分析博客文章評論的情感來優(yōu)化博客搜索結(jié)果，使得用戶在搜索相關(guān)博客時，搜索結(jié)果在相關(guān)度的基礎(chǔ)上按照博客質(zhì)量進行排序。本文主要工作如下：
　　首先，需要準確的抓取博客的評論內(nèi)容。由于一些博客網(wǎng)站的評論內(nèi)容是由Ajax動態(tài)生成的，傳統(tǒng)的網(wǎng)絡(luò)爬蟲不能完成動態(tài)頁面的抓取工作，系統(tǒng)中采用phantomJS來改進傳統(tǒng)的爬蟲。為了從抓取到的網(wǎng)頁中準確提取出來評論的內(nèi)容，本文采用了一種基于特殊標識的最大DOM樹

3、算法。該算法可以準確地抽取出來網(wǎng)頁中評論的內(nèi)容。
　　其次，準確提取到評論內(nèi)容之后就可以進行情感傾向性分析。情感分析的目的是生成一個整體的評論得分，該得分作為搜索博客返回結(jié)果的排序依據(jù)。本文使用了文本分類的方法進行文本情感傾向性分析，并通過構(gòu)建博客評論領(lǐng)域的情感詞典和改進特征提取算法來提高文本分類的精度。
　　最后，本文在Nutch開源軟件的基礎(chǔ)之上設(shè)計并實現(xiàn)了一個博客搜索引擎系統(tǒng)(CBlog)。Nutch系統(tǒng)本身只考慮了檢