基于微博的網(wǎng)絡(luò)輿情關(guān)鍵技術(shù)的研究與實(shí)現(xiàn).pdf

1、現(xiàn)代社會(huì)的快節(jié)奏正日益改變著人們了解、觀察世界和發(fā)表看法的方式，傳統(tǒng)媒介所發(fā)揮的作用已經(jīng)越來(lái)越小，新興的方式正在萌發(fā)并日益壯大。微博適應(yīng)了這種簡(jiǎn)單、快捷的生活潮流，正日益成為向網(wǎng)民展示世界和匯聚民意的重要渠道，并或多或少的改變著社會(huì)的運(yùn)轉(zhuǎn)方式。所以，整體了解微博的民意訴求顯得至關(guān)重要，將為政府和企業(yè)決策提供寶貴的資料。目前，網(wǎng)絡(luò)輿情的研究已經(jīng)有成熟的技術(shù)，但基于微博的網(wǎng)絡(luò)輿情研究才剛剛起步，微博具有短小精悍、草根性更強(qiáng)、交互方式多種多樣

2、和高時(shí)效性的特點(diǎn)，這些決定了原有輿情技術(shù)已經(jīng)不能滿足微博研究的需要了，對(duì)此需要做出改進(jìn)和調(diào)整。
　　本文結(jié)合微博的特點(diǎn)，著力解決輿情研究中的各個(gè)問(wèn)題，使之適應(yīng)微博網(wǎng)絡(luò)輿情研究的需要。網(wǎng)絡(luò)輿情的關(guān)鍵技術(shù)主要包括網(wǎng)絡(luò)爬蟲(chóng)技術(shù)、網(wǎng)頁(yè)結(jié)構(gòu)化技術(shù)、分詞技術(shù)以及分類聚類等文本處理技術(shù)。本文主要對(duì)這些技術(shù)做出改進(jìn)，來(lái)適應(yīng)微博的特點(diǎn)，最終發(fā)掘微博熱點(diǎn)話題以及人們的情感傾向。
　　當(dāng)今網(wǎng)絡(luò)爬蟲(chóng)技術(shù)業(yè)已成熟，網(wǎng)上也存在大量的免費(fèi)爬蟲(chóng)系統(tǒng)。目前，

3、互聯(lián)網(wǎng)企業(yè)為了保證微博的正常訪問(wèn)，做了很多反爬蟲(chóng)措施，同時(shí)微博頁(yè)面具有雜亂無(wú)章的特點(diǎn)，本文針對(duì)這些反爬蟲(chóng)措施，基于larbin爬蟲(chóng)系統(tǒng)，提出定時(shí)爬取和代理爬取，并對(duì)頁(yè)面解析采用DOM樹(shù)和投票算法。
　　本文針對(duì)的是中文微博，所以將重點(diǎn)研究中文分詞。中文分詞技術(shù)主要有詞典建立、歧義識(shí)別和新詞識(shí)別三個(gè)方面。針對(duì)微博數(shù)據(jù)量大、雜、新詞不斷涌現(xiàn)的特點(diǎn)，本文提出使用基于單字索引的pat樹(shù)分詞詞典，加快分詞速度，并提出雙字耦合和t-測(cè)試差相結(jié)