分布式、可擴(kuò)展的實(shí)時(shí)微博搜索技術(shù)研究與實(shí)現(xiàn).pdf

1、過去幾年中我們見證了微博平臺(tái)的迅猛發(fā)展，新浪微博、騰訊微博等已成為新的媒體形式。數(shù)量龐大的微博數(shù)據(jù)和其高度動(dòng)態(tài)的本質(zhì)，對(duì)搜索服務(wù)提出了獨(dú)特的技術(shù)要求。特別是，搜索服務(wù)需要提供實(shí)時(shí)響應(yīng)查詢的服務(wù)，并隨著新微博的發(fā)布不斷地更新搜索結(jié)果。傳統(tǒng)的技術(shù)方法無法適應(yīng)高更新率提出的挑戰(zhàn)，也不能很好地將系統(tǒng)擴(kuò)展來應(yīng)對(duì)和處理不斷產(chǎn)生的大量數(shù)據(jù)。
　　 本文研究了一個(gè)分布式、可擴(kuò)展的是實(shí)時(shí)微博搜索技術(shù)，并實(shí)現(xiàn)了一個(gè)系統(tǒng)來提供分布式實(shí)時(shí)索引并構(gòu)建微博

2、搜索服務(wù)。它的底層是基于業(yè)界領(lǐng)先分布式流處理技術(shù)與平臺(tái)（如Apache S4和Twitter Storm），這些流處理平臺(tái)提供了強(qiáng)大的實(shí)時(shí)處理能力。但是盡管這些流處理平臺(tái)已經(jīng)成功地應(yīng)用在其它生產(chǎn)環(huán)境中，在微博實(shí)時(shí)搜索的任務(wù)和需求下，它們?nèi)匀狈σ恍╆P(guān)鍵功能，特別是:(1)它們只實(shí)現(xiàn)了部分的容錯(cuò)能力，在節(jié)點(diǎn)發(fā)生故障的情況下，無法達(dá)到無損恢復(fù);(2)它們沒有一個(gè)全局?jǐn)?shù)據(jù)存儲(chǔ)設(shè)施，而這個(gè)全局存儲(chǔ)對(duì)于有效的搜索結(jié)果排名卻是至關(guān)重要的。