基于Spark on Yarn的Twitter熱點(diǎn)話題探測(cè)系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、隨著科技的高速發(fā)展，網(wǎng)絡(luò)中出現(xiàn)了數(shù)據(jù)量爆發(fā)式增長(zhǎng)的問題，為了有效地處理該問題，云計(jì)算相關(guān)技術(shù)有了長(zhǎng)足的發(fā)展，并在相關(guān)領(lǐng)域發(fā)揮了重要作用。Twitter作為當(dāng)今最重要的社交媒體之一，其中蘊(yùn)含了大量可挖掘的熱點(diǎn)話題信息。針對(duì)Twitter的熱點(diǎn)話題探測(cè)系統(tǒng)普遍存在兩點(diǎn)不足:第一，該類系統(tǒng)通常僅能挖掘出基于單一詞語(yǔ)爆發(fā)式增長(zhǎng)的熱點(diǎn)話題;第二，不能挖掘出熱點(diǎn)話題的相關(guān)性話題。針對(duì)以上兩點(diǎn)不足，本文設(shè)計(jì)了基于Spark on Yarn的Twitt

2、er熱點(diǎn)話題探測(cè)系統(tǒng)。
　　針對(duì)第一點(diǎn)不足，本文提出了一個(gè)基于Spark Streaming的實(shí)時(shí)熱點(diǎn)話題探測(cè)方法。該方法通過Flume數(shù)據(jù)接收組件獲取當(dāng)前最新數(shù)據(jù)，能夠?qū)崿F(xiàn)實(shí)時(shí)地挖掘爆發(fā)式增長(zhǎng)的關(guān)鍵詞組合并能夠有效結(jié)合歷史數(shù)據(jù)對(duì)熱點(diǎn)話題進(jìn)行判斷。同時(shí)，該方法中通過對(duì)頻繁集挖掘算法FP-Growth進(jìn)行改進(jìn)，利用所提出的SFP-Growth算法并行地從流式數(shù)據(jù)中探測(cè)出當(dāng)前實(shí)時(shí)熱點(diǎn)話題，能夠提高FP-Growth算法的運(yùn)行效率，同時(shí)

3、保證熱點(diǎn)話題判斷的準(zhǔn)確性。針對(duì)第二點(diǎn)不足，本文利用Word2vec算法，給出了該算法的Spark實(shí)現(xiàn)，以挖掘當(dāng)前實(shí)時(shí)熱點(diǎn)話題的相關(guān)性話題。該算法充分考慮了詞語(yǔ)間的相關(guān)性，能夠有效提高相關(guān)話題挖掘的準(zhǔn)確性。
　　在上述研究?jī)?nèi)容的基礎(chǔ)上，設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)完整的Twitter熱點(diǎn)話題挖掘系統(tǒng)，并在集群環(huán)境中部署運(yùn)行。同時(shí)，開展了一系列的實(shí)驗(yàn)對(duì)文所提出的關(guān)鍵算法進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明所提出的算法和系統(tǒng)能夠保證Twitter熱點(diǎn)話題探測(cè)的