面向流處理的廣告檢測系統(tǒng)實(shí)現(xiàn).pdf

1、隨著廣播電視尤其是交互式網(wǎng)絡(luò)電視(IPTV)的普及，給人們帶來更好的收視效果和更豐富的娛樂節(jié)目。與此同時(shí)，伴隨而來的商業(yè)廣告日益泛濫，嚴(yán)重影響了觀眾的視聽體驗(yàn)。特別是近年來廣告數(shù)量呈爆炸性增長，傳統(tǒng)的人工審核方式已無法完成海量廣告的篩選工作，如何利用科技手段完成不良/非法廣告的在線檢測，成為了相關(guān)部門亟待解決的問題。
　　本課題源于國家863計(jì)劃《三網(wǎng)融合演進(jìn)技術(shù)與系統(tǒng)研究》，該項(xiàng)目在突破了細(xì)粒度視頻數(shù)據(jù)特征分析等關(guān)鍵技術(shù)的基礎(chǔ)上

2、，形成了面向視頻廣告檢測的示范應(yīng)用系統(tǒng)。然而，隨著視頻廣告數(shù)量的急劇增加，現(xiàn)有采用集中式軟件計(jì)算架構(gòu)和串行計(jì)算處理模式的系統(tǒng)，已無法滿足視頻廣告檢測的實(shí)時(shí)性要求。
　　本課題針對(duì)現(xiàn)有系統(tǒng)存在的實(shí)時(shí)性不夠的問題，從系統(tǒng)軟件計(jì)算架構(gòu)角度出發(fā)，在分析研究現(xiàn)有典型批處理與流處理兩種分布式系統(tǒng)的基礎(chǔ)上，探索適合海量數(shù)據(jù)處理的新型計(jì)算架構(gòu)，主要?jiǎng)?chuàng)新點(diǎn)如下:
　　(1)由于系統(tǒng)核心算法采用串行計(jì)算模式，且廣告數(shù)量急劇擴(kuò)張，導(dǎo)致現(xiàn)有系統(tǒng)實(shí)時(shí)

3、性已無法滿足實(shí)際應(yīng)用的需求。本文在深入分析影響廣告檢測系統(tǒng)實(shí)時(shí)性因素的基礎(chǔ)上，提出采用新型計(jì)算處理架構(gòu)的改進(jìn)思路，使該架構(gòu)具有數(shù)據(jù)結(jié)構(gòu)改動(dòng)小，并行處理能力強(qiáng)，系統(tǒng)響應(yīng)時(shí)間少等特點(diǎn)。
　　(2)研究了兩種主流分布式數(shù)據(jù)計(jì)算處理架構(gòu)，即Apache Hadoop為代表的批處理系統(tǒng)和Twitter Storm為代表的流處理系統(tǒng)，分別從集群組成、計(jì)算模型、生態(tài)系統(tǒng)等角度進(jìn)行了分析，在系統(tǒng)的技術(shù)路線、計(jì)算時(shí)效、數(shù)據(jù)吞吐、系統(tǒng)靈活、容錯(cuò)處理與

4、生態(tài)系統(tǒng)等方面進(jìn)行了性能比較。
　　(3)構(gòu)建了面向流處理的軟件架構(gòu)，該架構(gòu)使用了以并行計(jì)算為特征的分布式處理模式，采用了基于內(nèi)存計(jì)算的分布式流處理技術(shù)，取代現(xiàn)有系統(tǒng)中以串行計(jì)算為特征的集中式處理模式，理論分析與測試結(jié)果表明，該架構(gòu)有效提升了系統(tǒng)實(shí)時(shí)性能。
　　(4)針對(duì)現(xiàn)有流處理系統(tǒng)無法實(shí)現(xiàn)離線數(shù)據(jù)深度分析挖掘的問題，本文提出了一種批處理與流處理相結(jié)合的新型數(shù)據(jù)處理架構(gòu)，該架構(gòu)具有統(tǒng)一的計(jì)算平臺(tái)、支持超大規(guī)模數(shù)據(jù)的實(shí)時(shí)計(jì)算