一種準(zhǔn)實(shí)時(shí)數(shù)據(jù)處理云視頻QoE分析平臺(tái).pdf

1、隨著日新月異的技術(shù)發(fā)展，視頻服務(wù)業(yè)也涌現(xiàn)出了一批優(yōu)秀的服務(wù)提供商。為了給視頻服務(wù)提供商提供參考，研究者的研究方向也逐漸從服務(wù)質(zhì)量（QoS）轉(zhuǎn)到用戶參與度（用戶體驗(yàn)的一種QoE）。另一方面，隨著社會(huì)節(jié)奏的加快數(shù)據(jù)時(shí)效性也越來(lái)越重要，而視頻數(shù)據(jù)量的增大也給數(shù)據(jù)處理能力帶來(lái)了更大的挑戰(zhàn)。傳統(tǒng)數(shù)據(jù)分析方案效性差、準(zhǔn)確性低且不易擴(kuò)展和移植。因此，構(gòu)建一種具有大規(guī)模實(shí)時(shí)數(shù)據(jù)分析處理能力的QoE分析方案勢(shì)在必行。本文重點(diǎn)闡述了算法選擇與改進(jìn)、數(shù)據(jù)處理

2、平臺(tái)的部署與改進(jìn)、實(shí)時(shí)數(shù)據(jù)處理方式三方面改進(jìn)工作，具體內(nèi)容如下：
　?。?）本文提出了改進(jìn)的均值歸一化AMKNN算法
　　為了證明匹配算法的適用范圍，本文參照數(shù)據(jù)分析一般規(guī)則，在不同數(shù)據(jù)集下比較了多種算法，最終選取了改進(jìn)的均值歸一化MKNN算法用于實(shí)時(shí)數(shù)據(jù)匹配。為了進(jìn)一步提高匹配實(shí)時(shí)性，本文結(jié)合K-means聚類提出了改進(jìn)的均值歸一化AMKNN算法，它具有準(zhǔn)確性高、處理速度快、適用范圍廣三方面特點(diǎn)。具體工作可以總結(jié)為以下兩部

3、分：第一，本文改進(jìn)了模擬實(shí)時(shí)匹配階段數(shù)據(jù)集，提出了均值歸一化MKNN算法，這種算法不僅匹配錯(cuò)誤率降低了70％，而且同時(shí)適用于在線和離線匹配。第二，本文結(jié)合K-means聚類，引入交叉聚類的概念并提出了均值歸一化AMKNN算法，該算法以1%的誤差為代價(jià)減少40%的計(jì)算復(fù)雜度。
　　（2）本文基于Lambda架構(gòu)在DCOS上部署了改進(jìn)的LKS系統(tǒng)
　　為了改進(jìn)傳統(tǒng)數(shù)據(jù)分析處理平臺(tái)，本文引入并改進(jìn)了LKS（Logstash+Kaf

4、ka+Spark）數(shù)據(jù)處理方案并在自主搭建的DCOS上構(gòu)建數(shù)據(jù)處理平臺(tái)。LKS可以大大增強(qiáng)平臺(tái)的數(shù)據(jù)處理能力，DCOS又為平臺(tái)帶來(lái)了資源利用率高、可擴(kuò)展可移植性好等特點(diǎn)。為了提高容錯(cuò)性，本文還引入了Kafka緩存和WAL技術(shù)。實(shí)際使用結(jié)果表明，基于DCOS構(gòu)建的改進(jìn)LKS方案與基于傳統(tǒng)方式構(gòu)建的ELK方案相比，無(wú)論在部署速度、可擴(kuò)展、可移植性、吐出量、還是處理能力上都更勝一籌。
　?。?）本文引入雙層窗口數(shù)據(jù)預(yù)處理和被動(dòng)定位