IPTVQOS日志分析方法研究.pdf

1、近年來(lái)，大數(shù)據(jù)無(wú)疑是IT業(yè)最熱門(mén)的新興技術(shù)，如今各行各業(yè)的數(shù)據(jù)量都達(dá)到的新的高度。作為數(shù)據(jù)首先達(dá)到飽和的IT業(yè)成為了大數(shù)據(jù)技術(shù)最為先進(jìn)的行業(yè)，各大互聯(lián)網(wǎng)公司及數(shù)據(jù)庫(kù)廠商相繼開(kāi)發(fā)或推出了自己的大數(shù)據(jù)產(chǎn)品。從而解決日常運(yùn)營(yíng)中所遇到的問(wèn)題。本文主要介紹在IPTVQos日志分析項(xiàng)目中，面對(duì)需求方提出的數(shù)據(jù)挖掘及聚類問(wèn)題，尋找合適的解決方案，文中首先闡述了項(xiàng)目的背景情況，隨后介紹了前期項(xiàng)目的進(jìn)展情況及采取的應(yīng)對(duì)措施，隨后提出本期項(xiàng)目的預(yù)期功能:1

2、、異常數(shù)據(jù)的剔除;2、海量數(shù)據(jù)的異常原因分析。針對(duì)提出的問(wèn)題，文中列舉了一些大數(shù)據(jù)的解決方案加以對(duì)比，最終選定以hadoop為大數(shù)據(jù)平臺(tái)以完成數(shù)據(jù)的分析挖掘工作，文中隨后介紹了Hadoop框架下各個(gè)組成部分及各部分的特點(diǎn)、使用方式及使用場(chǎng)景。在接下來(lái)的章節(jié)中，文中列出了開(kāi)發(fā)過(guò)程中遇到的一些技術(shù)難點(diǎn)，1、海量屬性值的遍歷;2、海量計(jì)算耗時(shí)過(guò)長(zhǎng);3、屬性的級(jí)聯(lián)關(guān)系處理;4、缺乏排序依據(jù);5、排名智能分析;6、異常數(shù)據(jù)的剔除。之后對(duì)各項(xiàng)技術(shù)難