針對(duì)在線產(chǎn)品支撐數(shù)據(jù)的過濾和分析系統(tǒng)的研究與設(shè)計(jì).pdf

1、互聯(lián)網(wǎng)已經(jīng)深入到人們生活的各個(gè)方面，成為人們獲取信息的主要途徑之一。近些年以來，計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)應(yīng)用的風(fēng)靡?guī)砹藬?shù)據(jù)信息的爆發(fā)式增長，如何能夠高效快捷低成本地從中挖掘出高價(jià)值含量、可理解的知識(shí)以輔助人們決策，成為社會(huì)矚目的焦點(diǎn)課題。
　　大型網(wǎng)絡(luò)應(yīng)用產(chǎn)生的數(shù)據(jù)往往由于數(shù)據(jù)量大、質(zhì)量不高、分析不及時(shí)等原因難以有效利用，規(guī)模大和業(yè)務(wù)分散導(dǎo)致存儲(chǔ)數(shù)據(jù)源多分布在多套硬件或軟件系統(tǒng)中，進(jìn)而在數(shù)據(jù)聯(lián)接和遷移過程中帶來更多的數(shù)據(jù)問題。數(shù)據(jù)清洗

2、過程能夠針對(duì)這些應(yīng)用數(shù)據(jù)進(jìn)行整理、消除歧義和提高質(zhì)量，被認(rèn)為是數(shù)據(jù)應(yīng)用中不可或缺的步驟。
　　推薦系統(tǒng)是從數(shù)據(jù)中挖掘用戶所需信息的有效技術(shù)方案，它以用戶在日常行為中表現(xiàn)出來的興趣偏好為依據(jù)，通過信息篩選，滿足用戶需求，達(dá)到信息提供者與用戶的雙贏。隨著互聯(lián)網(wǎng)應(yīng)用的興起，大數(shù)據(jù)量成為影響推薦技術(shù)發(fā)展的關(guān)鍵因素之一。
　　本文對(duì)數(shù)據(jù)清洗和推薦系統(tǒng)的概念和國內(nèi)外研究動(dòng)態(tài)進(jìn)行了闡述，并針對(duì)數(shù)據(jù)清洗的自動(dòng)化、推薦系統(tǒng)的大數(shù)據(jù)量問題，作了

3、以下研究和討論：
　　1，研究數(shù)據(jù)清洗的基礎(chǔ)理論，包括數(shù)據(jù)質(zhì)量問題的概念、存在形式和清洗流程；針對(duì)真實(shí)數(shù)據(jù)集中的情況，對(duì)相似重復(fù)記錄檢測和處理、錯(cuò)誤值缺失值檢測處理流程進(jìn)行重點(diǎn)研究；
　　2，研究各種經(jīng)典推薦算法的基礎(chǔ)理論、應(yīng)用場景，并在真實(shí)數(shù)據(jù)集上對(duì)各算法進(jìn)行了對(duì)比試驗(yàn)，提出了基于時(shí)間權(quán)重的協(xié)同過濾算法；
　　3，在對(duì)Apache的開源項(xiàng)目Hadoop進(jìn)行充分分析和了解后，對(duì)基于時(shí)間權(quán)重的協(xié)同過濾算法進(jìn)行了MapRe