基于Hadoop的改進Apriori算法研究及應(yīng)用.pdf

1、今天，我們正被數(shù)據(jù)包圍。經(jīng)過調(diào)查全球總共有四十多億部電話、二十多億網(wǎng)絡(luò)用戶，這么多的用戶每時每刻都在不停地產(chǎn)生數(shù)據(jù)。同時人們還使用手機進行發(fā)送短信、上傳自己制作地視頻、更新自己在社交網(wǎng)站上的個人動態(tài)信息、轉(zhuǎn)發(fā)別人的微博等等。數(shù)據(jù)如此快速地增長向那些互聯(lián)網(wǎng)公司巨頭（國內(nèi)的百度、淘寶、騰訊，國外的Facebook、亞馬遜、微軟）提出了很大的挑戰(zhàn)。它們每天都需要對用戶產(chǎn)生的海量數(shù)據(jù)進行分析處理，從而發(fā)現(xiàn)哪些網(wǎng)站人們喜歡點擊和閱讀，哪些商品消費

2、者喜歡購買，哪些廣告能夠吸引用戶進行點擊。但是傳統(tǒng)的算法和工具對于處理如此規(guī)模的數(shù)據(jù)集的處理能力的越來越低效同時受制于內(nèi)存大小。
　　針對課題的要求，了解當前Hadoop和并行Apriori算法國內(nèi)外研究進展以及成果。在此基礎(chǔ)上本文詳細地介紹Hadoop技術(shù)和數(shù)據(jù)挖掘技術(shù)的相關(guān)概念和知識，其中在Hadoop技術(shù)中著重介紹了Hadoop的兩個核心:HDFS系統(tǒng)文件系統(tǒng)和編程模型MapReduce。接下來對傳統(tǒng)Apriori算法的思想