基于網(wǎng)頁(yè)內(nèi)容的海量數(shù)據(jù)管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著網(wǎng)絡(luò)的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體，這些數(shù)據(jù)中蘊(yùn)藏著許多有價(jià)值的信息，其中存在的巨大潛能不容小覷。目前國(guó)內(nèi)外都在關(guān)注大數(shù)據(jù)給我們帶來(lái)的潛在商機(jī)，各行各業(yè)都有自己潛在的商業(yè)數(shù)據(jù)，在市場(chǎng)中取得最大的商業(yè)利潤(rùn)。大數(shù)據(jù)行業(yè)是一個(gè)垂直的行業(yè)，如何從業(yè)務(wù)角度，從大數(shù)據(jù)視角上，能夠挖掘出更利于企業(yè)發(fā)展的價(jià)值，而不是單純的從技術(shù)層面上說(shuō)數(shù)據(jù)挖掘、數(shù)據(jù)分析，而是挖掘“我”需要的有用的信息，利于“我”企業(yè)發(fā)展的信息。
　　本文針對(duì)網(wǎng)絡(luò)數(shù)據(jù)的

2、潛在價(jià)值這一特征，設(shè)計(jì)并實(shí)現(xiàn)了基于網(wǎng)頁(yè)內(nèi)容的海量數(shù)據(jù)管理系統(tǒng)。該系統(tǒng)能夠有效的利用數(shù)據(jù)挖掘方法，從網(wǎng)絡(luò)中獲取海量信息并提取出有用的模式和規(guī)律利用它將數(shù)據(jù)轉(zhuǎn)化為商業(yè)智能，提高企業(yè)的核心競(jìng)爭(zhēng)力。
　　本文首先闡述海量數(shù)據(jù)管理系統(tǒng)的項(xiàng)目背景，項(xiàng)目目的和意義;然后介紹本系統(tǒng)涉及到的相關(guān)技術(shù)，之后提出系統(tǒng)業(yè)務(wù)、功能性和非功能性的需求分析;隨著對(duì)系統(tǒng)的設(shè)計(jì)提出解決方案。其中數(shù)據(jù)抓取采用網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，數(shù)據(jù)分析階段采用聚類(lèi)算法中的K均值算法和K中

3、心點(diǎn)算法，關(guān)聯(lián)分析中采用頻繁漸增模式樹(shù)(Frequent Pattern Growth，F(xiàn)P-growth)算法來(lái)實(shí)現(xiàn)的。在整個(gè)項(xiàng)目的開(kāi)發(fā)工作中，作者獨(dú)立負(fù)責(zé)完成了網(wǎng)絡(luò)數(shù)據(jù)抓取模塊，部分?jǐn)?shù)據(jù)預(yù)處理模塊功能和數(shù)據(jù)挖掘分析模塊的設(shè)計(jì)與實(shí)現(xiàn)。作為主要參與者，作者參與完成了網(wǎng)絡(luò)數(shù)據(jù)抓取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)分析模塊的功能實(shí)現(xiàn)。最后論文對(duì)系統(tǒng)的測(cè)試結(jié)果進(jìn)行分析和指標(biāo)的評(píng)估總結(jié)。
　　該項(xiàng)目已通過(guò)內(nèi)測(cè)，目前已準(zhǔn)備進(jìn)入運(yùn)行階段。本人參與設(shè)計(jì)與實(shí)現(xiàn)的