分布式BI數(shù)據(jù)分析引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著時(shí)代的發(fā)展和技術(shù)的進(jìn)步，互聯(lián)網(wǎng)上的商業(yè)信息和企業(yè)內(nèi)部數(shù)據(jù)都呈現(xiàn)幾何級(jí)數(shù)般地快速擴(kuò)容。所以，傳統(tǒng)的商業(yè)智能數(shù)據(jù)分析已經(jīng)演進(jìn)到大數(shù)據(jù)處理時(shí)代。而在精細(xì)處理這些海量數(shù)據(jù)的應(yīng)用實(shí)現(xiàn)方面，還存在很多技術(shù)難點(diǎn)。因此，利用社會(huì)化網(wǎng)絡(luò)特性，在任務(wù)層面進(jìn)行分布式網(wǎng)絡(luò)計(jì)算；并結(jié)合傳統(tǒng)搜索引擎系統(tǒng)的分詞、倒排索引等成熟關(guān)鍵技術(shù)；設(shè)計(jì)與實(shí)現(xiàn)一個(gè)面向商業(yè)智能大數(shù)據(jù)應(yīng)用，能提供垂直搜索、輿情和商情排行等互聯(lián)網(wǎng)web服務(wù)的技術(shù)解決方案，就具有了十分重要的意義。<

2、br>　　在設(shè)計(jì)方面：針對(duì)原始數(shù)據(jù)的龐大性，復(fù)雜性，將其整體處理的大任務(wù)分成許多按專(zhuān)業(yè)屬性細(xì)化的小任務(wù)，引入“招標(biāo)”競(jìng)爭(zhēng)機(jī)制，遵循“馬太效應(yīng)”，將每一個(gè)細(xì)化的任務(wù)片，最合理地分派到給：利用“物以類(lèi)聚，人以群分”的社會(huì)化網(wǎng)絡(luò)基本特性組建起來(lái)的，由專(zhuān)業(yè)領(lǐng)域人類(lèi)智能掌控的分布式網(wǎng)絡(luò)節(jié)點(diǎn)。并將節(jié)點(diǎn)返回的數(shù)據(jù)，進(jìn)行績(jī)效考核打分，作為下次任務(wù)分配的依據(jù)。這些論述體現(xiàn)了標(biāo)題中關(guān)于分布式的創(chuàng)新思想。同時(shí)，面向傳統(tǒng)的商業(yè)智能應(yīng)用，構(gòu)建了數(shù)據(jù)采集，原始數(shù)據(jù)

3、結(jié)構(gòu)化處理，建立索引和查詢(xún)支持四個(gè)核心模塊的架構(gòu)，并明確了其最基本的功能輸出。這些論述體現(xiàn)了標(biāo)題中軟件系統(tǒng)必須為商業(yè)智能應(yīng)用提供特殊優(yōu)化的工程實(shí)踐思想。
　　在實(shí)現(xiàn)方面：闡述了分布式處理的三個(gè)核心軟件包的技術(shù)細(xì)節(jié)，完成了基礎(chǔ)（祖先）類(lèi)圖，并依此舉例闡述了重點(diǎn)核心算法、流程和核心代碼。并對(duì)其進(jìn)行了一定深度和廣度的測(cè)試。并根據(jù)實(shí)驗(yàn)結(jié)果，驗(yàn)證了該平臺(tái)在現(xiàn)有技術(shù)條件下的可行性。
　　最后依照測(cè)試結(jié)果得出若干結(jié)論，證實(shí)系統(tǒng)達(dá)到預(yù)期目標(biāo)