基于多結(jié)構(gòu)數(shù)據(jù)立方體的多維分析挖掘模型.pdf

1、互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展促使現(xiàn)代社會進入到了“網(wǎng)絡(luò)化社會”的時代。每天互聯(lián)網(wǎng)上都會產(chǎn)生海量的數(shù)據(jù)，而以文本數(shù)據(jù)為代表的以半結(jié)構(gòu)化或非結(jié)構(gòu)化的形式產(chǎn)生和存儲的數(shù)據(jù)占了其中絕大部分。如何科學(xué)有效的對這些文本數(shù)據(jù)進行處理、分析，進而獲取其中有價值的信息成為了各大公司和組織亟待解決的問題。為此業(yè)界從不同方向進行了探索，其中使用OLAP（聯(lián)機分析處理）操作對其進行分析挖掘是其中一種可行的研究方向。常規(guī)的數(shù)據(jù)立方體是構(gòu)建在結(jié)構(gòu)化數(shù)據(jù)之上的，難以有效的支

2、持非結(jié)構(gòu)化的數(shù)據(jù)。因此對非結(jié)構(gòu)化數(shù)據(jù)的立方體構(gòu)建方法進行研究是具有十分重要意義的。本文以對海量短文本熱門主題的分析挖掘任務(wù)為研究背景，提出了一種構(gòu)建文本立方體的方案。該方案在文本立方體的維度獲取和度量計算兩方面進行了研究:
　　1、結(jié)合分布式聚類方法生成文本的主題，進而獲得非結(jié)構(gòu)化數(shù)據(jù)集的主題維度，該方法大大簡少了文本立方體維度構(gòu)建的人工成本。
　　2、提出了一種基于文本TFIDF值的事實表度量單元計算方法，從而允許在文本立

3、方體中應(yīng)用常規(guī)的OLAP計算函數(shù)對文本集的主題熱度進行度量，無需定義新的度量方法。
　　針對本應(yīng)用中文本數(shù)據(jù)集巨大，預(yù)處理過程復(fù)雜，單機處理效率低下的特點，本文設(shè)計并實現(xiàn)了一套基于MapReduce分布式并行計算框架下的預(yù)處理方案。實驗結(jié)果表明，該方法具有較強的實用性和可擴展性，它能夠高效的為大規(guī)模文本數(shù)據(jù)集構(gòu)建立方體模型，在構(gòu)建的文本立方體上使用OLAP操作進行分析能夠有效的挖掘文本數(shù)據(jù)集中所包含的熱門信息，大大提高了文本數(shù)據(jù)分