文本OLAP維度獲取與度量計算技術(shù)研究.pdf

1、信息數(shù)據(jù)在現(xiàn)代生產(chǎn)和生活中越來越重要。數(shù)據(jù)倉庫被大型企業(yè)及政府廣泛用于存儲和處理大規(guī)模數(shù)據(jù)。OLAP聯(lián)機分析處理成為數(shù)據(jù)倉庫處理數(shù)據(jù)的一種有力工具。OLAP技術(shù)能夠?qū)?shù)據(jù)在不同維度上進行觀察分析，為企業(yè)及政府等提供分析歷史數(shù)據(jù)和預(yù)測未來趨勢的功能。
　　 信息數(shù)據(jù)可大體分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。對于結(jié)構(gòu)化數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)處理方法比如關(guān)系型數(shù)據(jù)庫已能夠相當(dāng)有效地分析處理。非結(jié)構(gòu)化文本數(shù)據(jù)爆炸性地增長，常見的來源于Web頁面，企

2、業(yè)和政府業(yè)務(wù)積累的客戶反饋等，其潛在的信息價值不亞于結(jié)構(gòu)化數(shù)據(jù)，卻沒有相應(yīng)有效的分析處理方法。
　　 如果能夠?qū)LAP技術(shù)應(yīng)用于分析非結(jié)構(gòu)化文本數(shù)據(jù)，那么這種文本OLAP對非結(jié)構(gòu)化文本數(shù)據(jù)的處理將變得直觀有效。當(dāng)前一些研究成果比如TextCube、Topic Cube等已在這個方向上做出貢獻。它們也具有不同的原理和特性，有的歸類為信息檢索，有的是文本挖掘，有的是信息抽取。
　　 本文在研究現(xiàn)有文本OLAP成果基礎(chǔ)上，在

3、維度獲取和度量計算兩方面對文本OLAP進行了改進。本文利用工具將文本轉(zhuǎn)換為語義網(wǎng)絡(luò)這種中間形式，提出了用語義網(wǎng)絡(luò)表示的語義維，用帶權(quán)值語義網(wǎng)絡(luò)表示的度量，以及語義維度成員搜集和維度樹建立的輔助方法。本文還提出了一種語義網(wǎng)絡(luò)相似度計算方法，以及使用帶權(quán)值語義網(wǎng)絡(luò)計算度量的方法。前者用來將原始文本映射到語義維成員，并為度量的典型應(yīng)用提供支持;后者用來解決基礎(chǔ)單元格度量生成及單元格度量合并的計算問題。
　　 本文提高了文本OLAP分析