概率數(shù)據(jù)檢索、挖掘及多層文本分類問題的研究.pdf

1、數(shù)據(jù)檢索與挖掘是一門不斷發(fā)展的綜合性交叉學科，涉及數(shù)據(jù)的存儲、索引、檢索、查詢以及分析等多個方面。本文主要針對其中的三個重要問題進行了研究，主要內容和結論可以歸納如下:第一，研究針對概率空間數(shù)據(jù)的文本檢索技術。不間斷地跟蹤、分析了Twitter 數(shù)據(jù)在地理位置上和時間上的分布特征，發(fā)現(xiàn)存在大量空間文本檢索的請求。從2011年11月至2012年5月，連續(xù)地收集帶有地理位置標簽的Twitter數(shù)據(jù)，分析發(fā)現(xiàn)存在大量位置不確定性，嚴重影響了空

2、間文本檢索結果的準確度和NDCG度量。研究旨在獲得文本語義相關性強、空間可信度高的信息。首先，基于可能世界語義模型，定義top-(c,k)檢索模式，以結合文本語義相關度和空間可信度兩方面的語義。其次，分析現(xiàn)有的空間文本數(shù)據(jù)索引結構，利用IRTree混合索引結構索引概率空間文本數(shù)據(jù)，提出了文本相似度得分和空間可信度得分的增量式計算算法(ISA)，按文本相似度得分遞減的順序逐個遍歷空間文本對象。然后，設計了參數(shù)化的概率排序算法PRankc，

3、與ISA算法相互配合，在線性時間內計算所有空間文本對象的top-c可信度;給出了優(yōu)化策略，避免PRankc算法遍歷全部空間文本對象;設計了統(tǒng)計模型估計PRankc算法中參數(shù)c的合理取值。最后，在真實的Twitter數(shù)據(jù)集上進行實驗，實驗結果表明，與其他檢索方式相比，top-(c，k)檢索模式能夠獲得更好的檢索質量，并且采用優(yōu)化策略的PRankc算法能夠快速的完成檢索任務。第二，研究針對概率事務數(shù)據(jù)的頻繁項集挖掘技術。分析概率事務數(shù)據(jù)上頻

4、繁項集的語義，發(fā)現(xiàn)了基于期望值定義的期望頻繁項集帶來的語義缺失問題，提出了基于可能世界語義模型的概率頻繁項集的概念，并考察了概率頻繁項集的Apriori性質。設計了多項式時間的候選頻繁項集的判定算法。分析確定環(huán)境下挖掘頻繁項集的經(jīng)典的Apriori算法，給出了概率頻繁項集挖掘算法P-Apriori，按可信度遞減地順序、增量式地返回概率頻繁項集。在概率事務數(shù)據(jù)上，對P-Apriori算法的項目概率分布敏感性進行測試，并測試了各種參數(shù)下挖掘

5、算法的性能。實驗表明，在各種挖掘參數(shù)下，P-Apriori算法均能在理想的時間和空間內獲得挖掘結果，算法執(zhí)行時間大體上與數(shù)據(jù)集規(guī)模呈線性關系。第三，開展了多層文本分類技術的研究，分析多層文本分類技術面臨的兩個關鍵問題:數(shù)據(jù)偏斜問題和錯誤傳播問題。提出了基于路徑的語義向量的概念，用于理解概念樹結構中類別的準確語義?；陬悇e的路徑語義向量表示和文本相似性度量，設計訓練樣本增強策略，為訓練樣本稀疏的類別收集潛在的、可靠的訓練樣本?？疾炝烁拍顦?/p>