文檔數(shù)據(jù)庫若干關鍵技術研究.pdf

1、在該文中,我們對文檔數(shù)據(jù)庫的一些關鍵技術進行了研究,具體內(nèi)容包括全文檢索技術、結構化文檔檢索、文本過濾、文本挖掘以及其它相關技術,取得的創(chuàng)新性成果主要體現(xiàn)在以下四個方面:1)對一種新型的全文檢索模型—互關聯(lián)后繼樹進行研究我們在原來Σ<'2>鄰接矩陣模型研究的基礎上,發(fā)展出來一種新型的數(shù)據(jù)模型—互關聯(lián)后繼樹(IRST),這種模型充分利用了字符序列的有序性和冗余性,適用于海量全文存儲和索引.論文分別對IRST的創(chuàng)建、查詢和原文生成算法進行研

2、究.IRST保持了Σ<'2>鄰接矩陣模型的一些優(yōu)點,還具有更多的優(yōu)點:可以生成原文,既是全文的索引模型,又是全文的存儲模型;具有極佳的空間效率;具有領域獨立性和時間無關性;具有查詢的完備性;是一種多功能的數(shù)據(jù)模型,比如,根據(jù)它存儲的序列信息的特點,可以用于文本序列挖掘.2)從IR角度對XML文檔檢索進行研究提出了一種基于結構相似度的XML文檔檢索模型,在檢索的過程中根據(jù)XML文檔的結構和查詢路徑計算二者的相似度.還提出了一種簡單的查詢語

3、言-正則路徑集(RPS).我們還采用這個檢索模型建立了一個XML文檔檢索原型系統(tǒng),并對檢索模型進行了實驗比較,驗證了這個模型能有效地提高XML文檔的結構化檢索的性能.3)基于語義分析的文本過濾方法研究采用語義分析和統(tǒng)計方法相結合的策略對傾向性文本進行識別.論文提出了傾向性文本過濾的框架和過程,并給出了實驗測試結果.還對非法文本中常常包含的偽裝詞的構成規(guī)律進行了初步探索.如果不能有效識別這些人為設置的非正常形式的詞語,會給文本特征的選取帶

4、來障礙,進而影響文本過濾的準確性.論文還對面向偽裝詞的文本特征選取方法進行了研究.4)基于IRST的文本序列挖掘方法研究利用IRST的存儲了文本序列的特點,論文采用IRST作為文本挖掘的工具,研究了IRST進行頻繁集挖掘的方法,這個方法是一個通用技術,不局限于應用在文本的挖掘.然后又研究了將IRST用在文本序列挖掘上面,利用了IRST可以直接計算文本序列的支持度的特點.由IRST進行序列挖掘具有不生成候選集的特點,具有非常好的挖掘效率,