基于數據挖掘的Web信息檢索研究.pdf

1、Internet使人們獲取信息更加方便和快捷，但是由于網上的信息浩如煙海，并且不斷快速增長，而其中絕大多數對用戶來說是無關的，所以如何在網絡中找到自己所需的信息成了一個重要問題。搜索引擎是在一定程度上幫助人們解決這個問題，但是它并不能完全滿足用戶的需求。本文即是在此背景下，針對目前搜索引擎模型分析，提出一種新的搜索引擎模型，同時利用數據挖掘方法來解決網絡上某些信息檢索問題，內容主要涉及到如何構造合理的搜索引擎模型，如何有效的組織網絡資源

2、，如何發(fā)現網絡中蘊涵的資源和如何對已經得到的數據進行維護等。本文的創(chuàng)造性研究成果主要有： (1) 在分析目前搜索引擎模型的基礎上，從模型的結構角度提出一種新的搜索引擎模型(混合模型)，它能快速、準確地發(fā)現用戶所需的信息，并分析實現該模型所需要的關鍵技術。 (2)根據Fisher判別方法的思想提出了一種有效的有監(jiān)督層次文檔分類算法(HDCF)，該算法主要將文檔按照主題進行層次分類，利用Fisher線性判別式的思想來提取每一

3、類的正特征詞和負特征詞，然后根據這些特征詞對給定文檔進行分類。該算法不僅克服一般層次分類算法中假定特征詞之間必須滿足獨立性的條件，而且能處理一個文檔涉及多個類的分類問題。在實驗中，采用召全率和準確率2個指標與其它算法進行比較，實驗結果表明：HDCF 的效果好于其它算法。 (3)為了滿足在線學習文檔分類需要，本文根據自適應諧振理論提出了半監(jiān)督學習自適應諧振理論系統(tǒng)。在該系統(tǒng)中取消了一般半監(jiān)督學習算法中假定已知數據概率分布的條件限制

4、，利用自適應諧振理論的穩(wěn)定性和可塑性，使其具有非常強的學習新模式和糾正錯誤能力。為了提高系統(tǒng)自適應性能力，將警戒參數設置為動態(tài)變化。實驗結果表明半監(jiān)督學習自適應諧振理論系統(tǒng)的性能優(yōu)于判別式CEM算法，特別是在含有噪音和新模式數據情況下，其優(yōu)勢更為明顯。 (4)針對已有的周期性關聯(lián)規(guī)則模型的局限性，提出一種新的周期性關聯(lián)規(guī)則模型。此模型通過聚類分析可以將一個周期分成若干個長度不等的時間段，并給出該算法，實驗結果表明這樣可以更準確地

5、發(fā)現周期性關聯(lián)規(guī)則。同時，因為數據的稀疏性，在底層或原始的數據之間很難找到滿足用戶需求的周期性關聯(lián)規(guī)則，而有很多數據是分層，在較高層次上可以發(fā)現的周期性關聯(lián)規(guī)則，所以，又提出周期性一般關聯(lián)規(guī)則算法(CGI)。由于周期性一般關聯(lián)規(guī)則對數據噪聲非常敏感，用噪聲比來抑制數據噪聲對發(fā)現周期性一般關聯(lián)規(guī)則的影響。同時根據對周期性與一般頻繁項集之間關系的分析，利用周期裁剪技術來節(jié)省挖掘時間。本文中給出了CGI算法，同時還對發(fā)現規(guī)則的有意義性和冗余性

6、進行判斷和處理。實驗證明，該算法可高效地發(fā)現周期性一般關聯(lián)規(guī)則。 (5)關聯(lián)規(guī)則是要從大量的數據中找到數據之間的規(guī)律，但有時所產生的規(guī)律十分繁多，從而形成新的知識管理問題。針對該問題本文提出了一個新的算法，該算法利用系統(tǒng)聚類分析方法對規(guī)則進行分組，從而更好地幫助用戶理解所發(fā)現的規(guī)律，由于該方法的距離(RatioD)是基于關聯(lián)規(guī)則本身，因此，可對規(guī)則進行高效地分組。實驗結果表明，該算法是有效的。 (6)對于維護已發(fā)現的序列

7、模式方法主要有兩種，一種是簡單地利用已有的挖掘序列模式算法對更新后的整個數據庫進行操作，這種方法涉及數據庫中的數據不僅有改變的部分而且有未改變的部分，而未改變的數據數量很大，當更新頻率高時，代價是非常大的；另一種方法是根據庫中記錄數目改變多少來決定何時對整個數據庫進行操作，但是記錄數目變化大并不能代表序列模式變化也大，因此本文利用樣品抽樣的方法來評估序列模式改變的程度，并根據改變的程度決定何時對整個數據庫進行操作來更新序列模式，從而較好