多關系異構對象Web挖掘研究.pdf

1、萬維網(World Wide Web)隨著近十年來的迅猛發(fā)展,已經成為一個巨大而復雜的信息空間.當用戶面對這樣快速增長的信息空間時,往往感覺到"信息過載".面對這樣的問題,Web挖掘技術應運而生.該技術結合信息檢索,數據挖掘以及知識管理等技術,幫助用戶快速的查找和管理所需要的信息.針對研究對象的不同,目前Web挖掘技術有三大研究方向:Web內容挖掘、Web結構挖掘以及Web使用挖掘. 隨著用戶對Web上信息的進一步使用,在基本的

2、'Web內容數據的基礎上衍生出了其他類型的數據.比如:用戶的網站瀏覽數據,用戶查詢日志數據以及用戶評價數據等.在這些數據中包含了多種對象,其中包括用戶、查詢詞,所點擊瀏覽的頁面等.并且這些對象不僅包含自身的性質,也同時與其他不同的對象之間存在多種關聯關系.我們稱之為:多關系異構對象.這種多關系異構對象數據包含了大量有價值的信息,充分利用這些信息能有效的提高用戶對Web信息獲取的滿意度、提高信息的利用率.當前的Web挖掘研究并沒有涉及該種

3、復雜數據的挖掘問題.由于該數據數量巨大但關聯關系很稀疏,使得對該種數據的挖掘成為非常巨大的挑戰(zhàn).本課題通過拓寬當前Web挖掘對象的范圍,提出了多關系異構對象挖掘研究來解決這些問題.在該研究中,我們相應的提出了多關系異構對象內容挖掘、多關系異構對象結構挖掘以及多關系異構對象使用挖掘的概念,并針對每個類別提出了一系列的挖掘算法并進行了體系化的理論研究工作. 本課題的研究提出了以下創(chuàng)新性的理論: 1. 多關系異構對象的潛在語義

4、分析.考慮到對象本身的內容信息以及與之關聯的對象信息,我們提出一種概率潛在語義分析模型來統(tǒng)一內容信息以及關系信息獲得更好的聚類效果. 2.基于迭代的互增強算法.在信任網絡傳播理論下,對象的類信息以及同構對象的相似度信息可以被迭代的傳播到與之相關聯的對象中去. 3.基于耗散熱傳導模型的鏈接分析算法.傳統(tǒng)的PageRank算法不能在復雜的基于層次的鏈接結構圖上進行分析.為了解決這個問題,我們首次提出一種基于耗散熱傳導的層次化

5、鏈接分析算法.該算法不僅考慮鏈接結構,同時也考慮到鏈接結構圖的層次信息. 4.解決數據稀疏性問題的數據平滑算法.數據稀疏性問題是協同過濾中一個非常重要的問題.為了填補數據中缺失的值,我們利用聚類信息來平滑數據稀疏性問題.通過聚類信息,我們可以將利用類信息來填充個體缺失的信息. 5.用戶語言模型研究.我們創(chuàng)新地提出一個基于統(tǒng)計語言模型的用戶個性化模型,其集成個體、團體以及全部用戶的模型來提供更準確用戶模型,同時解決用戶個人

6、信息稀疏性問題.其中,全部用戶的模型來平滑個體模型中沒有出現的詞,同時將用戶聚類,利用聚類用戶的行為來平滑個體中缺失的信息. 6.存儲與模型統(tǒng)一的協同過濾理論.基于存儲的協同過濾面臨數據稀疏以及耗時等問題而基于模型的協同過濾丟失了用戶的個性的多樣性,我們提出一個新型的協同過濾模型,其集成基于存儲的協同過濾與基于模型的協同過濾為一體來提供更好的推薦. 這些理論貫穿了多關系異構對象挖掘的三個方向.本課題研究的大量實驗結果也表