基于機(jī)器學(xué)習(xí)的信息過(guò)濾和信息檢索的模型和算法研究.pdf

1、隨著Internet技術(shù)的飛速發(fā)展，信息網(wǎng)絡(luò)在人們的工作生活中具有越來(lái)越重要的地位。從網(wǎng)絡(luò)上的海量信息中快速、高效地獲取人們真正需要的信息資源，已成為信息社會(huì)中的一個(gè)關(guān)鍵問(wèn)題。信息過(guò)濾和信息檢索技術(shù)是解決這一問(wèn)題的有效方法，具有重要的學(xué)術(shù)意義和應(yīng)用價(jià)值。本文基于統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法，重點(diǎn)研究了信息過(guò)濾和信息檢索模型與求解算法。主要研究?jī)?nèi)容包括： 首先，介紹了信息過(guò)濾和信息檢索的概念和意義，總結(jié)了它們的起步和發(fā)展情況。概括介紹了幾種基

2、于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法的概念和特點(diǎn)以及它們?cè)谛畔⑦^(guò)濾和信息檢索中的應(yīng)用，作為本文的理論基礎(chǔ)。 其次，介紹了協(xié)同過(guò)濾問(wèn)題的幾種常見(jiàn)方法，提出了應(yīng)用于協(xié)同過(guò)濾的一種概率模型，稱為真實(shí)偏好高斯混合模型。新模型引入了兩個(gè)隱含變量，分別用于描述用戶類(lèi)和項(xiàng)目類(lèi)，用戶和項(xiàng)目依概率可以同時(shí)屬于多個(gè)類(lèi)中。模型中考慮了用戶評(píng)分習(xí)慣以及項(xiàng)目的公眾評(píng)價(jià)對(duì)用戶-項(xiàng)目最終評(píng)價(jià)的綜合影響。與傳統(tǒng)協(xié)同過(guò)濾模型相比，新模型更符合用戶評(píng)價(jià)的實(shí)際情況。 第三，

3、研究了有限混合模型在大規(guī)模文本數(shù)據(jù)聚類(lèi)問(wèn)題中的應(yīng)用，提出了用有限混合模型進(jìn)行無(wú)監(jiān)督文本聚類(lèi)的一種規(guī)范的廣義方法。它將模型選擇，特征選擇以及混合模型的參數(shù)估計(jì)納入一個(gè)統(tǒng)一的框架。定義了一種改進(jìn)的“特征顯著性”方法，將特征對(duì)各混合成員的相關(guān)性作為隱變量引入混合模型，在估計(jì)模型參數(shù)的同時(shí)完成特征選擇。發(fā)展了一種帶特征選擇的多項(xiàng)式混合模型，作為廣義方法的實(shí)例做了詳細(xì)的說(shuō)明。 第四，采用基于圖的方法研究半監(jiān)督學(xué)習(xí)問(wèn)題。主要思想是定義樣本間