基于關(guān)鍵詞聚類與神經(jīng)網(wǎng)絡(luò)的網(wǎng)頁(yè)排序?qū)W習(xí)算法研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，搜索引擎已經(jīng)成為互聯(lián)網(wǎng)最重要的入口之一。在搜索引擎的組成部分中，網(wǎng)頁(yè)排序是搜索引擎設(shè)計(jì)的核心問(wèn)題，排序結(jié)果的準(zhǔn)確性決定了搜索引擎的性能和用戶體驗(yàn)。早期搜索引擎的網(wǎng)頁(yè)排序模型雖然構(gòu)造方法簡(jiǎn)單，但手動(dòng)調(diào)參的局限性導(dǎo)致排序效果不夠理想。對(duì)此，近年來(lái)一種新的學(xué)習(xí)方法-排序?qū)W習(xí)(learningtorank)越來(lái)越多地應(yīng)用到搜索模型的構(gòu)造上，以獲得更精確的搜索結(jié)果。排序?qū)W習(xí)被廣泛應(yīng)用在文檔檢索和協(xié)同波領(lǐng)域，受到越來(lái)越多國(guó)內(nèi)外學(xué)者

2、的關(guān)注，成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)研究熱點(diǎn)。
　　采用機(jī)器學(xué)習(xí)方法的網(wǎng)頁(yè)排序?qū)W習(xí)算法主要分為基于Pointwise，Pairwise和Listwise三種類型。本文針對(duì)基于Pairwise方法的網(wǎng)頁(yè)排序算法在查詢?cè)~的語(yǔ)義模糊性，查詢不平等性以及文檔對(duì)之間沒(méi)有優(yōu)先關(guān)系等方面的不足，提出了基于查詢?cè)~聚類與文檔相關(guān)性等級(jí)區(qū)分優(yōu)化的網(wǎng)頁(yè)排序改進(jìn)算法。首先通過(guò)特征值擴(kuò)充查詢?cè)~的含義，構(gòu)建新的查詢?cè)~向量空間，利用K-MEANS算法進(jìn)行查詢?cè)~的聚類

3、;其次在查詢?cè)~聚類的基礎(chǔ)上，通過(guò)平等化每個(gè)查詢，擴(kuò)充訓(xùn)練集加大文檔不同相關(guān)性等級(jí)間的區(qū)分度并減少不相關(guān)文檔的噪聲影響來(lái)提高排序算法結(jié)果的準(zhǔn)確性。在公開(kāi)數(shù)據(jù)集LETOR4.0(MQ2008)上進(jìn)行實(shí)驗(yàn)，采取多個(gè)評(píng)價(jià)指標(biāo)對(duì)神經(jīng)網(wǎng)絡(luò)模型優(yōu)化結(jié)果進(jìn)行衡量，并與基線進(jìn)行對(duì)比。實(shí)驗(yàn)結(jié)果表明改進(jìn)算法可以提高排序結(jié)果的準(zhǔn)確率。
　　目前對(duì)于排序?qū)W習(xí)的研究主要是從排序算法本身進(jìn)行優(yōu)化，而對(duì)于特征的選擇與重組的研究較少。然而從傳統(tǒng)機(jī)器學(xué)習(xí)的研究方法中