個(gè)性化檢索中主題標(biāo)引與偏好挖掘算法的并行化研究.pdf

1、隨著傳統(tǒng)搜索引擎技術(shù)發(fā)展的成熟，個(gè)性化智能檢索逐漸成為搜索引擎的主要發(fā)展方向。通過(guò)對(duì)用戶的主題偏好建模，實(shí)現(xiàn)基于主題的個(gè)性化檢索，將有助于發(fā)現(xiàn)用戶的潛在需求，提高檢索服務(wù)的質(zhì)量。主題相關(guān)信息的計(jì)算，包括文檔的主題標(biāo)引、用戶主題偏好的挖掘等，在面對(duì)海量數(shù)據(jù)時(shí)，計(jì)算性能是一個(gè)瓶頸，而全文檢索對(duì)于響應(yīng)時(shí)間又有著較高的要求。因此，個(gè)性化檢索中計(jì)算性能的改進(jìn)是一個(gè)重要研究方向。
　　如今MapReduce計(jì)算框架被廣泛用于大數(shù)據(jù)的處理。但它

2、的一些缺陷，包括啟動(dòng)任務(wù)耗時(shí)長(zhǎng)、中間數(shù)據(jù)過(guò)多地進(jìn)行磁盤IO等，使得它不適用于對(duì)時(shí)間性能要求較高的應(yīng)用。為此，采用YARN作為底層分布式資源管理平臺(tái)，根據(jù)個(gè)性化檢索相關(guān)計(jì)算的特性，選擇更加合適的計(jì)算框架，用以改善計(jì)算性能。針對(duì)個(gè)性化檢索中文檔主題標(biāo)引算法計(jì)算步驟多、階段性強(qiáng)的特點(diǎn)，選擇DAG計(jì)算模型進(jìn)行算法實(shí)現(xiàn)，避免不必要的作業(yè)拆分，從而減少中間結(jié)果的磁盤IO。針對(duì)主題偏好挖掘過(guò)程中日志分析的實(shí)時(shí)性要求，選擇流式計(jì)算模型設(shè)計(jì)相關(guān)算法，對(duì)日

3、志進(jìn)行持續(xù)性實(shí)時(shí)分析，解決偏好挖掘過(guò)于滯后的問(wèn)題。通過(guò)實(shí)驗(yàn)對(duì)比發(fā)現(xiàn)，以YARN為底層管理平臺(tái)，在此基礎(chǔ)上選擇有針對(duì)性的計(jì)算框架，可以有效改善計(jì)算性能。
　　雖然通過(guò)在YARN上采用更加適合的計(jì)算框架已大幅度提高了計(jì)算性能，但仍然存在優(yōu)化的空間。一方面，框架間存在數(shù)據(jù)交互，這部分?jǐn)?shù)據(jù)有著大規(guī)模隨機(jī)讀的特性，通過(guò)合理設(shè)置緩存機(jī)制可以加速數(shù)據(jù)的獲取；另一方面，離線計(jì)算中的排序策略耗時(shí)較多，而個(gè)性化搜索中部分計(jì)算對(duì)計(jì)算結(jié)果是否有序不做要求