基于學術(shù)網(wǎng)絡的虹檢索系統(tǒng)設計與應用研究.pdf

1、隨著移動互聯(lián)網(wǎng)、云計算技術(shù)的快速發(fā)展，各行各業(yè)產(chǎn)生、獲取、處理和存儲的數(shù)據(jù)量正以指數(shù)級別呈爆炸式的增長。大數(shù)據(jù)作為新時代發(fā)展的標志，以多元、多態(tài)、互聯(lián)的形式影響著社會生產(chǎn)生活。在學術(shù)領(lǐng)域，文獻累積數(shù)量已達億級，海量文獻數(shù)據(jù)對傳統(tǒng)檢索方法造成了巨大的挑戰(zhàn)。傳統(tǒng)的文獻檢索方法主要通過單一的文獻信息，例如檢索詞與檢索內(nèi)容之間相關(guān)度或者文獻的引用量進行排序，并沒有考慮學術(shù)網(wǎng)絡中節(jié)點之間的關(guān)聯(lián)關(guān)系以及節(jié)點自身的屬性，因此檢索結(jié)果會存在關(guān)聯(lián)度較差、

2、偏離主題、檢索質(zhì)量不高等缺陷。此外，傳統(tǒng)學術(shù)檢索系統(tǒng)主要提供文獻檢索服務，而實際上領(lǐng)域權(quán)威專家推薦可以更好地指導科研工作者的研究以及發(fā)展方向。針對海量學術(shù)數(shù)據(jù)，如何挖掘更深層的鏈接結(jié)構(gòu)語義信息，建立專家檢索系統(tǒng)，也是重要的研究課題。數(shù)據(jù)挖掘技術(shù)和分布式計算的發(fā)展，為解決以上問題提供了有效的手段。本文針對文獻檢索以及專家檢索兩種場景，通過構(gòu)建學術(shù)信息網(wǎng)絡，實現(xiàn)了對檢索方法的優(yōu)化以及檢索系統(tǒng)的應用設計。
　　首先，在文獻檢索系統(tǒng)中，基

3、于鏈接分析PageRank算法對文獻節(jié)點重要度排序，并針對PageRank算法的性能缺陷做了以下兩方面的改進:(1)利用學術(shù)信息網(wǎng)絡節(jié)點的不同屬性，計算學術(shù)網(wǎng)絡中文獻節(jié)點的權(quán)威度?；谖墨I權(quán)威度對PageRank算法中的權(quán)重分配策略進行改進，從而提出了SQT-Rank算法，提高了算法的排序性能;(2)考慮到大數(shù)據(jù)背景下文獻數(shù)據(jù)量巨大，利用MapReduce編程模型對SQT-Rank算法并行化處理，提高了算法的計算性能。
　　再者，

4、與同構(gòu)信息網(wǎng)絡相比，異構(gòu)信息網(wǎng)絡蘊含更豐富的鏈接結(jié)構(gòu)語義信息。在專家檢索系統(tǒng)中，為進行更深層的數(shù)據(jù)挖掘和分析，首先構(gòu)建了學術(shù)異構(gòu)信息網(wǎng)絡，并從中抽取了文獻、專家以及期刊相關(guān)的六個關(guān)系矩陣。最后基于文獻、專家、期刊相互增強作用的統(tǒng)一架構(gòu)，提出專家重要度排序MR-Rank算法，獲得了更加公平合理的專家排序結(jié)果。
　　最后，在上述理論方法研究的基礎上，對基于學術(shù)網(wǎng)絡的虹檢索系統(tǒng)進行了架構(gòu)設計與功能實現(xiàn)。整個系統(tǒng)架構(gòu)包含數(shù)據(jù)獲取、數(shù)據(jù)存儲

5、、數(shù)據(jù)索引、數(shù)據(jù)分析以及結(jié)果可視化展現(xiàn)等部分。通過數(shù)據(jù)分析處理實現(xiàn)對學術(shù)數(shù)據(jù)提取、清洗、轉(zhuǎn)換，完成文獻、專家節(jié)點重要度分析等功能，最后以指定的方式將排序結(jié)果可視化展示給用戶。
　　綜上，本文主要針對大數(shù)據(jù)背景下海量文獻精準檢索和領(lǐng)域?qū)＜彝扑]問題。通過構(gòu)建同構(gòu)和異構(gòu)學術(shù)網(wǎng)絡模型，基于優(yōu)化后的文獻排序SQT-Rank算法和專家排序MR-Rank算法挖掘網(wǎng)絡中節(jié)點重要度，并進一步應用虹檢索系統(tǒng)為用戶推薦高質(zhì)量的文獻、專家，以提高用戶的檢