基于Nutch的醫(yī)學(xué)領(lǐng)域垂直搜索引擎系統(tǒng)的研究與實現(xiàn).pdf

1、隨著近幾年互聯(lián)網(wǎng)的快速發(fā)展，人們獲取信息的方式越來越多，各種各樣的信息充斥在人們的生活中，給人們帶來了極大的便利，隨之而來的還有面對豐富信息的無所適從。搜索引擎的出現(xiàn)極大地緩解了這一現(xiàn)狀，然而，隨著互聯(lián)網(wǎng)上網(wǎng)頁數(shù)目呈現(xiàn)指數(shù)級速度增長，通用搜索引擎在提高搜索效率方面愈發(fā)艱難，而垂直搜索引擎憑借其高度的信息集中度和較強的專業(yè)領(lǐng)域知識，成為時下研究的熱點。因此，各領(lǐng)域內(nèi)垂直搜索引擎平臺相繼出現(xiàn)，但在與人們生活健康息息相關(guān)的醫(yī)療衛(wèi)生領(lǐng)域卻依然沒

2、有一個較好的搜索平臺，人們對于各種疾病的預(yù)防和治療信息大多只能通過醫(yī)生了解，信息渠道單一，而且由于地理環(huán)境、經(jīng)濟發(fā)展等因素限制，優(yōu)勢醫(yī)療資源發(fā)展不均衡。若能實現(xiàn)一個醫(yī)療領(lǐng)域的垂直搜索引擎，人們足不出戶就可獲取醫(yī)療信息，這將有利于緩解我國目前醫(yī)療意識和基礎(chǔ)設(shè)施薄弱的問題。
　　本文基于Nutch開源搜索框架，針對垂直搜索引擎中的主題爬蟲模塊和信息檢索模塊進行分析和設(shè)計，并最終實現(xiàn)醫(yī)學(xué)領(lǐng)域的垂直搜索引擎。在該垂直搜索引擎的搭建中，主題

3、爬蟲模塊的構(gòu)建一直是當(dāng)下研究的熱點，本文通過對主題爬蟲爬行策略中的Fish-Search算法進行分析試驗，依據(jù)網(wǎng)頁鏈接和網(wǎng)頁內(nèi)容對網(wǎng)頁進行綜合相關(guān)度評價，采用彈性閾值機制，在限制“隧道現(xiàn)象”的基礎(chǔ)上對醫(yī)學(xué)領(lǐng)域相關(guān)的網(wǎng)頁進行爬取、下載。在抓取該醫(yī)學(xué)領(lǐng)域的網(wǎng)頁后，利用網(wǎng)頁解析工具和網(wǎng)頁分塊技術(shù)對網(wǎng)頁進行解析，并將解析后的網(wǎng)頁文本內(nèi)容進行中文分詞，構(gòu)建倒排索引結(jié)構(gòu)的倒排表。針對信息檢索中網(wǎng)頁的排序問題，本文通過對Lucene搜索結(jié)果評分機制的

4、分析與研究，對PageRank算法在權(quán)值傳遞過程中的平均分配問題加以優(yōu)化，并添加時間反饋因子，減少舊網(wǎng)頁的天然優(yōu)越性，并將優(yōu)化后的PageRank算法與Lucene中的向量空間模型結(jié)合，在抑制“主題漂移”現(xiàn)象的基礎(chǔ)上提高網(wǎng)頁的主題相關(guān)性和權(quán)威性，最后將經(jīng)過排序處理后的結(jié)果網(wǎng)頁返回給用戶，實現(xiàn)醫(yī)學(xué)領(lǐng)域垂直搜索引擎的整個流程。
　　通過對垂直搜索引擎系統(tǒng)的設(shè)計與實現(xiàn)，用戶可以以快捷高效的方式獲得較為權(quán)威的醫(yī)學(xué)領(lǐng)域信息，對個人的健康與衛(wèi)