基于Nutch的中醫(yī)腦病垂直搜索引擎的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著Web信息量的飛速增長(zhǎng),越來(lái)越多的用戶希望能夠快速且有效地找到自己所需要的與特定領(lǐng)域主題有關(guān)的信息,目前通用搜索引擎已經(jīng)不能滿足用戶的各方面需求。鑒于垂直搜索引擎具有專(zhuān)業(yè)化、目標(biāo)化、效率高等特點(diǎn),目前已成為當(dāng)今研究的熱點(diǎn)。另外,由于Nutch開(kāi)源搜索引擎,具有高透明度、排序結(jié)果公平、程序設(shè)置靈活、運(yùn)行穩(wěn)定等優(yōu)點(diǎn),因此選擇Nutch平臺(tái)作為研究的基礎(chǔ)。
　　本課題研究了基于Nutch的垂直搜索引擎,并應(yīng)用到中醫(yī)腦病領(lǐng)域。之所以選

2、擇中醫(yī)腦病作為研究主題,是由于目前國(guó)內(nèi)醫(yī)學(xué)搜索引擎才開(kāi)始起步,通用搜索引擎檢索專(zhuān)業(yè)信息效率較低,檢索結(jié)果存在大量冗余,而中醫(yī)腦病學(xué)是一門(mén)相對(duì)獨(dú)立的學(xué)科,其對(duì)信息的獲取要求之高、數(shù)據(jù)量之大,通用搜索引擎已無(wú)法滿足該學(xué)科需求。在此背景下,本課題設(shè)計(jì)并實(shí)現(xiàn)一個(gè)中醫(yī)腦病主題搜索引擎。
　　本課題的研究工作主要有四個(gè)方面內(nèi)容:構(gòu)建專(zhuān)題資源庫(kù),對(duì)專(zhuān)題資源進(jìn)行分析和研究,提取中醫(yī)腦病關(guān)鍵詞,用元搜索策略進(jìn)行專(zhuān)題資源鏈接獲取;主題爬蟲(chóng)研究,對(duì)主題

3、爬蟲(chóng)的搜索策略和常用的算法進(jìn)行分析,綜合幾種算法的優(yōu)缺點(diǎn),為提高項(xiàng)目的信息抓取效率,本文采用了Shark-Search與Hits結(jié)合的算法思想;索引庫(kù)建立,包含網(wǎng)頁(yè)結(jié)構(gòu)化信息提取技術(shù)、中文分詞、及倒排索引技術(shù)研究與分析;搜索結(jié)果排序算法優(yōu)化,對(duì)Lucene中的排序算法和詞語(yǔ)相似度計(jì)算進(jìn)行分析研究,針對(duì)算法的不足,將詞語(yǔ)相似度思想融入到Lucene中的排序算法中,提出改進(jìn)方案。同時(shí),本文中對(duì)Nutch搜索功能進(jìn)行分析,并加入中文分詞插件,

4、并對(duì)以下3方面的檢索輔助功能進(jìn)行優(yōu)化:檢索頁(yè)面?zhèn)€性化設(shè)置、檢索詞高亮顯示、檢索結(jié)果頁(yè)面翻頁(yè)功能。
　　最后實(shí)現(xiàn)了基于Nutch的垂直搜索引擎系統(tǒng),部署在Tomcat服務(wù)器上,并以中醫(yī)腦病為搜索主題,對(duì)系統(tǒng)實(shí)驗(yàn)結(jié)果進(jìn)行分析。實(shí)驗(yàn)表明本文提出的中醫(yī)腦病垂直搜索引擎的設(shè)計(jì)和實(shí)現(xiàn)方案是切實(shí)可行的,同時(shí)也驗(yàn)證了本文提出的改進(jìn)算法的有效性,系統(tǒng)取得了較好的精度。本系統(tǒng)的開(kāi)發(fā)有助于提高用戶檢索腦病相關(guān)文獻(xiàn)資料時(shí)的檢索效率,對(duì)于提升我國(guó)腦病醫(yī)療領(lǐng)