垂直搜索引擎中分詞和排序技術(shù)的研究與應(yīng)用.pdf

1、計算機與網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，促使當(dāng)今社會進入了網(wǎng)絡(luò)信息時代，各個領(lǐng)域的數(shù)據(jù)和信息急劇增多，海量數(shù)據(jù)豐富了人們的生活，同時也增加了用戶對信息的篩選時間。如何從這些雜亂無章的龐大數(shù)據(jù)和強干擾的信息中搜索出有利用價值的信息，這對人類的智能信息處理能力提出了空前的挑戰(zhàn)。在某些專業(yè)領(lǐng)域，通用搜索引擎的信息查全率和查準(zhǔn)率都在不斷下降，而用戶對獲取更加精準(zhǔn)和詳細的專業(yè)信息的需求卻在不斷增長。
　　面對這些挑戰(zhàn)，誕生了針對特定領(lǐng)域和個性化信息

2、檢索的垂直搜索引擎?；贚ucene的垂直搜索引擎已經(jīng)成為當(dāng)今搜索引擎和Web信息挖掘中的一個研究熱點和難點，本文的研究就是以這一熱點和難點技術(shù)而展開的，主要工作如下:
　　第一，對垂直搜索引擎的相關(guān)研究進展和現(xiàn)狀進行了分析，介紹了垂直搜索引擎的組成并細述了其工作原理;概述了全文檢索引擎Lucene的相關(guān)技術(shù)，包括Lucene框架構(gòu)成、索引技術(shù)和搜索機制等，并對Lucene索引和數(shù)據(jù)庫索引進行了比較。
　　第二，針對通用分詞

3、系統(tǒng)對領(lǐng)域分詞的效果不理想這一問題，研究了垂直搜索引擎的中文分詞算法;分析圖書領(lǐng)域詞匯的特點，提出了一種帶詞長的雙字哈希詞典機制，并在此機制的基礎(chǔ)上改進了正向最大匹配分詞算法;
　　第三，針對Lucene中排序技術(shù)只關(guān)注網(wǎng)頁內(nèi)容而忽視網(wǎng)頁本身的重要性這一問題，研究了基于鏈接的網(wǎng)頁排序算法;在考慮圖書數(shù)據(jù)特點和網(wǎng)頁的重要性的基礎(chǔ)上，改進了基于PageRank的Lucene排序算法。
　　第四，在分詞和排序改進的基礎(chǔ)上，設(shè)計和實