主題式搜索引擎中Web頁面檢索與推薦技術(shù)的研究.pdf

1、Web頁面檢索和推薦是搜索引擎中網(wǎng)絡(luò)信息處理的重要組成部分，它可以自動(dòng)地從網(wǎng)絡(luò)文檔中發(fā)現(xiàn)和抽取用戶感興趣的信息，對于構(gòu)建主題式的搜索引擎具有重要作用。本文對主題式搜索引擎中的Web頁面檢索和推薦技術(shù)進(jìn)行了研究，所完成的主要工作有： 1、在分析了當(dāng)前搜索引擎的工作原理及關(guān)鍵技術(shù)、比較研究了典型的通用搜索引擎與主題搜索引擎的基礎(chǔ)上，提出了將兩者結(jié)合起來的思想，設(shè)計(jì)了基于元搜索的特定主題的搜索引擎MBTSE系統(tǒng)。 2、針對

2、系統(tǒng)中頁面檢索所遇到的問題，研究分析了文本過濾和常用的頁面檢索模型，為克服實(shí)際檢索中計(jì)算量大的困難，提出并實(shí)現(xiàn)了一種將快速檢索算法運(yùn)用到文本過濾的頁面檢索思想，在實(shí)驗(yàn)中驗(yàn)證了該方法的可行性。 3、針對頁面相似性問題，提出了一種改進(jìn)的頁面相似度度量方法，并對此度量方法做了詳細(xì)的理論分析和實(shí)驗(yàn)驗(yàn)證。同時(shí)，把改進(jìn)的相似度度量運(yùn)用到KNN分類算法中，提出了一種改進(jìn)的MKNN決策規(guī)則，并與原KNN決策規(guī)則作了對比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明此改進(jìn)

3、提高了平均正確率。 4、通過對網(wǎng)頁結(jié)構(gòu)的分析，對網(wǎng)頁進(jìn)行一系列的預(yù)處理操作，包括網(wǎng)頁解析、過濾停用詞、詞根還原、特征提取以及最后生成單詞的特征向量空間表示和ngram的網(wǎng)頁表示。 5、研究分析了基于LOF的孤立點(diǎn)挖掘算法，提出了通過孤立點(diǎn)挖掘來實(shí)現(xiàn)主題式搜索引擎中基于內(nèi)容的頁面主動(dòng)推薦，用于自動(dòng)地、主動(dòng)地發(fā)現(xiàn)相關(guān)主題領(lǐng)域的研究新發(fā)現(xiàn)，體現(xiàn)了搜索引擎智能化的思想。同時(shí)，從用戶的角度出發(fā)，提出了一種根據(jù)概率來求孤立因子閾