搜索引擎中自動分類關(guān)鍵技術(shù)研究.pdf

1、搜索引擎是網(wǎng)絡(luò)信息檢索的重要工具，但現(xiàn)有搜索引擎檢索到的結(jié)果太多，用戶很難找到真正想要的資料。如何提高搜索引擎的查準(zhǔn)率是其亟待解決的問題。文本自動分類技術(shù)是自然語言處理的一個重要的應(yīng)用領(lǐng)域，是替代傳統(tǒng)的繁雜人工分類方法的有效手段和必然趨勢。將計算機(jī)文本自動分類引入搜索引擎，可以有效地提高搜索引擎的檢索精度，為用戶提供高質(zhì)量、高相關(guān)度的查詢結(jié)果。 1.對向量空間模型的概念，涉及的相關(guān)技術(shù)進(jìn)行了詳細(xì)的介紹。在透徹分析網(wǎng)頁結(jié)構(gòu)特點(diǎn)的基

2、礎(chǔ)上，結(jié)合網(wǎng)頁的特性，對TF-IDF特征權(quán)重計算公式進(jìn)行了改進(jìn)，體現(xiàn)了處于Web文本結(jié)構(gòu)中不同位置的特征詞對文本類別的不同區(qū)別能力。 2.對文本自動分類中的特征選擇這一關(guān)鍵技術(shù)進(jìn)行了研究。在對特征選擇步驟和常用特征選擇算法進(jìn)行分析的基礎(chǔ)上，對互信息算法進(jìn)行了深入分析，考慮類別比例不同和負(fù)值情況下隱藏的影響較大的特征信息，對其進(jìn)行改進(jìn)，使文本之間的相似度更為準(zhǔn)確。 3.對分類系統(tǒng)中的分類算法這一核心技術(shù)進(jìn)行了深入研究。在介