現(xiàn)代信息檢索中的文本分類及圖像恢復(fù)研究.pdf

1、信息化的飛速發(fā)展使各種信息呈現(xiàn)爆炸式增長，這給人們的工作、學(xué)習(xí)和生活提供了極大便利，但淹沒于大量無用、重復(fù)信息之中的有用信息很難通過人工的方法被全面準(zhǔn)確地提取出來，人們陷于信息提取的泥潭中，快速有效的信息檢索技術(shù)成為了唯一的解決方案。信息檢索主要包含兩個部分：按照科學(xué)的體系結(jié)構(gòu)對信息進(jìn)行歸類和獲取用戶真實意圖，反饋給用戶所需的信息。前者是提高效率的關(guān)鍵，本文的研究則集中于信息歸類，圍繞中文文本分詞、特征選擇和分類方法以及圖像檢索中的模糊

2、圖像恢復(fù)等關(guān)鍵技術(shù)展開探索。研究過程使用了理論分析和計算機(jī)實驗驗證兩種主要方法。以理論分析確定實驗?zāi)康?，指?dǎo)實驗方法；以實驗數(shù)據(jù)支持理論分析，推動更深入的理論分析。 本文首先介紹了信息檢索的發(fā)展現(xiàn)狀，結(jié)合本論文的主要研究內(nèi)容論述了信息檢索中的關(guān)鍵技術(shù)，對本論文的內(nèi)容安排和主要創(chuàng)新作了說明。而后，從總體上介紹了自動文本分類系統(tǒng)的組成結(jié)構(gòu)和功能，為后面的研究打下了基礎(chǔ)。本論文所作的創(chuàng)新主要包括以下幾個部分： 現(xiàn)有機(jī)械分詞方法

3、準(zhǔn)確率偏低，對后續(xù)特征選擇和分類造成了破壞，影響了文本分類精度；非機(jī)械分詞法雖然有較好的分詞精度，但是時間和/或空間復(fù)雜度較高，不易實現(xiàn)。針對上述問題，本文提出了一種對最大匹配法進(jìn)行改進(jìn)得到的預(yù)測最大匹配分詞方法。預(yù)測最大匹配法通過對長詞出現(xiàn)可能性和起始位置進(jìn)行預(yù)測，使分詞過程更符合長詞優(yōu)先準(zhǔn)則。通過對新方法分詞性能和時間復(fù)雜度的分析，證明了該方法以較小的復(fù)雜度增加為代價明顯提高了分詞準(zhǔn)確性，接近全局最大匹配的性能。 以詞為特征

4、表示中文文本時特征維數(shù)較高，需要剔除對分類貢獻(xiàn)小的特征。現(xiàn)有特征選擇方法基于詞與詞之間相互獨立的假設(shè)，屬于標(biāo)量特征選擇。實際上詞與詞之間存在很強(qiáng)的的相關(guān)性，本文提出了基于期望交叉熵的向量特征選擇方法，兼顧了詞與類別及詞與詞之間的相關(guān)性。本文還研究了使用K-L變換和奇異值分解特征生成的方法。實驗證明在相同的分詞和分類法基礎(chǔ)上，相對于標(biāo)量特征選擇，向量特征選擇法配合K-L變換和奇異值分解的特征生成方法有效提高了文本分類的精度。 分類

5、器是文本分類系統(tǒng)的核心，經(jīng)典的Rocchio分類法實現(xiàn)簡單，但分類性能欠佳。在分析了Rocchio法對樣本統(tǒng)計特性利用的片面性的基礎(chǔ)上，本文提出了基于方差的文本分類算法，利用了不同類別文本在分布上的差別。為了同時發(fā)揮Rocchio法的速度優(yōu)勢和SVM法的性能優(yōu)勢，本文提出了使用Rocchio法粗分類結(jié)合SVM細(xì)分類的新分類方法。計算機(jī)實驗表明在使用相同的分詞和特征選擇方法的基礎(chǔ)上，本文提出的分類法，特別是Rocchio結(jié)合SVM的分類法