中文Web文本分類新技術的研究和應用.pdf

1、隨著網(wǎng)絡信息技術的高速發(fā)展，Internel上的Web頁面數(shù)量呈指數(shù)增長，如何有效的組織和處理這些海量信息，如何更好地搜索、過濾和管理這些網(wǎng)絡資源，成了一個亟待解決的問題。其中，Web文本分類技術是信息檢索和數(shù)據(jù)挖掘的核心內(nèi)容，基于機器學習的文本分類方法已經(jīng)取得了較好效果，但是它仍然存在如何提高分類精度和分類速度兩大難題。 本文研究的對象是中文Web本文，針對中文文本的特殊性，首先研究了中文分詞方法，并提出了一種基于二元語法的N

2、-最大概率中文粗分模型，該模型能夠較好地得到少量高召回率、高效率的粗分結(jié)果，更大程度地保留歧義字段和未登錄詞，進而提高后續(xù)分詞質(zhì)量。然后針對中文Web本文的信息量巨大且內(nèi)容更新速度快等特點，提出了一種新的Web文本表示方法，即基于新詞發(fā)現(xiàn)的表示方法：用詞和新詞共同來表示W(wǎng)eb文本，理論和實驗表明該方法可以幫助識別未登錄詞并擴充現(xiàn)有字典，能夠增強Web文本表示能力，改善Web文本的特征項質(zhì)量，最終提高Web文本分類效果。 在現(xiàn)有分

3、類算法中，KNN算法是一種簡單、有效、非參數(shù)的分類算法，在Web文本分類中得到廣泛的應用并取得較好的分類效果；但是該算法存在兩個顯著不足，其一：計算量巨大，它要求計算未知文本與所有訓練樣本間的相似度進而得到K個最近鄰樣本；其二：當類別間有較多共性，即訓練樣本間有較多特征交叉現(xiàn)象時，KNN分類的精度將下降。針對KNN這兩個問題，本文提出了一種改進的KNN分類算法，即先通過Rocchio算法快速得到k0個候選類別，然后在k0個類別中采用改進