基于語義概念的文本特征描述.pdf

1、文本的特征描述是自然語言處理、文本分類、聚類、中文信息檢索、個性化服務(wù)等研究中的一項基礎(chǔ)性工作，它研究的是用什么樣的方法和模型來表示文章的主題思想。這個描述一方面要能很好的概括文章的主要內(nèi)容，另一方面要方便計算機進(jìn)行計算。目前，基于矢量的方法即VSM得到了廣泛的應(yīng)用，它用若干個特征項和其權(quán)重來表示一篇文檔。在這個模型中，有兩個主要影響描述準(zhǔn)確度的因素：一個是特征項的選擇，一個是特征項的權(quán)重計算方式。廣大學(xué)者的研究也主要集中在這兩個方面，

2、都希望從這兩方面能夠概括出文本的主題思想，反映其內(nèi)在的隱含信息。利用統(tǒng)計和信息論的相關(guān)知識選擇特征項和計算權(quán)重在一定程度上解決了VSM模型描述文本的準(zhǔn)確度問題，但一般能涉及和揭示特征項語義信息的比較少，本文主要在以下兩方面來解決VSM如何蘊含特征項的語義信息。 （一）考慮詞語出現(xiàn)的語言環(huán)境對詞語的實際語義的重要影響，在現(xiàn)在廣泛使用的TF-IDF權(quán)重計算方式上進(jìn)行了改進(jìn)，采用了基于詞同現(xiàn)頻率的權(quán)重計算方式來表示文本的權(quán)重，該計算方

3、式既含有TF-IDF公式的相關(guān)統(tǒng)計信息，又表現(xiàn)了具體的語言環(huán)境對詞語語義的影響。 （二）在文本的相似度比較上，完全拋棄了純數(shù)學(xué)的計算向量相似度的公式（如：計算向量間的歐氏距離、計算向量的夾角余弦、貝葉斯算法、K最近鄰算法等）。改為首先求向量中特征詞間的語義相似度，再計算兩向量的最大權(quán)匹配，最后統(tǒng)計每個匹配對的相似度和，當(dāng)然在統(tǒng)計和的過程中要考慮每個特征詞的權(quán)重。這樣計算的好處在于：考慮了向量特征詞的語義信息，并且在獲得文本的向量