關(guān)于詞頻倒排文檔頻公式的修正.pdf

1、向量空間模型(VSM)是文本信息處理的經(jīng)典模型，它把文本用向量表示，以特征項的權(quán)值作為分量，這個架構(gòu)很大程度上提高了信息處理的性能。模型中廣泛用到的計算特征項權(quán)值的公式是標(biāo)準(zhǔn)化的詞頻倒排文檔頻(TFIDF)公式。 研究發(fā)現(xiàn)，向量空間模型并不是一個完善的模型，其最大的缺陷是假設(shè)特征項之間是相互獨立的。這使得用向量空間模型表示文本集時，很可能造成信息遺漏或冗余。此外TFIDF公式同樣不夠準(zhǔn)確，它簡單地認(rèn)為特征項權(quán)值與包含該特征項的文

2、檔數(shù)成反比，而沒有考慮特征項分布的比例情況。 本文使用中文信息處理工具從中文文本集中抽取詞條，并通過知網(wǎng)系統(tǒng)把詞條空間映射到概念空間。用概念代替詞條作為特征項的方法間接達(dá)到了降維目的，并在很大程度上消除了向量空間模型特征項之間的相關(guān)性。 文本的一個主要研究內(nèi)容是對TFIDF公式進(jìn)行修正?；诜植急壤叩奶卣黜椌哂休^高的貢獻(xiàn)度和特征項在文本集中分布越離散則代表性越強(qiáng)這兩方面的考慮，本文構(gòu)造了一個平衡因子BF，并將其加權(quán)到T