向量空間模型

1、向量空間模型向量空間模型(VectSpaceModel)[29]簡稱VSM這是文本建模中常用的模型之一。它的主要思想是將詞語看成孤立的，互不相關(guān)的，也就是所謂的“詞袋”這樣就可以將文本轉(zhuǎn)化為多維度的空間向量來表示，向量維度一般是詞語，可以用維度的權(quán)重來表示詞語的某些特性。有一篇很長的文章，我要用計算機提取它的關(guān)鍵詞（AutomaticKeyphraseextraction），完全不加以人工干預(yù)，請問怎樣才能正確做到？這個問題涉及到數(shù)據(jù)挖

2、掘、文本處理、信息檢索等很多計算機前沿領(lǐng)域，但是出乎意料的是，有一個非常簡單的經(jīng)典算法，可以給出令人相當(dāng)滿意的結(jié)果。它簡單到都不需要高等數(shù)學(xué)，普通人只用10分鐘就可以理解，這就是我今天想要介紹的TFIDF算法。讓我們從一個實例開始講起。假定現(xiàn)在有一篇長文《中國的蜜蜂養(yǎng)殖》，我們準備用計算機提取它的關(guān)鍵詞。一個容易想到的思路，就是找到出現(xiàn)次數(shù)最多的詞。如果某個詞很重要，它應(yīng)該在這篇文章中多次出現(xiàn)。于是，我們進行“詞頻“（TermFrequ

3、ency，縮寫為TF）統(tǒng)計。結(jié)果你肯定猜到了，出現(xiàn)次數(shù)最多的詞是“的“、“是“、“在“這一類最常用的詞。它們叫做“停用詞“（stopwds），表示對找到結(jié)果毫無幫助、必須過濾掉的詞。假設(shè)我們把它們都過濾掉了，只考慮剩下的有實際意義的詞。這樣又會遇到了另一個問題，我們可能發(fā)現(xiàn)“中國“、“蜜蜂“、“養(yǎng)殖“這三個詞的出現(xiàn)次數(shù)一樣多。這是不是意味著，作為關(guān)鍵詞，它們的重要性是一樣的？顯然不是這樣。因為“中國“是很常見的詞，相對而言，“蜜蜂“和“

4、養(yǎng)殖“不那么常見。如果這三個詞在一篇文章的出現(xiàn)次數(shù)一樣多，有理由認為，“蜜蜂“和“養(yǎng)殖“的重要程度要大于如果一個詞越常見，那么分母就越大，逆文檔頻率就越小越接近0。分母之所以要加1，是為了避免分母為0（即所有文檔都不包含該詞）。log表示對得到的值取對數(shù)。第三步，計算TFIDF。可以看到，TFIDF與一個詞在文檔中的出現(xiàn)次數(shù)成正比，與該詞在整個語言中的出現(xiàn)次數(shù)成反比。所以，自動提取關(guān)鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TFID

5、F值，然后按降序排列，取排在最前面的幾個詞。還是以《中國的蜜蜂養(yǎng)殖》為例，假定該文長度為1000個詞，“中國“、“蜜蜂“、“養(yǎng)殖“各出現(xiàn)20次，則這三個詞的“詞頻“（TF）都為0.02。然后，搜索Google發(fā)現(xiàn)，包含“的“字的網(wǎng)頁共有250億張，假定這就是中文網(wǎng)頁總數(shù)。包含“中國“的網(wǎng)頁共有62.3億張，包含“蜜蜂“的網(wǎng)頁為0.484億張，包含“養(yǎng)殖“的網(wǎng)頁為0.973億張。則它們的逆文檔頻率（IDF）和TFIDF如下從上表可見，“蜜