基于論壇關(guān)鍵字搜索的改進(jìn)TF-IDF算法及其應(yīng)用.pdf

1、伴隨互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)在人們的生活中扮演著越來越重要的角色。論壇作為互聯(lián)網(wǎng)時(shí)代的產(chǎn)物雨后春筍般的出現(xiàn)，如滾雪球般快速的發(fā)展并且壯大。各類論壇幾乎包括了與人們息息相關(guān)的方方面面，所有人都可能找到各自喜歡的論壇，而且各類型的站點(diǎn)也都傾向于架設(shè)與自己相關(guān)的論壇，這樣既可以有助于與用戶溝通，也能讓用戶之間有更多的互動(dòng)，同時(shí)又增加了站點(diǎn)的內(nèi)容。論壇是一個(gè)有概括性質(zhì)的類，它的里面包含很多的版塊，網(wǎng)友數(shù)量多，所以發(fā)布的帖子數(shù)量巨大。如何能夠快速找到自

2、己需要的帖子，最常用的方法是在搜索框中輸入關(guān)鍵字進(jìn)行檢索。但是，如何提高在論壇中關(guān)鍵詞搜索的準(zhǔn)確率與速度，這和文本的分詞與關(guān)鍵詞權(quán)重的計(jì)算有很大關(guān)系。
　　原始的TF-IDF關(guān)鍵詞權(quán)重計(jì)算方法，雖然公式結(jié)構(gòu)簡(jiǎn)單，算法運(yùn)行時(shí)間也短，但是關(guān)鍵詞抽取的結(jié)果并不準(zhǔn)確，特別是針對(duì)論壇的帖子內(nèi)容，提取的關(guān)鍵詞對(duì)帖子的內(nèi)容往往起不到關(guān)鍵性的作用，直接影響到搜索效率。
　　為了提高關(guān)鍵詞搜索系統(tǒng)的性能，針對(duì)帖子文本多由生活語言構(gòu)成和文本結(jié)構(gòu)

3、簡(jiǎn)單的特點(diǎn)，加之回帖較為簡(jiǎn)單且多為毫無意義的灌水貼，很難將回帖進(jìn)行區(qū)分，干擾明顯，本文在關(guān)鍵詞提取中對(duì)TF-IDF進(jìn)行了改進(jìn)。主要方法有：
　　(1)在帖子分類時(shí)，針對(duì)瑤湖論壇計(jì)算出一些帖子之間的余弦值，在已有理論的基礎(chǔ)上，進(jìn)行人工觀察，當(dāng)發(fā)現(xiàn)帖子文本表現(xiàn)出關(guān)聯(lián)性時(shí)，這個(gè)值高于0.18，我們將0.18設(shè)為帖子分類的閥值。
　　(2)為了增強(qiáng)分詞器的分詞效果，我們?cè)谙到y(tǒng)中增加了停止詞詞典和關(guān)鍵詞詞典，并且可以修改詞典。分詞后通

4、過與兩個(gè)詞典的對(duì)比，就能判斷哪些詞可以忽略掉，哪些詞具有代表性。
　　(3)充分考慮帖子的結(jié)構(gòu)特征，只考慮帖子的題目和原帖的內(nèi)容，并引入關(guān)鍵系數(shù)這個(gè)概念，對(duì)TF-IDF公式進(jìn)行修改。
　　(4)為了使我們提取的詞具有較好的代表性，我們對(duì)所得關(guān)鍵詞的權(quán)重值設(shè)定一個(gè)閥值，只有提取詞的TF-IDF值大于這個(gè)閥值時(shí)，才認(rèn)為是關(guān)鍵詞，否則就忽略掉。
　　在此基礎(chǔ)之上我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了以瑤湖論壇為背景的關(guān)鍵詞搜索系統(tǒng)，該系統(tǒng)主要分為