基于論壇關(guān)鍵字搜索的改進(jìn)TF-IDF算法及其應(yīng)用.pdf_第1頁
已閱讀1頁,還剩55頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、伴隨互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)在人們的生活中扮演著越來越重要的角色。論壇作為互聯(lián)網(wǎng)時(shí)代的產(chǎn)物雨后春筍般的出現(xiàn),如滾雪球般快速的發(fā)展并且壯大。各類論壇幾乎包括了與人們息息相關(guān)的方方面面,所有人都可能找到各自喜歡的論壇,而且各類型的站點(diǎn)也都傾向于架設(shè)與自己相關(guān)的論壇,這樣既可以有助于與用戶溝通,也能讓用戶之間有更多的互動(dòng),同時(shí)又增加了站點(diǎn)的內(nèi)容。論壇是一個(gè)有概括性質(zhì)的類,它的里面包含很多的版塊,網(wǎng)友數(shù)量多,所以發(fā)布的帖子數(shù)量巨大。如何能夠快速找到自

2、己需要的帖子,最常用的方法是在搜索框中輸入關(guān)鍵字進(jìn)行檢索。但是,如何提高在論壇中關(guān)鍵詞搜索的準(zhǔn)確率與速度,這和文本的分詞與關(guān)鍵詞權(quán)重的計(jì)算有很大關(guān)系。
  原始的TF-IDF關(guān)鍵詞權(quán)重計(jì)算方法,雖然公式結(jié)構(gòu)簡(jiǎn)單,算法運(yùn)行時(shí)間也短,但是關(guān)鍵詞抽取的結(jié)果并不準(zhǔn)確,特別是針對(duì)論壇的帖子內(nèi)容,提取的關(guān)鍵詞對(duì)帖子的內(nèi)容往往起不到關(guān)鍵性的作用,直接影響到搜索效率。
  為了提高關(guān)鍵詞搜索系統(tǒng)的性能,針對(duì)帖子文本多由生活語言構(gòu)成和文本結(jié)構(gòu)

3、簡(jiǎn)單的特點(diǎn),加之回帖較為簡(jiǎn)單且多為毫無意義的灌水貼,很難將回帖進(jìn)行區(qū)分,干擾明顯,本文在關(guān)鍵詞提取中對(duì)TF-IDF進(jìn)行了改進(jìn)。主要方法有:
  (1)在帖子分類時(shí),針對(duì)瑤湖論壇計(jì)算出一些帖子之間的余弦值,在已有理論的基礎(chǔ)上,進(jìn)行人工觀察,當(dāng)發(fā)現(xiàn)帖子文本表現(xiàn)出關(guān)聯(lián)性時(shí),這個(gè)值高于0.18,我們將0.18設(shè)為帖子分類的閥值。
  (2)為了增強(qiáng)分詞器的分詞效果,我們?cè)谙到y(tǒng)中增加了停止詞詞典和關(guān)鍵詞詞典,并且可以修改詞典。分詞后通

4、過與兩個(gè)詞典的對(duì)比,就能判斷哪些詞可以忽略掉,哪些詞具有代表性。
  (3)充分考慮帖子的結(jié)構(gòu)特征,只考慮帖子的題目和原帖的內(nèi)容,并引入關(guān)鍵系數(shù)這個(gè)概念,對(duì)TF-IDF公式進(jìn)行修改。
  (4)為了使我們提取的詞具有較好的代表性,我們對(duì)所得關(guān)鍵詞的權(quán)重值設(shè)定一個(gè)閥值,只有提取詞的TF-IDF值大于這個(gè)閥值時(shí),才認(rèn)為是關(guān)鍵詞,否則就忽略掉。
  在此基礎(chǔ)之上我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了以瑤湖論壇為背景的關(guān)鍵詞搜索系統(tǒng),該系統(tǒng)主要分為

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論