

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、伴隨互聯(lián)網(wǎng)的發(fā)展,網(wǎng)絡(luò)在人們的生活中扮演著越來越重要的角色。論壇作為互聯(lián)網(wǎng)時(shí)代的產(chǎn)物雨后春筍般的出現(xiàn),如滾雪球般快速的發(fā)展并且壯大。各類論壇幾乎包括了與人們息息相關(guān)的方方面面,所有人都可能找到各自喜歡的論壇,而且各類型的站點(diǎn)也都傾向于架設(shè)與自己相關(guān)的論壇,這樣既可以有助于與用戶溝通,也能讓用戶之間有更多的互動(dòng),同時(shí)又增加了站點(diǎn)的內(nèi)容。論壇是一個(gè)有概括性質(zhì)的類,它的里面包含很多的版塊,網(wǎng)友數(shù)量多,所以發(fā)布的帖子數(shù)量巨大。如何能夠快速找到自
2、己需要的帖子,最常用的方法是在搜索框中輸入關(guān)鍵字進(jìn)行檢索。但是,如何提高在論壇中關(guān)鍵詞搜索的準(zhǔn)確率與速度,這和文本的分詞與關(guān)鍵詞權(quán)重的計(jì)算有很大關(guān)系。
原始的TF-IDF關(guān)鍵詞權(quán)重計(jì)算方法,雖然公式結(jié)構(gòu)簡(jiǎn)單,算法運(yùn)行時(shí)間也短,但是關(guān)鍵詞抽取的結(jié)果并不準(zhǔn)確,特別是針對(duì)論壇的帖子內(nèi)容,提取的關(guān)鍵詞對(duì)帖子的內(nèi)容往往起不到關(guān)鍵性的作用,直接影響到搜索效率。
為了提高關(guān)鍵詞搜索系統(tǒng)的性能,針對(duì)帖子文本多由生活語言構(gòu)成和文本結(jié)構(gòu)
3、簡(jiǎn)單的特點(diǎn),加之回帖較為簡(jiǎn)單且多為毫無意義的灌水貼,很難將回帖進(jìn)行區(qū)分,干擾明顯,本文在關(guān)鍵詞提取中對(duì)TF-IDF進(jìn)行了改進(jìn)。主要方法有:
(1)在帖子分類時(shí),針對(duì)瑤湖論壇計(jì)算出一些帖子之間的余弦值,在已有理論的基礎(chǔ)上,進(jìn)行人工觀察,當(dāng)發(fā)現(xiàn)帖子文本表現(xiàn)出關(guān)聯(lián)性時(shí),這個(gè)值高于0.18,我們將0.18設(shè)為帖子分類的閥值。
(2)為了增強(qiáng)分詞器的分詞效果,我們?cè)谙到y(tǒng)中增加了停止詞詞典和關(guān)鍵詞詞典,并且可以修改詞典。分詞后通
4、過與兩個(gè)詞典的對(duì)比,就能判斷哪些詞可以忽略掉,哪些詞具有代表性。
(3)充分考慮帖子的結(jié)構(gòu)特征,只考慮帖子的題目和原帖的內(nèi)容,并引入關(guān)鍵系數(shù)這個(gè)概念,對(duì)TF-IDF公式進(jìn)行修改。
(4)為了使我們提取的詞具有較好的代表性,我們對(duì)所得關(guān)鍵詞的權(quán)重值設(shè)定一個(gè)閥值,只有提取詞的TF-IDF值大于這個(gè)閥值時(shí),才認(rèn)為是關(guān)鍵詞,否則就忽略掉。
在此基礎(chǔ)之上我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了以瑤湖論壇為背景的關(guān)鍵詞搜索系統(tǒng),該系統(tǒng)主要分為
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- tf-idf向量模型文本分類算法
- 關(guān)鍵字搜索與推薦算法研究及其應(yīng)用.pdf
- 基于多詞TF-IDF算法的智能導(dǎo)醫(yī)系統(tǒng)研究.pdf
- 圖上的關(guān)鍵字搜索算法.pdf
- 基于改進(jìn)TF-IDF特征提取的文本分類模型的設(shè)計(jì)與實(shí)現(xiàn).pdf
- TF-IDF與規(guī)則結(jié)合的中文關(guān)鍵詞自動(dòng)抽取研究.pdf
- 大數(shù)據(jù)環(huán)境下基于并行化TF-IDF算法增強(qiáng)語義角色挖掘的研究.pdf
- 基于TF-IDF模型的高光譜影像端元提取方法研究.pdf
- 基于并行搜索簇網(wǎng)絡(luò)的關(guān)鍵字排序搜索.pdf
- 最危險(xiǎn)的搜索關(guān)鍵字
- 基于優(yōu)化TF-IDF與詞共現(xiàn)的微博熱點(diǎn)話題發(fā)現(xiàn)研究.pdf
- 一種利用本體關(guān)聯(lián)度改進(jìn)的TF-IDF特征詞提取方法.pdf
- 對(duì)等網(wǎng)絡(luò)中基于關(guān)鍵字的搜索.pdf
- 基于TF-IDF的音頻和歌詞特征融合模型的音樂情感分析研究.pdf
- 支持多關(guān)鍵字查詢的改進(jìn)Chord算法.pdf
- 抗內(nèi)部敵手關(guān)鍵字猜測(cè)攻擊帶關(guān)鍵字搜索公鑰加密算法研究.pdf
- 基于實(shí)體的XML關(guān)鍵字搜索問題研究.pdf
- 中文文本分類中卡方特征提取和對(duì)TF-IDF權(quán)重改進(jìn).pdf
- 基于關(guān)鍵字高效的公鑰加密搜索體制研究與應(yīng)用.pdf
- 基于XML的關(guān)鍵字查詢算法研究.pdf
評(píng)論
0/150
提交評(píng)論