云計(jì)算環(huán)境下的樸素貝葉斯文本分類研究與實(shí)現(xiàn).pdf

1、在互聯(lián)網(wǎng)高度發(fā)達(dá)的今天,信息技術(shù)滲透到了日常生活中的點(diǎn)點(diǎn)滴滴,互聯(lián)網(wǎng)上幾乎擁有人們所需要的全部信息。對(duì)于如何在海量的互聯(lián)網(wǎng)信息中找到不同個(gè)體、單位所需要的知識(shí)提出了挑戰(zhàn)。面對(duì)這個(gè)挑戰(zhàn),數(shù)據(jù)挖掘得以提出。文本分類是數(shù)據(jù)挖掘領(lǐng)域的一個(gè)重要分支。如何對(duì)互聯(lián)網(wǎng)上的海量文本信息進(jìn)行分類,已經(jīng)成為信息科學(xué)領(lǐng)域所面臨的一個(gè)重大挑戰(zhàn)。
　　論文采用樸素貝葉斯文本分類算法,研究并實(shí)現(xiàn)了云計(jì)算環(huán)境下的網(wǎng)頁(yè)自動(dòng)分類系統(tǒng),包括網(wǎng)頁(yè)預(yù)處理、訓(xùn)練過(guò)程以及分類

2、過(guò)程的MapReduce方法。探討了利用TF-IDF-DI公式計(jì)算特征項(xiàng)權(quán)重的方法,以增加本文所關(guān)注的低頻卻具有較高分類能力特征項(xiàng)的權(quán)重,在 TF-IDF-DI公式計(jì)算權(quán)重的基礎(chǔ)上,利用基于特征的增量學(xué)習(xí)算法,降低計(jì)算冗余度的同時(shí),提高了分類器的分類能力與智能性。
　　實(shí)驗(yàn)表明以MapReduce方式來(lái)執(zhí)行網(wǎng)頁(yè)分類任務(wù)提高了計(jì)算效率,能滿足快速響應(yīng)的需求,采用樸素貝葉斯分類算法對(duì)中文文本進(jìn)行分類取得了良好效果。利用TF-IDF-D