基于Map-Reduce構建高效文本聚類系統(tǒng).pdf

1、根據(jù)《2009年中國互聯(lián)網(wǎng)輿情分析報告》，在2009年77件影響力較大的社會熱點事件中，有23件是通過互聯(lián)網(wǎng)爆料而引起社會廣泛關注的。其中鄧玉嬌案、上海交通管理部門“釣魚執(zhí)法”、杭州市飆車案等事件都在社會上造成了極其惡劣的影響。如果互聯(lián)網(wǎng)缺乏監(jiān)管，必然會引起反動和黃色信息泛濫，不良的輿論導向混淆視聽，從而使得政府喪失公信力，進而威脅到社會的和諧與穩(wěn)定。而對互聯(lián)網(wǎng)熱點問題進行監(jiān)控，可以使國家職能機關進行有效的響應，疏導社會輿論壓力，進而提

2、升政府公信力，真正使政府做到取信于民，因此有著極為重要的社會價值和現(xiàn)實意義。
　　在目前應用于互聯(lián)網(wǎng)輿論情況監(jiān)控的各種技術當中，文本聚類作為面對海量信息實現(xiàn)知識發(fā)現(xiàn)和熱點發(fā)現(xiàn)的基本方法，無疑占據(jù)著非常重要的地位。在當前互聯(lián)網(wǎng)環(huán)境下，數(shù)據(jù)量之大是令人匪夷所思的。相關報告顯示，早在2008年，Google每天需要處理的數(shù)據(jù)量就達到了20PB，并呈現(xiàn)出快速遞增的趨勢。面對如此海量的數(shù)據(jù)，除了提高文本聚類算法精確度和效率之外，設計高效且具