漢語(yǔ)主客觀文本分類及預(yù)處理研究.pdf

1、隨著互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的一個(gè)非常重要的手段。但是隨著信息爆炸似的增長(zhǎng)，人們很難在較短的時(shí)間內(nèi)找到自己所需要的信息，這也就是信息過(guò)載的問(wèn)題。文本分類是當(dāng)前數(shù)據(jù)挖掘的一個(gè)重要研究方向。一些應(yīng)用方面的工作，如對(duì)電子商務(wù)的評(píng)價(jià)，民意調(diào)查的結(jié)果等等都需要對(duì)文本進(jìn)行挖掘。然而，從海量的信息中人工查找具有意見(jiàn)性的主觀性文本是不現(xiàn)實(shí)的。 在本文中，我們提出一個(gè)方法來(lái)針對(duì)主客觀文本進(jìn)行分類。通過(guò)分析主客觀文本之間存在的差別來(lái)抽

2、取能夠區(qū)別它們的一些特征。最終應(yīng)用樸素貝葉斯和支持向量機(jī)模型，用特征項(xiàng)的不同組合對(duì)其進(jìn)行主客觀文本分類，力爭(zhēng)達(dá)到最優(yōu)效果。 隨著即時(shí)通信軟件（Instant Messaging）的普及（如MSN，QQ等），一種非規(guī)范語(yǔ)言就廣泛出現(xiàn)于其中。在這些環(huán)境中使用的特殊語(yǔ)言被稱為為網(wǎng)絡(luò)非規(guī)范語(yǔ)言（Network Informal Language，NIL）表達(dá)。例如在網(wǎng)絡(luò)聊天中常用“8錯(cuò)”取代“不錯(cuò)”，用“稀飯”表示“喜歡”等等。在傳統(tǒng)的

3、文本挖掘中，這些信息都被視為噪音。但事實(shí)上，包含這些非規(guī)范詞語(yǔ)的句子經(jīng)常會(huì)存在用戶的表達(dá)個(gè)人意愿的信息。舉個(gè)例子，“這款車(chē)型還是受廣大車(chē)迷稀飯的！”可以看出，在這個(gè)句子里面，“稀飯”表達(dá)“喜歡”。通過(guò)這句話持有者表達(dá)了自己對(duì)某一車(chē)型的觀點(diǎn)和看法。 在本文工作中，文本預(yù)處理研究就是對(duì)這些主觀性的文本進(jìn)行正規(guī)化處理。首先通過(guò)編寫(xiě)特定的網(wǎng)絡(luò)蜘蛛程序收集某論壇上一定時(shí)間段內(nèi)的網(wǎng)頁(yè)。對(duì)網(wǎng)頁(yè)進(jìn)行人工篩選，構(gòu)建非規(guī)范語(yǔ)言詞典。最終將互聯(lián)網(wǎng)上常