基于SVM的新聞報(bào)道特征新事件檢測(cè)研究.pdf

1、隨著因特網(wǎng)的普及，新聞網(wǎng)頁(yè)已經(jīng)成為人們獲取信息的一個(gè)主要來(lái)源之一。但面對(duì)浩瀚的信息量，人們需要借助某種方式來(lái)快速、準(zhǔn)確地搜集自己感興趣的信息。話(huà)題檢測(cè)與追蹤(Topic Detection and Tracking，TDT)是一項(xiàng)為了應(yīng)對(duì)信息海罱的問(wèn)題而展開(kāi)的研究。美國(guó)1996年開(kāi)始組織有關(guān)研究機(jī)構(gòu)進(jìn)行TDT測(cè)評(píng)，新事件檢測(cè)(New Event Detection，NED)作為其關(guān)鍵了任務(wù)之一，研究的主要內(nèi)容是怎樣通過(guò)新事件檢測(cè)系統(tǒng)檢測(cè)

2、出事件的第一篇新聞報(bào)道。國(guó)內(nèi)相關(guān)研究雖起步較晚，但由于話(huà)題檢測(cè)與追蹤在信息檢索、文本分類(lèi)等相關(guān)領(lǐng)域的實(shí)際應(yīng)用價(jià)值，其相關(guān)研究已成為信息處理領(lǐng)域的熱點(diǎn)。
　　 基本的新事件檢測(cè)系統(tǒng)主要分為文本表示、文本的比較與文本分類(lèi)與時(shí)間窗口選擇等幾大模塊。本文在國(guó)內(nèi)外研究的基礎(chǔ)上，以文本形式的中文新聞數(shù)據(jù)流為處理對(duì)象，對(duì)自然語(yǔ)言處理技術(shù)中時(shí)間信息的統(tǒng)一表達(dá)、地名的規(guī)范化處理、人名庫(kù)的有效建立方等方面作了改進(jìn)。特別地，考慮到新聞報(bào)道趨向于盡早將

3、報(bào)道要義告知讀者的特點(diǎn)，本文提出了位置信息這一概念，并在此基礎(chǔ)之上通過(guò)可加函數(shù)和可乘函數(shù)對(duì)Okapi相似比較函數(shù)進(jìn)行改進(jìn)。文本的分類(lèi)方面，本文中采用的支持向量機(jī)(Support Vector Machine，SVM)的方法有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，是機(jī)器學(xué)習(xí)領(lǐng)域關(guān)注度相當(dāng)高的一種方法，尤其是在無(wú)監(jiān)督情形下有著良好的魯棒性，已被成功的應(yīng)用于模式識(shí)別及回歸問(wèn)題的分析。
　　 本文對(duì)從中新網(wǎng)、新華網(wǎng)等大型網(wǎng)站收集的含有20個(gè)主題的14295篇

4、新聞文檔分別采用核回歸法(kernel regression)、最近鄰域方法(nearest neighbor method)和支持向量機(jī)法(Linear—kernel SVM、RBF—kernel SVM)等方法進(jìn)行新事件檢測(cè)，通過(guò)對(duì)采用基本NED系統(tǒng)和改進(jìn)后的NED系統(tǒng)進(jìn)行實(shí)驗(yàn)得出的檢測(cè)代價(jià)系數(shù)進(jìn)行對(duì)比，得到三種方法對(duì)應(yīng)的代價(jià)系數(shù)分別降低了4．9％、7．3％和13．1％。由此說(shuō)明了NED系統(tǒng)在應(yīng)用了基于新聞?wù)Z料特征改進(jìn)的向量空間模型