話題檢測與跟蹤算法改進(jìn)研究.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展,互聯(lián)網(wǎng)信息呈現(xiàn)爆炸式的增長,對這些信息進(jìn)行有效的組織和管理變得更加困難,時(shí)常會(huì)出現(xiàn)信息過載現(xiàn)象。為了有效的組織和管理這些信息,話題檢測與跟蹤技術(shù)應(yīng)運(yùn)而生。其主要的目的是針對不同的新聞報(bào)道信息流進(jìn)行新話題的檢測以及跟蹤已知話題的后續(xù)報(bào)道。
　　根據(jù)話題檢測的特點(diǎn)使用層次聚類能夠在不設(shè)定類別個(gè)數(shù)的前提下進(jìn)行聚類,對話題進(jìn)行檢測。層次聚類能夠很好的適應(yīng)話題檢測的需求,并在此基礎(chǔ)上針對話題報(bào)道中的命名實(shí)體對話題區(qū)分度

2、高的特點(diǎn),在進(jìn)行相似度計(jì)算時(shí)增加命名實(shí)體在計(jì)算中的權(quán)重值來提高系統(tǒng)整體性能。利用現(xiàn)有的語料庫和實(shí)驗(yàn)數(shù)據(jù)進(jìn)行實(shí)驗(yàn)驗(yàn)證,結(jié)果表明改進(jìn)相似度計(jì)算提高了話題檢測時(shí)的正確率并減小了系統(tǒng)開銷。
　　應(yīng)用于話題跟蹤中的常用傳統(tǒng)方法K近鄰算法在進(jìn)行話題跟蹤時(shí),要求話題之間報(bào)道數(shù)量具有平衡性,這一缺點(diǎn)會(huì)在一定程度上導(dǎo)致話題偏移。通過利用支持向量機(jī)算法在K近鄰算法訓(xùn)練階段確定支持向量而不使用K值來消除跟蹤算法對K值的依賴,減小由于話題報(bào)道不均衡帶來的