專項(xiàng)主題新聞自動(dòng)檢索方法研究與應(yīng)用.pdf

1、在當(dāng)今網(wǎng)絡(luò)時(shí)代，互聯(lián)網(wǎng)早已成為名符其實(shí)的最快捷、最方便、傳播面最為廣泛的新聞信息傳播媒介。網(wǎng)絡(luò)新聞具有信息量大、即時(shí)性強(qiáng)、增長快速等特點(diǎn)，而單位與個(gè)人所關(guān)注的新聞則具有主題性強(qiáng)、時(shí)變性弱等特點(diǎn)。研究如何從海量的、動(dòng)態(tài)的網(wǎng)絡(luò)信息中，自動(dòng)識別出用戶長期關(guān)心的專項(xiàng)主題信息，主動(dòng)為用戶提供感興趣的信息服務(wù)，具有重要的社會(huì)意義和實(shí)際應(yīng)用價(jià)值。本文針對自動(dòng)構(gòu)建企業(yè)門戶網(wǎng)站的新聞欄目等專項(xiàng)應(yīng)用，在研究網(wǎng)絡(luò)新聞自動(dòng)識別與檢索等相關(guān)技術(shù)的基礎(chǔ)上，采用元搜

2、索引擎系統(tǒng)架構(gòu)，結(jié)合分布式信息檢索/融合、基于內(nèi)容的文本分類識別、領(lǐng)域本體處理等智能信息處理技術(shù)，設(shè)計(jì)并實(shí)現(xiàn)了一套專項(xiàng)主題新聞自動(dòng)檢索系統(tǒng)。主要工作與貢獻(xiàn)如下：
　　 ⑴研究了元搜索引擎實(shí)現(xiàn)的相關(guān)技術(shù)，并重點(diǎn)研究了其中融合排序這一關(guān)鍵技術(shù)環(huán)節(jié)，提出了一種利用粒子群算法優(yōu)化多源檢索融合排序結(jié)果的方法，并通過一組科技文獻(xiàn)檢索的相關(guān)試驗(yàn)，驗(yàn)證了該算法的有效性。目前，該算法已被應(yīng)用到本文目標(biāo)系統(tǒng)中，作為其中的一個(gè)重要模塊。
　　

3、 ⑵通過大量算法實(shí)驗(yàn)，深入研究和分析了利用SVM進(jìn)行文本分類和主題識別應(yīng)用時(shí)，有關(guān)文本特征、核函數(shù)等有效選擇與處理方面的一些關(guān)鍵技術(shù)問題。相關(guān)試驗(yàn)表明，當(dāng)使用互信息(IM)算法選擇特征項(xiàng)在4000左右、設(shè)定SVM的核函數(shù)為SIGMOID時(shí)，新聞文本的識別準(zhǔn)確率在97％以上。這部分研究成果，現(xiàn)都已融合應(yīng)用到本文的目標(biāo)系統(tǒng)中。
　　 ⑶設(shè)計(jì)并實(shí)現(xiàn)了一套專項(xiàng)主題新聞自動(dòng)檢索系統(tǒng)。該系統(tǒng)可基于用戶提供的主題關(guān)鍵詞和主題樣本語料庫工作。通