動態(tài)Web信息監(jiān)測相關(guān)技術(shù)研究.pdf

1、隨著國際互聯(lián)網(wǎng)的迅速發(fā)展，Internet上站點(diǎn)個(gè)數(shù)及網(wǎng)頁數(shù)量呈爆炸式增長。面對信息的海洋，用戶試圖通過瀏覽 Web來發(fā)現(xiàn)實(shí)時(shí)信息變得非常困難，而對Web信息進(jìn)行實(shí)時(shí)監(jiān)測要求用戶能從龐大的信息頁面中發(fā)現(xiàn)有價(jià)值的信息，用戶通常只能監(jiān)測單個(gè)站點(diǎn)或幾個(gè)站點(diǎn)，監(jiān)測效率低。在這種背景下，本文對Web信息監(jiān)測相關(guān)技術(shù)做了一些研究，并提出采用動態(tài)聚類的方式來發(fā)現(xiàn)熱點(diǎn)事件，主要涉及以下幾個(gè)方面：
　　設(shè)計(jì)了動態(tài)Web信息監(jiān)測系統(tǒng)的基本框架。Web

2、信息監(jiān)測并沒有成熟的框架，傳統(tǒng)的信息監(jiān)測系統(tǒng)均采用C/S模式實(shí)現(xiàn)。本文提出基于B/S模式的監(jiān)測系統(tǒng)基本架構(gòu)，并在三層結(jié)構(gòu)上分離數(shù)據(jù)入庫，采用Web Service提供信息實(shí)時(shí)入庫。
　　提出Web信息監(jiān)測實(shí)現(xiàn)基本方法，采用信息頻道作為信息監(jiān)測基本單位，頻道通過用戶自動構(gòu)建，而頻道定義為由某個(gè)或多個(gè)網(wǎng)站以及網(wǎng)站下欄目組成，并采用Ajax實(shí)現(xiàn)多頻道的信息監(jiān)測。
　　研究了基于頁面的緩存設(shè)計(jì)，結(jié)合服務(wù)器端用戶Session，減輕了

3、服務(wù)器端負(fù)載，也減少了監(jiān)測響應(yīng)時(shí)間以及監(jiān)測信息流量。在監(jiān)測頁面中保存上次獲取的監(jiān)測信息集合，并通過 Session保存上次監(jiān)測的最后一條信息編號，在本次監(jiān)測過程中服務(wù)器端返回當(dāng)前頻道下更新的信息，而不是返回全部信息。
　　從監(jiān)測用戶的不同監(jiān)測需求出發(fā)，對用戶個(gè)性化進(jìn)行了初步研究。采用信息頻道作為用戶興趣的基本表示，并實(shí)現(xiàn)在頻道下針對用戶輸入關(guān)鍵詞的信息過濾模式。提出采用關(guān)鍵詞映射表的方法將用戶輸入關(guān)鍵詞映射到事件描述，并采用布爾模

4、型進(jìn)行信息過濾。同樣，采用關(guān)鍵詞映射進(jìn)行全文檢索，并提出可監(jiān)測機(jī)制。
　　研究了在Web信息監(jiān)測下的信息聚類技術(shù)。通過對某個(gè)時(shí)間段的信息聚類能發(fā)現(xiàn)熱點(diǎn)事件，其可以作為監(jiān)測的重要依據(jù)。Lingo算法作為檢索結(jié)果聚類方法，其是描述優(yōu)先的方法，能較好的發(fā)掘聚類標(biāo)簽。本文提出采用語義相似度和余弦相似度加權(quán)的Single-Pass改進(jìn)方法對Lingo聚類的結(jié)果進(jìn)行類融合以及類再發(fā)現(xiàn)。實(shí)驗(yàn)表明，該方法可以發(fā)現(xiàn)更多類別，并且能對類別進(jìn)行較好的描