基于垂直搜索技術(shù)的網(wǎng)站分析系統(tǒng)的研究與實(shí)現(xiàn).pdf

1、本課題在對網(wǎng)站監(jiān)管現(xiàn)狀作了深入而細(xì)致的調(diào)查研究之后，提出通過搜集DNS解析日志和網(wǎng)絡(luò)運(yùn)營商的互聯(lián)網(wǎng)IP地址段，與信息產(chǎn)業(yè)部網(wǎng)站備案系統(tǒng)數(shù)據(jù)交叉比對，然后結(jié)合垂直搜索的核心技術(shù)-信息采集技術(shù)和自然語言解析技術(shù)等，實(shí)現(xiàn)對全省網(wǎng)站的備案情況進(jìn)行統(tǒng)計(jì)和管理，對全省網(wǎng)站數(shù)據(jù)的動態(tài)實(shí)時(shí)掃描、監(jiān)控和深度挖掘，增強(qiáng)互聯(lián)網(wǎng)管理的主動性和時(shí)效性，提高面對各類新的反監(jiān)管手段的應(yīng)變能力。 本文首先介紹了垂直搜索及其相關(guān)技術(shù)，在此基礎(chǔ)上提出和設(shè)計(jì)了基于垂

2、直搜索技術(shù)的網(wǎng)站分析系統(tǒng)的整體框架和技術(shù)路線，然后介紹了網(wǎng)站分析系統(tǒng)各子系統(tǒng)的詳細(xì)設(shè)計(jì)。論文主體部分著重研究和實(shí)現(xiàn)了垂直搜索引擎的兩個(gè)核心部分：網(wǎng)絡(luò)蜘蛛和中文分詞。其中網(wǎng)絡(luò)蜘蛛融合了數(shù)據(jù)庫隊(duì)列、多進(jìn)程和多線程以及網(wǎng)頁元素步進(jìn)解析算法等技術(shù)：中文分詞部分采用了機(jī)械分詞與統(tǒng)計(jì)分詞相結(jié)合的方法，使用含有詞語優(yōu)先級的統(tǒng)計(jì)分詞詞典計(jì)算分詞最短路徑，以獲取最優(yōu)切分結(jié)果。經(jīng)過初步測試，垂直搜索引擎在性能和準(zhǔn)確率方面都能滿足網(wǎng)站分析系統(tǒng)的性能需求。本文