風險主題網(wǎng)關(guān)信息采集模塊研究與設(shè)計.pdf

1、本文針對主題網(wǎng)關(guān)的不同信息來源，采取定向Extractor、深度Extractor兩種方式進行信息采集；建立風險知識庫，處理采集到的信息，工作主要分為以下三部分： 1)針對普通網(wǎng)頁信息，采用定向Extractor：定義模板，定向抓取種子站點列表頁；采用DOM和啟發(fā)式規(guī)則，實現(xiàn)列表塊的定位；提出基于標簽距離的列表聚類包裝方法，改善聚類效果，實現(xiàn)列表的聚類包裝，得到結(jié)構(gòu)化信息項；提出容器距離，改進基于Finn的正文抽取方法，實現(xiàn)信息

2、的正文抽取，完成信息紀錄集的抽取。 2)針對深度網(wǎng)絡(luò)中的信息，采用深度Extractor： ·表單理解：搜索表單是訪問深度網(wǎng)絡(luò)的唯一接口，首先構(gòu)造基于邏輯屬性的表單邏輯模型；提出表單表達式，基于表單布局識別邏輯屬性標簽，分析表單元素間語義，構(gòu)造啟發(fā)式規(guī)則，實現(xiàn)表單邏輯屬性的抽取。 ·表單的提交：以表單邏輯模型為基礎(chǔ)，改進提交策略，提出隨機排除型提交策略，實現(xiàn)表單的自動提交。 ·響應頁處理：構(gòu)造啟發(fā)式規(guī)則，