智能Web新聞文本采集方法研究.pdf

1、Web技術(shù)的革新使其逐漸成為網(wǎng)絡(luò)內(nèi)容生產(chǎn)和消費的平臺，互聯(lián)網(wǎng)上充斥著無數(shù)以網(wǎng)頁形式存在的信息源，隨著搜索引擎、網(wǎng)絡(luò)監(jiān)控和新聞推送等應(yīng)用和研究工作的深入發(fā)展，使得互聯(lián)網(wǎng)新聞文本采集成為國內(nèi)外相關(guān)人士研究的熱點。Web頁面中不僅包含用戶關(guān)注的正文內(nèi)容，還包含大量噪聲信息，如廣告、導(dǎo)航和相關(guān)推薦信息等，使得智能化提取網(wǎng)頁正文文本成為新聞文本采集的難題之一。
　　傳統(tǒng)的基于模版的網(wǎng)頁正文提取不僅需要人工的配置各網(wǎng)站的解析模版，而且模版不能

2、實時的適應(yīng)網(wǎng)頁結(jié)構(gòu)的變化，使得后期維護成本較大。Web網(wǎng)頁的異構(gòu)特點對現(xiàn)有的基于規(guī)則學(xué)習(xí)的包裝器網(wǎng)頁解析技術(shù)也提出了新的挑戰(zhàn)。本文將著重對新聞網(wǎng)頁正文的智能化解析技術(shù)展開研究，結(jié)合新聞網(wǎng)頁結(jié)構(gòu)特點、新聞文本標(biāo)簽特點以及Web新聞文本采集的需求，提出能夠智能適應(yīng)網(wǎng)頁結(jié)構(gòu)變化和通用于各門戶新聞網(wǎng)頁的正文提取方法。本文主要貢獻如下：
　　(1)提出基于文本標(biāo)簽特征挖掘的網(wǎng)頁正文提取方法。該方法主要挖掘網(wǎng)頁樹結(jié)構(gòu)特性、正文標(biāo)簽的中心性、正

3、文標(biāo)簽連續(xù)性、正文標(biāo)簽層次性和Html修飾標(biāo)簽特征等特點，運用層次聚類算法對標(biāo)簽進行聚類，對標(biāo)簽簇進行權(quán)值計算及經(jīng)驗性調(diào)整確定最終的網(wǎng)頁正文標(biāo)簽簇，然后為實現(xiàn)新聞文本采集過程中盡可能多的采集新聞網(wǎng)頁的文本信息，在文本標(biāo)簽特征挖掘的網(wǎng)頁正文提取方法中增加一種適用于新聞文本采集的非新聞網(wǎng)頁自識別方法；最后再通過正文標(biāo)簽簇提取網(wǎng)頁正文。
　　(2)提出基于智能模版的新聞網(wǎng)頁正文提取方法。該方法避免人工配置網(wǎng)頁解析模版的過程，而是根據(jù)各個