面向普適計(jì)算的正文抽取技術(shù)的研究與設(shè)計(jì).pdf

1、隨著計(jì)算機(jī)和互聯(lián)網(wǎng)技術(shù)的廣泛應(yīng)用,特別是隨著普適計(jì)算技術(shù)的發(fā)展,如何有效地從種類繁雜的網(wǎng)絡(luò)中,抽取出有價(jià)值的信息,讓用戶通過逐漸融入到人們?nèi)粘Ｉ畹脑O(shè)備(如智能終端、智能手機(jī)等)獲得最合適的信息服務(wù)——普適服務(wù),是目前亟需解決的一個(gè)重要問題?；诨ヂ?lián)網(wǎng)數(shù)據(jù)挖掘的正文抽取技術(shù)是提供普適的信息服務(wù)的基礎(chǔ),利用該技術(shù)分析巨大的網(wǎng)絡(luò)信息源獲得服務(wù)內(nèi)容,同時(shí)從中提取出供咨詢、參考和決策等用途的信息——情境信息,為普適服務(wù)中的Web高級(jí)應(yīng)用奠定良好

2、的基礎(chǔ)。
　　基于Web的普適信息服務(wù),對(duì)正文抽取技術(shù)有更高的要求,即:必須滿足不限定數(shù)據(jù)源、全自動(dòng)化、實(shí)現(xiàn)簡單、不限定網(wǎng)頁類型等。本文結(jié)合國家863計(jì)劃課題和普適計(jì)算環(huán)境下的需求,對(duì)中文網(wǎng)頁的正文抽取技術(shù)進(jìn)行了比較深入的研究,取得了以下主要研究成果:
　　1.系統(tǒng)分析和比較了現(xiàn)有的正文抽取方法。這些方法包括:基于模板的方法、基于視覺特征的方法、基于本體論的方法、基于統(tǒng)計(jì)的方法。這些方法各有側(cè)重地解決了信息抽取中面臨的問題,

3、總體上取得了良好的效果,但在某些方面存在不同程度的局限或缺陷,導(dǎo)致都無法滿足普適環(huán)境下信息抽取技術(shù)的要求。
　　2.基于上述的分析,本文提出了一種基于統(tǒng)計(jì)與正文特征的網(wǎng)頁正文抽取方法。該方法在保持統(tǒng)計(jì)方法原有特性的同時(shí),利用正文特征克服了原有基于統(tǒng)計(jì)的方法無法抽取多正文體網(wǎng)頁的缺陷。源于多正文體在網(wǎng)頁的DOM樹中對(duì)應(yīng)著正文區(qū)域下的多棵具有相似特征的正文子樹,本文首先基于統(tǒng)計(jì)的方法獲取一條正文路徑,然后通過學(xué)習(xí)該路徑的正文特征識(shí)別正

4、文區(qū)域和子樹主干,最后根據(jù)區(qū)域及該主干具有的正文特征進(jìn)而得到完整的正文。試驗(yàn)表明該方法抽取單正文和多正文的精確率分別為93.6％和91%。
　　3.在上述方法的基礎(chǔ)上,本文設(shè)計(jì)了一個(gè)在普適環(huán)境下的正文抽取插件。該插件在不限定數(shù)據(jù)源、全自動(dòng)化、實(shí)現(xiàn)簡單的同時(shí),能夠處理單正文體網(wǎng)頁(如新聞?lì)惥W(wǎng)頁)或呈現(xiàn)在網(wǎng)頁中視覺效果相似的多正文體網(wǎng)頁(如bbs網(wǎng)頁)。將該插件應(yīng)用到目標(biāo)智能系統(tǒng)——“以用戶為中心多服務(wù)融合的新型訪問終端”。目標(biāo)系統(tǒng)的