基于分塊的新聞網(wǎng)頁信息抽取算法研究.pdf

1、網(wǎng)頁信息抽取是數(shù)據(jù)挖掘中的一個重要研究領(lǐng)域,旨在從半結(jié)構(gòu)化的網(wǎng)頁文檔中提取出有價值的信息,已廣泛應(yīng)用于新聞領(lǐng)域、學(xué)科專業(yè)知識領(lǐng)域、金融領(lǐng)域、電子商務(wù)領(lǐng)域、軍事領(lǐng)域、醫(yī)學(xué)領(lǐng)域等。在網(wǎng)頁文檔中除了用戶感興趣的信息外,往往包含其他較多的無用信息,如為了便于用戶瀏覽網(wǎng)頁而加入的頁面導(dǎo)航鏈接信息以及出于商業(yè)目的而附加的廣告、圖片信息等,這些內(nèi)容被稱之為“網(wǎng)頁噪音”。由于網(wǎng)頁文檔之間的異構(gòu)性,如果采用人工操作的方式從來源于不同網(wǎng)站的新聞網(wǎng)頁文檔中準(zhǔn)

2、確的提取出新聞信息,往往會花費較多的時間和精力,處理過程繁瑣且效率不高。因此,如何快速、準(zhǔn)確的從新聞網(wǎng)頁文檔中抽取出新聞信息是本文的主要研究內(nèi)容。
　　本文利用網(wǎng)頁解析技術(shù),在常規(guī)網(wǎng)頁噪音清洗的基礎(chǔ)上,以塊為基本單位,研究提出基于模板頁的相同噪音塊清洗方法、基于class屬性的同類噪音塊和特殊噪音塊清洗方法,以使網(wǎng)頁噪音清洗的更徹底、減少網(wǎng)頁噪音對新聞內(nèi)容抽取準(zhǔn)確率的影響;并利用網(wǎng)頁新聞在內(nèi)容布局結(jié)構(gòu)上的特征,研究提出一種基于新聞

3、起始塊和終止塊的新聞網(wǎng)頁信息抽取算法,以期能夠同時處理新聞?wù)膬?nèi)容存放在單塊和多塊內(nèi)的情形、有效解決新聞?wù)膬?nèi)容較短無法有效抽取的問題,同時本文的模板頁選取不需要經(jīng)過大量的樣本學(xué)習(xí)。實驗結(jié)果表明,與已有的網(wǎng)頁信息抽取算法相比,該方法獲得了較高的準(zhǔn)確率。
　　在實際應(yīng)用中,為了進(jìn)一步提高新聞網(wǎng)頁信息抽取的效率,本文提出了一種負(fù)載相對平衡的網(wǎng)頁文檔劃分方法,確保了網(wǎng)頁標(biāo)簽在網(wǎng)頁文檔中的實際先后順序,保留了網(wǎng)頁標(biāo)簽自身的原始結(jié)構(gòu)以及標(biāo)簽