基于統(tǒng)計的中文新聞網(wǎng)頁分類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，網(wǎng)絡(luò)上的信息資源呈爆炸式增長，萬維網(wǎng)已經(jīng)成為擁有幾十億個Web頁面的分布式信息空間。在這海量的數(shù)字資源中，信息大都以半結(jié)構(gòu)化或者是非結(jié)構(gòu)化的數(shù)據(jù)形式存在，信息的存儲組織雜亂無章，要從其中迅速有效地獲得所需信息是非常困難的事情。因此，設(shè)法對網(wǎng)頁按照類別進行分類存儲，是對網(wǎng)頁進行有效組織的重要手段。在已分類的網(wǎng)頁集合中，尋找所需的信息將會更加容易。而傳統(tǒng)的手工分類方式顯然無法應(yīng)對海量的在線文檔。因此，研究對網(wǎng)頁的自

2、動分類便具有重要意義。 本文研究對中文新聞網(wǎng)頁進行自動分類的技術(shù)和方法，所涉及的工作有： 提出一種基于條件隨機域模型的中文新聞網(wǎng)頁信息自動提取方法。首先對網(wǎng)頁中不規(guī)范的HTML標(biāo)簽組織進行自動修正，然后將網(wǎng)頁表示成DOM樹形式。在提取有用信息時，對DOM樹形式的網(wǎng)頁內(nèi)容進行深度遍歷，得到一個格式整齊、并為線性結(jié)構(gòu)的多行文本，最后利用訓(xùn)練好的條件隨機域標(biāo)注模型，對文本的每一行進行標(biāo)注，從而得到各種有用信息的邊界。