基于Google Web API的中文訓(xùn)練庫自動(dòng)獲取方法研究與實(shí)現(xiàn).pdf

1、目前，隨著網(wǎng)絡(luò)技術(shù)的翻天覆地的發(fā)展變化，互聯(lián)網(wǎng)上的信息資源日益豐富，已經(jīng)成為人們?cè)谌粘Ｉ?、學(xué)習(xí)和工作中快速獲取信息的重要途徑。因此，如何有效地處理網(wǎng)上信息，成為信息處理領(lǐng)域一個(gè)很重要的研究課題，有效的方法是對(duì)網(wǎng)頁進(jìn)行自動(dòng)分類處理，然而，大部分的研究者都是在自己建立的訓(xùn)練庫上做測(cè)試得出結(jié)論。分類算法的分類性能和訓(xùn)練庫之間相關(guān)，高質(zhì)量的訓(xùn)練庫會(huì)使分類器得到比較好的分類性能。 在本文中，主要研究訓(xùn)練庫自動(dòng)獲取的方法。雖然對(duì)訓(xùn)練庫的研

2、究很少，但是有幾個(gè)方面的原因說明它是值得研究。 首先，如果訓(xùn)練庫的建立過程能夠自動(dòng)實(shí)現(xiàn)，特別是訓(xùn)練樣本能夠自動(dòng)獲取，將提高訓(xùn)練庫建立的速度，將減輕人們的工作量，加快分類的速度。 其次，對(duì)于普通用戶也能迅速建立起自己所需要的訓(xùn)練庫，將減少人們?cè)谡麄€(gè)分類過程中手工參與的程度。 最后，將建立的訓(xùn)練庫和分類效果比較好的分類算法結(jié)合在一起，能提高分類的準(zhǔn)確率，同時(shí)也能對(duì)訓(xùn)練庫進(jìn)一步的改進(jìn)和提高。 對(duì)于訓(xùn)練庫的自動(dòng)獲

3、取，本文主要做了以下幾個(gè)方面的工作： (1)針對(duì)傳統(tǒng)的手工獲取訓(xùn)練網(wǎng)頁，本文提出了基于Google Web API的方法來收集網(wǎng)頁作為訓(xùn)練樣本，快速獲取網(wǎng)頁，減少人們的工作量。 (2)改造了傳統(tǒng)的訓(xùn)練庫結(jié)構(gòu)，傳統(tǒng)訓(xùn)練庫中的類是并列的，改進(jìn)為具有類層次結(jié)構(gòu)的，并且盡量把訓(xùn)練庫中所有的類都具有層次結(jié)構(gòu)，即對(duì)于每個(gè)父類，都有一個(gè)或者幾個(gè)子類，利用父類及其子類的類名作為查詢關(guān)鍵詞，利用Google Web API來收集網(wǎng)絡(luò)資源，