藏文網(wǎng)頁定題采集方法研究.pdf

1、與漢文相比,藏文信息處理技術(shù)發(fā)展較慢,加之缺乏支持藏文搜索引擎,互聯(lián)網(wǎng)上的藏文信息常常處于“孤立狀態(tài)”,給用戶的查找和獲取帶來較大的困難。因此,探討一種通過網(wǎng)絡(luò)采集藏文信息的方法,對于藏文研究者顯得尤為重要。
　　在分析了網(wǎng)頁采集流程、網(wǎng)絡(luò)爬蟲工作基本原理和主題網(wǎng)頁采集的相關(guān)知識的基礎(chǔ)上,對藏文網(wǎng)頁的采集方法進(jìn)行了深入研究:
　　1.對比分析藏文網(wǎng)頁的字體、藏文音節(jié)點(diǎn)、藏文高頻詞等區(qū)別于其他網(wǎng)頁的特征參數(shù),設(shè)計(jì)出適合于判斷藏

2、文網(wǎng)頁的相關(guān)算法。
　　2.探討了藏文主題爬蟲的關(guān)鍵技術(shù),如藏文分詞、主題判斷方法以及爬蟲的爬行策略等內(nèi)容,提出基于“導(dǎo)向詞”的藏文主題判斷方法。
　　3.研究Heritrix軟件,并通過對其關(guān)鍵模塊Extractor和Frontierscheduler的改進(jìn)和擴(kuò)展,實(shí)現(xiàn)“導(dǎo)向詞”算法的藏文主題信息網(wǎng)站的抓取;另外,運(yùn)用哈希算法,擴(kuò)展Queue-assignment-policy模塊,大大提升了爬蟲的采集效率。
　　4

3、.利用HTMLParse軟件對采集的新聞信息進(jìn)行提取,并將新聞的標(biāo)題、發(fā)布時間、來源、正文信息存入數(shù)據(jù)庫。
　　5.對采集的藏文網(wǎng)頁文本進(jìn)行編碼“歸一化”處理,轉(zhuǎn)化成國際標(biāo)準(zhǔn)的Unicode編碼。
　　利用上述研究結(jié)果,以網(wǎng)頁的查準(zhǔn)率和查全率為參考指標(biāo),對“導(dǎo)向詞”主題判斷算法的幾個闕值進(jìn)行了測試,根據(jù)測試的結(jié)果對中國西藏網(wǎng)進(jìn)行了網(wǎng)頁抓取,抓取的準(zhǔn)確率在62％左右。測試數(shù)據(jù)表明,研究結(jié)果對于藏文定題信息采集行之有效,具有較高