彝文搜索引擎中網(wǎng)頁信息采集技術研究.pdf

1、當下，我們處在互聯(lián)網(wǎng)突飛猛進的大數(shù)據(jù)時代，網(wǎng)絡資源的增長呈現(xiàn)爆炸式的狀態(tài)，彝文網(wǎng)站也隨之逐步發(fā)展起來，但是針對少數(shù)民族語言文字的搜索引擎的研究才剛處于起步階段。就目前的國內(nèi)外中英文搜索引擎研究現(xiàn)狀來說，除了大部分用全文搜索技術實現(xiàn)對中英文網(wǎng)頁的采集和搜索外，還包括垂直搜索和元搜索等。最主要的搜索還是全文搜索，如谷歌和百度等，但無法做到對少數(shù)民族語言文字（如彝文）的采集和搜索。因此本文需要在中英文成熟技術的基礎上找到一種適合的網(wǎng)頁采集和搜

2、索引擎技術，網(wǎng)絡爬蟲是搜索引擎的基礎和核心，主要有通用爬蟲和主題爬蟲，因此需要設計合理的爬蟲來實現(xiàn)彝文網(wǎng)頁的采集。
　　本文在研究中英文搜索引擎的基礎上，分析當前彝文網(wǎng)站特性和彝文字特點，采用垂直搜索技術，并結合彝文主題爬蟲，同時為了避免采集陷入循環(huán)，采用廣度優(yōu)先搜索策略對彝文網(wǎng)頁進行采集，從而達到更好的彝文網(wǎng)頁采集效果。
　　本文采用垂直搜索方法設計了適合彝文的搜索引擎架構，并開發(fā)一套彝文網(wǎng)頁信息采集系統(tǒng)。本文首先以彝文網(wǎng)

3、站首頁為起始URL種子，對其實現(xiàn)單線程采集；其次設計基于彝文網(wǎng)頁文本和鏈接特點的網(wǎng)頁判別算法，并通過正則表達式解析相應的網(wǎng)頁內(nèi)容；然后在彝文文本保存中采用編碼轉換，做到彝文的文本存儲；之后建立了漢—彝詞庫，結合詞頻統(tǒng)計創(chuàng)新性的研究了漢—彝詞同時對應顯示的理論算法；最后以彝文標題匹配方式進行檢索，并達到了滿意效果。
　　本文通過對彝文網(wǎng)頁采集系統(tǒng)運行和測試，得到了轉化率在80％以上，識別率都在95%以上，對彝文初探的研究中達到了理想