基于Web檢索的小型學(xué)習(xí)資源語料庫的建設(shè).pdf

1、經(jīng)過幾十年的建設(shè)和發(fā)展，語料庫已經(jīng)成為語言學(xué)和信息技術(shù)研究的重要領(lǐng)域。語料庫與學(xué)習(xí)資源有著相輔相成的關(guān)系，語料庫是用統(tǒng)計語言模型方法處理自然語言的基礎(chǔ)資源，而利用教育技術(shù)學(xué)的學(xué)科優(yōu)勢和特點，發(fā)揮語料庫在建設(shè)學(xué)習(xí)資源的方面優(yōu)勢作用，對資源的共享必將有很多的幫助。
　　本文在分析了語料庫的背景及發(fā)展現(xiàn)狀，學(xué)習(xí)資源建設(shè)理論基礎(chǔ)和主要內(nèi)容后，提出了一種基于Web檢索的小型學(xué)習(xí)資源語料庫系統(tǒng)模型。開發(fā)了基于Java的專用型學(xué)習(xí)資源語料庫系統(tǒng)

2、，實現(xiàn)了數(shù)據(jù)收集、多種文檔處理、最終能夠?qū)崿F(xiàn)了語料檢索和語料提取。
　　首先，介紹了計算機語料庫的理論基礎(chǔ)和發(fā)展現(xiàn)狀，詳細(xì)論述了學(xué)習(xí)資源的定義、內(nèi)容等，接著分析了語料庫在學(xué)習(xí)資源庫建設(shè)中的可借鑒之處，簡單描述了搜索引擎的發(fā)展現(xiàn)狀和工作原理。其次，介紹了自然語言處理的理論基礎(chǔ)以及現(xiàn)階段應(yīng)用比較廣泛的中文分詞器，分析了網(wǎng)頁消重和網(wǎng)頁凈化的相關(guān)技術(shù)現(xiàn)狀。最后，提出了基于Lucene/Heritrix的小型學(xué)習(xí)資源語料庫的系統(tǒng)模型。使用H