單向掃描分詞算法研究與主觀題評分系統(tǒng)實(shí)現(xiàn).pdf

1、主觀題評分系統(tǒng)是自動考試系統(tǒng)的重要的組成部分。中文分詞技術(shù)是該系統(tǒng)實(shí)現(xiàn)的技術(shù)基礎(chǔ)。中文詞法分析是中文信息處理中的一項(xiàng)基礎(chǔ)性工作。詞法分析結(jié)果的好壞將直接影響中文信息處理上層應(yīng)用的效果。本文針對詞法分析中的中文分詞進(jìn)行了較深入的研究并實(shí)現(xiàn)了一個實(shí)用化的分詞系統(tǒng)，并在此基礎(chǔ)上設(shè)計(jì)了一個具有一定應(yīng)用意義的主觀題評分系統(tǒng)。 本文首先介紹了現(xiàn)有的各種分詞方法，并基于最大正向匹配算法設(shè)計(jì)了一個分詞系統(tǒng)。由于基于理解的分詞方法很難實(shí)現(xiàn)，而基于

2、統(tǒng)計(jì)的分詞方法又不適用于文字量比較小的簡答題情況，所以對最大正向匹配算法進(jìn)行改進(jìn)，提出了一種改進(jìn)的單向掃描算法。該算法對詞典中的索引表進(jìn)行改進(jìn)，索引表實(shí)際上是一個哈希表，而設(shè)計(jì)的哈希函數(shù)是參考漢字編碼原理編寫的，因此沖突率是0，即無沖突。這樣對索引表的查找就可以使用哈希法，大大地提高了分詞速度。 改進(jìn)的單向掃描算法使用了帶索引表和詞性標(biāo)注的詞典，不但提高了分詞速度，并為后期的語意理解提供了詞性信息，也是實(shí)現(xiàn)基于得分點(diǎn)簡答題評分系