化工專業(yè)詞典結(jié)構(gòu)設(shè)計(jì)及中文分詞系統(tǒng)的開發(fā).pdf

1、中文分詞是中文信息處理的重要的基礎(chǔ)工作，是語義理解的最初環(huán)節(jié)，中文分詞的準(zhǔn)確與否直接影響后期語義分析的質(zhì)量。對于搜索引擎而言，中文分詞技術(shù)直接影響搜索結(jié)果，它是搜索引擎的核心技術(shù)之一。
　　 本文在研究現(xiàn)有中文分詞技術(shù)的基礎(chǔ)上，為了使中文分詞技術(shù)適用于化工專業(yè)搜索引擎，設(shè)計(jì)并實(shí)現(xiàn)了一個專門針對專業(yè)化工詞匯的中文分詞系統(tǒng)，為化工專業(yè)領(lǐng)域的人士快速準(zhǔn)確地獲取信息提供幫助。
　　 本文設(shè)計(jì)和實(shí)現(xiàn)了系統(tǒng)界面和分詞器，主要介紹了分

2、詞器的實(shí)現(xiàn)，包括分詞詞典機(jī)制和分詞算法。分詞詞典機(jī)制主要涉及詞典的物理結(jié)構(gòu)和邏輯結(jié)構(gòu)，采用基于字符串匹配的分詞方法，結(jié)合化工專業(yè)詞匯的構(gòu)詞特點(diǎn)，提出一種基于TRIE索引樹的改進(jìn)結(jié)構(gòu)，以達(dá)到提高分詞結(jié)果準(zhǔn)確率的目的。首字散列表由漢字內(nèi)碼哈希得到首字的位置，沿著指針可查詢其他字；分詞算法是根據(jù)索引樹的結(jié)構(gòu)設(shè)計(jì)的搜索查詢算法，沿著指針鏈搜索匹配字符。由詞典建立和文件掃描方向的不同，可以進(jìn)行正向匹配和逆向匹配驗(yàn)證分詞結(jié)果。通過對系統(tǒng)進(jìn)行的分詞速