適用于化工專業(yè)搜索引擎的中文分詞系統的研究與實現.pdf

1、中文分詞技術屬于自然語言處理技術范疇，它是中文信息處理中的一個重要環(huán)節(jié)，是中文語言理解、文獻檢索、機械翻譯以及語言合成系統中最基本的一部分。對于中文搜索引擎而言，中文分詞作為其核心技術之一，重要性不言而喻。同樣，對于專業(yè)化的搜索引擎而言，針對專業(yè)詞匯進行的分詞優(yōu)化尤其重要。 本文在對現有中文分詞技術研究的基礎上，設計并實現了一種應用于化工領域專業(yè)搜索引擎的中文分詞系統，為實現互聯網上化工類信息的快速準確獲取提供了基礎。

2、本文分別對中文分詞系統的外部接口、系統界面、分詞器進行了設計和實現，重點介紹了分詞器的實現：分別介紹了包含大量化工詞匯的分詞詞典的物理結構及其邏輯結構的設計和實現，分詞算法對待切分文本的預處理，首字哈希結合二分查找的詞典優(yōu)化查詢，以及結合路徑選擇機制而改進了的層進式最短路徑切詞算法；經過對分詞系統分詞速度與精度的實驗分析，實驗結果顯示，在保證切分效率的同時，在一定程度上達到了消除歧義的效果。經實踐證明，本分詞系統達到了設計目標，可以為化