基于最大匹配的論文特征提取系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、在中文搜索引擎中，中文分詞的作用顯而易見(jiàn)，其結(jié)果直接影響到搜索引擎的性能。目前，中文分詞技術(shù)主要有下面三種：通過(guò)字符串匹配進(jìn)行進(jìn)行分詞，通過(guò)人工智能的方法在理解分詞語(yǔ)義的基礎(chǔ)上來(lái)進(jìn)行分詞，通過(guò)統(tǒng)計(jì)計(jì)算的方法來(lái)進(jìn)行分詞。所謂的中文分詞系統(tǒng)，是現(xiàn)代漢語(yǔ)句子中的分詞方法。因?yàn)楝F(xiàn)代漢語(yǔ)的語(yǔ)法習(xí)慣，漢語(yǔ)句子和詞之間的標(biāo)記表明。而英語(yǔ)單詞與單詞之間用空格，所以沒(méi)有分詞問(wèn)題。但在中國(guó)，每一個(gè)句子，詞與詞問(wèn)題是沒(méi)有空間的，所以我們必須使用一些智能技術(shù)分

2、離。漢語(yǔ)自動(dòng)分詞算法從十九年代至今，已成為計(jì)算機(jī)專業(yè)研究的熱點(diǎn)，因?yàn)檎Z(yǔ)言的復(fù)雜，計(jì)算機(jī)技術(shù)的瓶頸使之一直處于發(fā)展階段。
　　本文將已有的分詞算法進(jìn)行了分析、總結(jié)和歸納，討論了中文識(shí)別一直難以很好解決的兩大問(wèn)題：歧義識(shí)別和未登錄詞。中文分詞發(fā)展過(guò)程中遇到最大的問(wèn)題是歧義識(shí)別和新詞識(shí)別。中文分詞的未來(lái)發(fā)展方向既要解決這類問(wèn)題，使得達(dá)到較高的分詞正確率，又要進(jìn)行行業(yè)分詞不斷拓展中文分詞的應(yīng)用范圍，通過(guò)對(duì)詞頻進(jìn)行每個(gè)詞項(xiàng)的出現(xiàn)次數(shù)后，得到