文本處理技術(shù)及應(yīng)用.pdf

1、文本摘要、分類(lèi)、聚類(lèi)和檢索是文本處理領(lǐng)域中的重要技術(shù)。本文結(jié)合若干具體科研項(xiàng)目，在上述幾個(gè)方面進(jìn)行了研究和探索。在文本摘要技術(shù)方面，本文實(shí)現(xiàn)了一個(gè)簡(jiǎn)單的文本摘要工具，分析了相應(yīng)算法和實(shí)驗(yàn)結(jié)果，并對(duì)存在的問(wèn)題進(jìn)行了討論。在文本分類(lèi)技術(shù)方面，本文實(shí)現(xiàn)了一個(gè)基于多詞頻關(guān)聯(lián)規(guī)則的文本分類(lèi)器，并對(duì)實(shí)現(xiàn)方案提出了改進(jìn)，對(duì)原方案和改進(jìn)方案進(jìn)行了實(shí)驗(yàn)比對(duì)和實(shí)驗(yàn)分析。該分類(lèi)器使用的關(guān)聯(lián)規(guī)則考慮了文本數(shù)據(jù)中關(guān)鍵字重復(fù)出現(xiàn)的事實(shí)，并對(duì)訓(xùn)練階段產(chǎn)生的關(guān)聯(lián)規(guī)則進(jìn)

2、行修剪，采用樹(shù)形結(jié)構(gòu)來(lái)組織關(guān)聯(lián)規(guī)則，分類(lèi)的質(zhì)量和速度均較好。在文本聚類(lèi)技術(shù)方面，本文設(shè)計(jì)了一個(gè)針對(duì)BBS語(yǔ)料的聚類(lèi)算法，用來(lái)對(duì)BBS上討論的熱點(diǎn)話(huà)題進(jìn)行識(shí)別和跟蹤。BBS語(yǔ)料極其不規(guī)范并且數(shù)據(jù)量巨大，故要求算法具有良好的健壯性和良好的時(shí)間效率。實(shí)驗(yàn)結(jié)果表明基于該算法的系統(tǒng)符合上述要求。在文本檢索技術(shù)方面，本文將檢索技術(shù)應(yīng)用于生物信息學(xué)的序列比對(duì)領(lǐng)域。生物序列可以看成全文的一種，本文將全文檢索的互關(guān)聯(lián)后繼樹(shù)模型結(jié)合生物序列的精確局部比對(duì)算