基于文本分類的問答系統(tǒng)的研究與實現(xiàn).pdf

1、自動文本分類技術(shù)是自然語言處理關(guān)鍵技術(shù)之一，簡單的說文本分類技術(shù)是根據(jù)文本的不同特征，將具有相同特征的文本劃分到同一個類別當(dāng)中。自動文本分類是在人工基礎(chǔ)上演變過來的，傳統(tǒng)的人工分類的技術(shù)遠遠不能滿足海量的文本數(shù)據(jù)的處理工作。自動文本分類的技術(shù)由于其精準(zhǔn)和高效性，又節(jié)約大量的人力和物力，已經(jīng)被廣泛的運用到垃圾短信過濾，新聞分類，數(shù)字圖書館分類，對話問答系統(tǒng)等等領(lǐng)域。
　　自動問答系統(tǒng)是一種新的搜索引擎，它融合了文本分類和信息檢索等相

2、關(guān)技術(shù)。自動問答系統(tǒng)允許用戶以自然語言的方式輸入問題，然后經(jīng)過系統(tǒng)對問題的理解，回答給用戶準(zhǔn)確而又簡練的答案。問答系統(tǒng)主要由三個部分組成，問題理解、信息檢索、答案獲取等。而其中問題理解是最核心的部分，問題理解包括文本分類、信息抽取等關(guān)鍵技術(shù)。圍繞上述內(nèi)容，本文主要完成了以下兩個方面的工作。
　　第一，針對最近鄰（KNN）文本分類時間效率低的缺點，提出了一種結(jié)合文本信息量和kmeans的KNN文本裁剪算法?？紤]到訓(xùn)練文本中存在類別相

3、關(guān)性弱的文本，先計算各類別每條文本包含的信息量并排序；對向量空間模型利用kmeans聚類刪除噪聲文本；再結(jié)合文本的重要性在各類別中篩選出等量的代表文本構(gòu)建新的訓(xùn)練樣本空間；最后在新的樣本空間上利用KNN算法進行分類。實驗證明該算法在分類效率上得到了明顯的提高。
　　第二，結(jié)合文本分類的相關(guān)技術(shù)構(gòu)建了一個問答系統(tǒng)，其中分類算法使用到最近鄰分類、卷積神經(jīng)網(wǎng)絡(luò)分類、循環(huán)神經(jīng)網(wǎng)絡(luò)分類。系統(tǒng)的核心模塊有文本過濾模塊、領(lǐng)域分類模塊、信息抽取模