全文檢索系統(tǒng)中文件預(yù)處理技術(shù)研究.pdf

1、隨著計算機技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展，人類社會的數(shù)據(jù)量呈爆發(fā)式增長，信息檢索就是研究如何在這些信息中快速有效地檢索到有用信息。網(wǎng)絡(luò)上獲取的信息形式多樣，其中半結(jié)構(gòu)化和非結(jié)構(gòu)化形式的信息占據(jù)了很大一部分，對于結(jié)構(gòu)化信息的檢索可以使用數(shù)據(jù)庫技術(shù)，而對于非結(jié)構(gòu)化信息的檢索卻缺乏有用的工具，因此全文檢索技術(shù)應(yīng)運而生。全文檢索系統(tǒng)主要由文本預(yù)處理、索引建立、索引管理和web檢索平臺等多個部分組成。
　　本文主要對全文檢索系統(tǒng)中文件預(yù)處理模塊用到的

2、相關(guān)技術(shù)進行研究，主要包括文件實時監(jiān)控、文件類型識別、文本內(nèi)容提取等。該模塊使用Inotify機制對數(shù)據(jù)源實時監(jiān)控，將監(jiān)控到的文件路徑提交至基于高級消息隊列協(xié)議實現(xiàn)的消息隊列中，依次識別文件類型，根據(jù)不同文件類型使用不同的接口提取文件的文本內(nèi)容。最后準(zhǔn)備大量文件對預(yù)處理模塊的功能和性能進行測試，實驗結(jié)果表明該模塊具有較高的識別正確率和較好的文本提取完整度，基本滿足設(shè)計要求。
　　本文對基于內(nèi)容的文件類型識別算法進行了研究，將文件內(nèi)

3、容按字節(jié)值劃分，使用字節(jié)值和字節(jié)值頻率建立文件的向量空間模型。識別過程使用K近鄰做分類算法，為降低分類過程的計算復(fù)雜度提高分類的效率，引入了主成分分析算法和聚類算法對樣本空間做降維處理。最后對算法進行測試，實驗結(jié)果表明改進后的算法減少了分類時間，具有較高的分類效率和識別正確率。
　　本文最后研究了將信息增益特征選擇算法和TFIDF權(quán)重計算算法用于文件分類過程，針對樣本集分布不均衡時分類正確率下降的情況，在傳統(tǒng)算法的基礎(chǔ)上引入類間集