文本分類在學科導航中的應用研究.pdf

1、Internet技術的迅速發(fā)展導致網(wǎng)站上的文檔信息成指數(shù)級增長，用戶欣喜信息豐富的同時也為信息的無序和冗余所煩惱。文本分類作為處理和組織大量文本數(shù)據(jù)的關鍵技術，可以在較大程度上解決信息雜亂現(xiàn)象的問題，方便用戶準確地定位所需的信息和分流信息。 建設網(wǎng)絡資源學科導航系統(tǒng)是高校圖書館數(shù)字化信息服務的重要功能之一，也是其有效組織和利用網(wǎng)絡信息的手段之一。隨著網(wǎng)絡信息和網(wǎng)頁數(shù)量的增加，人工分類成了建立學科導航的主要瓶頸，把網(wǎng)頁文本分類技術

2、應用于學科導航建設，將是解決這個問題的主要手段。本文針對學科導航建設中的信息內(nèi)容自動分類問題進行了研究，主要研究內(nèi)容有： 1)介紹了文本分類的研究現(xiàn)狀和學科導航的發(fā)展，并研究了文本分類的基本概念、相關技術及文本分類應用于學科導航的可行性和帶來的影響。 2)介紹了文本表示技術及步驟，給出了一種改進的基于最大匹配原則的分詞算法，并將其用于地質工程學科導航的文本表示中，這種改進算法保留了最大匹配分詞法簡單易于實現(xiàn)的特點，又充分

3、考慮了最大交集歧義切分字段，保證了分詞詞典的延展性，一定程度上保證了學科導航分類系統(tǒng)的開放性和適用性。 3)介紹了SVM和KNN兩種分類算法的基本理論，分別利用LIBSVM軟件和KNN算法的JAVA程序將兩種分類算法應用于學科導航，然后從分類精確度、分類速度和算法推廣度三個方面對兩種實驗結果進行了分析評價。實驗結果表明SVM和KNN在學科導航文本分類中各有優(yōu)勢和缺陷，SVM的分類速度比KNN快，但算法推廣度不如KNN。KNN直接