啟發(fā)式算法在自動文本分類中的研究與應用.pdf

1、互聯(lián)網(wǎng)規(guī)模和應用領域不斷擴張，海量的信息和資源以電子化形式記錄，文本是其中使用最頻繁的方式。大數(shù)據(jù)背景下對海量文本進行內(nèi)容檢索、管理和信息挖掘提出新的挑戰(zhàn)，基于模式識別的文本分類技術占據(jù)主導地位。在自然語言處理和信息過濾應用中，文本語料存在標簽多樣性、關聯(lián)復雜性和更新變化頻繁等特征且隨其規(guī)模增長矛盾愈演愈烈。文本挖掘當前存在擴展不便、數(shù)據(jù)集缺乏等困難，需求高精確度，低時、空消耗之綜合解決方案。
　　啟發(fā)式算法是人們在生活和實踐中，

2、通過觀察自然規(guī)律，生物行為，物理變化和社會行為所總結出用來解決問題的經(jīng)驗、規(guī)則和方法。啟發(fā)模型對于解決組合優(yōu)化問題具備應用靈活、執(zhí)行高效和結果可靠之特點，為解決文本分類問題提供新的途徑?，F(xiàn)有文本分類模型中已經(jīng)嘗試使用局部搜索、遺傳算法等啟發(fā)式手段實現(xiàn)組合尋優(yōu)，但存在迭代時間過長、精確度不高之問題。
　　論文將啟發(fā)式算法與文本分類技術結合與改進，并以此為核心設計實現(xiàn)了教育網(wǎng)網(wǎng)絡環(huán)境凈化系統(tǒng)。首先提出可以作為有標簽特征集或樣本集線性可

3、分程度評價方法的LW測量。LW是線性度量方式，計算時間復雜度低、精確度高以及對噪聲抗干擾性強。LW越高，表示特征集或樣本集在類別劃分層面，線性可分程度愈優(yōu)秀，此時該特征集或樣本集在分類問題上表現(xiàn)愈好，尤其是線性目標函數(shù)的模型。其次，將遺傳算法和模擬退火算法兩種啟發(fā)式算法與文本挖掘技術結合，提出LW-GA和LW-SA兩種特征選擇模型。LW-GA結合LW和遺傳算法，LW測量與遺傳算法分別解決高維問題搜索特征域空間與迭代評價特征集耗時長問題。