基于混合特征的中文文本分類研究.pdf

1、隨著信息技術(shù)的高速發(fā)展和互聯(lián)網(wǎng)自媒體時代的到來，越來越多的信息以電子文本的形式存在于互聯(lián)網(wǎng)上。從海量的網(wǎng)頁文本信息中提取準確的、有價值的知識成為信息處理的一大目標。文本自動分類技術(shù)作為信息處理領(lǐng)域的研究熱點，能夠?qū)⑽臋n自動按照類別進行組織和處理，較大程度的解決了信息資源的無序性，作為信息檢索，信息過濾和搜索引擎等領(lǐng)域的技術(shù)基礎(chǔ)，有著廣泛的應(yīng)用前景。
　　本文以垂直搜索領(lǐng)域的網(wǎng)頁文本主題信息檢索做為應(yīng)用背景，將實現(xiàn)網(wǎng)頁文本的精確主題

2、分類作為主要任務(wù)，圍繞垂直搜索對分類結(jié)果集的內(nèi)容直達性要求更高的特點，設(shè)計并實現(xiàn)了基于混合特征的中文文本分類系統(tǒng)，有效的解決了傳統(tǒng)網(wǎng)頁文本分類結(jié)果集直達性能不強的問題。主要的研究內(nèi)容包括網(wǎng)頁結(jié)構(gòu)化信息的獲取機制、混合特征模型的建立方法、分類器的訓(xùn)練策略等。
　　在結(jié)構(gòu)化信息的獲取上，設(shè)計并實現(xiàn)了網(wǎng)頁文本自動抽取方法，通過對網(wǎng)頁結(jié)構(gòu)的分析，有效過濾了網(wǎng)頁中的廣告、圖片、超鏈接等噪聲，抽取網(wǎng)頁中包括標題和正文內(nèi)容在內(nèi)的純文本信息。

3、r>　　在混合特征建模上，將文本信息進行了中文分詞等自然語言處理，使用了特征降維算法取得特征詞集，改進了特征權(quán)重賦值算法，完成了內(nèi)容特征建模，并驗證了改進算法對分類性能的優(yōu)化能力;同時提出了由網(wǎng)頁語言學(xué)特征和網(wǎng)絡(luò)特征構(gòu)成的頁面特征集，通過統(tǒng)計歸一化實現(xiàn)頁面特征的建模，從而得到了本文的混合特征向量空間模型。
　　在分類器的訓(xùn)練策略上，引入了機器學(xué)習(xí)中有監(jiān)督的分類思想，研究了支持向量機算法，采用了經(jīng)參數(shù)優(yōu)化的支持向量機算法對混合特征模