一種基于機器學習的主題Web分類算法研究.pdf

1、隨著互聯網技術和信息技術的快速發(fā)展，不同形式的數字信息充斥著互聯網的每個角落，其中文本信息占據了舉足輕重的地位。如何高效的管理文本成為了研究的一個熱點課題，自動文本分類技術應運而生。但是自動文本分類的性能還比較低，有非常大的改進空間。文本分類是一個有監(jiān)督的學習過程，涉及到機器學習、數據挖掘等領域的許多關鍵技術。影響文本分類性能的因素很多，主要有文本預處理、特征抽取、維度約減、文本表示、分類器設計、評價標準等。由于傳統(tǒng)文本表示模型的高維性

2、和高稀疏度等特點，設計高效的文本表示模型和降低文本表示維度是文本分類領域關注的熱點。
　　課題研究在深入分析自動網頁文本分類技術的基礎上，結合美食行業(yè)的特點，設計了一種基于支持向量機和HR-VSM模型的Web主題分類算法。首先，本文對當前文本分類技術在國內外的發(fā)展現狀進行了綜述，對文本分類的定義、流程及文本表示模型進行了概述，對經典的機器學習算法進行了簡要的介紹。
　　然后研究了網頁文本的特征提取方法?？紤]到網頁數據是一種半

3、結構化的數據，充分考慮了網頁中不同位置的文本對網頁主題的權重不同，在研究了文本特征提取算法的基礎上,根據網頁特征的特殊性,對網頁文本特征提取和加權算法進行了改進?；诰W頁鏈接所指向同級網頁的內容與原網頁文本內容的主題相似性，本文提出了一種新穎的網頁文本向量計算模型——HR-VSM模型。
　　接下來基于改進模型并結合支持向量機算法，設計了一種基于機器學習的主題Web分類算法，詳細講述了該算法的理論基礎和基于該算法的分類流程。