基于Web內(nèi)容的中文文本信息過濾的研究與實現(xiàn).pdf

1、隨著網(wǎng)絡(luò)技術(shù)和信息技術(shù)的飛速發(fā)展，互聯(lián)網(wǎng)上的信息資源呈指數(shù)級增長。豐富的信息資源在給用戶查詢信息、利用信息帶來方便的同時，也給用戶帶來了像信息迷向、正確信息獲取率低、垃圾信息泛濫等諸多問題。如何從海量的信息資源中及時、準(zhǔn)確地獲取用戶需要的信息，成為目前亟待解決的問題。
　　Web文本信息過濾，是指根據(jù)用戶的信息需求，利用一定的方法從大規(guī)模的動態(tài)信息流中篩選出用戶感興趣的文本信息，同時屏蔽掉無用信息的過程。Web中文文本的信息過濾涉

2、及的技術(shù)主要有:Html頁面文本內(nèi)容的提取、中文分詞、特征項提取與權(quán)重計算、文本表示模型、用戶興趣模板的構(gòu)建以及文本過濾算法等。在對Web文本信息過濾進行研究的基礎(chǔ)上，本文實現(xiàn)了一個Web文本信息過濾系統(tǒng)模型，并通過實驗證明了該系統(tǒng)模型在過濾性能上的提升。
　　本文主要的工作有以下幾點:
　　(1)設(shè)計與實現(xiàn)了一種多層次的Web文本信息過濾系統(tǒng)模型。該系統(tǒng)模型的過濾方法模仿人在閱讀報紙時對信息的過濾過程。多層次過濾方法的原理

3、是:在對Web文本進行過濾時，先采用關(guān)鍵字匹配的過濾方法對文本標(biāo)題進行過濾，如果通過篩選，則直接將文本提供給用戶;否則，再利用傳統(tǒng)的VSM過濾方法對文本正文內(nèi)容進行過濾。
　　(2)從搜狐、新浪、網(wǎng)易等門戶分類網(wǎng)站的專題新聞中，提取了700篇經(jīng)濟類文本與700篇非經(jīng)濟類文本，組成本論文的測試文本。并分別用100篇經(jīng)濟類文本與100篇非經(jīng)濟類文本進行實驗，用來確定對文本正文進行過濾時的過濾閾值。
　　(3)設(shè)計并進行分組實驗。