網(wǎng)絡(luò)新聞分類(lèi)系統(tǒng)及個(gè)性化新聞網(wǎng)站的研究與應(yīng)用.pdf

1、隨著互聯(lián)網(wǎng)的飛速發(fā)展及其影響力的不斷擴(kuò)大,網(wǎng)絡(luò)上的信息量也隨之不斷增加。面對(duì)浩瀚如海的網(wǎng)絡(luò)信息,依靠人工完成信息的分類(lèi)已經(jīng)無(wú)法滿足實(shí)際的需求。其次,網(wǎng)站的人性化設(shè)計(jì)也成為網(wǎng)站管理者所關(guān)心的問(wèn)題,一個(gè)具有人性化特征的網(wǎng)站勢(shì)必會(huì)吸引更多的用戶,會(huì)給網(wǎng)站帶來(lái)更多的效益。本文基于上面的需求,引入Web文本挖掘技術(shù)來(lái)實(shí)現(xiàn)信息的快速分類(lèi),以及實(shí)現(xiàn)具有人性化特征的網(wǎng)站。首先,本文深入研究了中文文本自動(dòng)分類(lèi)所涉及到的相關(guān)理論和技術(shù)。其中包括網(wǎng)頁(yè)信息抽取

2、技術(shù)、文本分詞技術(shù)、文本向量化技術(shù)、文本特征提取技術(shù)以及文本分類(lèi)技術(shù)。通過(guò)分析與比較上述技術(shù)所涉及到的理論和算法,根據(jù)系統(tǒng)需求自行設(shè)計(jì)了網(wǎng)頁(yè)信息抽取算法。擇優(yōu)選取了最大匹配分詞算法、TF-IDF文本向量化算法、互信息量特征抽取算法以及KNN文本分類(lèi)算法,并對(duì)互信息量算法進(jìn)行了局部改進(jìn)。其次,文文深入研究了Lucene全文檢索系統(tǒng),并在其基礎(chǔ)上實(shí)現(xiàn)了中文文本分詞功能,Lucene系統(tǒng)可以給系統(tǒng)提供可擴(kuò)展的全文檢索功能。基于上述選取的算法,

3、本文利用Java和面向?qū)ο缶幊碳夹g(shù)(設(shè)計(jì)模式等)結(jié)合Lucene平臺(tái)開(kāi)發(fā)了具有能夠自動(dòng)分類(lèi)html和txt格式文本功能的文本自動(dòng)分類(lèi)系統(tǒng),該系統(tǒng)提供了可擴(kuò)展的接口,便于系統(tǒng)的擴(kuò)展與改進(jìn)。系統(tǒng)開(kāi)發(fā)完成后,本文對(duì)系統(tǒng)利用國(guó)際評(píng)測(cè)標(biāo)準(zhǔn)(查全率、準(zhǔn)確率以及F1測(cè)試值)對(duì)系統(tǒng)進(jìn)行了測(cè)試并對(duì)測(cè)試結(jié)果進(jìn)行了詳細(xì)的分析。最后,本文通過(guò)研究與分析用戶信息挖掘相關(guān)技術(shù),自行設(shè)計(jì)了一種可以按照用戶瀏覽愛(ài)好對(duì)網(wǎng)站頁(yè)面進(jìn)行自動(dòng)排版的算法。在排版算法的基礎(chǔ)上利用J