基于傾向性分析的文本信息過濾技術(shù)研究.pdf

1、語言文字是信息的首要載體。人們?nèi)粘９ぷ髦械男畔?，絕大部分是以語言文字表達、記載、傳播和交換的。因此，隨著計算機和因特網(wǎng)的推廣應(yīng)用，由數(shù)據(jù)處理、信息處理發(fā)展到知識處理，對語言文字處理要求的深度和廣度越來越高。而要從大規(guī)模的網(wǎng)絡(luò)信息中抽取有用的信息資源，對信息處理的智能性、速度和精度都將提出極為嚴格的要求。文本過濾所研究的內(nèi)容就是如何準確地表達用戶需求，進而在大規(guī)模的信息流中自動地篩選出滿足用戶需求的信息，使人們更有效地利用信息資源。

2、>　　以往文本過濾的研究主要集中于主題性過濾，然而隨著網(wǎng)絡(luò)的發(fā)展，傾向性文本過濾在網(wǎng)絡(luò)信息安全方面的作用越來越大。由于以往采用基于統(tǒng)計的文本過濾技術(shù)對具有傾向性的文本進行過濾的效果并不理想，原因在于基于統(tǒng)計的方法忽略了文本中的語義約束，無法有效識別傾向性信息。
　　本文簡要介紹了文本過濾的背景，系統(tǒng)地探討了文本過濾與文本檢索及機器學習等領(lǐng)域的緊密聯(lián)系。通過分析情境在文本理解中的作用，確定了文本與情境模型間的關(guān)系和文本特征與情境模型

3、的相關(guān)性，進而提出了一套適用于文本過濾的方法。目前對傾向性過濾研究較少，且一般采用主題性過濾的方法，效果不佳。而本文的傾向性文本過濾，充分利用了領(lǐng)域知識，采用了語義模式分析技術(shù)，建立了豐富的語義分析資源，包括各種辭典，規(guī)則，權(quán)重表示，有效的對具有傾向性的文本完成過濾。
　　在文章的最后，我們提出了基于文本傾向性的信息過濾的方案，對其中的具體細節(jié)進行了詳盡地闡述，構(gòu)建了一整套從表示到權(quán)重的函數(shù)結(jié)構(gòu)，并給出了實驗結(jié)果，實驗證明該系統(tǒng)具