短文本語義過濾技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和廣泛普及.人們越來越依賴互聯(lián)網(wǎng)來查詢所需要的信息.因為網(wǎng)絡(luò)中大部分信息是以文本方式存放,因此人們對文本的過濾技術(shù)要求越來越高.但是,傳統(tǒng)的文本信息過濾算法僅能實現(xiàn)結(jié)構(gòu)對應(yīng)層次上的判斷,不能根據(jù)文本的上下文較好地理解文本的語義進行過濾,因而過濾的效果難以滿足人們智能化的要求. 本文主要結(jié)合中文信息處理知識,提出并實現(xiàn)了基于短文本的語義過濾算法.該算法包括對短文本分詞,詞性標注,句法分析,生成語義框架,計算短文

2、本之間的語義框架相似度,短文本過濾等關(guān)鍵環(huán)節(jié).利用基于多層隱馬模型的分詞方法對短文本進行分詞,詞性標注和消歧,分詞和詞性標注支持北大標準,973標準,XML格式.對短文本的句子進行句法分析,借助語法規(guī)則庫和句法分析信息,提取出短文本的領(lǐng)域,行為主體,行為動詞,行為受體,時間,地點等信息,填充語義框架,按照給定的距離函數(shù)和相似度計算規(guī)則,計算短文本之間的相似度,最后根據(jù)相似度是否大于閾值決定過濾與否. 此算法對短文本進行了準確度較

3、高的分詞和詞性標注,并對短文本的句子進行了句法分析,句法分析充分考慮了短文本語義塊的分離、句蛻和歧義等等特殊語境,然后提取語義框架,然后再將短文本之間的語義相似度的比較轉(zhuǎn)換為數(shù)學(xué)計算,量化了短文本間的語義相似度,改進了框架相似度的計算公式,增加了框架相似度調(diào)節(jié)因子,最后根據(jù)相似度閾值進行過濾.試驗表明,其過濾效果較傳統(tǒng)的過濾算法在語義理解上有較大提高. 本文設(shè)計并實現(xiàn)了一個具有短文本語義過濾功能的代理服務(wù)器(SemanticFR