基于名詞短語提取與詞條權(quán)重分析的話題提取算法研究.pdf

1、近年來，隨著互聯(lián)網(wǎng)規(guī)模的不斷增長，網(wǎng)絡(luò)已經(jīng)成為人們獲取信息的主要渠道，然而，在信息爆炸的同時，也使人們在獲取信息的時候變得更加無所適從。信息疲勞、信息焦慮與信息過剩成為我們在信息時代遇到的新的問題。如何有效的搜索、組織和呈現(xiàn)信息已經(jīng)成為信息時代的一個亟待解決的問題。話題模型作為一種有效整合信息的手段，成為近年來自然語言處理領(lǐng)域的熱點。
　　本文主要針對概率話題模型，將名詞短語提取和詞條權(quán)重計算引入話題模型，以期望能夠提高話題模型對

2、語料庫的擬合程度和泛化能力。
　　首先，將名詞短語提取引入了話題模型。通過詞性標(biāo)注、句法結(jié)構(gòu)分析，提取文本中最短的名詞短語。將文本中的名詞短語視作一個整體進(jìn)行分析，從而保證了名詞短語中的單詞由一個話題生成，即保證了語義相近的單詞由同一個話題生成。
　　其次，針對現(xiàn)實文本中噪聲較大的問題，提出了一種基于語義網(wǎng)絡(luò)的短語權(quán)重計算方法。通過構(gòu)建文本的語義網(wǎng)絡(luò)，借鑒馬爾科夫隨機(jī)游走的思想，計算節(jié)點到節(jié)點的轉(zhuǎn)移概率。通過動態(tài)的去除節(jié)點的