基于標(biāo)題與正文的文本分類和評價(jià)對象抽取方法研究.pdf

1、隨著社會的發(fā)展，互聯(lián)網(wǎng)信息呈現(xiàn)爆炸式的增長，通過觀察網(wǎng)民提交的文本發(fā)現(xiàn)，大多數(shù)網(wǎng)站特別是新聞和政府的網(wǎng)站，文本信息都具有結(jié)構(gòu)化的特點(diǎn)，通常包含標(biāo)題文本和正文文本。正文通常是對事件詳細(xì)的描述，包含的語義信息比較豐富，同時(shí)具有主題多樣性，噪聲巨大。標(biāo)題通常是對事件的精煉簡潔的概述，表達(dá)信息準(zhǔn)確，語義清晰，所以充分利用標(biāo)題信息就變得十分有意義。本文充分利用標(biāo)題的特點(diǎn)，提出了基于標(biāo)題和正文的主題模型應(yīng)用于文本分類研究。由于標(biāo)題的特殊性，語句簡短

2、，句法簡單，所以本文基于規(guī)則和句法依存關(guān)系可以有效的提取標(biāo)題中的評價(jià)對象。
　　本文主要工作如下:
　　(1)本文利用一篇文檔具有標(biāo)題和正文兩部分的特點(diǎn)，提出了基于標(biāo)題和正文的主題模型，該模型可以獲得文檔正文的主題分布和標(biāo)題的主題分布，使用調(diào)節(jié)參數(shù)，優(yōu)化整篇文檔的主題分布。充分利用標(biāo)題具有精煉簡潔、主題明確的優(yōu)點(diǎn)，可以有效的降低正文部分語義繁雜、主題多樣性對文本分類的影響，從而獲得整篇文檔最優(yōu)的主題分布，通過最佳的主題分布，

3、可以提高文本分類的準(zhǔn)確性。
　　(2)由于標(biāo)題精煉簡潔，主題明確，因此采用句法依存關(guān)系獲取標(biāo)題中的評價(jià)對象。本文基于規(guī)則和詞性標(biāo)注獲取標(biāo)題中潛在的評價(jià)對象，因?yàn)楸疚臉?biāo)題語料的特殊性，潛在的評價(jià)對象和動詞具有很強(qiáng)的依賴關(guān)系，所以本文構(gòu)建動詞詞典庫，通過動詞出現(xiàn)在句法分析樹的位置，遍歷整個(gè)句法分析樹，可以從潛在的評價(jià)對象中找到標(biāo)題中真實(shí)的評價(jià)對象。
　　(3)由于本文的語料是來自某城市的政府直通車網(wǎng)站，解決當(dāng)?shù)爻鞘芯用袼媾R的問