城市管理投訴文本挖掘與分析.pdf

1、隨著數(shù)字化城市的發(fā)展，城市管理進(jìn)入信息化時(shí)代，百姓通過(guò)數(shù)字化平臺(tái)反映城市管理中存在的問(wèn)題。由于他們年齡、學(xué)歷、表達(dá)方式存在差異，導(dǎo)致城市管理投訴語(yǔ)料存在格式不規(guī)范，表達(dá)不統(tǒng)一等特點(diǎn)，工作人員只能逐字瀏覽，才能發(fā)現(xiàn)其中的重要信息即事件信息，工作繁瑣且效率低下。
　　利用信息抽取技術(shù)，自動(dòng)抽取其中的事件，將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，不僅大大減輕了工作人員的工作量，提高了工作效率，而且結(jié)構(gòu)化數(shù)據(jù)有利于直接的統(tǒng)計(jì)分析，能夠提高城市管理

2、部門掌握政策的實(shí)施效果以及階段時(shí)間內(nèi)社會(huì)管理當(dāng)中存在的突出問(wèn)題等，為其在日后的政策制定、工作績(jī)效評(píng)估以及工作重點(diǎn)的確定等方面提供預(yù)警信息和決策依據(jù)。本課題主要針對(duì)城市管理投訴文本進(jìn)行了研究，將課題研究分為4部分:投訴文本中地理位置實(shí)體識(shí)別、投訴文本中地理位置實(shí)體規(guī)范化表示、投訴文本中的領(lǐng)域詞自動(dòng)抽取、投訴文本中的領(lǐng)域詞規(guī)范化表示、投訴文本中事件的統(tǒng)計(jì)分析。
　　(1)投訴文本中地理位置實(shí)體識(shí)別研究。分析地理位置實(shí)體的特點(diǎn)，提出地理

3、位置實(shí)體識(shí)別模型，該模型利用分治策略，將地理位置實(shí)體的識(shí)別分為基本地名的識(shí)別和指示詞庫(kù)的構(gòu)建。首先利用CRF角色標(biāo)注方法，識(shí)別基本地名;其次利用半自動(dòng)方法構(gòu)建指示詞庫(kù);最后提出依附連接算法，連接基本地名與指示詞，最終實(shí)現(xiàn)地理位置實(shí)體識(shí)別。實(shí)驗(yàn)結(jié)果表明，該方法有顯著效果，F(xiàn)值達(dá)到84.79％。
　　(2)投訴文本中地理位置實(shí)體規(guī)范化表示研究。首次提出了基于百度地圖API的地理位置實(shí)體的規(guī)范化表達(dá)研究，通過(guò)百度開(kāi)放的Place API

4、對(duì)缺陷地理位置實(shí)體進(jìn)行檢索，根據(jù)檢索的結(jié)果構(gòu)建所屬區(qū)域的特征向量，并在其基礎(chǔ)上，利用規(guī)范化規(guī)則對(duì)缺陷地理位置實(shí)體進(jìn)行區(qū)域補(bǔ)全，最終實(shí)現(xiàn)地名規(guī)范化表示。實(shí)驗(yàn)結(jié)果表明，該方法效果顯著，正確率達(dá)到97％。
　　(3)投訴文本中的領(lǐng)域詞自動(dòng)抽取研究。通過(guò)分析領(lǐng)域詞的特點(diǎn)，從領(lǐng)域詞類間分布、類內(nèi)分布和語(yǔ)料規(guī)模的不平衡性三方面考慮，在方差的基礎(chǔ)上計(jì)算領(lǐng)域度，提取候選領(lǐng)域詞，然后利用詞語(yǔ)結(jié)合度在原文基礎(chǔ)上對(duì)候選領(lǐng)域詞進(jìn)行填充，最終提取有意義的領(lǐng)

5、域詞。在城市管理投訴領(lǐng)域進(jìn)行實(shí)驗(yàn)，結(jié)果表明，該方法能夠準(zhǔn)確有效地抽取領(lǐng)域詞，寬松準(zhǔn)確率比傳統(tǒng)TFIDF方法提高了13％。
　　(4)投訴文本中的領(lǐng)域詞規(guī)范化表示研究。將城市管理投訴領(lǐng)域本體引入詞語(yǔ)的規(guī)范化表示中，將詞語(yǔ)的規(guī)范化表示轉(zhuǎn)換為概念實(shí)例的映射問(wèn)題，并通過(guò)計(jì)算詞語(yǔ)之間的相似度實(shí)現(xiàn)概念實(shí)例的映射，同時(shí)將關(guān)鍵詞映射到與其相似度很高的概念上，完成詞語(yǔ)的規(guī)范化表示。實(shí)驗(yàn)表明，本文方法在保證較高準(zhǔn)確率的情況下，同時(shí)解決了映射過(guò)程中的數(shù)