面向社會(huì)媒體的中文文本校對(duì)方法研究與實(shí)現(xiàn).pdf

1、隨著Web2.0技術(shù)和社會(huì)媒體的高速發(fā)展，人們以網(wǎng)絡(luò)為媒介，在各類社會(huì)媒體中自由發(fā)表言論。同正規(guī)的新聞文本相比，用戶生成的社會(huì)媒體文本存在大量的錯(cuò)別字、諧音詞語(yǔ)等病態(tài)輸入或非標(biāo)準(zhǔn)的表述形式。如何準(zhǔn)確地識(shí)別并糾正這些非標(biāo)準(zhǔn)表達(dá)已成為面向社會(huì)媒體的自然語(yǔ)言處理相關(guān)研究面臨的一個(gè)重要挑戰(zhàn)。
　　本文在深入分析社會(huì)媒體文本中存在的錯(cuò)別字和諧音詞語(yǔ)的分類及其分布基礎(chǔ)上，分別采用統(tǒng)計(jì)語(yǔ)言模型和語(yǔ)義相似度兩種方法探索錯(cuò)別字校對(duì)和諧音詞語(yǔ)校對(duì)問題

2、，以提高文本的可讀性和規(guī)范性，為后續(xù)的社會(huì)媒體研究工作打下良好的理論基礎(chǔ)和應(yīng)用基礎(chǔ)。具體地，本文從以下兩個(gè)方面展開研究:
　　1.基于語(yǔ)言模型的社會(huì)媒體文本校對(duì)。錯(cuò)別字和諧音詞語(yǔ)作為中文最常見的病態(tài)輸入或非標(biāo)準(zhǔn)表述，大量存在于社會(huì)媒體文本中。本文采用基于音素和形近字表兩種方法構(gòu)造錯(cuò)別字正字候選，通過構(gòu)建不同粒度的諧音還原知識(shí)庫(kù)構(gòu)造諧音還原候選集。然后，在N元語(yǔ)法模型的框架下，從錯(cuò)別字正字候選集和諧音詞語(yǔ)還原候選集中進(jìn)行語(yǔ)言解碼，以

3、確定相應(yīng)的校對(duì)結(jié)果。實(shí)驗(yàn)結(jié)果表明，當(dāng)訓(xùn)練語(yǔ)料規(guī)模足夠大時(shí)，三元語(yǔ)言模型具有更準(zhǔn)確的描述能力，采用三元新聞文本訓(xùn)練的語(yǔ)言模型進(jìn)行語(yǔ)言解碼工作有利于提高錯(cuò)別字和諧音詞語(yǔ)校對(duì)性能。
　　2.基于語(yǔ)義相似度的社會(huì)媒體文本校對(duì)問題。測(cè)試句子與校對(duì)后標(biāo)準(zhǔn)句子具有相同的語(yǔ)義信息，因此本文提出從語(yǔ)義角度出發(fā)，利用語(yǔ)義特征實(shí)現(xiàn)文本校對(duì)工作。首先，利用詞嵌入模型從大量未標(biāo)注的普通文本數(shù)據(jù)中無(wú)監(jiān)督地學(xué)習(xí)出詞向量。然后，獲取候選詞語(yǔ)及其上下文的詞向量。最