微博新詞發(fā)現(xiàn)與情感傾向性分析研究.pdf

1、隨著互聯(lián)網(wǎng)的發(fā)展，網(wǎng)絡(luò)新詞不斷涌現(xiàn)。特別地，用戶(hù)喜歡在微博中用自己的方式表達(dá)觀點(diǎn)和情緒，這也造就了眾多新詞的出現(xiàn)。網(wǎng)絡(luò)新詞持續(xù)增加，給自然語(yǔ)言處理帶來(lái)了諸多挑戰(zhàn)。新詞發(fā)現(xiàn)作為自然語(yǔ)言處理領(lǐng)域的一項(xiàng)基礎(chǔ)任務(wù)，也必將直接影響著分詞等諸多自然語(yǔ)言處理子任務(wù)的性能。
　　近年來(lái)，國(guó)內(nèi)外學(xué)者就網(wǎng)絡(luò)新詞進(jìn)行了諸多研究，并取得了不少成果。但這些研究仍存在一些問(wèn)題:第一，目前基于統(tǒng)計(jì)的新詞發(fā)現(xiàn)研究多數(shù)都使用有監(jiān)督模型，這些模型不僅需要大量復(fù)雜的語(yǔ)

2、言特征，而且需要大量人工標(biāo)注的樣本作為訓(xùn)練集;第二，一些基于非監(jiān)督模型的新詞研究使用的語(yǔ)料庫(kù)（用戶(hù)的輸入習(xí)慣或用戶(hù)日志）都是無(wú)法直接獲取的商業(yè)資源，語(yǔ)料獲取的代價(jià)過(guò)于昂貴;第三，針對(duì)新詞的語(yǔ)義分析，鮮有涉及新詞的分布式語(yǔ)義表示。第四，關(guān)于新詞的情感傾向性判定無(wú)法直接利用語(yǔ)義詞典進(jìn)行計(jì)算，而基于語(yǔ)料庫(kù)的方法在時(shí)間效率上有很大的局限性。針對(duì)以上分析，本文利用微博語(yǔ)料，同時(shí)結(jié)合相關(guān)的研究成果，展開(kāi)了以下研究:
　　1.使用規(guī)則和統(tǒng)計(jì)相結(jié)

3、合的方法來(lái)識(shí)別語(yǔ)料中的新詞。分析了常用統(tǒng)計(jì)量在抽取新詞時(shí)的表現(xiàn)，并結(jié)合每個(gè)統(tǒng)計(jì)量的性能提出本文的新詞抽取規(guī)則。本文通過(guò)n元遞增模型挖掘語(yǔ)料中的所有n元詞匯，再計(jì)算詞匯的各個(gè)統(tǒng)計(jì)量，通過(guò)實(shí)驗(yàn)選擇各個(gè)統(tǒng)計(jì)量的閾值，高于閾值的即網(wǎng)絡(luò)新詞。
　　2.引入新詞的分布式語(yǔ)義表示。訓(xùn)練新詞的分布式詞向量，其相較于傳統(tǒng)的詞袋模式的詞向量具有更低的維度和更準(zhǔn)確的語(yǔ)義表示能力，并且提出基于模式匹配和分布式語(yǔ)義表示的情感新詞挖掘算法。
　　3.基