用戶生成答案質(zhì)量評(píng)價(jià)中的特征表示及融合研究.pdf

1、隨著Web2.0的飛速發(fā)展,網(wǎng)絡(luò)社區(qū)累積了海量的用戶生成內(nèi)容(User Generated Content,UGC)。社區(qū)問(wèn)答系統(tǒng)正是產(chǎn)生UGC的典型代表之一,海量的UGC資源對(duì)于促進(jìn)問(wèn)答技術(shù)的發(fā)展帶來(lái)了新的機(jī)遇,同時(shí)也給網(wǎng)絡(luò)社區(qū)問(wèn)答資源的挖掘帶來(lái)了新的挑戰(zhàn)。因此,如何有效的從海量的用戶生成內(nèi)容中識(shí)別高質(zhì)量的信息已經(jīng)成為了社區(qū)問(wèn)答系統(tǒng)研究中的一項(xiàng)極為重要的工作。
　　本文以自動(dòng)評(píng)價(jià)社區(qū)問(wèn)答系統(tǒng)中用戶生成答案的質(zhì)量為目標(biāo),從社區(qū)問(wèn)答

2、系統(tǒng)中答案的文本信息和非文本信息的特征表示與融合兩方面入手,針對(duì)社區(qū)問(wèn)答系統(tǒng)中用戶生成答案的質(zhì)量評(píng)價(jià)方法展開(kāi)研究。具體地,本文的研究?jī)?nèi)容主要包含如下3個(gè)方面。
　　本文首先分析了社區(qū)問(wèn)答系統(tǒng)文本信息的特點(diǎn),在此基礎(chǔ)上通過(guò)實(shí)驗(yàn)比較了兩種不同粒度的文本特征。以表層語(yǔ)言學(xué)特征和社會(huì)化特征為基礎(chǔ)的非文本特征已被廣泛的應(yīng)用于評(píng)價(jià)社區(qū)問(wèn)答系統(tǒng)的答案質(zhì)量。本文針對(duì)此類非文本特征,在大規(guī)模的問(wèn)答語(yǔ)料中進(jìn)行了詳細(xì)地統(tǒng)計(jì)分析。在此基礎(chǔ)上,采用邏輯斯蒂

3、回歸模型對(duì)各個(gè)特征在最佳答案識(shí)別的效用上進(jìn)行了分析。
　　本文將社區(qū)問(wèn)答系統(tǒng)答案質(zhì)量評(píng)價(jià)問(wèn)題看做是一個(gè)分類問(wèn)題。在分析了基于傳統(tǒng)分類方法中的SVM模型和邏輯斯蒂回歸模型等主流方法在答案質(zhì)量評(píng)價(jià)問(wèn)題中的不足之后,本文提出了分別基于隨機(jī)特征子空間和基于內(nèi)容結(jié)構(gòu)與社會(huì)化信息的兩種協(xié)同訓(xùn)練方法。實(shí)驗(yàn)結(jié)果表明本文提出的協(xié)同訓(xùn)練方法只需要少量的標(biāo)注樣本就能取得跟主流的有監(jiān)督學(xué)習(xí)方法相當(dāng)甚至更好的答案質(zhì)量評(píng)價(jià)性能。
　　社區(qū)問(wèn)答系統(tǒng)的答案

4、信息屬于典型的短文本信息,詞語(yǔ)頻度統(tǒng)計(jì)的效力極為有限使得傳統(tǒng)的基于詞語(yǔ)共現(xiàn)關(guān)系的文本特征在答案質(zhì)量評(píng)價(jià)問(wèn)題中的表現(xiàn)很不理想。雖然融合被廣泛使用的非文本特征對(duì)于提升答案質(zhì)量評(píng)價(jià)的性能在一定程度上起了積極的作用,但是其提升能力極為有限。本文在分析了文本特征和非文本特征的特點(diǎn)以及當(dāng)前主流的分類模型在統(tǒng)合不同特征的能力的局限性之后,提出了基于多模式深度學(xué)習(xí)的答案質(zhì)量評(píng)價(jià)方法。在百度知道和Yahoo!Answers兩個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,本文