WEB環(huán)境下的社會(huì)網(wǎng)絡(luò)挖掘研究.pdf

1、社會(huì)網(wǎng)絡(luò)研究是理解社會(huì)現(xiàn)象,預(yù)測(cè)人類(lèi)行為,分析社會(huì)結(jié)構(gòu)的重要工具。進(jìn)入Web2.0時(shí)代以來(lái),龐大的Web用戶(hù)群體、頻繁的Web用戶(hù)互動(dòng)和海量的Web內(nèi)容構(gòu)成了巨大的Web社會(huì)網(wǎng)絡(luò),使Web環(huán)境下的社會(huì)網(wǎng)絡(luò)挖掘成為信息技術(shù)領(lǐng)域的新熱點(diǎn)問(wèn)題。在Web環(huán)境下進(jìn)行社會(huì)網(wǎng)絡(luò)挖掘?qū)τ诶斫釽eb用戶(hù)的行為模式,改進(jìn)各種Web應(yīng)用如推薦、信息檢索、網(wǎng)絡(luò)輿情監(jiān)測(cè)等系統(tǒng)的效果,從而帶來(lái)更好的用戶(hù)體驗(yàn),提高社會(huì)生產(chǎn)效率具有重要的作用。
　　 Web環(huán)

2、境下的社會(huì)網(wǎng)絡(luò)挖掘需要面臨以下幾個(gè)主要的問(wèn)題。首先,Web中的社會(huì)網(wǎng)絡(luò)是隱含的、模糊的:其次,Web數(shù)據(jù)中包含著用戶(hù)創(chuàng)造的海量?jī)?nèi)容,具有豐富的語(yǔ)義;第三,Web數(shù)據(jù)中有大量垃圾內(nèi)容和垃圾鏈接;第四,Web數(shù)據(jù)的高度異構(gòu)和類(lèi)型繁雜使得Web上的社會(huì)網(wǎng)絡(luò)不能用單一類(lèi)型的節(jié)點(diǎn)和單一類(lèi)型的關(guān)系來(lái)描述.研究Web環(huán)境下的社會(huì)網(wǎng)絡(luò)挖掘需要重點(diǎn)解決以上這些問(wèn)題。
　　 本文主要研究目標(biāo)是Web上的文本數(shù)據(jù),針對(duì)Web隱含的模糊的社會(huì)網(wǎng)絡(luò)問(wèn)題,

3、Web社會(huì)網(wǎng)絡(luò)的豐富語(yǔ)義問(wèn)題,Web垃圾內(nèi)容問(wèn)題,以及多關(guān)系和多節(jié)點(diǎn)類(lèi)型的多模社會(huì)網(wǎng)絡(luò)問(wèn)題,通過(guò)對(duì)用戶(hù)行為的分析,采用基于矩陣的、基于生成模型的和基于馬爾可夫鏈的Web社會(huì)網(wǎng)絡(luò)建模方法,以達(dá)到抽取隱含社會(huì)網(wǎng)絡(luò)、理解社會(huì)網(wǎng)絡(luò)語(yǔ)義、識(shí)別垃圾內(nèi)容、評(píng)測(cè)數(shù)據(jù)質(zhì)量和挖掘多模社會(huì)網(wǎng)絡(luò)的目標(biāo),并實(shí)現(xiàn)專(zhuān)家檢索等Web應(yīng)用。
　　 本文的研究對(duì)象包括Web論壇和企業(yè)、學(xué)術(shù)領(lǐng)域的數(shù)據(jù)。采用線(xiàn)程討論的Web論壇是Web上寶貴的海量知識(shí)庫(kù),企業(yè)、學(xué)術(shù)領(lǐng)

4、域數(shù)據(jù)包含大量專(zhuān)業(yè)知識(shí),他們是進(jìn)行數(shù)據(jù)挖掘和知識(shí)發(fā)現(xiàn)的重要對(duì)象。Web論壇中具有大量的垃圾內(nèi)容。企業(yè)、學(xué)術(shù)領(lǐng)域數(shù)據(jù)中具有多種類(lèi)型的實(shí)體和關(guān)系。針對(duì)這兩個(gè)數(shù)據(jù)源,本文的研究工作和創(chuàng)新內(nèi)容包括:
　　 -用戶(hù)行為分析在網(wǎng)絡(luò)論壇中,用戶(hù)發(fā)帖參與討論,由此和其他用戶(hù)進(jìn)行密切的互動(dòng)。為了更好的理解網(wǎng)絡(luò)論壇中用戶(hù)的社交行為和發(fā)文行為,本文通過(guò)大量統(tǒng)計(jì)分析,發(fā)現(xiàn)論壇用戶(hù)的發(fā)帖數(shù)量和質(zhì)量差異很大,揭示論壇社會(huì)網(wǎng)絡(luò)的回復(fù)關(guān)系、好友關(guān)系和相識(shí)關(guān)系對(duì)

5、于論壇用戶(hù)的興趣傳播和專(zhuān)家知識(shí)傳播具有明顯作用。
　　 -基于稀疏編碼的論壇數(shù)據(jù)建模線(xiàn)程討論具有結(jié)構(gòu)和語(yǔ)義同步變化,相互影響的特性。針對(duì)現(xiàn)有的研究工作普遍對(duì)語(yǔ)義和結(jié)構(gòu)分開(kāi)建模的問(wèn)題,提出基于矩陣的SMSS模型,同步的對(duì)線(xiàn)程討論的結(jié)構(gòu)和語(yǔ)義建模。同時(shí),針對(duì)線(xiàn)程討論中語(yǔ)義和結(jié)構(gòu)的稀疏性,即每個(gè)帖子只覆蓋少數(shù)幾個(gè)主題、以及每個(gè)帖子只回復(fù)討論線(xiàn)程中的少數(shù)幾個(gè)帖子等特性,提出引入L1正則項(xiàng)在模型中對(duì)結(jié)構(gòu)和語(yǔ)義進(jìn)行約束。該模型能夠抽取出較為

6、精確的社會(huì)網(wǎng)絡(luò)、能夠較好的解決Web社會(huì)網(wǎng)絡(luò)的豐富語(yǔ)義和數(shù)據(jù)質(zhì)量問(wèn)題,在垃圾內(nèi)容識(shí)別和專(zhuān)家檢索等應(yīng)用中取得了較好的結(jié)果。
　　 -基于生成模型的論壇數(shù)據(jù)建模方法針對(duì)SMSS模型對(duì)于垃圾內(nèi)容識(shí)別和專(zhuān)家檢索的解決方案較為直接簡(jiǎn)單的問(wèn)題,本文同時(shí)提出基于生成模型的論壇數(shù)據(jù)建模方法。在PLSA的優(yōu)化目標(biāo)中加入反映帖子結(jié)構(gòu)關(guān)系的正則項(xiàng),以刻畫(huà)線(xiàn)程討論的結(jié)構(gòu)和語(yǔ)義同步變化互相影響的特性;針對(duì)LDA模型不能準(zhǔn)確刻畫(huà)垃圾主題的問(wèn)題,提出引入垃圾

7、主題,以區(qū)別于有意義的主題;針對(duì)論壇作者發(fā)帖質(zhì)量不同的問(wèn)題,引入作者的發(fā)帖模式約束帖子的生成過(guò)程:針對(duì)現(xiàn)有專(zhuān)家檢索模型對(duì)未觀(guān)測(cè)到詞的概率估計(jì)不準(zhǔn)確問(wèn)題,引入在上述模型中學(xué)習(xí)到的主題,擴(kuò)展專(zhuān)家生成查詢(xún)的過(guò)程;針對(duì)發(fā)帖數(shù)量很多但質(zhì)量很低的噪聲作者問(wèn)題,在專(zhuān)家檢索排序中引入作者的發(fā)帖模式信息;上述模型成功應(yīng)用在語(yǔ)義解讀、垃圾內(nèi)容識(shí)別和專(zhuān)家檢索中。
　　 -基于馬爾科夫鏈的多模社會(huì)網(wǎng)絡(luò)建模方法企業(yè)、學(xué)術(shù)領(lǐng)域中存在多種類(lèi)型的實(shí)體,如作者、

8、論文、個(gè)人主頁(yè)等,以及多種類(lèi)型的關(guān)系如引用關(guān)系、合作關(guān)系等。為了能夠更好的利用類(lèi)型信息,調(diào)整類(lèi)型的影響強(qiáng)弱,本文針對(duì)多模網(wǎng)絡(luò)上的專(zhuān)家檢索問(wèn)題,提出在Web數(shù)據(jù)中抽取多模網(wǎng)絡(luò)的框架;通過(guò)在文本中根據(jù)給定查詢(xún)自動(dòng)生成轉(zhuǎn)移概率矩陣,基于馬爾可夫鏈對(duì)專(zhuān)家進(jìn)行排序;針對(duì)在多模網(wǎng)絡(luò)上的馬爾可夫過(guò)程計(jì)算到達(dá)專(zhuān)家節(jié)點(diǎn)的概率問(wèn)題,提出在多模網(wǎng)絡(luò)上的馬爾可夫隨機(jī)游走過(guò)程,并證明該過(guò)程是遍歷不可約的;針對(duì)在如Enterprise和學(xué)術(shù)領(lǐng)域的應(yīng)用場(chǎng)景中專(zhuān)家檢索