社會媒體網(wǎng)頁內(nèi)容分割與主題頻繁簇的抽取.pdf

1、隨著互聯(lián)網(wǎng)的普及和計算機技術(shù)的迅猛發(fā)展,Web已成為人們?nèi)粘Ｉ钪蝎@取知識、技術(shù)共享、信息交流的重要平臺。越來越多的互聯(lián)網(wǎng)用戶在博客、論壇、社區(qū)等網(wǎng)站上以文本、圖像、音樂、視頻等形式發(fā)表用戶體驗內(nèi)容和用戶為中心的內(nèi)容,形成數(shù)據(jù)日益龐大的社會媒體。如何快速有效地從社會媒體網(wǎng)頁中獲取人們真正需要的信息成為一個亟需解決的重要課題,因此Web信息抽取技術(shù)隨之產(chǎn)生,并引起了學(xué)術(shù)界和商業(yè)領(lǐng)域越來越多的關(guān)注。
　　與傳統(tǒng)的信息資源相比,社會媒體

2、網(wǎng)頁中95％以上是非結(jié)構(gòu)化或半結(jié)構(gòu)化形式的數(shù)據(jù)型網(wǎng)頁,缺乏嚴(yán)格規(guī)范的語法結(jié)構(gòu)。由于社會媒體網(wǎng)頁的海量性、開放性、多樣性、動態(tài)性等特點,傳統(tǒng)的自然語言處理技術(shù)和應(yīng)用程序無法直接獲取并利用社會媒體網(wǎng)頁上的海量信息。從這些社會媒體網(wǎng)頁中抽取相關(guān)信息(如產(chǎn)品信息、論壇帖子內(nèi)容)并進行綜合分析,能讓我們廣泛地了解當(dāng)前用戶的需求、產(chǎn)品的缺陷、社會的熱點,具有重大的社會價值和經(jīng)濟價值。
　　目前,社會媒體站點大多是利用數(shù)據(jù)庫和預(yù)定義模板動態(tài)生成

3、網(wǎng)頁。網(wǎng)頁中的不同區(qū)域分別表示菜單、導(dǎo)航、版權(quán)和內(nèi)容等部分。這些不同功能的區(qū)域所用的HTML標(biāo)記并無不同,但是,有些局部會反復(fù)出現(xiàn)。本文充分利用該類社會媒體網(wǎng)頁的上述特點,從這些反復(fù)出現(xiàn)的局部歸納出穩(wěn)定的模式,通過所獲得的模式來自動抽取所涉及的信息。本論文以社會媒體網(wǎng)頁為研究對象,主要針對Web信息抽取關(guān)鍵技術(shù)開展了深入系統(tǒng)的研究,提出了一種社會媒體網(wǎng)頁內(nèi)容分割與主題頻繁簇的抽取方法。
　　本論文的主要研究工作如下:1、利用k-m