Ajax深度信息獲取及聚類關(guān)鍵技術(shù)的研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展，人們獲取知識(shí)的來(lái)源不再局限于書(shū)本和課堂，越來(lái)越多的網(wǎng)絡(luò)公開(kāi)課走入了人們的現(xiàn)代生活，例如著名的網(wǎng)易公開(kāi)課，中國(guó)大學(xué)MOOC和搜狐名校公開(kāi)課等。用戶觀看視頻后，通過(guò)評(píng)論可以進(jìn)行學(xué)習(xí)交流和發(fā)表觀點(diǎn)。通過(guò)研究有效的信息采集方法和優(yōu)秀的文本聚類算法，將大量分散的評(píng)論信息完整的采集、組織和歸類，發(fā)現(xiàn)學(xué)習(xí)者關(guān)注的問(wèn)題，對(duì)今后優(yōu)質(zhì)資源的建設(shè)，起到大眾導(dǎo)向作用。本文的研究將涉及兩種關(guān)鍵的技術(shù):信息采集技術(shù)和文本聚類技術(shù)。經(jīng)過(guò)分析該類

2、型網(wǎng)站的結(jié)構(gòu)特點(diǎn)，首先，評(píng)論不是以傳統(tǒng)靜態(tài)HTML網(wǎng)頁(yè)呈現(xiàn)的表層信息，而是以Ajax動(dòng)態(tài)網(wǎng)頁(yè)呈現(xiàn)的深度信息。其次，這些評(píng)論信息是典型的短文本，文本比較口語(yǔ)化，隱含的話題也比較分散。這些特點(diǎn)就為傳統(tǒng)信息采集及聚類技術(shù)增加了難度。
　　本人獨(dú)立完成了如下工作:第一，在評(píng)論信息采集階段，利用HtmlUnit模擬特定的Firefox瀏覽器，調(diào)用瀏覽器API模擬用戶事件的觸發(fā)，獲取該事件交互后的完整頁(yè)面信息。該方法利用事件取代URL地址作為

3、頁(yè)面發(fā)生變化的唯一標(biāo)識(shí)，有效地避免了傳統(tǒng)爬蟲(chóng)對(duì)URL地址的依賴，并能夠保證Ajax信息的抓全率，為后續(xù)聚類工作提供了必備的數(shù)據(jù)源。第二，對(duì)采集后的評(píng)論文本進(jìn)行NLPIR中文分詞，構(gòu)建了公開(kāi)課領(lǐng)域的用戶字典，整理了1205個(gè)停用詞，將文本轉(zhuǎn)換為計(jì)算機(jī)能理解的數(shù)據(jù)模型，引入了LDA主題模型，有效地避免了傳統(tǒng)VSM向量空間模型對(duì)語(yǔ)義相關(guān)性的忽略。第三，對(duì)處理后的文本進(jìn)行聚類時(shí)，以初始中心的選擇為研究的切入點(diǎn)，基于LDA模型，在部分最重要的主題

4、維度上預(yù)先聚類，收斂的各中心點(diǎn)作為所有主題維度聚類的初始中心點(diǎn)，這使得初始點(diǎn)的選擇更加具有代表性，避免了盲目選擇造成的聚類結(jié)果不穩(wěn)定。線性結(jié)合了VSM模型和LDA模型的計(jì)算公式，并通過(guò)訓(xùn)練確定其最優(yōu)參數(shù)，應(yīng)用到K-means算法中。
　　最后用實(shí)驗(yàn)表明，深度評(píng)論信息獲取階段，對(duì)比已有文獻(xiàn)的方法，本文提出的方法具有可行性及靈活性，能夠提高采集率。短評(píng)論信息聚類階段，基于VSM+LDA模型線性相加的文本相似度公式，應(yīng)用到基于LDA初始