面向WEB對象的聚類技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)和web2.0站點(diǎn)的迅猛發(fā)展，web對象的細(xì)粒度聚類技術(shù)已經(jīng)成為學(xué)術(shù)界研究的熱點(diǎn)。然而已有的絕大多數(shù)聚類模型只關(guān)注對文本內(nèi)容或文章主題進(jìn)行聚類，聚類結(jié)果粒度較粗，無法滿足大規(guī)模網(wǎng)絡(luò)信息檢索的質(zhì)量要求，并且傳統(tǒng)的聚類模型主要應(yīng)用于結(jié)構(gòu)化數(shù)據(jù)，無法處理從網(wǎng)絡(luò)數(shù)據(jù)源提取的面向web對象的半結(jié)構(gòu)化數(shù)據(jù)。
　　 針對上述挑戰(zhàn)，本文提出了基于詞匯信息分布的特征提取算法和自適應(yīng)的記錄合并算法，提高聚類結(jié)果的細(xì)粒度。首先特征提取算法構(gòu)

2、建一個信息傳遞有向無環(huán)圖，通過挖掘web對象數(shù)據(jù)中特征詞匯的樹狀概率層次關(guān)系，利用詞匯在圖中信息分布的集中度提取特征，過濾噪音詞匯，然后利用一階觸發(fā)對挖掘半結(jié)構(gòu)化數(shù)據(jù)中隱含屬性間的關(guān)聯(lián)關(guān)系，聚集對辨別實(shí)體起到關(guān)鍵作用的特征組合，根據(jù)分辨web對象的能力，為每個特征詞匯賦予合理的權(quán)重，使記錄的特征向量更具代表性；同時自適應(yīng)的記錄合并模型在產(chǎn)生基本聚類簇的前提下，為重復(fù)出現(xiàn)在多個基本聚類簇中的數(shù)據(jù)記錄二次選擇最優(yōu)的目標(biāo)聚類簇，有效提高目標(biāo)聚