基于元數(shù)據(jù)的web信息提取方法研究.pdf

1、該文為web數(shù)據(jù)中的文本數(shù)據(jù)建立了一種Dublin Core文本元數(shù)據(jù)表,將web文本這種非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化.Web文本元數(shù)據(jù)分為描述性元數(shù)據(jù)和語義性元數(shù)據(jù),描述性元數(shù)據(jù)通過分析HTML源文件直接得到,該文的主要工作有以下四部分:1.對(duì)HTML源文件進(jìn)行分析,將標(biāo)記流和文本流分開,根據(jù)標(biāo)記流,提取題目元數(shù)據(jù)項(xiàng);根據(jù)文本流將文本形式化為一個(gè)矩陣模型,在矩陣模型基礎(chǔ)上提取文本的作者元數(shù)據(jù)項(xiàng).2.利用模糊數(shù)學(xué)的相關(guān)知識(shí),為該文建立了文本狀態(tài)模

2、糊集與模糊相似矩陣,由此可提取文本的主題關(guān)鍵字元數(shù)據(jù)項(xiàng);采用文本分類基本思想,提取題材元數(shù)據(jù)項(xiàng).3.為了提取內(nèi)容元數(shù)據(jù)項(xiàng),首先,利用模糊相似矩陣對(duì)冗長(zhǎng)句處理,形成內(nèi)容候選句WHJ1;其次,在內(nèi)容候選句WJH1中,利用模糊序貫決策論對(duì)冗長(zhǎng)段進(jìn)行處理,形成內(nèi)容候選句WHJ2;最后,利用平面聚類和C_均值聚類算法對(duì)內(nèi)容候選句集WHJ2進(jìn)行聚類,然后將每一類中的相關(guān)性較小的句子剔除,最后形成文本內(nèi)容元數(shù)據(jù)項(xiàng).4.試驗(yàn)結(jié)果表明:該系統(tǒng)對(duì)語義性元數(shù)