個(gè)性化Web商務(wù)信息融合關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展，人們?cè)谑褂没ヂ?lián)網(wǎng)技術(shù)時(shí)不再僅僅滿足于信息檢索功能，而是需要系統(tǒng)從這些檢索到的信息中抽取出用戶感興趣的信息。信息融合是幫助用戶進(jìn)行信息檢索、信息抽取的系統(tǒng)，成為最近WEB數(shù)據(jù)處理領(lǐng)域的研究?jī)?nèi)容，具有廣泛的應(yīng)用前景。WEB信息融合過(guò)程中關(guān)鍵的技術(shù)主要有信息抓取、信息抽取、信息清洗融合、信息檢索和存儲(chǔ)等，論文結(jié)合課題組所承擔(dān)的科技重大專(zhuān)項(xiàng)，聚焦信息抽取和信息清洗融合兩項(xiàng)關(guān)鍵技術(shù)進(jìn)行研究。
　　 首先介紹個(gè)性化

2、行業(yè)商務(wù)信息推送服務(wù)項(xiàng)目信息融合模塊的研究及課題背景，分析信息融合項(xiàng)目中信息抽取與數(shù)據(jù)清洗兩項(xiàng)關(guān)鍵技術(shù)上存在的問(wèn)題，主要表現(xiàn)在匹配準(zhǔn)確性低、抽取效率不高以及數(shù)據(jù)質(zhì)量低等，并介紹了論文的主要工作和章節(jié)安排。
　　 第二部分介紹了在信息融合項(xiàng)目中涉及的關(guān)鍵技術(shù)、模型、技術(shù)標(biāo)準(zhǔn)等。個(gè)性化行業(yè)商務(wù)信息融合項(xiàng)目是處理WEB海量數(shù)據(jù)，在系統(tǒng)實(shí)現(xiàn)時(shí)引入了分布式處理框架Hadoop實(shí)現(xiàn)數(shù)據(jù)的分布式處理，論文著重介紹了分布式框架Hadoop的相關(guān)

3、情況。最后詳細(xì)介紹了信息抽取及數(shù)據(jù)清洗技術(shù)的國(guó)內(nèi)外研究現(xiàn)狀。
　　 第三部分針對(duì)現(xiàn)有的Anchor-Hop模型基于內(nèi)容和屬性定位導(dǎo)致匹配效率低、匹配準(zhǔn)確性較差等問(wèn)題，在Anchor-Hop模型的基礎(chǔ)上提出了基于DOM的動(dòng)態(tài)Anchor-Hop模型，實(shí)驗(yàn)中抽取效率比Anchor-Hop模型快30％，抽取的準(zhǔn)確性也高于Anchor-Hop模型。在數(shù)據(jù)清洗問(wèn)題上，首先分析了數(shù)據(jù)校驗(yàn)的現(xiàn)有研究，確定信息融合系統(tǒng)使用的數(shù)據(jù)校驗(yàn)方法，提出基

4、于數(shù)據(jù)校驗(yàn)結(jié)果對(duì)抽取系統(tǒng)可靠性進(jìn)行反饋的思想。其次著重分析數(shù)據(jù)去重的SNM算法和基于編輯距離的字段匹配算法，在這兩個(gè)算法的基礎(chǔ)提出了改進(jìn)算法SSNM。SSNM算法先對(duì)記錄的關(guān)鍵詞進(jìn)行分詞，接著對(duì)分詞后得到的詞組進(jìn)行排序并組成新字符串，根據(jù)新字符串對(duì)記錄進(jìn)行排序，運(yùn)用SNM算法進(jìn)行重復(fù)記錄檢測(cè)。當(dāng)計(jì)算記錄間相似度時(shí)，通過(guò)新字符串計(jì)算編輯距離，實(shí)驗(yàn)結(jié)果顯示SSNM算法在召回率上優(yōu)于SNM算法。最后詳細(xì)描述了基于Hadoop的分布式SSNM算