基于實體的海量數(shù)據(jù)在線檢索關(guān)鍵技術(shù)研究.pdf

1、在網(wǎng)頁信息迅速爆炸的時代，為提高用戶的檢索效率，對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行有效的整合成為了一個重要的研究課題。網(wǎng)絡(luò)數(shù)據(jù)呈現(xiàn)半結(jié)構(gòu)化狀態(tài)，如商品數(shù)據(jù)、博客等，并且數(shù)據(jù)來自世界各地，語言習(xí)慣的不同導(dǎo)致描述方式也可能不一致，因此處理起來會比較困難。現(xiàn)有的實體識別方法多是針對文本形式的詞組或是關(guān)系數(shù)據(jù)，無法處理網(wǎng)絡(luò)數(shù)據(jù)的問題，而專門針對網(wǎng)絡(luò)數(shù)據(jù)設(shè)計的實體識別算法，如多數(shù)針對商品數(shù)據(jù)設(shè)計的實體分類算法，它們一般存在如下的不足：第一無法滿足時間效率的要求，即這

2、些方法如果用到實際工程系統(tǒng)中，用戶需要經(jīng)歷很長的等待時間；第二對領(lǐng)域知識有較大的依賴，現(xiàn)有的方法無法做到領(lǐng)域無關(guān)且無先驗知識的實際要求；第三實體識別效果不好，無法取得類似關(guān)系數(shù)據(jù)上的效果。
　　針對以上問題，本文在以商品數(shù)據(jù)為研究對象的前提下，提出了一種基于實體的海量數(shù)據(jù)在線實體分類方法。本文采用屬性提取的方法將半結(jié)構(gòu)化的商品結(jié)構(gòu)化，以此來計算商品間的相似度，在此基礎(chǔ)上又提出了兩種優(yōu)化方案，即通過網(wǎng)絡(luò)的分類優(yōu)化和基于用戶反饋的分類

3、優(yōu)化。在屬性提取方面，本文提出了基于模式和基于距離的兩種方法，該方法無需先驗知識且無需人為監(jiān)督，最終提取出屬性的同時還生成了兩個本地知識庫，用于優(yōu)化后續(xù)的分類結(jié)果；針對提取的屬性信息，本文提出了同義詞發(fā)現(xiàn)算法，用于排除商品描述中的筆誤以及用詞習(xí)慣不同的問題；結(jié)合屬性信息，本文提出了全新的相似度度量方法，并依此將商品按實體聚類；對于實體聚類的結(jié)果，本文提出了基于網(wǎng)絡(luò)的優(yōu)化方案，利用網(wǎng)絡(luò)上的知識去識別跟多的商品屬性信息；本文還提出了基于用戶