一種基于分布式路由思想的實體知識推薦模型.pdf

1、大數(shù)據(jù)時代，Web信息呈爆炸性增長，數(shù)據(jù)量的巨大給人們帶來了新的挑戰(zhàn)，傳統(tǒng)關(guān)系數(shù)據(jù)庫在海量數(shù)據(jù)存儲和處理上捉襟見肘，為了提高運(yùn)算性能和解決系統(tǒng)可擴(kuò)展問題，利用分布式平臺處理數(shù)據(jù)提取知識勢在必行。雖然數(shù)據(jù)量日益龐大，但其價值密度卻比較低，用戶面臨著信息過載帶來的知識獲取困擾。如何從數(shù)據(jù)海洋中挖掘知識并推薦給用戶，成為了當(dāng)今亟待解決的問題。
　　知識推薦是指根據(jù)用戶當(dāng)前搜索，將與之相關(guān)的知識從隱形或顯性的資源中提取并推薦的過程。知識推

2、薦通常作為搜索引擎的一部分實現(xiàn)，傳統(tǒng)的知識推薦多是基于“關(guān)鍵詞”的，鑒于這種方式的推薦不能“理解”用戶的語義，Google、Bing等搜索引擎已開始嘗試將Web中的信息按實體的方式表示、集成和推薦?；趯嶓w的搜索和推薦已成為搜索引擎競爭的新領(lǐng)域，代表了未來搜索引擎的發(fā)展方向。在搜索引擎向?qū)嶓w技術(shù)革新的階段，如何利用分布式平臺存儲和處理數(shù)據(jù)，并基于實體給用戶進(jìn)行可視化的知識推薦是一個值得研究的綜合性課題。
　　基于上述背景，本文提出

3、了一種基于分布式路由思想的實體知識推薦模型，模型能從維基百科中抽取出大量實體數(shù)據(jù)，并通過分布式運(yùn)算獲取實體之間的關(guān)系，然后以關(guān)系為基礎(chǔ)為用戶進(jìn)行知識推薦。其中，數(shù)據(jù)采集過程模擬了網(wǎng)絡(luò)爬蟲的工作機(jī)制，為避免數(shù)據(jù)的重復(fù)抽取引入了Bloom Filter算法。采集好的初始數(shù)據(jù)通過預(yù)處理后轉(zhuǎn)換成實體數(shù)據(jù)保存于搭建好的Hadoop云平臺中。同時提出并采用了一種基于分布式路由思想的實體關(guān)系提取方法ERA(Entity RelationAcquisi