一種基于分布式路由思想的實(shí)體知識(shí)推薦模型.pdf

1、大數(shù)據(jù)時(shí)代，Web信息呈爆炸性增長(zhǎng)，數(shù)據(jù)量的巨大給人們帶來(lái)了新的挑戰(zhàn)，傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)在海量數(shù)據(jù)存儲(chǔ)和處理上捉襟見(jiàn)肘，為了提高運(yùn)算性能和解決系統(tǒng)可擴(kuò)展問(wèn)題，利用分布式平臺(tái)處理數(shù)據(jù)提取知識(shí)勢(shì)在必行。雖然數(shù)據(jù)量日益龐大，但其價(jià)值密度卻比較低，用戶面臨著信息過(guò)載帶來(lái)的知識(shí)獲取困擾。如何從數(shù)據(jù)海洋中挖掘知識(shí)并推薦給用戶，成為了當(dāng)今亟待解決的問(wèn)題。
　　知識(shí)推薦是指根據(jù)用戶當(dāng)前搜索，將與之相關(guān)的知識(shí)從隱形或顯性的資源中提取并推薦的過(guò)程。知識(shí)推

2、薦通常作為搜索引擎的一部分實(shí)現(xiàn)，傳統(tǒng)的知識(shí)推薦多是基于“關(guān)鍵詞”的，鑒于這種方式的推薦不能“理解”用戶的語(yǔ)義，Google、Bing等搜索引擎已開(kāi)始嘗試將Web中的信息按實(shí)體的方式表示、集成和推薦?；趯?shí)體的搜索和推薦已成為搜索引擎競(jìng)爭(zhēng)的新領(lǐng)域，代表了未來(lái)搜索引擎的發(fā)展方向。在搜索引擎向?qū)嶓w技術(shù)革新的階段，如何利用分布式平臺(tái)存儲(chǔ)和處理數(shù)據(jù)，并基于實(shí)體給用戶進(jìn)行可視化的知識(shí)推薦是一個(gè)值得研究的綜合性課題。
　　基于上述背景，本文提出

3、了一種基于分布式路由思想的實(shí)體知識(shí)推薦模型，模型能從維基百科中抽取出大量實(shí)體數(shù)據(jù)，并通過(guò)分布式運(yùn)算獲取實(shí)體之間的關(guān)系，然后以關(guān)系為基礎(chǔ)為用戶進(jìn)行知識(shí)推薦。其中，數(shù)據(jù)采集過(guò)程模擬了網(wǎng)絡(luò)爬蟲(chóng)的工作機(jī)制，為避免數(shù)據(jù)的重復(fù)抽取引入了Bloom Filter算法。采集好的初始數(shù)據(jù)通過(guò)預(yù)處理后轉(zhuǎn)換成實(shí)體數(shù)據(jù)保存于搭建好的Hadoop云平臺(tái)中。同時(shí)提出并采用了一種基于分布式路由思想的實(shí)體關(guān)系提取方法ERA(Entity RelationAcquisi