中文微博實體鏈接方法研究.pdf

1、網(wǎng)絡(luò)資源的不斷膨脹，信息的不斷增多使得人們獲取有價值的信息變得越來越困難。而微博的發(fā)展和流行，使得人們更加無法從短文本中獲取更多感興趣的內(nèi)容。課題組為解決這一問題，開發(fā)了知識拓展與推薦平臺，為用戶感興趣的信息提供更多的拓展信息。而待拓展知識條目的歧義性成為系統(tǒng)性能的瓶頸。實體鏈接技術(shù)是解決該問題的重要方法，它讓程序自動確定上下文中出現(xiàn)的某個實體指稱應(yīng)該指向的真實世界中的哪個實體，從而實現(xiàn)消歧。針對中文微博這一短文本領(lǐng)域的實體鏈接任務(wù)，主

2、要進(jìn)行了以下幾個方面的工作：
　　為獲取充足的微博語料，本課題首先實現(xiàn)了網(wǎng)頁微博爬蟲程序，相比于API的獲取方式，大大提高了獲取效率，同時獲取了大量的微博語料，并進(jìn)行了相應(yīng)預(yù)處理工作。
　　候選實體的獲取是實體鏈接的關(guān)鍵，針對任一待消歧實體，提出了多種不同方式獲取的候選實體，分別賦予了不同的權(quán)重以去除噪聲提高消歧的準(zhǔn)確性。候選知識庫信息的獲取則主要來自維基百科和百度百科，對于百科中不存在的詞匯，則調(diào)用一個元搜索對網(wǎng)絡(luò)上的信息