Web信息抽取在書簽系統(tǒng)中的應用研究與實現(xiàn).pdf

1、社會化書簽系統(tǒng)是Web信息資源收集、管理、分享的有效工具，但是它的社會化功能取決于用戶量與資源量。本文主要的研究內(nèi)容是如何將Web信息抽取等自然語言相關研究應用于書簽系統(tǒng)中，解決書簽系統(tǒng)的冷啟動問題，提高用戶體驗。
　　本文首先研究并實現(xiàn)了Web信息抽取算法。本文的Web信息抽取算法以Goose項目為基礎，改進了Web網(wǎng)頁數(shù)據(jù)抓取，添加了對網(wǎng)頁編碼的自動識別，通過觀察與總結(jié)大量網(wǎng)站的HTML結(jié)構(gòu)特征，優(yōu)化了對網(wǎng)頁的預處理，并添加了

2、對中文網(wǎng)頁信息抽取的支持，最后對正文進行格式化處理，以優(yōu)化閱讀體驗。最終實現(xiàn)了基于ElementTree的Web信息抽取模塊。該模塊能夠用于生產(chǎn)系統(tǒng)中，具有較強的實用性。同時本文基于Web信息抽取的結(jié)果與Web網(wǎng)頁的元數(shù)據(jù)，實現(xiàn)了基于資源的標簽推薦算法，并簡單實現(xiàn)了網(wǎng)頁摘要功能。
　　本文設計并實現(xiàn)了書簽系統(tǒng)，基礎架構(gòu)采用Tornado作為Web服務器兼Web開發(fā)框架，MongoDB作為數(shù)據(jù)庫服務器，客戶端使用AngularJS框

3、架、jQuery框架，同時使用BootStrap3樣式風格，實現(xiàn)了響應式布局與扁平化網(wǎng)格的客戶端應用，并實現(xiàn)了Chrome瀏覽器插件。系統(tǒng)實現(xiàn)中整合了Web信息抽取模塊，為用戶提供書簽內(nèi)容閱讀編輯等功能，有效的提高了用戶體驗。
　　基于信息抽取的結(jié)果，本文書簽系統(tǒng)的搜索功能能夠采用了全文搜索實現(xiàn)，避免了傳統(tǒng)書簽系統(tǒng)中通常只針對標簽或標題進行搜索的局限性，也避免了對整個Web頁面進行全文搜索存在的噪音信息。
　　本文實現(xiàn)的系統(tǒng)