基于頻繁子樹挖掘的網頁評論信息抽取.pdf

1、隨著大數據時代的發(fā)展，同時受網購規(guī)模的迅速增加、商家對評論的鼓勵措施等影響，網絡產品評論信息急劇增長。海量產品評論信息是商家和消費者進行需求調研或購物決策時的巨大信息寶礦。因此從大量的結構迥異的帶有評論信息的網頁中快速準確的抽取評論內容已然成為一個巨大的挑戰(zhàn)。
　　現有網頁信息抽取的方法主要有基于樹編輯距離、視覺特征、模板等。然而此類方法普遍存在計算冗余量大、抽取準確率低、人工成本高、耗時大等問題。同時抽取出來的信息大部分都是中文

2、正文信息或者是評論區(qū)域塊，很少涉及評論內容的信息抽取。
　　本文針對上述問題提出了一種基于頻繁子樹挖掘的網頁評論信息抽取方法。首先通過視覺特征對網頁進行剪枝處理，有效剔除廣告、導航鏈接、版權信息等這些無用信息，同時達到降低網頁評論信息抽取的時間復雜度，提高網頁評論信息抽取準確率的目的。然后，通過深度加權的相似度度量方法抽取最佳頻繁子樹，該方法綜合考慮樹的語義性和結構性精準抽取帶有評論信息的最佳頻繁子樹。最后，通過子樹一致性對齊方法

3、抽取評論路徑并解析評論內容，精準定位帶有評論內容的評論路徑。
　　本文通過編寫代碼生成模擬數據并采集來自京東、美團、好大夫等三個網站的上萬個網頁源碼。通過剪枝算法、加權頻繁子樹抽取算法和子樹一致性對齊算法，快速、準確的抽取出各網頁的評論信息。通過執(zhí)行時間、準確率、召回率等評測指標驗證了該模型算法優(yōu)于現有方法。
　　最后，本文以頻繁子樹挖掘方法為理論基礎，提出一個基于頻繁子樹挖掘的網頁評論信息抽取系統的構建方案，并給出系統架構