基于HMM的商標詞識別研究與應用.pdf

1、目前，百度推廣的風險防控政策未做到精細化控制，限制規(guī)則范圍太廣。不管是什么行業(yè)，只要涉及低俗、有線上風險，就不讓展示廣告。導致許多企業(yè)的有效關鍵詞得不到購買和展現(xiàn)，失去了很多入口流量，誤殺率高，同時帶來大量客戶投訴。所有這些，使線上的風險情況不能及時得到控制，線上商標和競品的風險一直居高不下，導致商標類風險在線上風險中達到63％左右的比例。
　　本文針對命名實體識別的現(xiàn)狀及算法進行了研究，分析了百度推廣風險防控的不足，提出了基于隱

2、馬爾可夫模型(Hidden Markov Model，HMM)的商標詞識別與應用的解決方案。即在行業(yè)區(qū)分和角色標注地獲取原始語料庫基礎上建立HMM模型后，采用Viterbi算法預測商標詞，并將生成的商標詞策略詞表和風險識別模塊通過服務接口應用于審核系統(tǒng)中。最終達到了降低商標類的線上風險，同時優(yōu)化企業(yè)與網(wǎng)民的體驗并提高廣告收入的研究目的。本文的主要工作如下:
　　第一，介紹了本文的研究背景與研究意義，對涉及的相關命名實體識別和百度風

3、險防控面臨的問題進行了論述，簡述了論文的研究內(nèi)容與結構。
　　第二，討論了商標詞的識別和算法的改進，提出了一種基于HMM的商標詞識別方法。該工作分為三部分:(1)將百度內(nèi)部審核日志、物料信息等，進行分行業(yè)、切詞、分角色標注等處理，得到語料預處理結果;(2)在HMM訓練時，同時使用Viterbi算法進行預測，自動角色標注識別商標詞;(3)進行商標詞識別的實驗及分析。實驗結果表明:該方法有較高的準確率、召回率和F值。
　　第三，

4、討論了商標詞識別改進算法的應用。該工作亦分為三部分:(1)通過區(qū)分行業(yè)進行數(shù)據(jù)獲取并預處理成所需的原始語料庫;(2)通過改進的識別算法識別商標詞;(3)為其他系統(tǒng)應用提供商標詞識別的服務接口，如生成商標詞策略詞表，以規(guī)則的粒度進行分行業(yè)限制，降低誤殺，以及將商標風險識別模塊應用于線上廣告的巡查中，識別商標類風險，降低線上風險。
　　第四，進行了系統(tǒng)實驗與分析，對商標詞應用的風險及消費相關的影響進行了描述。分析結果表明:應用本文的商