線性鏈條件隨機場訓練算法優(yōu)化的研究.pdf

1、由JohnLafferty等人在2001年提出的條件隨機域(conditionalrandomfields,CRF)模型是機器學習領域的一個重要里程碑,它綜合了以往機器學習中幾種模型的優(yōu)點,包括隱馬爾可夫模型,最大熵隱馬模型,同時也避免了MEMM中標記偏見的問題。因為它的這些優(yōu)點,CRF被廣泛應用于機器學習領域,特別是自然語言處理中,包括命名實體提取、詞性標注等。
　　在有著廣泛的應用和眾多的優(yōu)點的同時,CRF也存在著不足之處。其

2、中一個顯著的不足就是訓練一個CRF模型需要耗費大量的計算資源。首先,CRF的訓練需要耗費大量的內存資源,在進行大數(shù)據(jù)量的訓練的時候,所使用的內存常常會超出微機的物理內存,使得操作系統(tǒng)使用磁盤作為交換空間,大量的I/O操作會嚴重影響訓練效率;其次,CRF訓練的計算本身也需要耗費大量的計算時間,數(shù)據(jù)量大的訓練通常需要耗費數(shù)天甚至數(shù)周才能完成。這不僅僅是因為算法本身的復雜度,還跟目前的算法沒能有效利用現(xiàn)代計算機硬件特性有關。
　　本研究

3、的目的是,通過優(yōu)化CRF的訓練算法,使得算法可以有效利用現(xiàn)代CPU的特性,并使內存-磁盤問的數(shù)據(jù)交換操作得到優(yōu)化,從而提高CRF模型的訓練效率。同以往的CRF相關研究不同,本研究從一個計算機架構的角度研究了提高CRF訓練效率的方法。就我們所知,目前通過優(yōu)化算法來有效利用現(xiàn)代計算機特性來的研究也較多,但針對CRF算法的目前還尚未出現(xiàn)。由于CRF被廣泛使用在機器學習領域,本研究可以讓使用CRF的研究者和開發(fā)人員在測試、應用算法模型時節(jié)省大量

4、的時間和精力。
　　本文從以下三個方面解決CRF訓練效率低下的問題:
　　1.通過優(yōu)化算法,降低CPUCache失效率。設計一個適合Cache預取的算法,可以通過使用現(xiàn)代CPU的軟件預取(softwareprefetching)指令,降低CPUCache的失效率,從而減少cache失效帶來的性能損失;
　　2.通過優(yōu)化算法,使得算法中計算的并行性得到提高。設計算法充分利用CPU特性,可以提高CRF訓練時計算的并行性;<