基于生物醫(yī)學(xué)文獻數(shù)據(jù)的命名實體識別并行算法研究.pdf

1、在信息爆炸的時代，隨著電子文本的廣泛應(yīng)用，海量數(shù)據(jù)給人們快速有效地獲取有用信息及相關(guān)知識帶來了嚴峻的挑戰(zhàn)，特別是對包含領(lǐng)域內(nèi)大量成果和實驗發(fā)現(xiàn)的文獻記錄的信息獲取。文本挖掘技術(shù)作為此領(lǐng)域的研究熱點之一，可以快速有效地在海量的文獻數(shù)據(jù)中獲取相關(guān)知識。它是一個與自然語言處理、信息檢索、信息抽取、數(shù)據(jù)挖掘、計算語言學(xué)、機器翻譯、組塊分析等相關(guān)領(lǐng)域交叉的學(xué)科。作為文本挖掘技術(shù)的重要基礎(chǔ)，命名實體識別旨在定位并分類文本中帶有特殊意義的原子元素。<

2、br>　　在生物醫(yī)學(xué)領(lǐng)域，由于命名實體本身存在著特殊性和復(fù)雜性，基于生物醫(yī)學(xué)文獻的命名實體識別工作一直存在精度和效率的兩難問題。目前采用機器學(xué)習(xí)策略和探索豐富特征集等方法已比較成熟，對生物醫(yī)學(xué)命名實體識別的精度有著良好地提高，然而其效率問題卻愈來愈突出，特別是在面對大規(guī)模文獻數(shù)據(jù)集時，單機環(huán)境下模型訓(xùn)練過程和模型推斷過程的計算時間呈非線性增長，生物醫(yī)學(xué)命名實體識別耗時巨大。因此，為了促進相關(guān)文本挖掘技術(shù)的發(fā)展，研究如何提高其命名實體識別

3、效率具有重要的理論意義和現(xiàn)實意義。它為該領(lǐng)域的科學(xué)家提供了高效的研究工具，讓其專注于更高意義上的工作；同時，本研究對于其他領(lǐng)域的類似工作也有著一定程度上的指導(dǎo)作用。
　　本文通過對生物醫(yī)學(xué)命名實體識別常用方法的總結(jié)和分析，針對條件隨機場模型訓(xùn)練算法面對大規(guī)模數(shù)據(jù)傳統(tǒng)單機處理性能低下的問題，本文提出了一種基于第二代 Hadoop平臺的條件隨機場模型訓(xùn)練并行優(yōu)化算法：CRFs-L-MapReduce。CRFs-L-MapReduce并

4、行優(yōu)化了條件隨機場訓(xùn)練算法的參數(shù)估計步驟，提高了基于條件隨機場命名實體識別的訓(xùn)練速度。實驗表明在基于大規(guī)模生物醫(yī)學(xué)訓(xùn)練數(shù)據(jù)集下，CRFs-L-MapReduce比傳統(tǒng)單機 CRFs訓(xùn)練算法具備更快的收斂速度，效率提高約4.4~7.4倍，并且 CRFs-L-MapReduce隨著集群性能的提高其訓(xùn)練效率也隨之提高，具備良好的擴展能力。
　　此外，通過對條件隨機場模型推斷算法執(zhí)行流程進行深入分析，結(jié)合當(dāng)前流行的大數(shù)據(jù)處理技術(shù)，提出了一

5、種基于內(nèi)存計算的條件隨機場模型推斷并行優(yōu)化算法：CRFs-V-Spark。Spark平臺得益于其在迭代計算和內(nèi)存計算上的優(yōu)勢，可以自動調(diào)度復(fù)雜的計算任務(wù)，避免中間結(jié)果的磁盤讀寫和資源申請過程，非常適合大數(shù)據(jù)時代的數(shù)據(jù)挖掘和機器學(xué)習(xí)。CRFs-V-Spark不僅能夠兼容第二代 Hadoop集群，而且還利用內(nèi)存計算資源靈活高效地處理海量數(shù)據(jù)。實驗表明，本文所提出的CRFs-V-Spark的識別時間遠低于單機 CRFs推斷算法，識別效率提高約