基于Hadoop的中文并行LDA算法及在電子病歷挖掘中的應用.pdf

1、電子病歷作為互聯(lián)網(wǎng)醫(yī)療的基礎(chǔ)技術(shù)，記錄了病人的臨床診療記錄，是極具價值的數(shù)據(jù)資源。我國市級以上醫(yī)院的病歷信息系統(tǒng)的總數(shù)據(jù)規(guī)模估計在100TB以上，日新增數(shù)據(jù)的數(shù)量級為GB，數(shù)據(jù)類型多樣，符合學術(shù)界對大數(shù)據(jù)的定義。目前對電子病歷的數(shù)據(jù)挖掘?qū)嵺`多采用在單臺計算機上運用常規(guī)的聚類分類算法和關(guān)聯(lián)規(guī)則處理結(jié)構(gòu)化數(shù)據(jù)的分析方法，不能較好地適應大數(shù)據(jù)環(huán)境。Hadoop是當前熱門的分布式處理系統(tǒng)，通過組合數(shù)量巨大的廉價通用硬件形成巨大的資源池，部署簡單

2、，容錯能力較高，因此本文以Hadoop為平臺構(gòu)建大數(shù)據(jù)分析算法的并行程序。本文選擇主題模型中的LDA模型作為并行化的目標，參數(shù)估計方法為塌縮Gibbs采樣法。
　　本文引入點互信息算法PMIk對ICTCLAS分詞系統(tǒng)增加了詞庫的動態(tài)更新功能，并給出了處理大規(guī)模數(shù)據(jù)集的并行框架。將輸入的文檔從外部和內(nèi)部分塊，為避免參數(shù)采集中的依賴性，采用對角線法分配數(shù)據(jù)。在塌縮吉布斯采樣時統(tǒng)計每一個單詞在所有文檔中的詞頻，在歸一化詞頻向量上疊加合適

3、的隨機數(shù)序列，過濾掉低于閾值的詞語。本文采用復旦大學的中文語料庫從準確率、困惑度、加速比三個指標分析實驗結(jié)果，得到如下結(jié)論：改進后的分詞算法能有效增加分詞準確率和召回率；改進的并行LDA算法能顯著減少模型運行時間。
　　最后，本文以真實新生兒電子病歷集為挖掘?qū)ο?，采用并行LDA算法進行文檔分類和特征發(fā)現(xiàn)。挖掘結(jié)果顯示算法分類的準確率較高；算法輸出的描述性的詞語矩陣包含了候選特征，通過單因素方差分析檢驗對四種新生兒疾病患病率有顯著影