醫(yī)學文獻語句新穎性探測方法比較分析.pdf

1、目的：
　　醫(yī)學文獻語句新穎性探測的目的在于，有效的解決信息冗余，在醫(yī)學文獻中自動地發(fā)現攜帶新信息的語句。本文將三種新穎性探測方法，包括余弦值算法、詞重疊度算法，以及詞對逆語句頻率統(tǒng)計法，應用到醫(yī)學文獻語句級新穎性探測中。對比分析三種方法計算語句新穎度的評測結果。
　　材料與方法：
　　選用pubmed數據庫，查找關于細胞自噬相關基因（Autophagy relatedgenes，Atg）的綜述文獻。篩選51篇，其中標

2、題和摘要共計383個語句。使用MetaMap、MetaMap結果處理軟件、MySQL數據庫對自然語言進行概念抽取，刪去停用詞，得到了由統(tǒng)一的、規(guī)范化的概念詞表達的語句集。運用R語言構建語句-概念向量空間模型，在向量空間模型的基礎上，使用Ruby編寫余弦值算法、詞重疊度算法。在語句概念詞的基礎上，使用Ruby編寫詞對逆語句頻率統(tǒng)計算法。通過調查問卷方法獲得文獻語句新穎性參考答案，引入召回率、準確率以及F值三個評價標準，對三種算法進行評測，

3、統(tǒng)計分析三種方法的評測結果。
　　結果：
　　對于新穎度計算結果，詞重疊度算法的均值最小，為0.75，詞對逆語句頻率統(tǒng)計法的均值最大，為0.85。詞重疊度算法的標準差最大，為0.1802，余弦值算法的標準差最小，為0.1426。在新穎度的基礎上，給定一個閾值，如果探測語句的新穎度大于該閾值，則認為有新的信息出現，如果計算的新穎度比閾值小，則認為該語句表達信息重復。對三種方法在其設定的各閾值下得到的語句新穎性探測評測結果進行統(tǒng)

4、計描述。結果表明，詞重疊度算法的召回率均值最高，為0.7444，詞對逆語句頻率統(tǒng)計法的召回率均值次之。詞對逆語句頻率統(tǒng)計法的準確率均值最高，為0.8343，詞重疊度算法的準確率均值次之。詞重疊度算法的F值均值最高，為0.7621，詞對逆語句頻率統(tǒng)計法的F值均值次之，為0.7611，差值為0.001。余弦值算法的召回率、準確率以及F值得均值都是最低。另外，在其設定的各個的閾值下，只有詞對逆語句頻率統(tǒng)計法的評測數據中，有F值超過了0.8的情

5、況(對應閾值為0.80、0.81、0.82)。
　　結論：
　　將三種新穎性探測方法，應用到醫(yī)學文獻語句級新穎性探測中，對于新穎度計算結果，詞重疊度算法的均值最小，為0.75，標準差最大，為0.1802，說明詞重疊度算法能夠更好的將語句內容間差異表現在數據上。
　　三種方法評測數據顯示，在其設定的各個閾值下，只有詞對逆語句頻率統(tǒng)計法的評測數據有F值超過了0.8的情況，說明詞對逆語句頻率統(tǒng)計法的語句級新穎性探測效果是三者

6、之中最優(yōu)的。
　　詞對逆語句頻率統(tǒng)計法對比其他兩種算法的優(yōu)勢在于，第一，詞對逆語句頻率統(tǒng)計法計算過程不需要構建向量空間模型，計算簡便，耗時少。第二，該算法通過統(tǒng)計概念詞對出現的頻次，來計算語句新穎度，概念詞對對比單個概念詞能夠更好地體現語句所包含的信息。第三，該方法的運算公式能夠直接得出語句新穎度，運算思路是基于和待探測語句之前出現的所有語句包含的所有信息進行對比，而非和待探測語句之前出現的每一條語句包含的信息，進行逐一對比。這一