領(lǐng)域文本相似度計(jì)算方法研究.pdf

1、隨著行業(yè)內(nèi)文本數(shù)據(jù)的不斷積累，如教育、財(cái)經(jīng)、餐飲、旅游等領(lǐng)域擁有大量的doc、pdf等格式的非結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)。同結(jié)構(gòu)化的數(shù)據(jù)管理相比，這些非結(jié)構(gòu)或半結(jié)構(gòu)化的數(shù)據(jù)管理要難很多。最近幾年來出現(xiàn)了許多面向行業(yè)領(lǐng)域的應(yīng)用，如酷訊網(wǎng)的車票信息、搜房網(wǎng)的房產(chǎn)信息等，它們提供的服務(wù)方便了人們的生活，但大多數(shù)是基于領(lǐng)域內(nèi)結(jié)構(gòu)化數(shù)據(jù)的信息加工和服務(wù)，所以本文主要研究行業(yè)領(lǐng)域內(nèi)非結(jié)構(gòu)化數(shù)據(jù)文本信息處理中文本相似度計(jì)算的問題。文本相似度計(jì)算是文本信息處

2、理的基礎(chǔ)，可為文本聚類、文本分類、相似文本資源推薦等提供技術(shù)支持。傳統(tǒng)的文本相似度計(jì)算是基于關(guān)鍵詞集的向量空間模型，它僅考慮了文本中關(guān)鍵詞的簡單匹配，而沒有考慮關(guān)鍵詞的語義以及關(guān)鍵詞之間的聯(lián)系；同時(shí)它在針對領(lǐng)域文本相似度計(jì)算時(shí)，很少考慮文本的領(lǐng)域特征。
　　本文研究領(lǐng)域文本相似度計(jì)算，其研究思路就是如何從文本集中抽取領(lǐng)域知識以及如何利用領(lǐng)域知識來挖掘文本的語義特征來計(jì)算文本相似度。主要工作和貢獻(xiàn)如下：
　?。?）提出了一種中

3、文未登錄詞檢測方法。在研究未登錄詞特點(diǎn)的基礎(chǔ)上，設(shè)計(jì)并驗(yàn)證了基于大規(guī)模語料集的候選未登錄詞統(tǒng)計(jì)和閾值過濾的未登錄詞檢測方法。
　?。?）設(shè)計(jì)了一種領(lǐng)域知識獲取模型。使用帶有正負(fù)符號的卡方分布計(jì)算詞語和領(lǐng)域的相關(guān)度，將相關(guān)度較大的詞語加入到領(lǐng)域詞典；利用領(lǐng)域詞典和“是一個(gè)”上下位關(guān)系模式相結(jié)合的方式識別領(lǐng)域語義知識中上下位關(guān)系的詞語對。
　?。?）提出了一種領(lǐng)域文本的領(lǐng)域特征和語義特征的抽取方法。利用領(lǐng)域詞典抽取文本的領(lǐng)域特征