基于同義詞詞林和《知網(wǎng)》的短語主題抽取與語義分類.pdf

1、短語作為搜索引擎輸入的主要信息，其主題抽取對于搜索引擎判斷搜索者的搜索意圖，提高搜索服務(wù)質(zhì)量具有重要的意義。短語逐漸成為網(wǎng)絡(luò)信息的重要組成部分，針對短語語義分類可以很好地將短語信息分門別類，使人們可以更準(zhǔn)確有效地獲取到自己所需的信息。
　　目前文本主題抽取的研究主要是利用詞、句、段等所具有的不同貢獻(xiàn)信息，對中文文章進行主題抽取。文本分類主要利用特征提取技術(shù)將文本轉(zhuǎn)化成高維空間的向量表示。短語的結(jié)構(gòu)遠(yuǎn)比傳統(tǒng)文本簡單，短語所含有的詞語

2、數(shù)量遠(yuǎn)少于傳統(tǒng)文本，將短語映射到高維空間中也會存在巨大的稀疏性。因此無法直接將針對傳統(tǒng)文本的主題抽取算法和文本分類算法直接作用于短語。故本文借鑒文本處理的思想，全新地研究短語主題抽取和短語語義分類。
　　針對短語主題抽取問題，首先提出了利用主題詞存在與否的基于主題詞的短語主題抽取算法。其次在其基礎(chǔ)上利用社會知識詞簇集合作為分類信息，詞的相似度作為距離權(quán)重，利用改進KNN的分類思想提出基于《知網(wǎng)》詞相似度的短語主題抽取算法。最后在前

3、者的基礎(chǔ)上利用位置加權(quán)算法，提出基于加權(quán)主題詞的短語主題抽取算法。實驗結(jié)果表明，后兩種算法對短語主題抽取效果良好。平均查全率分別達(dá)到78.88％和83.39％，平均查準(zhǔn)率達(dá)99.06％和99.70％。
　　針對短語語義分類問題，提出基于KNN算法的短語語義分類算法。首先提出短語相似度的計算方法，其次利用短語相似度衡量短語間的語義距離，最后利用KNN分類器對短語進行語義分類，從而形成基于KNN的短語語義分類算法。實驗結(jié)果表明，該算法