主客觀結(jié)合的語義相似度算法及其應(yīng)用研究.pdf

1、隨著計算機在個人用戶的大量普及和互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，網(wǎng)絡(luò)用戶和網(wǎng)站數(shù)量呈現(xiàn)出爆炸式的增長方式，于是網(wǎng)絡(luò)上的信息也以海量方式增長。如何從網(wǎng)絡(luò)上的海量信息中準(zhǔn)確的提取出所需要的信息是如今的信息處理技術(shù)所面臨的一個巨大挑戰(zhàn)，傳統(tǒng)的基于字符串匹配的信息檢索方式已經(jīng)不能滿足信息處理的需求，基于語義的信息處理方式應(yīng)運而生。
　　詞語語義相似度計算是自然語言處理、智能檢索、文本聚類等領(lǐng)域的一個基本問題。詞語語義相似度計算主要有兩種方式：根據(jù)語

2、言學(xué)家規(guī)定的知識結(jié)構(gòu)的計算方式，比如語義詞典或語義網(wǎng)絡(luò)，即主觀方式和根據(jù)客觀個體形成大規(guī)模語料庫的計算方式，即客觀的計算方式。主觀的語義相似度計算方式主要是根據(jù)語言學(xué)家對于詞語的定義信息進行分析，然后根據(jù)這些信息的特點進行相似度計算。客觀的語義相似度計算方式主要根據(jù)詞語所處的語料庫所提供的語境運用統(tǒng)計方式進行相似度計算。
　　本文通過研究基于《知網(wǎng)》的詞語語義主觀相似度算法和基于大規(guī)模語料庫的詞語語義客觀相似度算法，提出一種改進的

3、主客觀相結(jié)合詞語語義相似度算法，在計算過程中排除某些干擾因素使得詞語相似度計算結(jié)果在符合人主觀概念和客觀語境方面都得到了較好的改善。
　　文本是計算機與互聯(lián)網(wǎng)世界重要的信息載體之一，文本相似度計算是文本分類與文本聚類等文本信息處理方式的基礎(chǔ)。本文對文本相似度算法進行研究提出一種雙層次的文本相似度算法。本文將文本信息分為兩個層次的信息：題目信息與文本內(nèi)容信息，分別求得兩部分信息的相似度，最后相結(jié)合得到最終的文本相似度。在計算題目信息