中文句子語義相似判定問題的眾包解決方案.pdf

1、隨著計算機的普及以及互聯(lián)網(wǎng)的迅速發(fā)展、海量信息以電子文檔的形式出現(xiàn)在人們面前，如何快速準確地從大規(guī)模的文本信息中找到所需信息越來越困難。自然語言文本形式是最普遍的信息存儲和信息交換形式，對中文句子語義相似判定研究是自然語言處理中的基本問題，是展開信息檢索、信息抽取、數(shù)據(jù)挖掘、人工智能等任務(wù)的前提。
　　中文是以長字符串形式的方式書寫，其復(fù)雜的語義表達能力和詞語的多歧義性使得計算機對中文進行語義分析難度很大。如何采用更加準確、高效的

2、方法對語義相似度進行判定是亟待解決的問題。在中文句子語義相似度判定方面，人工的對句子進行標注是準確率很高的一種方法，但是這種方式不僅要花費大量的資金去雇傭人力，而且工作效率也很低，而傳統(tǒng)的句子語義相似度計算方法依賴于詞頻統(tǒng)計、句法分析、句子結(jié)構(gòu)分析等方法，由于中文語義的多義性、句式的多樣性等方面的因素，現(xiàn)有的自然語義處理技術(shù)都存在不完善之處，因而導(dǎo)致句子語義相似度計算達不到很好的計算效果。
　　“眾包”是一種靈活有效并且成本較低的

3、解決問題的方式，已逐漸得到越來越多人的關(guān)注，其采用“人計算”的思想，將一些計算和功能的實現(xiàn)外包給人特別是在線社區(qū)群體去完成，使得計算機與人進行協(xié)同工作，從而得到最佳的計算結(jié)果。中文句子語義相似判定問題中存在很多不可判定問題和NP問題，這些問題對于計算機來說是難以解決的，但是人本身具備更多的背景知識和良好的理解歸納能力，可以更好地解決這些問題。因此，這樣的問題可以通過眾包的方式去解決。在眾包系統(tǒng)中，為了讓眾包工作者能夠更好地完成任務(wù)，通常

4、將復(fù)雜龐大的任務(wù)細分為一系列簡單的任務(wù)，再將這些任務(wù)分發(fā)給一定數(shù)量的眾包工作者，眾包系統(tǒng)收集工作者提供的答案，并通過計算聚合，最終生成符合需求的結(jié)果。利用眾包的方式解決此類問題不僅可以在短時間得內(nèi)到大量的判定結(jié)果，同時也保證了結(jié)果的質(zhì)量。
　　本文分析了現(xiàn)有的中文句子語義分析技術(shù)以及現(xiàn)有的句子相似度計算存在的不足之處。設(shè)計了中文句子語義相似判定問題的眾包解決方案，設(shè)計了相關(guān)句子擴展方法，將句子拓展成與其語義可能相似的句子集合;將相