基于自然語言理解的中文搜索引擎.pdf

1、進入21世紀(jì)，“信息爆炸”時代已經(jīng)到來。海量信息的產(chǎn)生和存儲一方面豐富了網(wǎng)絡(luò)資源給人們的生活帶來了極大的便利；另一方面，信息的過濾、篩選成為了人們合理利用信息的重要方面。搜索引擎就是一種幫助人們在浩瀚的網(wǎng)絡(luò)資源中尋找所需信息的工具。本文對中文搜索引擎的設(shè)計和開發(fā)進行了深入研究，并以高等藝術(shù)教育網(wǎng)站作為平臺實現(xiàn)了支持中文自然語言理解的搜索引擎。
　　 為了用戶方便的使用搜索引擎尋找互聯(lián)網(wǎng)上的信息，搜索引擎的使用方法應(yīng)當(dāng)更加人性化，

2、并可以為不同領(lǐng)域的非計算機專業(yè)人員提供便利。人們越來越希望可以使用人類所掌握、熟悉的自然語言操控計算機程序。帶有自然語言理解的搜索引擎自然成為了一個重要的研究方向。本文所研究目的就是使得搜索引擎可以在一定程度上理解人類的自然語言，從自然語言中抽取出關(guān)鍵內(nèi)容并用于檢索，最終達到搜索引擎和自然語言用戶之間的良好銜接，可以在兩者之間建立起更高效，更深層的信息傳遞。
　　 本文使用Lucene作為研究平臺，在此基礎(chǔ)上開發(fā)出帶有自然語言理

3、解的高等藝術(shù)教育網(wǎng)站的搜索引擎。中文文本的特點是沒有空格作為詞匯與詞匯之間的間隔，因此本文采用了詞庫匹配的方法對自然語言文本進新了分詞。在詞典的設(shè)計上，我們采用了以首字為鍵的散列表結(jié)構(gòu)。在進行查詢結(jié)果的排序時，將用戶輸入的文本和現(xiàn)有的文本都映射成一個n維的向量，然后在兩個向量之間定義了相似性的度量方法，并按照該方法對搜索引擎的返回結(jié)果進行排序。在實現(xiàn)時，網(wǎng)站的整體架構(gòu)使用Java語言平臺，但是其中也有一些功能模塊以C++語言編寫的DLL