基于模板匹配需求識別的方法研究與應(yīng)用.pdf

1、傳統(tǒng)的搜索引擎的搜索方式是基于倒排索引的全文檢索，也就是根據(jù)搜索語句查詢索引庫中的檢索方式，并沒有很好地利用搜索語句所表達的含義，這樣就不能準確識別出用戶的具體需求，勢必會給用戶帶來更大的搜索成本。垂直搜索的引入解決了傳統(tǒng)搜索引擎的這一不足，而實現(xiàn)垂直搜索首先就是要識別用戶搜索語句的含義，這也是自然語言處理所要解決的問題。
　　本文設(shè)計了基于模板匹配的需求識別算法，并在這個需求識別算法的基礎(chǔ)上針對股票垂直類目詞典挖掘的具體應(yīng)用進行

2、了設(shè)計與驗證，提出了相關(guān)的數(shù)據(jù)結(jié)構(gòu)和算法。為了設(shè)計需求識別算法和股票垂直類目詞典挖掘方案，本文研究了相關(guān)詞典查找技術(shù)，并介紹了本文中使用的機器學(xué)習(xí)分類技術(shù)和海量數(shù)據(jù)處理技術(shù)。
　　首先，本文研究與討論了需求識別算法以及股票垂直類目詞典挖掘的常用的相關(guān)技術(shù)，包括相關(guān)數(shù)據(jù)結(jié)構(gòu)與算法、常用機器學(xué)習(xí)算法以及本文中使用的海量數(shù)據(jù)處理相關(guān)技術(shù)，包括MapReduce分布式編程模型。
　　其次，本文在前面介紹的相關(guān)技術(shù)的基礎(chǔ)上，設(shè)計了基于

3、模板匹配的需求識別算法，介紹了具體的設(shè)計思路，設(shè)計了相關(guān)數(shù)據(jù)結(jié)構(gòu)和算法。在設(shè)計的基于模板匹配的需求識別算法的基礎(chǔ)上，本文針對一個具體應(yīng)用場景—股票類目Query需求識別，設(shè)計股票垂直類目相關(guān)詞典挖掘方案，主要關(guān)注于特征的選擇，并應(yīng)用機器學(xué)習(xí)經(jīng)典算法邏輯回歸進行分類。
　　最后，本文基于前面的設(shè)計，針對具體的應(yīng)用對實驗環(huán)境、實驗數(shù)據(jù)和實驗過程進行了詳細的介紹，并對本文挖掘出的股票類目模板詞典、專名詞典的召回率和準確率進行了評估。