分布式海量問(wèn)題數(shù)據(jù)的相似性檢索模型研究.pdf

1、隨著互聯(lián)網(wǎng)前沿技術(shù)被廣泛普及與迅速發(fā)展，各企業(yè)和組織結(jié)構(gòu)內(nèi)部信息化程度逐步提高，各類(lèi)信息資源的數(shù)據(jù)量呈爆炸式增長(zhǎng)。信息檢索就是從海量的信息資源中獲得用戶(hù)所需要信息的技術(shù)。由于目前大多數(shù)企業(yè)、組織內(nèi)部所使用的站內(nèi)搜索引擎技術(shù)稍弱，或者單純依賴(lài)于數(shù)據(jù)庫(kù)SQL語(yǔ)句查詢(xún)等相對(duì)傳統(tǒng)一些的方式解決檢索需求，缺乏對(duì)于查詢(xún)內(nèi)容的相似性度量，使得用戶(hù)查詢(xún)體驗(yàn)不盡人意。因此，如何降低成本和高效存儲(chǔ)以檢索、分析海量半結(jié)構(gòu)化數(shù)據(jù)而索求價(jià)值成為了諸多企業(yè)實(shí)現(xiàn)數(shù)據(jù)

2、資產(chǎn)化以及規(guī)模化的一大挑戰(zhàn)。
　　傳統(tǒng)海量數(shù)據(jù)的處理方法存在數(shù)據(jù)存儲(chǔ)和管理成本較高、處理能力弱以及并行編程復(fù)雜等缺點(diǎn)，使其應(yīng)用范圍受到很大限制，且對(duì)硬件設(shè)備要求極高。在分析現(xiàn)有分布式計(jì)算和存儲(chǔ)等關(guān)鍵技術(shù)基礎(chǔ)上，結(jié)合對(duì) Hadoop生態(tài)系統(tǒng)的研究和實(shí)際軟硬件條件，為滿(mǎn)足海量問(wèn)題單（Problem Report）的相似性檢索需求，提出了分布式海量問(wèn)題數(shù)據(jù)的相似性檢索模型，以下為本文所作的研究：
　　首先，針對(duì)本文半結(jié)構(gòu)化的異構(gòu)數(shù)

3、據(jù)集（海量問(wèn)題單）設(shè)計(jì)并行化解析算法。利用Hadoop在處理海量數(shù)據(jù)方面的優(yōu)勢(shì)，將原始數(shù)據(jù)文件存儲(chǔ)于HDFS中；通過(guò)對(duì)現(xiàn)有半結(jié)構(gòu)化 XML文件解析方法的研究，分析并總結(jié)各自的優(yōu)勢(shì)與不足，自定義數(shù)據(jù)文件在HDFS上的邏輯分片方式，并結(jié)合MapReduce編程框架和自適應(yīng)元素映射算法實(shí)現(xiàn)數(shù)據(jù)的并行化解析；為了合理的數(shù)據(jù)組織和避免二次解析，將解析的數(shù)據(jù)存儲(chǔ)到 Hadoop HBase數(shù)據(jù)庫(kù)中。
　　接著，構(gòu)建海量問(wèn)題數(shù)據(jù)的相似性檢索的索

4、引庫(kù)。結(jié)合查詢(xún)的實(shí)際需求以及數(shù)據(jù)特點(diǎn)，通過(guò)相應(yīng)域權(quán)重參數(shù)調(diào)整使用Lucene完成和優(yōu)化索引庫(kù)的構(gòu)建。在查詢(xún)階段，由用戶(hù)來(lái)設(shè)置單個(gè)問(wèn)題單某元素的側(cè)重程度參數(shù)來(lái)影響相似問(wèn)題單檢索結(jié)果的結(jié)合排序，在一定程度上提高查準(zhǔn)率。
　　最后，實(shí)現(xiàn)對(duì)檢索結(jié)果的聚類(lèi)分析。通過(guò)對(duì)多個(gè)聚類(lèi)算法的分析和實(shí)踐，結(jié)合模型的實(shí)效性需求，本文選取后綴樹(shù)（STC）聚類(lèi)算法來(lái)輔助用戶(hù)篩選查閱結(jié)果結(jié)合。針對(duì)STC聚類(lèi)后的主題選取對(duì)類(lèi)簇的描述性不足這一問(wèn)題，優(yōu)化主題選取。