基于聚類的海量文檔集分布式索引構(gòu)建方法.pdf

1、全文信息檢索技術(shù)是當(dāng)前時(shí)代迅速獲得準(zhǔn)確信息的重要手段之一。在全文信息檢索技術(shù)中最重要的部分是索引的管理。大數(shù)據(jù)時(shí)代，集中式的索引管理方式面臨巨大挑戰(zhàn)，最佳的解決方案之一是創(chuàng)建分布式索引。在分布式索引技術(shù)中索引分割方式主要有基于文檔分割和基于詞項(xiàng)分割，兩者各有優(yōu)勢與不足，目前對分布式索引技術(shù)的研究主要是對兩種索引分割方式的改進(jìn)。
　　本文研究了其他學(xué)者對不同索引分割方式的改進(jìn)，對基于文檔分割索引的方式進(jìn)行了研究，在前人基礎(chǔ)上提出了基

2、于聚類的分布式索引構(gòu)建方法。該方法通過聚類操作將原始文檔分割為若干個集合，然后在每個集合創(chuàng)建局部索引。該方法發(fā)揮了基于文檔分割索引方式的系統(tǒng)負(fù)載均衡、網(wǎng)絡(luò)負(fù)擔(dān)較小的優(yōu)勢，同時(shí)避免了文檔隨機(jī)分配導(dǎo)致的檢索時(shí)需要遍歷所有局部索引的缺點(diǎn)。本文通過將K-means聚類算法進(jìn)行優(yōu)化以及并行化并應(yīng)用于文檔聚類分割，提升了系統(tǒng)效率，優(yōu)化了索引分割效果，使整個系統(tǒng)更加均衡穩(wěn)定。
　　本文研究了常見的文本聚類算法，通過研究其他學(xué)者對K-means算

3、法的優(yōu)化方法，發(fā)現(xiàn)大部分的優(yōu)化方法需要很高的計(jì)算量，不適用于大數(shù)據(jù)環(huán)境，因此在前人基礎(chǔ)上提出了一個針對大數(shù)據(jù)環(huán)境的基于樣本聚類的優(yōu)化K-means算法:SCB-K-means算法。該算法基于對樣本的多次數(shù)輪聚類計(jì)算聚類算法的初始聚類中心，有效的提升了聚類效果，在使用該算法分割文檔并創(chuàng)建的索引上的檢索取得了較好的效果。
　　最后本文結(jié)合Hadoop框架，使用HDFS和MapReduce計(jì)算模型實(shí)現(xiàn)了SCB-K-means算法的并行化