基于并行PSo-KM算法的Web日志挖掘研究與應(yīng)用.pdf

1、大規(guī)模開放在線課程的涌現(xiàn)，將世界上最優(yōu)質(zhì)的教育資源，傳播到地球上的每個(gè)角落，吸引了大量的用戶。用戶在使用互聯(lián)網(wǎng)瀏覽信息的過程中會(huì)產(chǎn)生大量記錄用戶操作行為的日志文件，通過對(duì)該平臺(tái)中日志文件的收集、分析和挖掘可以分析并提取出用戶的興趣行為傾向，從而針對(duì)不同用戶的愛好和需求為用戶推薦學(xué)習(xí)資源。對(duì)用戶興趣行為的分析過程是極為重要的，其結(jié)果直接影響了推薦資源的準(zhǔn)確性和實(shí)時(shí)性。在這個(gè)過程中通常會(huì)使用Web日志挖掘算法來提取隱藏在日志文件中的重要信息

2、，在如今這個(gè)大數(shù)據(jù)時(shí)代，單純使用傳統(tǒng)的Web日志挖掘技術(shù)，從如此巨大的數(shù)據(jù)量中分析挖掘出有關(guān)用戶興趣行為的信息并非易事，因?yàn)樵谑褂闷胀ǖ耐诰蚍绞教幚砗Ａ繑?shù)據(jù)過程中會(huì)消耗大量資源、降低處理速率、增加成本，而使用Hadoop云平臺(tái)的分布式技術(shù)可以很好地解決這些問題。
　　本文在分析了PSO和K-means算法的基礎(chǔ)上提出了并行PSO-KM算法，K-means算法是公認(rèn)的易于實(shí)現(xiàn)的算法，并且聚類效果比較好，PSO算法具有全局搜索特性，可

3、以提取到具有全局代表性的初始聚類中心，K-means算法使用這樣的初始聚類中心，可以解決K-means聚類結(jié)果起伏大的問題。Hadoop云平臺(tái)處理數(shù)據(jù)集時(shí)，具有效率高、資源消耗量少的優(yōu)越性，但是它只能針對(duì)具有并行化特征的問題，這些問題都可以被分成單個(gè)獨(dú)立的子問題，分別進(jìn)行運(yùn)算，否則無(wú)法使用云平臺(tái)的分布式編程模型。而PSO、K-means兩個(gè)算法都具有并行化的特性，因此可以把它們作為一種MapReduce編程模型來使用。
　　本實(shí)驗(yàn)