改進(jìn)CURE算法在知識(shí)點(diǎn)文本聚類中的應(yīng)用研究.pdf

1、隨著網(wǎng)絡(luò)的快速發(fā)展，網(wǎng)絡(luò)學(xué)習(xí)資源越來越豐富，人們開始通過互聯(lián)網(wǎng)學(xué)習(xí)感興趣的知識(shí)，代替?zhèn)鹘y(tǒng)的學(xué)習(xí)模式。雖然網(wǎng)絡(luò)學(xué)習(xí)資源豐富，但是由于學(xué)習(xí)網(wǎng)站大量存在，且相互之間對(duì)于知識(shí)層次結(jié)構(gòu)不同，學(xué)習(xí)資源錯(cuò)綜復(fù)雜。同時(shí)網(wǎng)絡(luò)中的知識(shí)內(nèi)容大多以無結(jié)構(gòu)或半結(jié)構(gòu)的文本形式存在，對(duì)于知識(shí)內(nèi)容的分析也成為難點(diǎn)。
　　本文通過文本聚類技術(shù)實(shí)現(xiàn)將屬于同一知識(shí)點(diǎn)類別的文本聚集成同一類，在學(xué)習(xí)者學(xué)習(xí)某門課程的知識(shí)點(diǎn)時(shí)將相關(guān)的知識(shí)點(diǎn)推薦給學(xué)習(xí)者，實(shí)現(xiàn)節(jié)省學(xué)習(xí)者學(xué)習(xí)時(shí)間

2、，提高學(xué)習(xí)者學(xué)習(xí)效率的目的。以計(jì)算機(jī)專業(yè)知識(shí)點(diǎn)文本作為研究對(duì)象，研究知識(shí)點(diǎn)文本聚類技術(shù)，涉及知識(shí)點(diǎn)文本的獲取、知識(shí)點(diǎn)文本的預(yù)處理和聚類算法研究等技術(shù)，其中重點(diǎn)對(duì)文本聚類的相關(guān)算法進(jìn)行了研究，并且針對(duì)知識(shí)點(diǎn)文本的特殊性，對(duì)文本聚類算法進(jìn)行了改進(jìn)。
　　研究的主要內(nèi)容如下：
　　(1)針對(duì)知識(shí)點(diǎn)文本的獲取，采用Heritrix開源軟件，通過對(duì)Heritrix進(jìn)行擴(kuò)展，主要包括定制Extractor、擴(kuò)展FrontierSched

3、uler、多線程抓取網(wǎng)頁、取消robot.txt的訪問，從而實(shí)現(xiàn)網(wǎng)頁的快速高效抓取。
　　(2)對(duì)于知識(shí)點(diǎn)文本的預(yù)處理，通過對(duì)基于Lucene的第三方開源軟件mmseg4j的擴(kuò)展，主要包括擴(kuò)展詞庫與停用詞的處理，實(shí)現(xiàn)針對(duì)知識(shí)點(diǎn)文本的高效率分詞。
　　(3)對(duì)知識(shí)點(diǎn)文本的聚類，通過分析知識(shí)點(diǎn)文本的特點(diǎn)，針對(duì)TF-IDF計(jì)算詞條權(quán)值的方法進(jìn)行了改進(jìn)，并且針對(duì)知識(shí)點(diǎn)文本的聚集性，將CURE算法中初始選擇簇中心點(diǎn)的方式結(jié)合密度法進(jìn)行