短文本挖掘和排序系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn).pdf

1、隨著互聯(lián)網(wǎng)的不斷發(fā)展，在網(wǎng)絡(luò)上產(chǎn)生了大量的短文本數(shù)據(jù)，這些數(shù)據(jù)涉及了人們生活的方方面面，并且這些數(shù)據(jù)包含著大量有價(jià)值的知識(shí)。但是一方面由于短文本數(shù)據(jù)的文本短小、文本內(nèi)容不規(guī)范和數(shù)據(jù)量大的特點(diǎn)；另一方面在目前所使用的主題模型中，由于不能精確的確定主題的數(shù)目和沒(méi)有對(duì)所挖掘的主題根據(jù)其重要性進(jìn)行區(qū)分，使得主題挖掘的結(jié)果不能很好地被使用。因此在本文中設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)對(duì)短文本數(shù)據(jù)進(jìn)行主題挖掘和排序的系統(tǒng)。
　　本文實(shí)現(xiàn)的短文本主題挖掘和排序

2、系統(tǒng)包括數(shù)據(jù)采集模塊、數(shù)據(jù)預(yù)處理模塊、主題挖掘模塊和主題排序模塊。在數(shù)據(jù)采集模塊中設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)數(shù)據(jù)爬蟲工具，用來(lái)以話題為單位爬取短文本數(shù)據(jù)；在數(shù)據(jù)預(yù)處理模塊中，將數(shù)據(jù)處理成主題模型所需的形式，并為了主題挖掘的效果，對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗、新詞發(fā)現(xiàn)、文本分詞和去停用詞的處理；在短文主題挖掘模塊中，使用了BTM(Biterm Topic Model)主題模型的思想來(lái)對(duì)短文本數(shù)據(jù)進(jìn)行主題挖掘，并為了主題挖掘的效果設(shè)計(jì)并實(shí)現(xiàn)了詞典的建立、去除稀