科技文獻中的主題發(fā)現(xiàn)與趨勢預測.pdf

1、在當今時代,隨著科學領(lǐng)域技術(shù)迅速發(fā)展,科技文獻的數(shù)量也在以驚人的速度增長,從而出現(xiàn)了各種數(shù)字圖書館、文獻數(shù)據(jù)庫。而當用戶面對著如此巨量的異構(gòu)的信息時,他們往往難以做到對信息全面的了解和準確的定位。為了解決這個問題,本文在文獻數(shù)據(jù)集內(nèi)進行了主題發(fā)現(xiàn)和主題趨勢預測的研究,具體的研究內(nèi)容如下:
　　首先,本文通過構(gòu)建爬蟲程序收集了NLP領(lǐng)域內(nèi)的重要會議和期刊的文獻集,并通過PDFBox工具包抽取出文獻的標題、摘要和時間信息來構(gòu)建科技文獻

2、數(shù)據(jù)集。
　　接著,本文使用了基于極大頻繁項集挖掘的方法對文獻數(shù)據(jù)集中的主題信息進行挖掘,發(fā)現(xiàn)使用該方法挖掘出的主題信息包含著難以剔除的無用信息。為了解決這個問題,本文使用了基于LDA模型的方法進行主題信息的挖掘?；贚DA模型發(fā)現(xiàn)的主題信息是詞的概率分布,這些概率信息可以衡量每個詞匯代表主題的權(quán)重,所以可以根據(jù)權(quán)重對結(jié)果中的無用信息進行剔除。但是,使用LDA模型卻無法充分挖掘文獻數(shù)據(jù)集中的主題信息,因此本文介紹并使用了一種基于結(jié)

3、合了受控詞表的LDA模型進行主題發(fā)現(xiàn)的方法,使得基于LDA模型的方法無法充分挖掘文獻數(shù)據(jù)集中主題信息的困難得到解決。
　　然后,本文假設(shè)用戶對主題的檢索數(shù)據(jù),在一定程度上了反映了當前科學領(lǐng)域內(nèi)各個研究主題的發(fā)展情況。所以在該部分,本文在已建立的趨勢預測模型中融入用戶檢索量的時間分布信息對主題的趨勢進行預測。接著,本文對主題研究趨勢預測開展了進一步的研究。通過進一步的研究發(fā)現(xiàn)直接使用絕對用戶檢索量信息存在著弊端,因此本文將用戶相對檢