面向?qū)W位論文的致謝分析和生成研究.pdf

1、如今，互聯(lián)網(wǎng)技術(shù)以及計(jì)算機(jī)軟件和硬件快速發(fā)展，互聯(lián)網(wǎng)上的信息急劇膨脹，如何獲取數(shù)據(jù)、分析數(shù)據(jù)和挖掘數(shù)據(jù)的價(jià)值成為人們研究的熱點(diǎn)，與數(shù)據(jù)相關(guān)的研究有著廣闊的應(yīng)用前景。文本挖掘和文本生成是自然語言處理中重要的組成部分，也是目前研究最廣泛的領(lǐng)域之一。
　　目前，有很多研究者在文本挖掘和文本生成領(lǐng)域進(jìn)行了很多研究，已經(jīng)取得了許多重大的成果。對(duì)于研究生學(xué)位論文的致謝部分，包含了很多有用的信息，可以在致謝數(shù)據(jù)上做很多有意義的研究。在論文致謝數(shù)

2、據(jù)上的研究還有幾個(gè)問題需要解決，包括如何獲取大量學(xué)位論文致謝論文數(shù)據(jù)、從哪些角度對(duì)致謝數(shù)據(jù)挖掘信息和如何自動(dòng)生成論文致謝等。針對(duì)這些問題，本文主要做了如下工作：
　　（1）針對(duì)大量學(xué)位論文數(shù)據(jù)獲取的問題，本文通過分析CNKI網(wǎng)站網(wǎng)頁(yè)的結(jié)構(gòu)及特點(diǎn)，設(shè)計(jì)了一種基于Selenium的網(wǎng)絡(luò)爬蟲。該網(wǎng)絡(luò)爬蟲實(shí)現(xiàn)了對(duì)CNKI網(wǎng)站學(xué)位論文基本信息和致謝部分的抓取功能，之后對(duì)數(shù)據(jù)清洗并構(gòu)建語料。研究表明該爬蟲技術(shù)非常強(qiáng)大，能很好地抓取特殊格式的數(shù)

3、據(jù)文件，并且能適應(yīng)各種爬行環(huán)境，是一種有效的獲取大量數(shù)據(jù)的方法。
　?。?）針對(duì)如何挖掘致謝數(shù)據(jù)信息的問題，本文提出了基于機(jī)器學(xué)習(xí)分類器的對(duì)比方法、LDA主題分析方法和學(xué)校之間合作關(guān)系研究的方法。本文使用機(jī)器學(xué)習(xí)分類器從不同學(xué)科、不同年代角度對(duì)論文致謝數(shù)據(jù)做了對(duì)比分析，通過分類結(jié)果對(duì)關(guān)鍵詞進(jìn)行分析。本文使用LDA主題模型獲取所有數(shù)據(jù)的主題詞，研究了學(xué)位論文致謝數(shù)據(jù)的主要用詞特點(diǎn)。本文從學(xué)位論文致謝中抽取學(xué)校名字，研究了學(xué)校之間的合