科研文獻(xiàn)核心文本的自然語言處理.pdf

1、當(dāng)今，互聯(lián)網(wǎng)技術(shù)發(fā)展的越來越迅速，各種信息層出不窮，如何能夠在眾多信息中提取出所需要的信息越來越成為大家關(guān)注的熱點(diǎn)問題。學(xué)者們進(jìn)行學(xué)術(shù)交流的形式不僅僅局限在書面形式上，更多的學(xué)術(shù)信息通過網(wǎng)絡(luò)以網(wǎng)頁的形式進(jìn)行散播，關(guān)于學(xué)術(shù)研究的專業(yè)數(shù)據(jù)庫應(yīng)運(yùn)而生。從信息量巨大的數(shù)據(jù)庫中得到用戶想要的信息十分的困難，對(duì)于文獻(xiàn)資料的深層次處理，知識(shí)的再發(fā)現(xiàn)，有些還需要人為手動(dòng)的去操作，這給科研人員帶來了極大的不便。針對(duì)上述問題，本文展開了對(duì)科研文獻(xiàn)的自然語言

2、處理的研究。
　　科研文獻(xiàn)反映了人們的科技水平、科學(xué)研究與發(fā)現(xiàn)，代表了人們?cè)谝欢〞r(shí)期的知識(shí)水平，體現(xiàn)了專業(yè)領(lǐng)域的發(fā)展特點(diǎn)，是研究人員獲取知識(shí)的必不可少的資源。根據(jù)科研人員的不同需求，對(duì)科研文獻(xiàn)進(jìn)行相關(guān)的信息抽取，得到更加有意義的數(shù)據(jù)，這對(duì)于科研學(xué)者的學(xué)術(shù)研究幫助很大。
　　本文研究了Web網(wǎng)頁采集的主要關(guān)鍵技術(shù)，并設(shè)計(jì)出一套C/S模式的網(wǎng)頁采集工具，對(duì)某外文文獻(xiàn)數(shù)據(jù)庫文獻(xiàn)所在的網(wǎng)頁進(jìn)行爬取操作。通過研究Web信息抽取的幾種技

3、術(shù)，詳細(xì)分析Web網(wǎng)頁HTML的結(jié)構(gòu)特征，利用同一網(wǎng)絡(luò)數(shù)據(jù)庫中網(wǎng)頁結(jié)構(gòu)的相似性，設(shè)計(jì)出一套Web信息提取模板，對(duì)文獻(xiàn)的重要關(guān)鍵信息進(jìn)行提取，最終證明模板的準(zhǔn)確率比較高。得到文獻(xiàn)的元數(shù)據(jù)后，接下來進(jìn)行數(shù)據(jù)的統(tǒng)計(jì)分析，首先深入學(xué)習(xí)常見的文本聚類算法，結(jié)合本文文本的特點(diǎn)，確定本文的聚類算法。在對(duì)文本進(jìn)行詞干處理等預(yù)處理后，建立文本的特征空間向量進(jìn)行聚類分析，整個(gè)過程分為三個(gè)步驟:特征詞的選取與加權(quán)，相似度的計(jì)算，聚類算法的選取實(shí)現(xiàn)。特征詞的選