涉華輿情新聞庫數(shù)據(jù)清洗方法研究.pdf

1、2013年被學(xué)術(shù)界定義為大數(shù)據(jù)元年，經(jīng)過了近些年的快速發(fā)展，大數(shù)據(jù)對各個領(lǐng)域都引起了深刻的變革，其影響力日益凸顯。新聞領(lǐng)域的大數(shù)據(jù)變革尤為顯著，隨著自動撰稿技術(shù)的發(fā)展和移動終端的普及，媒體的新聞發(fā)布量呈爆發(fā)式增長，海量新聞的涌現(xiàn)給國際輿論研究人員帶來了新的挑戰(zhàn)，以往依賴人工處理的新聞稿件采集、篩選流程已經(jīng)無法應(yīng)對如此大規(guī)模的數(shù)據(jù)源。境外媒體的涉華輿論分析工作具有特殊的意義，其研究成果極大的影響信息時代中的新型政治輿論博弈的工作展開，所以

2、我們必須緊跟技術(shù)發(fā)展潮流，轉(zhuǎn)變傳統(tǒng)的思維觀念、打造新型處理手段。本次研究中，通過對涉華輿情研究人員的訪談交流，明確了傳統(tǒng)新聞稿件采集的工作流程及要求，并依此梳理出新聞媒體評級體系與新聞稿件評級體系的基本邏輯框架，形成新聞稿件數(shù)據(jù)清洗方法的規(guī)則庫主體。此外，研究過程中閱讀了大量的新聞學(xué)、對外傳播學(xué)等學(xué)科的領(lǐng)域文獻，根據(jù)新聞傳播及涉外交流的自身特點對數(shù)據(jù)清洗方法進行了有針對性擴充完善，形成本次研究的涉華輿情數(shù)據(jù)清洗規(guī)則庫。其后對規(guī)則庫中的各

3、項具體評級指標(biāo)進行建模評分，通過確定評判等級和隸屬函數(shù)使定性的描述轉(zhuǎn)化為具體評級分?jǐn)?shù)。在構(gòu)建涉華新聞數(shù)據(jù)清洗規(guī)則庫的基礎(chǔ)上，結(jié)合大數(shù)據(jù)處理技術(shù)將數(shù)據(jù)清洗規(guī)則進行技術(shù)實現(xiàn)。實驗首先對新聞稿件進行預(yù)處理，包括:數(shù)據(jù)標(biāo)準(zhǔn)化、匹配消重、補全缺失數(shù)據(jù);然后根據(jù)隱馬爾可夫模型建立交互式規(guī)則庫。實驗過程中以商業(yè)化新聞數(shù)據(jù)庫作為實驗數(shù)據(jù)對涉華輿情新聞數(shù)據(jù)清洗方法進行了檢驗。檢驗結(jié)果表明應(yīng)用數(shù)據(jù)清洗方法能夠較為有效的減少數(shù)據(jù)處理總量、去除無關(guān)新聞噪音，對