大數(shù)據(jù)環(huán)境下的審計(jì)信息化思路篇

1、大數(shù)據(jù)環(huán)境下的審計(jì)信息化（思路篇）前言： 審計(jì)信息化工作十余年， 面臨著云計(jì)算、 物聯(lián)網(wǎng)、大數(shù)據(jù)、移動(dòng)通訊和社交網(wǎng)絡(luò)等新技術(shù)的挑戰(zhàn)。本文希望通過(guò)對(duì)大數(shù)據(jù)的理解、審計(jì)中的應(yīng)用分析，提出大數(shù)據(jù)服務(wù)與審計(jì)的一個(gè)角度或方向，進(jìn)而形成相關(guān)信息化配套建設(shè)的思路。本文的編寫(xiě)希望得到讀者的回饋，能夠收到您的批評(píng)、指正。 一、大數(shù)據(jù)的定義和理解（一）廣泛定義對(duì)于大數(shù)據(jù)的理解現(xiàn)在并沒(méi)有一個(gè)標(biāo)準(zhǔn)的定義，不過(guò)大家對(duì)于大數(shù)據(jù)都有一個(gè)共同的認(rèn)識(shí)， 那就是 4V （

2、Volume、 Velocity、 Variety、Veracity） ：1.（Volume）數(shù)據(jù)量大，TB，PB，乃至 EB 等數(shù)據(jù)量的數(shù)據(jù)需要分析處理。2.（Velocity）要求快速響應(yīng)，市場(chǎng)變化快，要求能及時(shí)快速的響應(yīng)變化，那對(duì)數(shù)據(jù)的分析也要快速，在性能上有更高要求，所以數(shù)據(jù)量顯得對(duì)速度要求有些“大”。3． （Variety）數(shù)據(jù)多樣性：不同的數(shù)據(jù)源，非結(jié)構(gòu)化數(shù)據(jù)越來(lái)越多，需要進(jìn)行清洗，整理，篩選等操作，變?yōu)榻Y(jié)構(gòu)數(shù)據(jù)。4.（Ve

3、racity）價(jià)值密度低，由于數(shù)據(jù)采集的不及時(shí)，數(shù)據(jù)樣本不全面，數(shù)據(jù)可能不連續(xù)等等，數(shù)據(jù)可能會(huì)失真，但當(dāng)數(shù)據(jù)量達(dá)到一定規(guī)模，可以通過(guò)更多的數(shù)據(jù)達(dá)到更真實(shí)全面的反饋。而簡(jiǎn)化一下描述，其實(shí)“大數(shù)據(jù)”是一個(gè)體量特別大，數(shù)據(jù)類(lèi)別特別多的數(shù)據(jù)集，并且這樣的數(shù)據(jù)集無(wú)法用傳統(tǒng)數(shù)據(jù)庫(kù)工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理。據(jù)類(lèi)型極為繁雜，這種復(fù)雜的數(shù)據(jù)環(huán)境要求必須對(duì)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行抽取和集成。并采用統(tǒng)一定義的結(jié)構(gòu)來(lái)存儲(chǔ)這些數(shù)據(jù)。為保證數(shù)據(jù)質(zhì)量，需要在數(shù)據(jù)抽

4、取與集成后進(jìn)行數(shù)據(jù)清洗。 （1）數(shù)據(jù)采集：ETL 工具負(fù)責(zé)將分布的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、 轉(zhuǎn)換、 集成， 最后加載到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。 （2）數(shù)據(jù)存取：關(guān)系數(shù)據(jù)庫(kù)、NOSQL、SQL 等。 （3）數(shù)據(jù)處理：自然語(yǔ)言處理(NLP， NaturalLanguageProcessing)是研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的一門(mén)學(xué)科。處理自然語(yǔ)言的關(guān)鍵是要讓計(jì)

5、算機(jī)'理解'自然語(yǔ)言，所以自然語(yǔ)言處理又叫做自然語(yǔ)言理解(NLU，NaturalLanguage Understanding)，也稱(chēng)為計(jì)算語(yǔ)言學(xué)(Computational Linguistics。一方面它是語(yǔ)言信息處理的一個(gè)分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。2．?dāng)?shù)據(jù)分析數(shù)據(jù)分析是大數(shù)據(jù)發(fā)揮其核心價(jià)值的重要流程， 主要的分析技術(shù)有統(tǒng)計(jì)分析、 數(shù)據(jù)挖掘、模型