大數據環(huán)境下的審計信息化思路篇

1、大數據環(huán)境下的審計信息化（思路篇）前言： 審計信息化工作十余年， 面臨著云計算、 物聯網、大數據、移動通訊和社交網絡等新技術的挑戰(zhàn)。本文希望通過對大數據的理解、審計中的應用分析，提出大數據服務與審計的一個角度或方向，進而形成相關信息化配套建設的思路。本文的編寫希望得到讀者的回饋，能夠收到您的批評、指正。 一、大數據的定義和理解（一）廣泛定義對于大數據的理解現在并沒有一個標準的定義，不過大家對于大數據都有一個共同的認識， 那就是 4V （

2、Volume、 Velocity、 Variety、Veracity） ：1.（Volume）數據量大，TB，PB，乃至 EB 等數據量的數據需要分析處理。2.（Velocity）要求快速響應，市場變化快，要求能及時快速的響應變化，那對數據的分析也要快速，在性能上有更高要求，所以數據量顯得對速度要求有些“大”。3． （Variety）數據多樣性：不同的數據源，非結構化數據越來越多，需要進行清洗，整理，篩選等操作，變?yōu)榻Y構數據。4.（Ve

3、racity）價值密度低，由于數據采集的不及時，數據樣本不全面，數據可能不連續(xù)等等，數據可能會失真，但當數據量達到一定規(guī)模，可以通過更多的數據達到更真實全面的反饋。而簡化一下描述，其實“大數據”是一個體量特別大，數據類別特別多的數據集，并且這樣的數據集無法用傳統(tǒng)數據庫工具對其內容進行抓取、管理和處理。據類型極為繁雜，這種復雜的數據環(huán)境要求必須對數據源中的數據進行抽取和集成。并采用統(tǒng)一定義的結構來存儲這些數據。為保證數據質量，需要在數據抽

4、取與集成后進行數據清洗。 （1）數據采集：ETL 工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、 轉換、 集成， 最后加載到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。 （2）數據存?。宏P系數據庫、NOSQL、SQL 等。 （3）數據處理：自然語言處理(NLP， NaturalLanguageProcessing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計

5、算機'理解'自然語言，所以自然語言處理又叫做自然語言理解(NLU，NaturalLanguage Understanding)，也稱為計算語言學(Computational Linguistics。一方面它是語言信息處理的一個分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心課題之一。2．數據分析數據分析是大數據發(fā)揮其核心價值的重要流程， 主要的分析技術有統(tǒng)計分析、 數據挖掘、模型