基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)設計與實現(xiàn).pdf

1、可擴展業(yè)務報告語言XBRL是XML在業(yè)務報告信息交換領域的一種應用技術，具有對財務報表進行特定的識別和解析，簡化生成財務報表的準備工作和相關財務信息的定義工作，降低網(wǎng)絡信息交換成本，提高業(yè)務報告的可信度和數(shù)據(jù)準確性等優(yōu)點。企業(yè)可以利用XBRL技術使財務數(shù)據(jù)從收集到報告全部自動化，其生成的XBRL格式的財務報告易于用戶（包括投資者、決策者和監(jiān)管者等）更快更有效的地進行數(shù)據(jù)存儲、挖掘、分析和比較工作。
　　近年來隨著XBRL在國際金融

2、機構中的大力推廣使用，上市公司的財務季度報告已經(jīng)開始使用XBRL標準報送，所以每個季度金融機構都會接收海量的XBRL財務報告數(shù)據(jù)。這些財務報告記錄著每個季度上市公司的財務金融信息，有著非常高的挖掘、分析和研究價值。分布式計算平臺Hadoop和分布式計算模型Map/Reduce的出現(xiàn)很好地解決了海量數(shù)據(jù)處理分析的問題，讓基于海量信息的XBRL數(shù)據(jù)存儲和分析成為可能。
　　本文設計并實現(xiàn)了基于Hadoop的XBRL數(shù)據(jù)分析系統(tǒng)，首先對

3、XBRL技術以及Hadoop平臺的研究現(xiàn)狀作出分析，并整理出海量XBRL數(shù)據(jù)分析系統(tǒng)的功能和性能方面的需求。在此基礎上對XBRL中的技術規(guī)范、分類標準和實例文檔進行建模，并且研究了與XBRL相關的XML解析技術，為XBRL數(shù)據(jù)存儲與分析提供了重要的技術支持。然后對系統(tǒng)的數(shù)據(jù)存儲和分析流程進行了整體設計，采用分布式計算Map/Reduce模型對XBRL數(shù)據(jù)進行提取、轉換，之后存儲到Hadoop平臺的分布式文件系統(tǒng)HDFS和數(shù)據(jù)庫HBase