面向文件集流式處理的事務(wù)模型及其應(yīng)用.pdf

1、對文件集進(jìn)行流式處理，是將具有樹狀結(jié)構(gòu)的文件集合轉(zhuǎn)化為線性結(jié)構(gòu)的數(shù)據(jù)塊序列進(jìn)行處理，這包括對樹狀結(jié)構(gòu)的后續(xù)遍歷和對單個文件的流式處理。這種方式非常適合于對數(shù)據(jù)進(jìn)行一系列預(yù)定義運算的應(yīng)用，例如數(shù)據(jù)壓縮、加密、索引、統(tǒng)計和數(shù)據(jù)同步。然而，在一個包含大量文件的處理任務(wù)被意外中斷后，流式處理無法做到從中斷點附近接著運行該任務(wù)，而是必須從頭開始。我們希望流式處理能從中斷時刻前最近的一個文件開始，恢復(fù)執(zhí)行任務(wù)。
　　 在流式處理過程中，一份

2、獨立的文件會被分割成多個更小的數(shù)據(jù)塊來進(jìn)行處理，這些數(shù)據(jù)塊有次序地快速通過若干處理單元；當(dāng)最后一個數(shù)據(jù)塊以及它之前的所有數(shù)據(jù)塊都被處理完畢時，該獨立文件才算被處理完畢。這個過程與數(shù)據(jù)庫中事務(wù)的處理過程類似。一個獨立的事務(wù)由多個串行執(zhí)行的操作組成，該事務(wù)執(zhí)行成功，當(dāng)且僅當(dāng)其包含的最后一個操作以及它之前的所有操作都執(zhí)行成功。通過事務(wù)機制，數(shù)據(jù)庫系統(tǒng)可以處理對數(shù)據(jù)的操作被中斷的情況，并維持?jǐn)?shù)據(jù)的一致性和可用性。因此，本文將數(shù)據(jù)庫中的事務(wù)機制引

3、入流式處理模型，通過將數(shù)據(jù)處理任務(wù)“事務(wù)化”，即把對一個獨立文件的處理作為一個事務(wù)看待，使得流式處理模型能夠恢復(fù)執(zhí)行被中斷的任務(wù)。
　　 本文先簡單介紹了文件集流式處理的應(yīng)用現(xiàn)狀，接著通過半形式化方法，給出一個已有的文件集流式處理系統(tǒng)的模型——SPM-FS模型的詳細(xì)描述，并分析了它在處理被中斷任務(wù)時的不足；然后，將數(shù)據(jù)庫中的事務(wù)概念引入到文件集的流式處理中，改進(jìn)SPM-FS模型，提出了一個支持事務(wù)功能、可以恢復(fù)執(zhí)行被中斷任務(wù)的文