面向文件集流式處理的事務(wù)模型及其應(yīng)用.pdf

1、對(duì)文件集進(jìn)行流式處理，是將具有樹(shù)狀結(jié)構(gòu)的文件集合轉(zhuǎn)化為線性結(jié)構(gòu)的數(shù)據(jù)塊序列進(jìn)行處理，這包括對(duì)樹(shù)狀結(jié)構(gòu)的后續(xù)遍歷和對(duì)單個(gè)文件的流式處理。這種方式非常適合于對(duì)數(shù)據(jù)進(jìn)行一系列預(yù)定義運(yùn)算的應(yīng)用，例如數(shù)據(jù)壓縮、加密、索引、統(tǒng)計(jì)和數(shù)據(jù)同步。然而，在一個(gè)包含大量文件的處理任務(wù)被意外中斷后，流式處理無(wú)法做到從中斷點(diǎn)附近接著運(yùn)行該任務(wù)，而是必須從頭開(kāi)始。我們希望流式處理能從中斷時(shí)刻前最近的一個(gè)文件開(kāi)始，恢復(fù)執(zhí)行任務(wù)。
　　 在流式處理過(guò)程中，一份

2、獨(dú)立的文件會(huì)被分割成多個(gè)更小的數(shù)據(jù)塊來(lái)進(jìn)行處理，這些數(shù)據(jù)塊有次序地快速通過(guò)若干處理單元；當(dāng)最后一個(gè)數(shù)據(jù)塊以及它之前的所有數(shù)據(jù)塊都被處理完畢時(shí)，該獨(dú)立文件才算被處理完畢。這個(gè)過(guò)程與數(shù)據(jù)庫(kù)中事務(wù)的處理過(guò)程類(lèi)似。一個(gè)獨(dú)立的事務(wù)由多個(gè)串行執(zhí)行的操作組成，該事務(wù)執(zhí)行成功，當(dāng)且僅當(dāng)其包含的最后一個(gè)操作以及它之前的所有操作都執(zhí)行成功。通過(guò)事務(wù)機(jī)制，數(shù)據(jù)庫(kù)系統(tǒng)可以處理對(duì)數(shù)據(jù)的操作被中斷的情況，并維持?jǐn)?shù)據(jù)的一致性和可用性。因此，本文將數(shù)據(jù)庫(kù)中的事務(wù)機(jī)制引

3、入流式處理模型，通過(guò)將數(shù)據(jù)處理任務(wù)“事務(wù)化”，即把對(duì)一個(gè)獨(dú)立文件的處理作為一個(gè)事務(wù)看待，使得流式處理模型能夠恢復(fù)執(zhí)行被中斷的任務(wù)。
　　 本文先簡(jiǎn)單介紹了文件集流式處理的應(yīng)用現(xiàn)狀，接著通過(guò)半形式化方法，給出一個(gè)已有的文件集流式處理系統(tǒng)的模型——SPM-FS模型的詳細(xì)描述，并分析了它在處理被中斷任務(wù)時(shí)的不足；然后，將數(shù)據(jù)庫(kù)中的事務(wù)概念引入到文件集的流式處理中，改進(jìn)SPM-FS模型，提出了一個(gè)支持事務(wù)功能、可以恢復(fù)執(zhí)行被中斷任務(wù)的文