二維k-s檢驗(yàn)的并行算法

1、二維KS檢驗(yàn)檢驗(yàn)的并行算法的并行算法KS檢驗(yàn)是一種常用的無參估計，用于檢驗(yàn)兩種經(jīng)驗(yàn)分布是否起源于同一分布。一維KS檢驗(yàn)的做法比較簡單，也很常用。隨著數(shù)據(jù)處理的需要，人們類似地發(fā)展出了二維KS檢驗(yàn)的算法，并將之廣泛用于天文、地理數(shù)據(jù)以及財政分析等領(lǐng)域。文章在Cook提出的雙樹結(jié)構(gòu)算法的基礎(chǔ)上進(jìn)行改進(jìn)，提出了并行算法。隨著數(shù)據(jù)量的增大，這種算法的優(yōu)點(diǎn)更加突出。一、一、KSKS檢驗(yàn)檢驗(yàn)一維KS檢驗(yàn)：F，G是兩個樣本數(shù)分別為nm的采樣，要判斷它

2、們是否起源于同一分布。統(tǒng)計量D是這兩個樣本在統(tǒng)計分布函數(shù)（cdf）上的最大差異。則一維情況滿足：二維二維KSKS檢驗(yàn)：檢驗(yàn)：與一維KS檢驗(yàn)有類似的統(tǒng)計關(guān)系，人們已通過蒙特卡羅方法證實(shí)了這一點(diǎn)。需要提出的是，這里的統(tǒng)計量D是一個象限中兩種分布的點(diǎn)數(shù)比例的最大差異值；也就是說，要檢查所有可能的象限劃分，找出兩個樣本分占自己總數(shù)量比例差別最大的象限，這個最大差異值就是D。類似的統(tǒng)計關(guān)系如下：Z=Dn12二、以前的算法二、以前的算法假設(shè)兩種樣本

3、擁有n個數(shù)據(jù)點(diǎn)：1、考慮原點(diǎn)位于每個樣本點(diǎn)上，這樣的算法需要n2量級的運(yùn)算量。2、考慮原點(diǎn)的坐標(biāo)是一個點(diǎn)的橫坐標(biāo)和另一個點(diǎn)縱坐標(biāo)的結(jié)合。如果采用這種算法，計算量將達(dá)到n3量級。對于大樣本的數(shù)據(jù)，這種算法計算量太大，不適用。（3）把原點(diǎn)移動到第三根線的位置，右子點(diǎn)（3，1）被包括進(jìn)來T3=(0Ns1Nc)Delta3=delta2t3D=max(abs(delta3)D’)D’=D如此連續(xù)移動，可以檢驗(yàn)出所有可能的象限劃分中第二象限的最大

4、差值其他三個象限的算法與第二象限類似，例如第一象限就從最左邊起算，然后逐步向右。而下面兩個象限則按y的降序排列重新建立雙樹結(jié)構(gòu)進(jìn)行計算。整個算法的計算量為O(nlogn)。四、并行算法四、并行算法Cook的算法是從上到下進(jìn)行計算，每次加入一個新節(jié)點(diǎn)，不斷發(fā)展雙樹結(jié)構(gòu)。最后在根部得到差異的最大值。如果我們用多個處理器同時進(jìn)行運(yùn)算，會存在一些問題：每個處理器的運(yùn)算時間不一樣，就會存在等待時間；而且如果A處理器下面的一個亞支是由B處理器計算的

5、，B還未計算到此處的話，A就必須等待。而并行算法的基本思路是首先建立整個雙樹結(jié)構(gòu)，把整個樹分成平行的幾支，用多個處理器同時由下向上進(jìn)行計算，在根部找出最大差異。由于樹的結(jié)構(gòu)是平行的，處理器之間相互等待的時間會大大減少。采用并行算法有兩個需要注意的問題:第一、每個處理器的運(yùn)算量要基本一致；第二、盡量減少處理器中途的交流，也就是說匯合的節(jié)點(diǎn)盡量在根部。理想的情況如下圖：平衡處理器運(yùn)算量的方法：平衡處理器運(yùn)算量的方法：假設(shè)現(xiàn)有N個處理器，我們