數(shù)據(jù)挖掘與知識發(fā)現(xiàn)講稿11---貝葉斯網(wǎng)絡

1、編號： 時間：2021 年 x 月 x 日 書山有路勤為徑，學海無涯苦作舟 書山有路勤為徑，學海無涯苦作舟 頁碼：第 1 頁 共 7 頁第 1 頁 共 7 頁第 11 章 貝葉斯網(wǎng)絡 貝葉斯網(wǎng)絡貝葉斯網(wǎng)絡是 1986 年由 Pearl 提出的，根據(jù)各個變量之間的概率關(guān) 根據(jù)各個變量之間的概率關(guān)系，使用圖論方法表示變量集合的聯(lián)合概率分布的圖形模型 系，使用圖論方法表示變量集合的聯(lián)合概率分布的圖形模型。它提供了一種自然的表示因果信息的方法

2、，用來發(fā)現(xiàn)數(shù)據(jù)間的潛在關(guān)系。在這個網(wǎng)絡中，用節(jié)點表示變量，有向邊表示變量間的依賴關(guān)系。其特點有：? 貝葉斯理論給出了信任函數(shù)在數(shù)學上的計算方法，具有穩(wěn)固的數(shù)學基礎，同時刻畫了信任度與證據(jù)的一致性以及信任度隨證據(jù)而變化的增量學習特性；? 在數(shù)據(jù)挖掘中，貝葉斯網(wǎng)絡可以處理不完整和帶有噪聲的數(shù)據(jù)集，它用概率測度的權(quán)重來描述數(shù)據(jù)間的相關(guān)性，從而解決了數(shù)據(jù)間的不一致性，甚至是相互獨立的問題；? 用圖形的方法描述數(shù)據(jù)間的相互關(guān)系，語義清晰、可理解性

3、強，這有助于利用數(shù)據(jù)間的因果關(guān)系進行預測分析；11.1 貝葉斯方法的基本觀點 貝葉斯方法的基本觀點貝葉斯分析方法的特點是使用概率 概率去表示所有形式的不確定性。學習或其他形式的推理都是用概率規(guī)則 概率規(guī)則來實現(xiàn)的。貝葉斯學習的結(jié)果表示為隨機變量的概率分布 概率分布，它可以解釋為我們對不同可能性的信任程度。貝葉斯學派的起點是貝葉斯的兩項工作：貝葉斯定理和貝葉斯假設。假設隨機變量 的聯(lián)合分布密度是 ，它們的邊際密度分別為 ? , x ) ,

4、 ( ? x p。設 是觀測向量， 是末知參數(shù)向量，則可通過觀測向量來 ) ( ), ( ? p x p x ?獲得末知參數(shù)向量的估計。貝葉斯定理為：編號： 時間：2021 年 x 月 x 日 書山有路勤為徑，學海無涯苦作舟 書山有路勤為徑，學海無涯苦作舟 頁碼：第 3 頁 共 7 頁第 3 頁 共 7 頁的分布的乘積所唯一確定。對于網(wǎng)絡結(jié)構(gòu)中的任一結(jié)點 ，必可找到一個與 條件都不獨立的 i V i V最小子集 ，使得 } , , ,

5、{ 1 2 1 ? ? i i V V V U ?? ?nii i n U V P V V V P V P12 1 ) | ( ) , , , ( ) (?? ?貝葉斯網(wǎng)絡是一種用圖表示知識的方法，并且是可以計算的概率模型。通過這種網(wǎng)絡，可以綜合各種來源的數(shù)據(jù)，并對這些數(shù)據(jù)進行綜合和推理。給定一個聯(lián)合概率分布 以及變量的一個排序 。將 ) , , , ( 2 1 n X X X P ? d作為根結(jié)點開始，并賦予 以先驗概率分布 ，然后用

6、一結(jié)點表 1 X 1 X ) ( 1 X P示 ，如果 與 有關(guān)，則從 到 建立一聯(lián)結(jié)，并用 表 2 X 2 X 1 X 1 X 2 X ) | ( 1 2 X X P示聯(lián)結(jié)強度。如果 與 無關(guān)，則賦予 以先驗概率分布 。在 2 X 1 X 2 X ) ( 2 X P第 級從 的父結(jié)點集合 ， （ ） ，畫一組方向線聯(lián)結(jié) i i Xi X ? } , , , { 1 2 1 ? ? ? i X X X Xi?到 ，并用 條件概率定量表示

7、，結(jié)果可以得到一個有向非循環(huán) i X ) | (i X i X P ?圖，可用于表示 中所體現(xiàn)的許多獨立關(guān)系，該圖就稱作 ) , , , ( 2 1 n X X X P ?貝葉斯網(wǎng)絡。反過來， 包含有重構(gòu)原始分布函數(shù)所必需的所有信息，在排序 下， ) | (i X i X P ? d有如下關(guān)系：? ? ? ?? ? ? ? ? ?i X in n n n n niX P X P X X PX X X P X X X P X X X X

8、P X X X P) | ( ) ( ) | () , | ( ) , , | ( ) , , , | ( ) , , , (1 1 22 1 3 1 2 1 1 2 1 2 1 ? ? ? ?[例如 例如] 下圖是一個典型的貝葉斯網(wǎng)絡，它的聯(lián)合概率分布函數(shù)為) ( ) | ( ) | ( ) , | ( ) , | ( ) | ( ) , , , , , ( 1 1 2 1 3 1 2 4 2 3 5 5 6 6 5 4 3 2 1