INFORMATION THEORY

ကမ္ဘာ့ဖလားစီးရီး။ ကမ္ဘာ့ဖလားစီးရီးအဖြစ်မကြာမီဖြစ်စေအဖွဲ့လေးဂိမ်းများကိုအနိုင်ရရှိအဖြစ်အဆုံးသတ်တဲ့ခုနစ်ဂိမ်းစီးရီးဖြစ်ပါတယ်။ X ကိုသင်း A နှင့် B အကြားကမ္ဘာ့ဖလားစီးရီး၏ရလဒ်ကိုကိုယ်စားပြုသောကျပန်း variable ကိုဖွစျပါစေ, X ကို၏ဖြစ်နိုင်သောတန်ဖိုးများကို AAAA, BABABAB နှင့် BBBAAAA ဖြစ်ကြသည်။ (| X ကလည်း Y) နှင့် H ကို (X), H ကို (Y ကို), H ကိုတွက်ချက်, ဂိမ်းများ၏နံပါတ် A နှင့် B အညီအမျှလိုက်ဖက်ဖြစ်ကြောင်းနှင့်ဂိမ်းများကိုလွတ်လပ်သောဖြစ်ကြောင်းယူဆရင် 4 မှ 7 မှနေကြပါတယ်သောကစား Y ကိုဖွစျပါစေ H ကို (X ကို | Y ကို) ။ ဖြေရှင်းချက်: ကမ္ဘာ့ဖလားစီးရီး။ သူတို့ထဲကတဦးတည်း 4 ဂိမ်းရရှိခဲ့ပါတယ်သည်အထိနှစ်သင်းကစား။
4 ဂိမ်းနှင့်အတူ 2 (AAAA, BBBB) ကမ္ဘာ့ဖလားစီးရီးရှိပါတယ်။ တစ်ခုချင်းစီကိုဖြစ်နိုင်ခြေ (1/2) 4 နှင့်အတူတွေ့ကြုံတတ်၏။ 40 = 2 ကမ္ဘာ့ဖလားစီးရီး 5 ဂိမ်းနဲ့အတူရှိပါတယ် = 2 20 ရှိပါတယ် = 2 8 ရှိပါတယ်။ တစ်ခုချင်းစီကိုဖြစ်နိုင်ခြေ (1/2) 5 နှင့်အတူတွေ့ကြုံတတ်၏။ 6 ဂိမ်းနှင့်အတူကမ္ဘာ့ဖလားစီးရီး။ တစ်ခုချင်းစီကိုဖြစ်နိုင်ခြေ (1/2) 6 နှင့်အတူတွေ့ကြုံတတ်၏။ 7 ဂိမ်းနှင့်အတူကမ္ဘာ့ဖလားစီးရီး။ တစ်ခုချင်းစီကိုဖြစ်နိုင်ခြေ (1/2) 7 နဲ့တွေ့ကြုံတတ်၏။ 4 ဂိမ်းစီးရီး (Y ကို = 4) ၏ဖြစ်နိုင်ခြေ 2 (1/2) 4 = 1/8 ဖြစ်ပါတယ်။ 5 ဂိမ်းစီးရီး (Y ကို = 5) ၏ဖြစ်နိုင်ခြေ 8 (1/2) 5 = 1/4 ဖြစ်ပါတယ်။ 6 ဂိမ်းစီးရီး (Y ကို = 6) ၏ဖြစ်နိုင်ခြေ 20 (1/2) 6 = 5/16 ဖြစ်ပါတယ်။ 7 ဂိမ်းစီးရီး (Y ကို = 7) ၏ဖြစ်နိုင်ခြေ 40 (1/2) 7 = 5/16 ဖြစ်ပါတယ်။ H ကို (X ကို) = = 2 (1/16) 16 + 8 (1/32) 32 + 20 (1/64) 64 + 40 (1/128) log 128 = 5.8125 H ကို (Y ကို) = = 1 log log log / 8 မှတ်တမ်း 8 + 1/4 မှတ်တမ်း 4 + 5/16 မှတ်တမ်း (16/5) + 5/16 မှတ်တမ်း (16/5) = 1,924 H ကို (Y ကို | X ကို) 0 = (Y ကို X ကိုတစ်တွက်ချက် function ကိုဖြစ်ပါတယ်) H ကို (X) + H ကို (Y ကို | X ကို) = H ကို (x, y) H ကို (Y ကို) + H ကို (X ကို | Y ကို) = H ကို (x, y), H ကို (X ကို | Y ကို) = H ကို (X) + H ( Y က | X ကို) - H ကို (Y ကို) = = 5,8125 + 0 - 1.924 = 3.8885