Bayes teoremi

İstatistik dizisinin bir parçası
Olasılık teorisi
Olasılık Aksiyomlar Determinizm Sistem Belirlenimsizlik Rastgelelik
Olasılık uzayı Örnek uzayı Olay Birlikte kapsayıcı olaylar Temel olay Karşılıklı dışarlayan Sonuç Tek nesne Deney Bernoulli deneyi Olasılık dağılımı Bernoulli dağılımı Binom dağılımı Normal dağılım Olasılık ölçümü Rassal değişken Bernoulli denemesi Sürekli veya kesikli Beklenen değer Markov zinciri Gözlemlenen değer Rastgele yürüyüş Stokastik süreç
Tümleyen olay Ortak olasılık Marjinal olasılık Koşullu olasılık
Bağımsızlık Koşullu bağımsızlık Toplam olasılık yasası Büyük sayılar yasası Bayes teoremi Boole eşitsizliği
Venn şeması Ağaç şeması

Bayes teoremi, olasılık kuramı içinde incelenen önemli bir konudur. Bu teorem bir rassal değişken için olasılık dağılımı içinde koşullu olasılıklar ile marjinal olasılıklar arasındaki ilişkiyi gösterir. Bu şekli ile Bayes teoremi bütün istatistikçiler için kabul edilir bir ilişkiyi açıklar. Bu kavram için Bayes kuralı veya Bayes savı veya Bayes kanunu adları da kullanılır.

Olasılık teorisinde, B ön koşullu A olayı için olasılık değeri, A ön koşullu B olayı için olasılık değerinden farklıdır. Ancak bu olasılık arasında belirli bir ilişki vardır ve bu ilişkiye, ilk açıklayan istatistikçi İngiliz Thomas Bayes (1702–1761)'in adına atfen Bayes Teoremi denilmektedir.

Bayes teoremi bir stokastik süreç sırasında ortaya çıkan bir rastgele olay A ile bir diğer rastgele olay B (eğer B için kaybolmamış olasılık varsa) için koşullu olasılıkları ve marjinal olasılıkları arasındaki ilişkidir, yani

${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B)}}.}$

Bayes teoremi formülü içinde bulunan her bir terime özel isimler verilmektedir:

• P(A) terimine A için önsel olasılık veya marjinal olasılık adı verilir. Bu önseldir, çünkü B olayı hakkında önceden herhangi bir bilgiyi içermemektedir.
• P(A|B) terimi verilmiş B için Anın koşullu olasılığı adını alır.
• P(B|A) terimi verilmiş A için Bnin koşullu olasılığı adını taşır.
• P(B) terimi B olayı için 'önsel' olasılıktır veya Bnin marjinal olasılığıdır ve matematiksel rolü normalize eden bir sabittir.

Bu şekildeki Bayes teoremini, fazla matematiksel olmadan, sezgiye dayanarak şöyle açıklayabiliriz: Bayes teoremi eğer B gözlemlenmiş ise, A gözlemi hakkındaki inançların ne şekilde güncelleştirilebileceğini ortaya çıkartır.

Formel bir teorem olarak Bayes teoremi, olasılık kavramını inceleyen tüm istatistikçi tarafından kabul edilir.

Ancak olasılığı objektif bir değer olarak gören ve bağıl çoğulluk olarak tayin eden frekansçı (en:frequentist) ekolüne bağlı olan istatistikçiler ile sübjektivist (veya Bayes tipi) ekolüne bağlı olan istatistikçiler arasında bu teoremin pratikte nasıl kullanılabileceği hakkında büyük bir fikir ayrılığı bulunmaktadır. Frekansçı ekolüne dahil olanlar olasılık değerlerini rastgele olaylarda meydana çıkma çokluluğuna göre veya ana kütlenin alt kümelerinin tam ana kütleye orantısı olarak saptanması gerekeceğini kabul etmektedirler. Bunlara göre yeni kanıtlar karşısında olasılık değerinin değişme imkânı yoktur. Bu nedenle frekansçı ekolü için Bayes teoremi sadece koşulluluklar arasında ilişkiyi gösterir ve bunun pratikte kullanılma gücü küçüktür. Hâlbuki sübjektivist ekolüne göre olasılık gözlemcinin sübjektif belirsizlik ifadesidir. Bu nedenle olasılık değeri sübjektif olup, yeni kanıtlar geldikçe değiştirilebileceğine inanmakta ve böylece Bayes teoremini istatistik bir incelemenin temel taşı saymaktadırlar.

Bayes teoremi olabilirlilik terimleri ile de şöyle ifade edilebilir:

${\displaystyle P(A|B)\propto L(A|b)\,P(A).}$

Burada L(A|b) terimi verilmiş sabit b için A'nın olabilirliğidir ve L(A|B)/P(B) orantısına bazen standardize edilmiş olabilirlilik veya normalize edilmiş olabilirlilik adı da verilir. Böylece;

${\displaystyle P(B|A)\propto L(A|B)}$

ilişkisini kullanarak Bayes teoremi ortaya çıkartılır. Bu sonucu sözcüklerle şöyle de yazabiliriz:

${\displaystyle {\mbox{sonsal}}={{\mbox{normalize olabilirlilik}}\times {\mbox{önsel}}.}}$

Daha uygun sözcüklerle

Sonsal olasılık önsel olasılık ile olabilirlilik çarpımına orantılıdır.

Bu teoremi ispat etmek için koşullu olasılık tanımından başlanır. B olayı bilinirse A olayının olasılığı şöyle verilir:

${\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)}}.}$

Aynı şekilde A olayı verilmiş ise B olayının olasılığı şudur:

${\displaystyle P(B|A)={\frac {P(A\cap B)}{P(A)}}.\!}$

Bu iki denklem yeniden düzenlenip birbirlerine birleştirilirse,

${\displaystyle P(A|B)\,P(B)=P(A\cap B)=P(B|A)\,P(A).\!}$

ifadesi bulunur. Bu lemma, bazen olasılıklar için çarpım kuralı olarak anılmaktadır.

Her iki taraf da P(B) (eğer sıfır değilse) ile bölünürse, ortaya çıkan şu ifade Bayes teoremidir:

${\displaystyle P(A|B)={\frac {P(A\cap B)}{P(B)}}={\frac {P(B|A)\,P(A)}{P(B)}}.\!}$

Bayes teoremi çok kere daha ek kavramlar eklenerek, sanki daha süslü olarak, ifade de edilir. Bunun için önce şu ifade kullanılır:

${\displaystyle P(B)=P(A\cap B)+P(A^{C}\cap B)=P(B|A)P(A)+P(B|A^{C})P(A^{C})\,}$

Burada A^C (çok kere A olmayan olarak ifade edilen) A olayının tamamlayıcısı olur. Bu Bayes teoremi formülüne konulunca Bayes teoremi için yeni alternatif bir formül elde edilir:

${\displaystyle P(A|B)={\frac {P(B|A)\,P(A)}{P(B|A)P(A)+P(B|A^{C})P(A^{C})}}.\!}$

Daha genel olarak, {A_i} olay uzayının bir bölüntüsünü oluşturduğu göz önüne alınca, bu bölüntü içinde bulunan herhangi bir A_i için şu ifade elde edilir:

${\displaystyle P(A_{i}|B)={\frac {P(B|A_{i})\,P(A_{i})}{\sum _{j}P(B|A_{j})\,P(A_{j})}},\!}$

Toplam olasılık yasası maddesine de bakınız.

Bayes teoremi çok daha düzgünce bir olabilirlik orantısı olan λ ile göreceli olasılıklar oranı veya bahis oranı olan O terimleri ile şöyle ifade edilir:

${\displaystyle O(A|B)=O(A)\cdot \Lambda (A|B)}$

Burada

${\displaystyle O(A|B)={\frac {P(A|B)}{P(A^{C}|B)}}\!}$

B verilimişse A olayının göreceli olasılıklar oranı veya bahis oranı ;

${\displaystyle O(A)={\frac {P(A)}{P(A^{C})}}\!}$

A kendi bahis oranı ve

${\displaystyle \Lambda (A|B)={\frac {L(A|B)}{L(A^{C}|B)}}={\frac {P(B|A)}{P(B|A^{C})}}\!}$

olabilirlik orantısı olur.

Bayes teoreminin sürekli olasılık dağılımlarına uygun olan bir şekli de vardır. Olasılık yoğunluk fonksiyonları tıpatıp olasılık olmadıkları için bu şeklin ispatı biraz daha karmaşıktır. Bu şekilde Bayes theoremi bir limit işlemin geliştirilmesi sonucu ile ortaya çıkarlar.^[1]${\displaystyle f(x|y)={\frac {f(x,y)}{f(y)}}={\frac {f(y|x)\,f(x)}{f(y)}}\!}$

Buna benzer olan bir diğer ifade de toplam olasılık yasası için şöyle ortaya çıkartılabilir:

${\displaystyle f(x|y)={\frac {f(y|x)\,f(x)}{\int _{-\infty }^{\infty }f(y|x)\,f(x)\,dx}}.\!}$

Aynı genel aralıklı hâl gibi bu formülde bulunan parçalara da özel isimler verilmiştir:

• f(x, y), X ve Y için bileşik dağılımdır;
• f(x|y), Y=y verilmiş iken X in sonsal dağılımıdır;
• f(y|x) = L(x|y), (x in bir fonksiyonu olarak) Y = y verilmiş ise Xin olabilirlilik fonksiyonudur;
• f(x), Xin marjinal dağılımı ve ve Xin önsel dağılımı olur;
• f(y), Yin marjinal dağılımı olur.

Dikkat edilirse burada biraz alışılmış notasyon karışıklığı kavramına kendimizi kaptırdık. Burada her bir terim için f notasyonu kullanıldı ama gerçekte bunların hepsi değişik birer fonksiyonlardır. Burada verilen hali ile fonksiyonların birbirinden değişik oldukları ancak içlerinde bulunan terimlerin farklı olmaları ile anlaşılabilmektedir.

Olasılık uzayında verilmiş olan iki mutlak sürekli olasılık ölçümleri ${\displaystyle P\sim Q}$${\displaystyle (\Omega ,{\mathcal {F}})}$ ve bir sigma-cebiri ${\displaystyle {\mathcal {G}}\subset {\mathcal {F}}}$ olsun. Bu halde ${\displaystyle {\mathcal {F}}}$-ölçülmeli rassal değişken ${\displaystyle X}$ için soyut Bayes teorem şöyle ifade edilir:

${\displaystyle E_{P}[X|{\mathcal {G}}]={\frac {E_{Q}[{\frac {dP}{dQ}}X|{\mathcal {G}}]}{E_{Q}[{\frac {dP}{dQ}}|{\mathcal {G}}]}}}$.

Bu formülasyon şekli Kalman filtreleme tekniğinde Zekai denklemleri bulmak için kullanılır. Bu şekil ayrıca finans matematiği içinde numeraire değişmesi tekniklerinde uygulanır.

İkiden daha fazla değişken kapsayan problemler için de Bayes teoremine benzer teoremler oluşturulabilir. Örneğin

${\displaystyle P(A|B,C)={\frac {P(A)\,P(B|A)\,P(C|A,B)}{P(B)\,P(C|B)}}}$

Bu Bayes teoreminin ve koşullu olasılık tanımlamasının üzerine birkaç işlem yaparak ortaya çıkarılabilir:

${\displaystyle P(A|B,C)={\frac {P(A,B,C)}{P(B,C)}}={\frac {P(A,B,C)}{P(B)\,P(C|B)}}=}$

${\displaystyle ={\frac {P(C|A,B)\,P(A,B)}{P(B)\,P(C|B)}}={\frac {P(A)\,P(B|A)\,P(C|A,B)}{P(B)\,P(C|B)}}.}$

Bu çalışmalar için uygulanacak genel strateji ortak olasılık için parçalama ile çalışmaya başlayıp ilgimizi çekmek istemediğimiz değişkenleri entregrasyon ile marginalize etmektir. Uygulanan parçalama şekline göre, bazı entegrallerin 1e eşit olup parçalama ifadesinden düşmeleri sağlanma imkânı bulunabilir; eğer bu özellik ve imkân kullanılabilirse gereken hesaplamalar çok önemli şekilde azaltılabilir. Örneğin, bir Bayes tipi şebeke için verilen spesifikasyon dolayısıyla, (geri kalan değişkenler verilmiş olurlarsa) herhangi bir değişken için koşullu olasılık, birkaç değişkenli ortak olasılık dağılımının faktorize edilmesi ile belirlenir ve bu nedenle sonucun özellikle basit bir form alması sağlanmış olur. (Markov battaniyesi maddesine bakınız.)

İki tabak dolusu bisküvi düşünülsün; tabak #1 içinde 10 tane çikolatalı bisküvi ve 30 tane sade bisküvi bulunduğu kabul edilsin. Tabak #2 içinde ise her iki tip bisküviden 20şer tane olduğu bilinsin. Evin küçük çocuğu bir tabağı rastgele seçip bu tabaktan rastgele bir bisküvi seçip alsın. Çocuğun bir tabağı diğerine ve bir tip bisküviyi diğerine tercih etmekte olduğuna dair elimizde hiçbir gösterge bulunmamaktadır. Çocuğun seçtiği bisküvinin sade olduğu görülsün. Çocuğun bu sade bisküviyi tabak #1 den seçmiş olmasının olasılığının ne olacağı problemi burada incelenmektedir.

Sezgi ile, tabak #1de sade bisküvi sayısının çikolatalı bisküvi sayısına göre daha fazla olduğunu göz önüne alınırsak incelenen olasılığın %50'den daha fazla olacağı hemen algılanır. Bu soruya cevap Bayes teoremi kullanarak kesin olarak verilebilir.

Önce soruyu değiştirip Bayes teoremi uygulanabilecek şekle sokmak gerekmektedir: Çocuğun bir sade bisküvi seçmiş olduğu bilinmektedir; o halde bu koşulla birlikte tabak #1den seçim yapması olasılığı ne olacaktır?

Böylece Bayes teoremi formülüne uymak için A olayı çocuğun tabak #1den seçim yapması; B olayı ise çocuğun bir sade bisküvi seçmesi olsun. İstenilen olasılık böylece Pr(A|B) olacaktır ve bunu hesaplamak için şu olasılıkların bulunması gerekir:

• Pr(A) veya hiçbir diğer bilgi olmadan çocuğun tabak #1'den seçim yapması olasılığı;

İki tabak arasında tercih olmayıp seçimin eşit olasılığı olduğu kabul edilmektedir.

• Pr(B) veya hiçbir diğer bilgi olmadan çocuğun bir sade bisküvi seçmesi olasılığı: Diğer bir ifade ile, bu çocuğun her bir tabaktan bir sade bisküvi seçme olasılığıdır. Bu olasılık, önce her iki tabaktan ayrı ayrı olarak seçilen bir tabaktan bir sade bisküvi seçme olasılığı ile bu tabağı seçme olasılığının birbirine çarpılması ve sonra bu iki çarpımın toplanması suretiyle elde edilir. Tabaklarda olan sade bisküvinin sayısının toplama orantısından bilinmektedir ki tabak #1'den bir sade bisküvi seçme olasılığı (30/40=) 0,75; tabak #2'den sade bisküvi seçme olasılığı (20/40=) 0,5 olur. Her iki tabaktan seçme olasılığı ise her tabak aynı şekilde uygulama gördüğü için 0,50 olur. Böylece bu problemin tümü için bir sade bisküvi seçme olasılığı 0.75×0.5 + 0.5×0.5 = 0.625 olarak bulunur.
• Pr(B|A) veya çocuğun tabak #1'den seçim yaptığı bilirken bir sade bisküvi seçmesi.: Bu 0,75 olarak bilinmektedir çünkü tabak #1'deki toplam 40 bisküviden 30'u sade bisküvidir.

Şimdi bu açıklanan tüm olasılık değerleri Bayes teoremi formülüne konulabilir:

${\displaystyle P(A|B)={\frac {P(B|A)P(A)}{P(B)}}={\frac {0.75\times 0.5}{0.625}}=0.6}$

Böylece çocuğun sade bisküvi seçimi bilindiğine göre tabak #1'den alma olasılığı %60'tır ve sezgimize göre seçtiğimiz %50'den daha büyüktür.

Koşullu olasılıkları hesaplarken her bir bağımsız değişken için her mümkün sonucun ortaya çıkma sayısını veya her sonucun bağıl çokluluğunu gösteren basit bir tablo hazırlamak konuyu daha iyi anlamaya yardımcı olabilir. Bisküvi örneği için bu yöntemin kullanışını gösteren tablolar şöyle verilmiştir:

Sağdaki tablo, sol taraftaki tablo içindeki her bir hücre elemanını toplam bisküvi sayısı (yani 80) ile bölerek elde edilmiştir.

Yeni bir uyuşturucu madde testinin değerlendirilmesinde de Bayes teoremi yardımcı olabilir. Bu testin bir uyuşturucu madde sınamasında %99 kesin sonuç verdiğini kabul edelim; yani bu test bir uyuşturucu madde kullanan için %99 defa doğru olarak pozitif sonuç verecek ve uyuşturucu madde kullanmayan için negatif sonucu da %99 defa verecektir. Bu olasılıkların yüksek oluşu bu testin nispeten hatasız olduğu sonuç çıkarabilir; ancak Bayes teoremini kullanırsak bu düşüncemizin pek doğru olmadığı ortaya çıkacaktır.

Bir iş yeri çalışanlarını eroin kullanıp kullanmadıklarını sınamak istediğini ve çalışanlardan yüzde yarımının (%0,5) eroin kullandığını kabul edelim. Aradığımız netice, bir çalışan için bir test yapıldıktan ve pozitif sonuç alındıktan sonra bu çalışanın gerçekte eroin kullanıcısı olma olasılığının ne olduğunu bulmaktır.

"E" bir eroin kullanıcı olma olayı ve "N" eroin kullanıcı olmama olayı olarak gösterilsin. "+" test, pozitif sonuç göstermesi olayını belirtsin. Bu halde şunları bilmemiz gerekmektedir:

• Pr(E) veya başka bir bilgi bulunmadan çalışanın gerçekte eroin kullanıcı olması olasılığı

olsun; çalışanlardan yüzde yarımı (%0.5) eroin kullanıcısı olduğuna göre bu olasılık 0.005 olarak ifade edilebilinir.

• Pr(N) çalışanın gerçekte eroin kullanıcı olmaması olasılığı olsun. Bu 1-Pr(E) veya 0.995 olur.
• Pr(+|E) : Çalışanın bir eroin kullanıcısı olması bilindiği halde testin pozitif sonuç vermesinin olasılığı. Test %99 kesin sonuç verdiğine göre bu olasılık 0.99 olur.
• Pr(+) : Diğer bilgi olmadan testin pozitif sonuç vermesi olasılığıdır. Bu sonuç bulmak için önce eroin kullanması halinde testin pozitif verme olasılığı (ki bu %99 x %0,5 = %0,495) artı eroin kullanıcısı olmama halinde testin hatalı pozitif sonuç vermesi olasılığı (0,01 x 0,995= %0.995); yani 0.0149 %1.49 olur.

Bu bilgileri sıraladıktan sonra sınamada pozitif sonuç vermiş bir çalışanın gerçekte eroin kullanıcısı olması olasılığı şöyle bulunur:

${\displaystyle {\begin{aligned}P(E|+)&={\frac {P(+|E)P(E)}{P(+)}}\\&={\frac {P(+|E)P(E)}{P(+|E)P(E)+P(+|N)P(N)}}\\&={\frac {0.99\times 0.005}{0.99\times 0.005+0.01\times 0.995}}\\&=0.3322\end{aligned}}}$

Test yüksek oranda "+" sonuç vermesine rağmen, genel olarak eroin kullanımı çok düşük olduğundan, pozitif testli bir çalışanın gerçekte eroin kullanıcısı olması olasılığı %33 olur. Test için konu alınan olay ne kadar nadir görülmekte ise testteki pozitif sonuçların hatalı pozitif olmaları olasılığı o kadar artacaktır. Bu uyuşturucu madde sınamasında testin tekrarlamanın neden gerektirdiğini de açıklamaktadır. Aynı örnek AIDS testi ve diğer testler için de geçerlidir.

Bayes Teoreminin uygulanmaları için çok defa Bayesci olasılık konusunun altında bulunan felsefeyi, yani belirsizlik ve inançların dereceler ıskalası bulunduğu hakkındaki açıklamaları, kabul ederiz. Bu örneğinden başka işlemlere tabi tutulmuş örnekler Bayesci çıkarım analizinde de bulunabilir.

Bir değişken olan A'nin marjinal olasılık dağılımını önsel olasılık dağılım veya daha basite önsel olarak tanımlayalım. B "verisi" verilmiş olduğu halde A için koşullu dağılıma sonsal olasılık dağılım veya sonsal adı veriyoruz.

Bir referandum yapılması halini ele alalım. Bu referandumda bir soru sorulduğu ve sadece buna "evet" veya "hayır" olarak verildiğini düşünelim. Bu referandum sonucu için büyük bir ana kütlede evet yanıtına oy veren kısmının toplama oranının r olduğunu kabullenelim. (İstatistiksel bağımsızlık sağlamak nedeni ile seçtikten sonra geri koyulma usulünü kullanarak) n sayıda seçmeni basit rastgele örnekleme ile örneklem olarak seçelim; elde edilen bu örneklemde bulunan evet yanıtına oy veren seçmen sayısının m olduğunu düşünelim. Düşünelim ki bir gözlemde bu parametreler n = 10 seçmen ve m = 7 evet oyu veren seçmen olsun. r için olasılık dağılım fonksiyonunu Bayes teoremini kullanarak şöyle bulabiliriz:

${\displaystyle f(r|n=10,m=7)={\frac {f(m=7|r,n=10)\,f(r)}{\int _{0}^{1}f(m=7|r,n=10)\,f(r)\,dr}}.\!}$

Bundan görülür ki f(r) önsel olasılık dağılım fonksiyondan ve L(r) = f(m = 7|r, n=10) olabilirlilik fonksiyonundan f(r|n=10, m=7) sonsal olasılık fonksiyonunu hesaplayabiliriz.

f(r) önsel olasılık dağılımı, hiçbir gözlem yapılmadığı veya bulunmadığı halde r nin dağılımı hakkında bilgilerimizi özetler. Geçici olarak, bu halde r için önsel dağılım fonksiyonunun [0,1] aralığında bulunan bir tekdüze dağılım olduğunu kabul edelim; yani f(r) = 1. Eğer arka planda bulunan diğer bilgileri daha önceden biliyorsak bu önseli bunlara dayanarak değiştirebiliriz ama şu ilk bakışta bütün sonuçların aynı olasılıkta olduğu geçici olarak kabul edilmektedir.

Rastgele örnekleme hakkında yaptığımız varsayım dolayısıyla, seçmenleri bu örnekleme ile seçme, bir küp problemi, (bir küp veya benzeri bir kap içinde bulunan çeşitli renkli toplardan birini seçme problemi) ile aynıdır. Bu tip problem için olabilirlilik fonksiyonu L(r) = P(m=7|r, n=10,) olur ve bu 10 çekiş sınamasında 7 başarı bulmanın binom dağılımı olur:

${\displaystyle P(m=7|r,n=10)={10 \choose 7}\,r^{7}\,(1-r)^{3}.}$

Bir önsel olduğu için bu olabilirlilik değişmeye maruz kalabilecektir - daha karmaşık on varsayımlar daha karmaşık olabilirlilik fonksiyonlar ortaya çıkaracaktır. Şu halde basit varsayımlarımızı olduğu gibi kabul edelim ve şu normalize etme faktörünü hesaplayalım:

${\displaystyle \int _{0}^{1}P(m=7|r,n=10)\,f(r)\,dr=\int _{0}^{1}{10 \choose 7}\,r^{7}\,(1-r)^{3}\,1\,dr={10 \choose 7}\,{\frac {1}{1320}}\!}$

Bu halde r için sonsal dağılım şu olur:

${\displaystyle f(r|n=10,m=7)={\frac {{10 \choose 7}\,r^{7}\,(1-r)^{3}\,1}{{10 \choose 7}\,{\frac {1}{1320}}}}=1320\,r^{7}\,(1-r)^{3}}$

burada r değerleri 0 ve 1 e de eşit olarak 0 ile 1 arasındadır.

Bir diğer sorun olarak seçmenlerin yarısından çoğunun "evet" oyu vermesinin olasılığının ne olabileceği ile ilgilenebiliriz. Bu halde seçmenlerin yarısından çoğunun "evet" oyu vermesinin önsel dağılımı (tekdüze dağılımın simetrik olması nedeniyle) (1/2)ye eşit olur. Buna karşılık, seçmenlerin yarısından daha fazlasının evet oyu vermesinin sonsal olasılığı (yani oylamadan önceki yapılan anket sonuçları) 10 seçmenden 7'sinin "evet" oyu vereceğini bize açıklamıştır; yani

${\displaystyle 1320\int _{1/2}^{1}r^{7}(1-r)^{3}\,dr\approx 0.887,\!}$

veya bu sonsal olasılık yaklaşık %89 olarak hesaplanır.

Bir TV oyun programında üç tane (kırmızı, yeşil ve mavi boyalı) kapalı kapı gösterilmekte ve bu kapılardan birisinin arkasında bir armağan bulunmaktadır. Kırmızı kapıyı seçtiğimizi düşünelim; ama bu kapı program sunucunun bir faaliyet göstermesini bitirmeden açılmamaktadır. Program sunucusu hangi kapı arkasında armağan bulunduğunu bilmektedir; ama ona verilen direktife göre ne arkasında armağan bulunan kapıyı ne de seçtiğimiz kapıyı açabilir. Yeşil kapıyı açar ve arkasında bir armağan bulunmadığını gösterir ve şu soruyu yarışmacıya sorar: "İlk tercihiniz olan kırmızı kapı hakkında fikrinizi değiştirmek ister misiniz?" İncelenecek sorun şudur: "Armağanın mavi veya kırmızı kapılar arkasında bulunma olasılıkları nedir?"

Yarışmanın ana sonuçları olan değişik renkli kapılar arkasında armağan bulunmasını şöyle ifade edelim: :A_k, A_y ve A_m. İlk olarak her bir kapı arkasında armağan bulunması birbirine eşit olasılık olduğu kabul edilir yani ${\displaystyle P(A_{k})=P(A_{y})=P(A_{m})={\frac {1}{3}}}$ olur. Yine düşünelim kırmızı kapıyı yarışmacı seçmiş durumdadır. Sunucunun yeşil kapıyı açması olayına B olayı adını verelim. Arkasında armağan bulunan kapıyı bilmeseydi bu olay için olasılık %50 olacaktır.

• Eğer gerçekte armağan kırmızı kapı arkasında ise, sunucu ya yeşil ya da mavi kapıyı açmakta serbest olacaktır. Bu halde ${\displaystyle P(B|A_{k})=1/2}$
• Eğer gerçekte armağan yeşil kapı arkasında ise, sunucu mavi kapıyı açacaktır. Yani ${\displaystyle P(B|A_{y})=0}$.
• Eğer gerçekte armağan mavi kapı arkasında ise, sunucu yeşil kapıyı açacaktır. Yani ${\displaystyle P(B|A_{m})=1}$.

Böylece

${\displaystyle {\begin{matrix}P(A_{k}|B)&={\frac {P(B|A_{k})P(A_{k})}{P(B)}}&={\frac {{\frac {1}{2}}{\frac {1}{3}}}{\frac {1}{2}}}&={\frac {1}{3}}\\P(A_{y}|B)&={\frac {P(B|A_{y})P(A_{y})}{P(B)}}&={\frac {0{\frac {1}{3}}}{\frac {1}{2}}}&=0\\P(A_{m}|B)&={\frac {P(B|A_{m})P(A_{m})}{P(B)}}&={\frac {1{\frac {1}{3}}}{\frac {1}{2}}}&={\frac {2}{3}}\end{matrix}}}$

Dikkatle incelenirse bunun P(B) değerine bağlı olduğu görülecektir. Bir an armağanın kırmızı kapı arkasında olmadığını farz edelim; o halde sunucunun yeşil kapıyı açma olasılığı çok yüksek olacaktır - diyelim %90. Bundan dolayı, eğer sunucu başka kapı açmaya zorlanmadıkça, yeşil kapıyı açmayı tercih edecektir. Böylece, B olayı olasılığı 1/3 * 1 + 1/3 * 0 + 1/3 * 9/10 = 19/30 olur.

${\displaystyle {\begin{matrix}P(A_{k}|B)&={\frac {P(B|A_{k})P(A_{k})}{P(B)}}&={\frac {{\frac {9}{10}}{\frac {1}{3}}}{\frac {19}{30}}}&={\frac {9}{19}}\\P(A_{y}|B)&={\frac {P(B|A_{y})P(A_{y})}{P(B)}}&={\frac {0{\frac {1}{3}}}{\frac {19}{30}}}&=0\\P(A_{m}|B)&={\frac {P(B|A_{m})P(A_{m})}{P(B)}}&={\frac {1{\frac {1}{3}}}{\frac {19}{30}}}&={\frac {10}{19}}\end{matrix}}}$

Bu nedenle sunucunun yeşil kapıyı açması bize çok az bilgi vermektedir - zaten bu seçimi yapmak zorundadır. Pr(A_m) olasılığı 1/2'nin çok az üstündedir.

Buna karşılık, armağanın kırmızı kapı arkasında olduğunu farz edersek; o halde sunucunun yeşil kapı açma olasılığı çok küçük olacaktır - diyelim %10. Bu demektir ki özellikle zorlanmadıkça sunucu nerede ise hiçbir halde yeşil kapıyı açmayacaktır.

O halde B olasılığı 1/3 * 1 + 1/3 * 0 + 1/3 * 1/10 = 11/30 olur.

${\displaystyle {\begin{matrix}P(A_{k}|B)&={\frac {P(B|A_{k})P(A_{k})}{P(B)}}&={\frac {{\frac {1}{10}}{\frac {1}{3}}}{\frac {11}{30}}}&={\frac {1}{11}}\\P(A_{y}|B)&={\frac {P(B|A_{y})P(A_{y})}{P(B)}}&={\frac {0{\frac {1}{3}}}{\frac {11}{30}}}&=0\\P(A_{m}|B)&={\frac {P(B|A_{m})P(A_{m})}{P(B)}}&={\frac {1{\frac {1}{3}}}{\frac {11}{30}}}&={\frac {10}{11}}\end{matrix}}}$

Bu halde, gerçekte sunucunun yeşil kapıyı açması bize çok önemli bilgi vermektedir. Armağan nerede ise hiç şüphesiz olarak mavi kapı arkasında bulunmaktadır. Eğer mavi kapı arkasında değilse, sunucu çok muhtemelen mavi kapıyı açacaktı.

Bayes Teoremi, (modern terimlerle) bir binom dağılımin parametresinin olasılık dağılımının hesaplanmasını incelemekte olan, İngiliz istatistikçi, felsefeci, bakan ve rahip Thomas Bayes (1702–1761) tarafından bulunmuştur. Bu çalışma Bayes yaşamakta iken yayınlanmamış; ancak Bayes'in ölümünden sonra 1763'te yakın arkadaşı olan "Richard Price" tarafından yayına hazırlanıp bastırılmıştır.

Bayes'in çalışmalarından haberdar olmayan Fransız matematikçi Pierre-Simon Laplace aynı sonuçları aynen sırf kendi gayretiyle yeniden çıkartıp genişleterek 1774'te yazdığı bir makalede yayınlamıştır.

Bir Amerikan istatistik profesörü (Stigler 1983), yaptığı bir araştırma sonucunda, Bayes Teoremi'nin, Bayes'ten bir süre önce Nicholas Saunderson tarafından bulunduğunu öne sürmüştür.

• Thomas Bayes (1763), "An Essay towards solving a Problem in the Doctrine of Chances. By the late Rev. Mr. Bayes, F. R. S. communicated by Mr. Price, in a letter to John Canton, A. M. F. R. S.", Philosophical Transactions, Giving Some Account of the Present Undertakings, Studies and Labours of the Ingenious in Many Considerable Parts of the World 53:370–418.
• Thomas Bayes (1763/1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:296–315. (Bayes'in eserinin modern notasyona değiştirilmiş şekli)
• Thomas Bayes "An essay towards solving a Problem in the Doctrine of Chances". (Bayes'in eserinin orijinal notasyonlu şekli)

• G. A. Barnard (1958) "Studies in the History of Probability and Statistics: IX. Thomas Bayes' Essay Towards Solving a Problem in the Doctrine of Chances", Biometrika 45:293–295. (Biyografik açıklamalar)
• Daniel Covarrubias. "An Essay Towards Solving a Problem in the Doctrine of Chances". (Bayes'in eseri üzerinde bir anahatlar taslağı ve açıklamalar)
• Stephen M. Stigler (1982). "Thomas Bayes' Bayesian Inference," Journal of the Royal Statistical Society, Series A, 145:250–258. (Stigler, Bayes'in eserinin değişik bir şekilde yorumlanmasını önermektedir. Okunması tavsiye edilir. )
• Isaac Todhunter (1865). A History of the Mathematical Theory of Probability from the time of Pascal to that of Laplace, Macmillan. Reprinted 1949, 1956 by Chelsea and 2001 by Thoemmes.

• Pierre-Simon Laplace (1774), "Mémoire sur la Probabilité des Causes par les Événements", Savants Étranges 6:621–656; also Œuvres 8:27–65.
• Pierre-Simon Laplace (1774/1986), "Memoir on the Probability of the Causes of Events", Statistical Science 1(3):364–378.
• Stephen M. Stigler (1986), "Laplace's 1774 memoir on inverse probability", Statistical Science 1(3):359–378.
• Stephen M. Stigler (1983), "Who Discovered Bayes' Theorem?" The American Statistician 37(4):290–296.
• Jeff Miller, et al., Earliest Known Uses of Some of the Words of Mathematics (B)17 Ocak 1999 tarihinde Wayback Machine sitesinde arşivlendi.. (Aydınlatıcı bilgi sağlamakta. Okunması tavsiye edilir.)
• Athanasios Papoulis (1984), Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill.
• James Joyce (2003), "Bayes' Theorem"28 Nisan 2019 tarihinde Wayback Machine sitesinde arşivlendi., Stanford Encyclopedia of Philosophy.
• The on-line textbook: Information Theory, Inference, and Learning Algorithms6 Şubat 2015 tarihinde Wayback Machine sitesinde arşivlendi., by David J. C. MacKay Bayes teoreminin enformasyon kuramı ve makine-öğrenimi konularında kullanılması için bir güncel tanıtım sağlamaktadır.
• Stanford Encyclopedia of Philosophy: Bayes' Theorem28 Nisan 2019 tarihinde Wayback Machine sitesinde arşivlendi. Bayes teoremine çok kapsamlı bir giriş sağlar.
• Eliezer S. Yudkowsky (2003), "Bayes tipi mantık yürütmek için sezgiye dayanan bir açıklama"
• Oksford Üniversitesi psikoloji öğrencileri için hazırlanmış olasılık ve Bayes teoremi hakkında ders notları21 Ağustos 2008 tarihinde Wayback Machine sitesinde arşivlendi.