Tümevarımlı mantık programlama

Makine öğrenmesi ve veri madenciliği
Problemler Sınıflandırma Kümeleme Regresyon Anomali tespiti Association rules Pekiştirmeli öğrenme Yapılandırılmış tahmin Öznitelik mühendisliği Öznitelik öğrenmesi Öznitelik çıkarımı Online öğrenme Yarı-gözetimli öğrenme Gözetimsiz öğrenme Sıralama öğrenme Gramer Tümevarımı
Gözetimli öğrenme Karar ağacı Birlik öğrenmesi k-YK Doğrusal regresyon Naive Bayes Sinir ağları Lojistik regresyon Relevance vector machine (RVM) Support vector machine (SVM) Rastgele orman
Kümeleme BIRCH Hiyerarşik k-means Beklenti maksimizasyon DBSCAN OPTICS Mean-shift
Boyut indirgeme Faktör analizi CCA ICA LDA NMF PCA t-SNE
Yapılandırılmış tahmin Grafiksel modeller (Bayes ağları, CRF, HMM)
Anomali tespiti k-NN Local outlier factor
Sinir ağları Perseptron Otokodlayıcı Derin öğrenme RNN LSTM Kısıtlı Boltzmann makinesi SOM Kıvrımlı sinir ağları
Pekiştirmeli öğrenme Q-Learning SARSA Temporal Difference (TD)
Teori Bias-variance ikilemi Hesaplamalı öğrenme teorisi Empirik risk minimizasyonu Occam learning PAC learning İstatistiki öğrenme teorisi VC theory
Konferanslar ve dergiler NIPS ICML ML JMLR ArXiv:cs.LG

Tümevarımlı mantık programlama (TMP) bilginin mantık programlama ile ifade edildiği bir makine öğrenmesi yöntemidir. Mantıksal olgulardan oluşan artalan bilgisi ve gözlemler kümesini içeren bir veritabanı verildiğinde, ILP sistemi tüm olumlu gözlemleri gerektiren ve olumsuz gözlemlerin hiçbirini gerektirmeyen bir hipotez üretir.

• Çerçeve: olumlu gözlemler + olumsuz gözlemler + artalan bilgisi ⇒ hipotez.

Tümevarımlı mantık programlama özellikle biyoenformatik ve doğal dil işleme konularında kullanışlıdır. Gordon Plotkin ve Ehud Shapiro mantık çerçevesiyle tümevarımlı makine öğreniminin ilk kuramsal temellerini oluşturmuşlardır.^[1][2][3] Shapiro bunun ilk gerçeklemesini (Model Çıkarsama sistemi) 1981'de yapmıştır:^[4] olumlu ve olumsuz gözlemlerden tümevarımlı olarak mantık programları çıkarsayan bir Prolog programı. Tümevarımlı Mantık Programlama terimininilk kullanımı^[5] Stephen Muggleton'ın 1991 tarihli bir bildirisinde yapılmıştır.^[6] Ayrıca her sene yapılan Inductive Logic Programming konferansının kurucusu olan Muggleton, yüklem türetme, ters çözümleme, ve ters gerektirme^[7][8] kavramlarının fikir babasıdır. Muggleton ters gerektirmeyi ilk olarak PROGOL sisteminde gerçekleştirmiştir. Buradaki "tümevarım" kavramı matematiksel (bir özelliğin bir kümedeki her eleman için ispatlanması gibi) olmaktan çok felsefi (gözlemlenen olguları açıklayan bir kuram ortaya koymak gibi) bir tümevarımdır.

Bir mantıksal kuram olarak verilen artalan bilgisi ${\displaystyle B}$, genellikle mantık programlamada kullanılan Horn cümleleri şeklindedir. Gözetimli öğrenme için kullanılan olumlu ve olumsuz örnekler ${\displaystyle E^{+}}$ ve ${\displaystyle E^{-}}$, temel ifadeler olarak verilir. Aşağıdaki gereklilikleri sağlayan bir mantıksal önermeye bir doğru hipotez ${\displaystyle h}$ denir.^[9] ${\displaystyle {\begin{array}{llll}{\text{Zorunluluk:}}&B&\not \models &E^{+}\\{\text{Yeterlilik:}}&B\land h&\color {blue}{\models }&E^{+}\\{\text{Zayıf tutarlılık:}}&B\land h&\not \models &{\text{yanlış}}\\{\text{Güçlü tutarlılık:}}&B\land h\land E^{-}&\not \models &{\text{yanlış}}\end{array}}}$ "Zorunluluk" hipotez h üzerinde herhangi bir kısıtlama yapmaz, ancak olumlu örnekler bir hipotez olmadan açıklanabilir olduğu sürece yeni bir hipotez oluşturulmasını engeller. "Yeterlilik" oluşturulan herhangi bir ${\displaystyle h}$ hipotezinin tüm olumlu örnekleri (${\displaystyle E^{+}}$) açıklamasını gerektirir. "Zayıf tutarlılık" artalan bilgisi ${\displaystyle B}$ ile çelişen bir hipotez ${\displaystyle h}$ oluşturulmasını yasaklar. "Güçlü tutarlılık" ayrıca artalan bilgisi ${\displaystyle B}$ ve olumsuz örnekler ${\displaystyle E^{-}}$ ile çelişen bir hipotez ${\displaystyle h}$ oluşturulmasını yasaklar; Zayıf tutarlılık'ı gerektirir; eğer hiç olumsuz örnek verilmemişse bu iki gereklilik aynıdır. Džeroski^[10] yalnızca Yeterlilik ("Bütünlük" olarak adlandırır) ve Güçlü tutarlılık'ı gerekli tutar.