İçeriğe atla

Destek vektör makinesi

Destek vektör makinesi (kısaca DVM), eğitim verilerindeki herhangi bir noktadan en uzak olan iki sınıf arasında bir karar sınırı bulan vektör uzayı tabanlı makine öğrenme yöntemi olarak tanımlanabilir.[1]

ile temsil edilen her girdi, D özelliğine sahip olsun ve sadece = -1 ya da +1 sınıflarından birine ait olsun, bu durumda tüm girdileri şöyle gösterebiliriz:

Doğrusal olmayan veri kümesinin DVM ile sınıflandırılması

Veri kümeleri

Doğrusal ayrışabilen ve doğrusal ayrılamayan iki ayrı veri seti

Kernel yöntemleri

Veri kümesinin doğrusal olarak sınıflandırılması mümkün olmayan durumlarda, her bir verinin üst özellik uzayıyla eşlenmesi ve yine bu yeni uzayda bir hiper düzlem yardımıyla sınıflandırılması yöntemine verilen isimdir.

Radial Basis Function (RBF) Kernel

Çok terimli (Polinomial) Kernel

Çok sınıflı verinin DVM ile sınıflandırılması

Destek vektör makineleri daha çok iki sınıftan olusan (binary classification) veriyi ayırmada kullanılmaktadır, örneğin bir veri kümesindeki her bir veriyi kadın veya erkek olarak ayırmak. Buna karşın veriler bazen ikiden fazla sınıfa ait olabilirler bu gibi durumlarda temel DVM algoritması işlevsiz bir hale gelir. Örneğin farklı cinsten olan köpeklerin belli başlı özelliklerinin tutulduğu bir veri kümesinin bu özellikleri baz alarak sınıflandırılması gibi Golden Retriever, Siberian Husky, German Shepherd, Pug vb.[2]

Bire çok yaklaşım

Genel anlamda sınıf sayısı kadar DVM'nin birbirine füzyonuyla elde edilir. Her DVM çıkan her bir sınıfı diğer sınıflarla karşılaştırarak bir sonuca ulaşır. Eğer kadar sınıf varsa sayıda DVM eğitilerek bu DVM'lerin birbiriyle kıyaslanarak hangi sınıf için en güvenilir sonucun çıktığına bakılarak sınıflandırma yapılır. girdi vektörü olmakla beraber sınıfı temsil etmektedir.

Bire bir yaklaşım

Bire bir yönteminde her bir sınıf ikilisi için farklı bir DVM eğitilir ve eğitilen DVM'lerden hangi sınıfın en çok "+1" olarak sınıflandırıldığına bakılır ve böylece sınıflandırma işlemi gerçekleştirilir. Bu yöntem bire çok yöntemine göre hesaplama gücü yönünden oldukça "pahalı" bir yöntemdir. Bunun sebebi, eğer kadar sınıf varsa bu durumda sayıda DVM eğitilmesi gerekmesidir.

girdi vektörü olmakla beraber ve sınıfları temsil etmektedirler.

Tarihçe ve Gelişim

Destek vektör makineleri (DVM), 1992 yılında Vladimir Vapnik ve meslektaşı Alexey Chervonenkis tarafından geliştirilmiştir. Başlangıçta iki sınıfı ayırmak için doğrusal sınıflandırıcılar olarak tasarlanan DVM'ler, daha sonra kernel yöntemleri kullanılarak doğrusal olmayan sınıflandırma problemlerine de uygulanabilir hale gelmiştir.[3][4]

Destek Vektör Makinesi (DVM)

Destek vektör makinesi (kısaca DVM), makine öğreniminde kullanılan güçlü bir sınıflandırma yöntemidir. Bu yöntem, eğitim verilerindeki herhangi bir noktadan en uzak olan iki sınıf arasında bir karar sınırı (hiper düzlem) bulan vektör uzayı tabanlı bir yaklaşımdır. DVM, hem doğrusal hem de doğrusal olmayan veri kümeleri için etkili bir şekilde çalışabilir ve kernel yöntemleri kullanarak veri kümelerinin üst özellik uzaylarında sınıflandırma yapabilir. Bu sayede, karmaşık veri yapılarını bile başarılı bir şekilde sınıflandırma yeteneğine sahiptir.[5][6]

Uygulama Alanları

Destek vektör makineleri, birçok farklı alanda başarılı bir şekilde uygulanmaktadır. Yaygın uygulama alanlarından bazıları şunlardır:

Biyoinformatik: Gen ekspresyon verilerinin sınıflandırılması.

Finans: Kredi riskinin değerlendirilmesi ve dolandırıcılık tespiti.

Pazarlama: Müşteri segmentasyonu ve davranış tahmini.

Görüntü İşleme: Yüz tanıma ve nesne tespiti.[7][8][9]

Performans Karşılaştırmaları

Destek vektör makineleri, özellikle yüksek boyutlu ve küçük veri kümelerinde iyi performans gösterir. Diğer makine öğrenme yöntemleriyle karşılaştırıldığında, DVM'nin avantajları şunlardır:

Genel Performans: DVM, genellikle yüksek doğruluk oranlarına sahiptir.

Genelleme Yeteneği: Marjin maksimizasyonu, modelin genelleme yeteneğini artırır.

Hız: Büyük veri kümeleri için eğitim süresi uzun olabilir, ancak test süresi hızlıdır.

DVM'nin dezavantajları ise şunlardır:

Hesaplama Maliyeti: Kernel yöntemleri kullanıldığında hesaplama maliyeti artabilir.

Model Seçimi: Doğru kernel ve hiperparametrelerin seçimi zor olabilir.[10][11]

Kaynakça

  1. ^ SCHLKOPF, BERNHARD. (2018). LEARNING WITH KERNELS : support vector machines, regularization, optimization, and beyond. [Place of publication not identified],: MIT Press. ISBN 0-262-53657-9. OCLC 1039411838. 
  2. ^ Computational intelligence paradigms in advanced pattern classification. Ogiela, Marek R., Jain, L. C. Berlin: Springer. 2012. s. 179. ISBN 978-3-642-24049-2. OCLC 773925178. 
  3. ^ Vapnik, V. (1995). The Nature of Statistical Learning Theory. Springer.
  4. ^ Vapnik, V., & Chervonenkis, A. (1964). A Note on One Class of Perceptrons. Automation and Remote Control, 25, 103-110.
  5. ^ Cortes, Corinna; Vapnik, Vladimir (Eylül 1995). "Support-vector networks". Machine Learning. 20 (3): 273-297. doi:10.1007/bf00994018. ISSN 0885-6125. 
  6. ^ Burges, Christopher J.C. (1998). Data Mining and Knowledge Discovery. 2 (2): 121-167. doi:10.1023/a:1009715923555. ISSN 1384-5810 http://dx.doi.org/10.1023/a:1009715923555.  Eksik ya da boş |başlık= (yardım)
  7. ^ Guyon, I., Weston, J., Barnhill, S., & Vapnik, V. (2002). Gene selection for cancer classification using support vector machines. Machine Learning, 46(1-3), 389-422.
  8. ^ Kim, K. J. (2003). Financial time series forecasting using support vector machines. Neurocomputing, 55(1-2), 307-319.
  9. ^ Osuna, E., Freund, R., & Girosi, F. (1997). Training support vector machines: an application to face detection. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 130-136.
  10. ^ Ben-Hur, A., & Weston, J. (2010). A User's Guide to Support Vector Machines. Methods in Molecular Biology, 609, 223-239.
  11. ^ Steinwart, I., & Christmann, A. (2008). Support Vector Machines. Springer.

İlgili Araştırma Makaleleri

<span class="mw-page-title-main">Türev</span> Fonksiyonun grafiğine çizilen teğetin eğimini hesaplama tekniğidir.

Matematikte türev, bir fonksiyonun tanımlı olduğu herhangi bir noktada değişim yönünü veya hızını veren temel bir kavramdır. Tek değişkenli bir fonksiyonun tanım kümesinin belli bir noktasında türevi, fonksiyonun grafiğine bu noktada karşılık gelen değerde çizilen teğet doğrunun eğimidir. Teğet doğru, tanım kümesinin bu noktasında fonksiyonun en iyi doğrusal yaklaşımıdır. Bu nedenle türev genellikle anlık değişim oranı ya da daha açık bir ifadeyle, bağımlı değişkendeki anlık değişimin bağımsız değişkendeki anlık değişime oranı olarak tanımlanır. Bir fonksiyonun türevini teorik olarak bulmaya türev alma denilir. Eğer bir fonksiyonun tanım kümesindeki her değerinde hesaplanan türev değerlerini veren başka bir fonksiyon varsa, bu fonksiyona eldeki fonksiyonun türevi denir.

<span class="mw-page-title-main">Vektör</span> büyüklüğü (veya uzunluğu) ve yönü olan geometrik nesne

Matematik, fizik ve mühendislikte, Öklid vektörü veya kısaca vektör sayısal büyüklüğü ve yönü olan geometrik bir objedir. Vektör, genellikle bir doğru parçası ile özdeşleştirilir. Bir başlangıç noktası A ile bir uç noktası B'yi birleştiren bir ok şeklinde görselleştirilir ve ile belirtilir.

Regresyon analizi, iki ya da daha çok nicel değişken arasındaki ilişkiyi ölçmek için kullanılan analiz metodudur. Eğer tek bir değişken kullanılarak analiz yapılıyorsa buna tek değişkenli regresyon, birden çok değişken kullanılıyorsa çok değişkenli regresyon analizi olarak isimlendirilir. Regresyon analizi ile değişkenler arasındaki ilişkinin varlığı, eğer ilişki var ise bunun gücü hakkında bilgi edinilebilir. Regresyon terimi için öz Türkçe olarak bağlanım sözcüğü kullanılması teklif edilmiş ise de Türk ekonometriciler arasında bu kullanım yaygın değildir.

Korelasyon, olasılık kuramı ve istatistikte iki rassal değişken arasındaki doğrusal ilişkinin yönünü ve gücünü belirtir. Genel istatistiksel kullanımda korelasyon, bağımsızlık durumundan ne kadar uzaklaşıldığını gösterir.

En küçük kareler yöntemi, birbirine bağlı olarak değişen iki fiziksel büyüklük arasındaki matematiksel bağlantıyı, mümkün olduğunca gerçeğe uygun bir denklem olarak yazmak için kullanılan, standart bir regresyon yöntemidir. Bir başka deyişle bu yöntem, ölçüm sonucu elde edilmiş veri noktalarına "mümkün olduğu kadar yakın" geçecek bir fonksiyon eğrisi bulmaya yarar. Gauss-Markov Teoremi'ne göre en küçük kareler yöntemi, regresyon için optimal yöntemdir.

Vektör uzayı veya Yöney uzayı, matematikte ölçeklenebilir ve eklenebilir bir nesnelerin (vektörlerin) uzayına verilen isimdir. Daha resmî bir tanımla, bir vektör uzayı, iki elemanı arasında vektör toplamasının ve skaler denilen sayılarla çarpımın tanımlı olduğu ve bunların bazı aksiyomları sağladığı kümedir. Skalerler, rasyonal veya reel sayılar kümesinden gelebilir, ama herhangi bir cisim üzerinden bir vektör uzayı oluşturmak mümkündür. Vektör uzayları, skalerlerin geldiği cisime göre reel vektör uzayı, kompleks vektör uzayı veya genel bir cisim üzerinden K vektör uzayı şeklinde adlandırılır.

Matematik biliminde, özellikle yöneylem araştırması uygulamalı dalında, doğrusal programlama problemleri bir doğrusal amaç fonksiyonunun doğrusal eşitlik ve/veya eşitsizlik kısıtlamalarını sağlayacak şekilde optimizasyon yapılmasıdır. Bir optimizasyon modeli eğer sürekli değişkenlere ve tek bir doğrusal amaç fonksiyonuna sahipse ve tüm kısıtlamaları doğrusal eşitlik veya eşitsizliklerden oluşuyorsa, doğrusal (lineer) program olarak adlandırılır. Başka bir deyişle, modelin tek-amaçlı fonksiyonu ve tüm kısıtlamaları, süreklilik gösteren karar değişkenlerinin ağırlıklı toplamlarından oluşmalıdır.

<span class="mw-page-title-main">Doğrusal olmayan regresyon</span>

Doğrusal olmayan regresyon, istatistik bilimde gözlemi yapılan verilerin bir veya birden fazla bağımsız değişkenin model parametrelerinin doğrusal olmayan bileşiği olan ve bir veya daha çok sayıda bağımsız değişken ihtiva eden bir fonksiyonla modelleştirilmesini içeren bir regresyon (bağlanım) analizi türüdür. Veriler arka-arkaya yapılan yaklaşımlarla kurulan modele uydurularak çözümleme yapılır.

<span class="mw-page-title-main">Doğrusal denklem dizgesi</span>

Doğrusal denklem dizgesi, birkaç tane aynı tip değişkenleri içeren birkaç tane doğrusal denklemlerin oluşturduğu topluluktur. Örneğin:

Matematikte ıraksak seri yakınsak olmayan bir sonsuz seridir. Bu, serinin kısmi toplamlarının herhangi bir limit değeri olmadığı anlamına gelmektedir.

<span class="mw-page-title-main">Hilbert uzayı</span>

Matematikte Hilbert uzayı, sonlu boyutlu Öklit uzayında uygulanabilen lineer cebir yöntemlerinin genelleştirilebildiği ve sonsuz boyutlu da olabilen bir vektör uzayıdır. Daha kesin olarak, bir Hilbert uzayı, uzayın tam metrik uzay olmasını sağlayan bir uzaklık fonksiyonu üreten bir iç çarpımla donatılmış bir vektör uzayıdır. Bir Hilbert uzayı, bir Banach uzayının özel bir durumudur. Matematik, fizik ve mühendislikte sıkça kullanılmaktadır. Kuantum mekaniğiyle uyumludur. Adını David Hilbert'ten almaktadır.

<span class="mw-page-title-main">Gözetimli öğrenme</span>

Gözetimli öğrenme ya da denetimli öğrenme, bilinen etiketler ve özellikler kullanarak bir fonksiyon öğrendiğimiz, makine öğreniminin önemli bir alt dalıdır. Bu yöntem, eğitim veri seti kullanılarak öğrenilen modelin, yeni ve bilinmeyen veri noktalarını doğru bir şekilde tahmin etmesini amaçlar.

Eşyapı ya da izomorfizma (ya da izomorfi), aynı kategoride(grupta) olan benzer iki matematiksel obje arasında bir gönderim olup matematiksel vücut tersi yapıda da muhafaza edilir. Aralarında bu şekilde eşyapı bulunan objelere eşyapısal ya da izomorf(ik) objeler denir. Örneğin iki küme arasında eşyapı, birebir, örten bir gönderimdir. Kümelerin üzerinde elemanlara sahip olma haricinde bir oluşum olmadığından, eşyapı gönderiminin koruyacağı başka bir yapı yoktur. Soyut cebirde iki grup arasında bir eşyapı, birebir, örten bir gönderimdir; dahası, iki gruptaki işleme saygı gösterir, bu iki işlemin birbirleriyle etkileşim halinde olmasını sağlar.

<span class="mw-page-title-main">Gram–Schmidt işlemi</span>

Matematikte, özellikle doğrusal cebir ve sayısal analizde, Gram–Schmidt süreci bir dizi vektörleri bir iç çarpım uzayı içinde ortonormal etmek için kullanılan bir yöntemdir. İç çarpım uzayında olan vektörler, genellikle Öklid uzayında Rn donatılmış olan standart iç çarpım vektörlerdir. Gram–Schmidt süreci bir sonlu, doğrusal bağımsız kümeni, S = {v1, ..., vk}, kn, alıp ve R'in aynı k-boyutlu alt uzayında yayılan ortogonal kümeni, S′ = {u1, ..., uk}, üretmektedir. 

<span class="mw-page-title-main">Doğrusal germe</span> Doğrusal cebirde alt uzay

Doğrusal cebirde, germe verilen bir vektör kümesini kapsayan en küçük doğrusal altuzaydır. 'yi içeren tüm doğrusal altuzayların kesişimi veya 'nin elemanlarının doğrusal kombinasyonlarının kümesi olarak tanımlanabilir. Dolayısıyla, bir vektör kümesinin germesi bir vektör uzayıdır. Germeler matroidlere ve modüllere genelleştirilebilir.

<span class="mw-page-title-main">Jacobi matrisi</span>

Vektör hesabında, Jacobi matrisi bir vektör-değerli fonksiyonun bütün birinci-derece kısmi türevlerini içeren matristir. Bu matris bir kare matris olduğunda, yani fonksiyonun girdi sayısı çıktı sayısının vektör bileşenleriyle aynı sayıdaysa, bu matrisin determinantı Jacobi determinantı olarak adlandırılır. Literatürde sıklıkla Jacobi olarak anılır.

<span class="mw-page-title-main">Taban (lineer cebir)</span> Bir vektör uzayını tanımlamak için yeterli vektör kümesi

Lineer cebirde, taban, bir vektör uzayını tanımlamak için yeterli vektör kümesidir. Bir V vektör uzayının alt kümesi B bu uzayın tabanıysa, V'nin tüm elemanları B'nin elemanlarının biricik sonlu doğrusal birleşimleri şeklinde yazılabilir. Bu doğrusal birleşimlerin katsayıları, vektörün B üzerindeki bileşenleri ya da koordinatları olarak adlandırılır. Taban B'nin elemanlarına taban vektörleri denir.

Perceptron (Algılayıcı), tek katmanlı bir yapay sinir ağının temel birimidir. Eğitilebilecek tek bir yapay sinir hücresinden oluşmaktadır. Denetimli bir öğrenme algoritmasıdır. Bir perceptron giriş değerleri, ağırlıklar ve sapma, ağırlıklı toplam ve aktivasyon işlevi olmak üzere dört bölümden oluşmaktadır. Hem giriş hem de çıkış değerleri verilir ve sinir ağının öğrenmesi beklenir.

<span class="mw-page-title-main">Çoklu örnekle öğrenme</span>

Makine öğreniminde, çoklu örnek öğrenme (ÇÖÖ) bir tür denetimli öğrenmedir. Öğrenci, bireysel olarak etiketlenmiş bir dizi örnek almak yerine, her biri birçok örnek içeren bir dizi etiketli paket alır.

<span class="mw-page-title-main">Newton metodu</span>

Sayısal analizde, Newton-Raphson yöntemi olarak da bilinen ve adını Isaac Newton ve Joseph Raphson'dan alan Newton metodu, gerçel değerli bir fonksiyonun köklerine art arda daha iyi yaklaşımlar üreten bir kök bulma algoritmasıdır. En temel versiyonu, tek bir gerçek değişkenli x için tanımlı olan f fonksiyonu, fonksiyonun türevi f ′ ve f 'in bir kökü için bir x0 başlangıç tahmini ile başlar. Fonksiyon yeterli ön kabulleri karşılıyorsa ve ilk tahmin yakınsa, o zaman