En küçük kareler yöntemi

En küçük kareler yöntemi, birbirine bağlı olarak değişen iki fiziksel büyüklük arasındaki matematiksel bağlantıyı, mümkün olduğunca gerçeğe uygun bir denklem olarak yazmak için kullanılan, standart bir regresyon yöntemidir.^[1] Bir başka deyişle bu yöntem, ölçüm sonucu elde edilmiş veri noktalarına "mümkün olduğu kadar yakın" geçecek bir fonksiyon eğrisi bulmaya yarar.^[2] Gauss-Markov Teoremi'ne göre en küçük kareler yöntemi, regresyon için optimal yöntemdir.^[3]

Basit bir örnek vermek gerekirse, aralarında doğrusal (lineer) bir bağlantı olan, X ve Y adında iki fiziksel büyüklük düşünelim. (Mesela, X belli bir ağaç türünün yaşı, Y aynı tür ağacın gövde çapı olabilir.) Y 'yi X 'in fonksiyonu olarak yazmak istiyoruz. Bu iki büyüklük arasındaki bağlantı doğrusal olduğuna göre, şöyle bir denklem halinde ifade edilebilir:

${\displaystyle Y=aX+b\,}$

Bizim aradığımız şey, bu denklemdeki a ve b sayıları için mümkün olan en doğru değerlerdir. Bu değerleri belirlemek için bir dizi ölçüm yaptığımızı düşünelim. (Ağaç örneğine dönersek, ilgilendiğimiz türden pek çok ağacın yaşını ve gövde çapını ölçelim.) Bu ölçümler bize bir dizi (x_i, y_i) çifti verecektir. Bir kartezyen düzlem üzerinde bu çiftlere karşılık gelen noktaları tek tek işaretlersek, kabaca düz bir çizgi üzerinde yayılmış bir "noktalar bulutu" elde ederiz. Noktalar, çeşitli sebeplerden dolayı (ölçüm hataları, istisnai durumlar, modele katılmayan dış etkiler, vs) kusursuz bir çizgi üzerinde çıkmayacaktır.

X ve Y arasındaki bağlantıyı tek bir doğrusal denklem olarak ifade etmek istiyorsak, bu noktalara mümkün olduğunca yakın geçecek bir çizgi bulmalıyız. Bir başka deyişle, yukarıdaki denklemde a ve b'yi öyle seçmeliyiz ki, ortaya çıkan çizgi veri noktalarına mümkün olduğunca yakın olsun.

En küçük kareler yöntemi, denklemin verdiği (teorik) Y değerleri ile ölçümlerin verdiği (gerçek) Y değerleri arasındaki farkların karelerinin toplamını küçültme fikrine dayanır. Bu yöntem, denklemdeki a ve b sayılarını, bahsedilen kareler toplamını en küçük yapacak şekilde seçer (ve adını da buradan alır).

Aralarında doğrusal olmayan (non-lineer) bir bağlantı olan, fiziksel büyüklükler için de benzer şekilde en küçük kareler (EKK) yöntemi kullanılabilir.

EKK yöntemi denklem formunun bilinmesini gerektir. Bu formda bağımsız değişkenin üsleri ile birlikte birden çok bağımsız değişkenin çeşitli biçimleri bulunabilir.

${\displaystyle Q=aX+bY+cZ\,}$.

${\displaystyle Q=aX+bX^{2}+cY+dY^{2}+eXY\,}$.

EKK'nın işe yaraması için değişkenler arasındaki ilişkiyi gösteren formun katsayılardan bağımsız olarak biliniyor olması gerekir. Bunun için Ekonometri biliminde çok çeşitli yöntemler mevcuttur.

Formun nasıl olacağına karar verdikten sonra katsayılar bulunur. Tüm örnek sonuçlarına bakılarak hata terimlerinin karelerini en düşük yapan katsayılar türev yardımıyla bulunur. Burada türevin sıfır olduğu noktanın en küçük değer olması kuralından faydalanılır.

Aşağıdaki ikinci dereceden polinomun denklem formu olarak belirlendiğini kabul edelim.

${\displaystyle Q=aX+bX^{2}+cY+dY^{2}+eXY+f\,}$

Bu ifadedeki 2. dereceden terimler başka bir değişkenle değiştirilirse (${\displaystyle X^{2}=K}$, ${\displaystyle Y^{2}=L}$, ${\displaystyle XY=M}$) ikinci dereceden polinom doğrusal bir ifadeye dönüşmüş olur. Bu durumda polinom daha genel bir ifadeyle yazılabilir:

${\displaystyle Q=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\beta _{3}X_{3}+\cdots +\beta _{k}X_{k}\,}$

n adet veri ile regresyon yaptığımızı varsayarsak, elimizdeki veride n tane ${\displaystyle Q}$ değeri ile beraber her ${\displaystyle X_{i}}$ için n tane değer bulunmaktadır. Bu durumda regresyon işlemi aşağıdaki işlem ile ifade edilebilir:

${\displaystyle q=X\beta +\varepsilon }$

Yukarıdaki ifadede bulunan dizey ve diziler aşağıdaki gibi açıklanabilir:

${\displaystyle q=\left\{{\begin{array}{*{20}c}{Q_{1}}\\{Q_{2}}\\\vdots \\{Q_{n}}\\\end{array}}\right\}\quad X=\left[{\begin{array}{*{20}c}1&{X_{11}}&{X_{12}}&\cdots &{X_{k1}}\\1&{X_{21}}&{X_{22}}&\cdots &{X_{k2}}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&{X_{1n}}&{X_{2n}}&\cdots &{X_{kn}}\\\end{array}}\right]\quad \beta =\left\{{\begin{array}{*{20}c}{\beta _{0}}\\{\beta _{1}}\\\vdots \\{\beta _{k}}\\\end{array}}\right\}\quad \varepsilon =\left\{{\begin{array}{*{20}c}{\varepsilon _{1}}\\{\varepsilon _{2}}\\\vdots \\{\varepsilon _{n}}\\\end{array}}\right\}}$

Yukarıdaki ${\displaystyle \epsilon }$ dizisi hataları ifade eder.

${\displaystyle \beta }$ parametrelerinin tahmini için aşağıdaki ifade kullanılabilir:

${\displaystyle \beta _{tahmin}=(X^{T}X)^{-1}X^{T}q\,}$

Bilindiği kadarıyla, en küçük kareler yöntemi ilk olarak 1795'te Carl Friedrich Gauss tarafından geliştirilmiştir. Gauss 1801 yılında bu yöntemi kullanarak, keşfinden kısa süre sonra kaybedilen Ceres asteroidinin tekrar gözlemlenebileceği pozisyonu hesaplayabilmiş, bu başarısıyla büyük üne kavuşmuştur. Gauss bu yöntemi ilk olarak 1809'da yayımlamıştır. 1806'da Fransız matematikçi Adrien-Marie Legendre ve 1808'de Amerikalı matematikçi Robert Adrain, Gauss'tan (ve muhtemelen birbirlerinden) bağımsız olarak bu yöntemi geliştirip kullanmışlardır.

En küçük kareler yöntemi, bugün neredeyse tüm bilim dallarında ve mühendislikte yaygın olarak kullanılmaktadır.