İçeriğe atla

Uzun kısa süreli bellek

Uzun Kısa Süreli Bellek (LSTM) hücresi, verileri sırayla işleyebilir ve zaman içinde gizli durumunu koruyabilir.

Uzun kısa süreli bellek (İngilizce: Long Short-Term Memory) derin öğrenme alanında kullanılan yapay bir yinelemeli sinir ağı (RNN) mimarisidir . Standart ileri beslemeli sinir ağlarının aksine, LSTM'nin geri bildirim bağlantıları vardır. Yalnızca anlık veriyi (resim gibi) değil, veri dizilerini (konuşma veya video gibi) de işleyebilir. Örneğin, LSTM bölümlenmemiş, bağlı el yazısı tanıma, konuşma tanıma[1][2] ve ağ trafiğinde anomali veya IDS'lerde (saldırı tespit sistemleri) tespiti gibi görevler için geçerlidir.

Sıradan bir LSTM ünitesi, bir hücre, bir giriş kapısı, bir çıkış kapısı ve bir unut kapısından oluşur. Hücre, değişken uzunlukta zaman aralıklarındaki değerleri hatırlar ve bu üç kapı, hücreye giren ve çıkan bilgi akışını düzenler.

LSTM ağları, zaman serisi verilerine dayanarak sınıflandırmak, işlemek ve tahminler yapmak için çok uygundur, çünkü bir zaman serisindeki önemli olaylar arasında bilinmeyen süreli gecikmeler olabilir. LSTM'ler, geleneksel RNN'leri eğitirken karşılaşılabilecek patlayan ve yok olan gradyan problemleriyle başa çıkmak için geliştirilmiştir.[]

Tarihi

LSTM, 1997 yılında Sepp Hochreiter ve Jürgen Schmidhuber tarafından ortaya atıldı. LSTM, Sabit Hata Karuseli (CEC) birimlerini tanıtarak, patlayan ve yok olan gradyan problemlerini ele alır. LSTM bloğunun ilk sürümü hücreler, giriş ve çıkış kapılarını içeriyordu.

Ayrıca bakınız

Kaynakça

  1. ^ Sak, Hasim; Senior, Andrew; Beaufays, Francoise (2014). "Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling" (PDF). 22 Eylül 2019 tarihinde kaynağından (PDF) arşivlendi. 
  2. ^ Li, Xiangang; Wu, Xihong (15 Ekim 2014). "Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition". arXiv:1410.4281 $2. 

Dış bağlantılar

İlgili Araştırma Makaleleri

<span class="mw-page-title-main">Yapay zekâ</span> insani zekaya sahip makine ve yazılım geliştiren bilgisayar bilimleri dalı

Yapay zekâ ya da kısaca YZ,, insanlar da dahil olmak üzere hayvanlar tarafından, doğal zekânın aksine makineler tarafından görüntülenen zekâ çeşididir. İlk ve ikinci kategoriler arasındaki ayrım genellikle seçilen kısaltmayla ortaya çıkar. Güçlü yapay zeka genellikle Yapay genel zekâ olarak etiketlenirken, doğal zekayı taklit etme girişimleri yapay biyolojik zekâ olarak adlandırılır. Önde gelen yapay zeka ders kitapları, alanı zeki etmenlerin çalışması olarak tanımlar: Çevresini algılayan ve hedeflerine başarıyla ulaşma şansını en üst düzeye çıkaran eylemleri gerçekleştiren herhangi bir cihaz. Halk arasında, yapay zekâ kavramı genellikle insanların insan zihni ile ilişkilendirdiği öğrenme ve problem çözme gibi bilişsel eylemleri taklit eden makineleri tanımlamak için kullanılır.

Kısa süreli bellek, kısa bir süre için aktif, hazır bir durumda az miktarda bilgiyi işlemeden akılda tutma yetisidir. Örneğin, kısa süreli bellek, kısa bir süre önce söylenen bir telefon numarasını hatırlamak için kullanılabilir. Kısa süreli hafızanın süresinin saniyeler düzeyinde olduğuna inanılmaktadır. En çok bahsedilen kapasite, Miller'ın kendisinin figürün "bir şakadan biraz daha fazlası" olarak tasarlandığını belirtmesine rağmen, Büyülü Sayı Yedi, Artı veya Eksi İki' dir ve Cowan'ın (2001) daha gerçekçi bir figürün 4 ± 1 birim olduğuna dair kanıt sağlamıştır. Buna karşılık, uzun süreli bellek bilgileri süresiz olarak tutabilir.

Uzun süreli bellek ya da Uzun dönemli hafıza, iki depolama hafıza modeli teorisinin bir parçası olarak, öğeler arasındaki ilişkilerin depolandığı bellektir. Teoriye göre uzun süreli bellek, kısa süreli bellekten farklı işlevlere sahiptir. Bu da kısa süreli belleğin 20 ila 30 saniye içerisindeki bilgileri çağırmasından farklı olarak, depolanmış bilgileri uzun sürelerde tekrar, tekrar çağırabilmesidir. Bu iki bellek arasında bir fark görünmüyor gibi olsa da, her ikisi bilgiyi farklı yer ve alanlarda depolamaları bağlamında modelleri farklıdır.

<span class="mw-page-title-main">Glutamat</span>

Glutamat, glutamik asidin anyonudur ve sinirbilimde nörotransmitter olarak görev alır; bir sinir hücresinin başka hücrelere sinyal olarak gönderdiği kimyasallardan biridir. Omurgalı sinir sistemi içerisinde geniş farkla en fazla bulunan nörotransmitterdir. Omurgalı beyninde tüm uyarıcı fonksiyonlarda kullanılır, bu insan beynindeki sinaptik bağlantıların %90'ından fazlasına denk gelir. Bazı beyin bölgelerinde birincil nörotransmitterdir.

<span class="mw-page-title-main">Nörobilim</span> sinir sistemini inceleyen bilim dalı

Nörobilim, sinir sistemini inceleyen disiplinlerarası bir bilim dalıdır. Nöronların ve nöral devrelerin temel özelliklerini anlamayı hedefleyen bu bilim dalı, bu amaçla fizyoloji, anatomi, moleküler biyoloji, gelişim biyolojisi, sitoloji, matematiksel modelleme ve psikolojiyi birleştirir. Öğrenme, bellek, davranış, algı ve bilincin biyolojik temelinin anlaşılması Eric Kandel tarafından biyolojik bilimlerin "nihai zorluğu" olarak tanımlanmıştır.

<span class="mw-page-title-main">Makine öğrenimi</span> algoritmaların ve istatistiksel modellerin kullanımıyla bilgisayarların yapacakları işleri kendileri çözebilmeleri

Makine öğrenimi (ML), veriden öğrenebilen ve görünmeyen verilere genelleştirebilen ve dolayısıyla açık talimatlar olmadan görevleri yerine getirebilen istatistiksel algoritmaların geliştirilmesi ve incelenmesiyle ilgilenen, yapay zekâda akademik bir disiplindir. Makine öğrenimi, bilgisayarların deneyimlerinden öğrenerek karmaşık görevleri otomatikleştirmeyi sağlayan bir yapay zeka alanıdır. Bu, veri analizi yaparak örüntüler tespit etme ve tahminlerde bulunma yeteneğine dayanır. Son zamanlarda yapay sinir ağları, performans açısından önceki birçok yaklaşımı geride bırakmayı başardı.

Nöral hücre adezyon molekülü veya CD56; iskelet kası, glia, sinir hücrelerinin ve doğal öldürücü hücrelerin yüzeyinde dışa vurulan bir homofilik bağlantı glikoproteinidir. NCAM'ın ya da CD56'nın hücre-hücre yapışmasında, nörit gelişiminde, sinaptik plastisitede, öğrenmede ve bellekte görevinin bulunduğu gösterilmiştir.

Karmaşık sistemler, birbiriyle etkileşime girebilecek birçok bileşenden oluşur. Çoğu durumda, böyle bir sistemi bağlantı noktalarının bileşenleri temsil ettiği ve etkileşimlerini birbirine bağladığı bir ağ olarak göstermesi yararlıdır. Karmaşık sistemlere örnek olarak, Dünya'nın küresel iklimi, organizmalar ya da inorganik maddeler, insan beyni, ekosistem, canlı bir hücre ve nihayetinde bütün bir evren gösterilebilir.

<span class="mw-page-title-main">Derin öğrenme</span> Makine öğreniminin bir branşı

Derin öğrenme bir veya daha fazla gizli katman içeren yapay sinir ağları ve benzeri makine öğrenme algoritmalarını kapsayan çalışma alanıdır.

<span class="mw-page-title-main">Kodlama teorisi</span> bilgisayar programlarındaki kodların incelendiği bilimsel alan

Kodlama teorisi, kodların özelliklerinin ve bunların belirli uygulamalar için uygunluğunun incelenmesini sağlayan bir teoridir. Kodlar, veri sıkıştırma, kriptografi, hata algılama ve düzeltme, veri iletimi ve veri depolama için kullanılabilir. Kodlar, verimli ve güvenilir veri aktarım yöntemlerinin tasarlanması amacıyla bilgi teorisi, elektrik mühendisliği, matematik, dilbilim ve bilgisayar bilimi gibi çeşitli bilimsel disiplinler tarafından incelenir. Bu genellikle fazlalığın kaldırılmasını ve iletilen verilerdeki hataların düzeltilmesini veya tespit edilmesini içerir.

Nesne tespiti bilgisayarla görü ve görüntü işleme ile ilgili bilgisayar teknolojisi

Nesne tespiti, dijital görüntülerde ve videolarda belirli bir sınıftaki anlamsal nesnelerin örneklerini algılamakla ilgilenen, bilgisayarla görme ve görüntü işleme ile ilgili bir bilgisayar teknolojisidir. Nesne tespiti, bilgisayarla görme ve görüntü işlemeden farklı olarak algılanan nesnenin görüntü üzerinde koordinatlarının bulunmasını içerir. Bulunan koordinatlar ile nesnenin bir çerçeve ile içine alınacağı alan da tespit edilmiş olur. Nesne tespiti, gerçek zamanlı (anlık) ve gerçek zamanlı olmayan olarak ikiye ayrılır. Üzerinde iyi araştırma yapılmış alanlar yüz tespiti, yaya tespiti ve araç tespitidir. Nesne tespiti, görüntü alma ve video gözetimi dahil olmak üzere bilgisayarla görmenin birçok alanında uygulamaya sahiptir.

<span class="mw-page-title-main">U-Net</span>

U-Net, Freiburg Üniversitesi Bilgisayar Bilimleri Bölümü'nde biyomedikal alanlardaki görüntü işleme çalışmalarında bölümleme yapmak için geliştirilmiş bir evrişimsel sinir ağıdır. Ağ mimarisi, tamamen evrişimli ağa dayanmaktadır ve daha az eğitim görüntüsü ile çalışmak ve daha hassas bölümlemeler sağlamak için değiştirilmiş ve genişletilmiştir. Arıca bu ağ o kadar hızlıdır ki, 512x512 piksellik bir görüntünün bölümlemesi GPU’da 1 saniyeden daha kısa sürer.

Çekişmeli üretici ağ, Ian Goodfellow ve meslektaşları tarafından 2014 yılında tasarlanan bir makine öğrenimi framework sınıfıdır. Bir oyunda iki sinir ağı birbiriyle yarışmaktadır.

<span class="mw-page-title-main">DeepDream</span>

DeepDream, Alexander Mordvintsev adlı Google mühendisi tarafından oluşturulmuştur. DeepDream, algoritmik pareidolia yoluyla görüntülerdeki desenleri tespit etmek ve görüntüleri geliştirmek için evrişimli sinir ağı kullanmaktadır. Böylece aşırı işlenmiş görüntüler vasıtasıyla rüya tarzında halüsinojenik görüntüler oluşturan bilgisayar programıdır.

Veri analizinde, anomali tespiti, verilerin çoğunluğundan önemli ölçüde farklılaşarak şüphe uyandıran nadir öğelerin, olayların veya gözlemlerin tanımlanmasıdır. Tipik olarak anormal öğeler, banka dolandırıcılığı, yapısal bir kusur, tıbbi sorunlar veya bir metindeki hatalar gibi bir tür soruna dönüşecektir. Anormallikler ayrıca aykırı değerler, yenilikler, gürültü, sapmalar ve istisnalar olarak da adlandırılmaktadır.

<span class="mw-page-title-main">Yinelemeli sinir ağı</span> bölümler arasındaki bağlantıların yönlendirilmiş bir döngü oluşturduğu yapay sinir ağı türü

Yinelemeli sinir ağı, düğümler arası bağların zamansal bir dizi doğrultusunda yönlü çizge oluşturduğu bir yapay sinir ağı çeşididir. Yaygın olarak İngilizce kısaltması olan RNN olarak anılır. İleri beslemeli sinir ağından türetilen RNN yöntemi, bir iç durum belleği kullanarak değişik uzunluktaki dizileri işleyebilir. Bu sayede yazı tanıma ve konuşma tanıma gibi problemlere uygulanabilir. Teorik olarak Turing makinesine denk (Turing-complete) olan yinelemeli sinir ağları, herhangi uzunluktaki bir girdiyi işleyebilen herhangi bir programı çalıştırabilir.

Çürüme teorisi ya da bozunma teorisi, sadece zamanın geçmesi nedeniyle hafızanın kaybolduğunu öne süren bir teoridir. Bu nedenle bilgi, zaman geçtikçe ve hafızanın yanı sıra hafıza gücü de yıprandıkça daha sonraki erişim için daha az kullanılabilir hale gelir. Birey yeni bir şey öğrendiğinde, nörokimyasal bir "hafıza izi" yaratılır. Ancak zamanla bu iz yavaş yavaş parçalanır. Bilginin aktif olarak tekrarlanmasının, bu geçici düşüşe karşı koyan önemli bir faktör olduğuna inanılıyor. Nöronların biz yaşlandıkça yavaş yavaş öldüğüne yaygın olarak inanılır, ancak bazı eski hatıralar en son deneyimlenen hatıralardan daha güçlü olabilir. Bu nedenle, çürüme teorisi çoğunlukla kısa süreli bellek sistemini etkiler, diğer bir daha eski anıların genellikle beyindeki şoklara veya fiziksel saldırılara karşı daha dirençli olduğu anlamına gelir. Ayrıca zamanın geçmesinin tek başına unutmaya neden olamayacağı ve çürüme teorisinin zaman geçtikçe meydana gelen bazı süreçleri de hesaba katması gerektiği düşünülmektedir.

Tekrarlı ön-hazırlama etkisi, uyaranlar tekrar tekrar sunulduğunda davranışsal bir tepkideki gelişmelere gönderme yapar. Gelişmeler, doğruluk veya tepki süresi açısından ölçülebilir ve tekrarlanan uyaranlar önceki uyaranlarla aynı veya benzer olduğunda ortaya çıkabilir. Bu gelişmelerin kümülatif olduğu gösterilmiştir, bu nedenle tekrar sayısı arttıkça yanıtlar en fazla yedi tekrara kadar sürekli olarak daha hızlı olur. Bu gelişmeler, tekrarlanan maddeler yön, boyut ve konum açısından biraz değiştirildiğinde de bulunur. Etkinin boyutu, maddenin sunulduğu sürenin uzunluğu ve tekrarlanan maddelerin ilk ve sonraki sunumları arasındaki sürenin uzunluğuyla da ayarlanır.

<span class="mw-page-title-main">Metinden resme model</span>

Metinden görüntüye model, girdi olarak bir metin açıklamasını alan ve bu tanıma uyan bir görüntü üreten bir makine öğrenim modelidir. Bu tür modeller, derin sinir ağlarındaki geliştirmelerin bir sonucu olarak 2010'ların ortalarında geliştirilmeye başlandı. 2022'de OpenAI'dan DALL-E 2, Google Brain'den Imagen ve StabilityAI'den Stable Diffusion gibi metinden resme modellerin çıktıları, gerçek fotoğrafların ve insan çizimlerinin kalitesine yaklaşmaya başladı.

Nöral makine çevirisi (NMT), bir sözcük dizilim olasılığını tahmin etmek için yapay bir sinir ağı kullanan ve genellikle cümlenin tümünü tek bir entegre modelde modelleyen bir makine çevirisi yaklaşımıdır.