İçeriğe atla

İstatistiksel makine çevirisi

İstatistiksel makine çevirisi, iki dilli metin derlemlerinin incelenmesinden elde edilen parametrelerin kullanıldığı istatistiksel modelleri içeren bir makine çevirisi yaklaşımıdır. İstatiksel çeviri yöntemi, makine çevirisi disiplini içerisinde kural tabanlı makine çevirisi ve örnek tabanlı makine çevirisi yaklaşımlarına göre farklılık gösterir.

İstatistiksel makine cevirisi yaklaşımına ilişkin ilk düşünceler Warren Weaver tarafından 1949 yılında ortaya atılmıştır.[1] Bu düşünce, Claude Shannon'ın bilgi kuramına dayanmaktaydı. Uzun bir aradan sonra bu yöntem IBM araştırma laboratuvarlarında Thomas J. Watson Araştırma merkezinde 1991 yılında tekrar gündeme gelmiştir. Son yıllarda bu makine çevirisi yöntemine olan ilgi hızla artmıştır ve en fazla uygulanan yöntemlerden birisi haline gelmiştir.

Temelleri

İstatistiksel makine çevirisi yaklaşımının arka planındaki düşünce bilgi teorisine dayanır. Buna göre bir belgenin çevirisi, kaynak dildeki bir metnin (örnekte ile gösterilen Fransızca) hedef dildeki metne (örnekte ile gösterilen İngilizce) ile ifade edilen bir olasılık dağılımı altında karşılık gelen şeklidir.

ile ifade edilen olasılık dağılımını modellemek birkaç şekilde mümkündür. Öne çıkan yöntemlerden birisi Bayes teoremini uygulayarak problemi iki parçaya bölmektir. Çeviri problemi şeklinde modellendiğinde ifadesi, kaynak dildeki metin dizisinin hedef dildeki dizinin çevirisi olma olasılığını ifade eder ve çeviri modeli olarak adlandırılır. ifadesi ise çevirisi yapılan bu metnin hedef dilde karşılaşılabilen bir metin olma olasılığını ifade eder. Bu model ise dil modeli olarak adlandırılır. ile ifade edilen en iyi çeviriyi bulma problemi, en yüksek koşullu olasılığı veren şu metin dizisini seçmekle çözülür: .

Kısacası bir metnin hedef dildeki karşılığını bulma probleminin cevabı, iki ayrı modelin koşullu olasılığı alınarak en doğru biçimde elde edilmeye çalışılır.

Böyle bir modellemeyi güçlü şekilde uygulayabilmek için hedef dildeki bütün metin dizilerini arama sürecinden geçilmesi gerekir. Bu arama işini etkin şekilde halletmek için yabancı dildeki metni inceleyen ve üzerinde arama yapılan uzayı daraltan optimizasyon metotları kullanılır. Ne var ki bu türden optimizasyon yöntemleriyle arama süresinden kazanç sağlanırken doğru çevirinin bulunması ihtimalinde azalma da meydana gelebilir. Bu tür bir ödünleşme, yani kalite ve hız arasında seçim yapma durumu konuşma tanıma uygulamalarındaki ile benzerdir.

Çeviri sistemleri bütün metinleri ve çevirilerini saklayamayacağı için çeviri cümle bazında yapılır fakat bu bile tek başına yeterli olmaz. Dil modelleri elde edilirken n gram modelleri kullanılarak kelime dizilerinin birbiri ardına gelme sıklığını gösteren tablolar oluşturulur. Çözücü program dil modelinin parametrelerini bu tablolardan elde eder.

İstatistiksel Çeviri Modelleri başlangıçta yalnızca kelime analizine dayalı modellerdi. IBM modelleri 1-5[2] ve Franz-Joseph Och'un 6. modeli[3] bu çerçevededir. Deyim tabanlı çeviri modellerinin geliştirilmesiyle çeviri modellerinin kapasitesi yönünde büyük bir gelişme sağlanmıştır.[4] Bu sayede çeviri birimlerinin yalnızca kelimelerden değil, biribiri ardına gelen kelime dizilerinden de meydana gelebileceği varsayımı altında daha gerçekçi modelleme yapılabilme imkânı doğmuştur. Son yıllarda ise cümlelerin kelime veya kelime grupları yerine bir ağacın dalları gibi tek bir yerden ayrışan yapılar şeklinde kurulduğunu varsayan ve iç içe geçmiş kelime gruplarının da olabileceğini varsayan modeller geliştirilmeye başlanmıştır.[5]

Dış bağlantılar

Kaynakça

  1. ^ W. Weaver (1955). Translation (1949). In: Machine Translation of Languages, MIT Press, Cambridge, MA.
  2. ^ S. Vogel, H. Ney and C. Tillmann. 1996. HMM-based Word Alignment in StatisticalTranslation. In COLING ’96: The 16th International Conference on Computational Linguistics, pp. 836-841, Copenhagen, Denmark.
  3. ^ F. Och and H. Ney. (2003). A Systematic Comparison of Various Statistical Alignment Models. Computational Linguistics, 29(1):19-51
  4. ^ P. Koehn, F.J. Och, and D. Marcu (2003). Statistical phrase based translation. In Proceedings of the Joint Conference on Human Language Technologies and the Annual Meeting of the North American Chapter of the Association of Computational Linguistics (HLT/NAACL).
  5. ^ D. Chiang (2005). A Hierarchical Phrase-Based Model for Statistical Machine Translation. In Proceedings of the 43rd Annual Meeting of the Association for Computational Linguistics (ACL'05).

İlgili Araştırma Makaleleri

Çeviri ya da tercüme, bir dildeki bir metnin başka bir dile aktarılması işlemini ve bu süreç sonucunda elde edilen ürünü anlatmak amacıyla kullanılır.

<span class="mw-page-title-main">Google Çeviri</span> Çeviri aracı

Google Çeviri, İnternet sayfalarını, metinleri veya yüklemiş olduğunuz belgeleri ücretsiz çeviren bir araçtır. Google tarafından sağlanır. İlk olarak 28 Nisan 2006 tarihinde, Arapça ile İngilizce arası çeviri yaparak hizmete girmiştir. Bir web arayüzü, Android ve iOS için mobil uygulamalar, geliştiricilere tarayıcı eklentisi ve yazılım uygulamaları oluşturmada yardımcı olan bir API sunar. Google Translate, çeşitli seviyelerde 100'den fazla dili destekliyor ve Mayıs 2013 itibarıyla günlük 200 milyondan fazla kişiye hizmet veriyor.

Çeviribilim ya da Çeviri bilimi, yazılı ve sözlü çevirinin kuram, betimleme ve uygulamasını konu alan beşeri bilim dalıdır. Sahalar arası bir çalışma alanı olarak çeviribilim, çeviriye destek olan çeşitli sahalardan katkı alır. Bunların arasında metin dilbilim, toplumbilim, tarih, karşılaştırmalı edebiyat, felsefe, filoloji, göstergebilim, edebiyat gibi bilim dalları bulunur. Batı dillerinde “translation studies” (İngilizce), “Translationswissenschaft” (Almanca) ve “traductologie” (Fransızca) gibi adlarla anılır.

Olasılık teorisi ya da ihtimaliyet teorisi rastgele olayların analizi ile ilgilenen bir matematik bilim dalıdır. Olasılık teorisinin ana ögeleri rassal değişkenler, saf rassal süreçler, olaylar olarak sayılabilir. Bunlar ya tek olarak ortaya çıkan veya bir zaman dönemi içinde gelişerek meydana gelen, ilk görünüşü rastgele bir şekilde olan deterministik olmayan olayların veya ölçülebilir miktarların matematiksel soyutlamalarıdır. Bir madeni parayı yazı-tura denemesi için havaya atmak veya bir zarı atmak ile ortaya çıkan sonuç ilk bakışta rastgele bir olay olarak görülebilirse bile eğer birbirini takip eden rastgele olaylar tekrar tekrar ortaya çıkartılırsa incelenebilecek ve tahmin edilebilecek belirli bir istatistiksel seyir takip ettikleri görülecektir. Bu türlü olaylar ve sonuçların seyirlerini betimleyen iki temsilci matematiksel sonuç büyük sayılar yasası ve merkezsel limit teoremidir.

<span class="mw-page-title-main">Makine öğrenimi</span> algoritmaların ve istatistiksel modellerin kullanımıyla bilgisayarların yapacakları işleri kendileri çözebilmeleri

Makine öğrenimi (ML), veriden öğrenebilen ve görünmeyen verilere genelleştirebilen ve dolayısıyla açık talimatlar olmadan görevleri yerine getirebilen istatistiksel algoritmaların geliştirilmesi ve incelenmesiyle ilgilenen, yapay zekâda akademik bir disiplindir. Makine öğrenimi, bilgisayarların deneyimlerinden öğrenerek karmaşık görevleri otomatikleştirmeyi sağlayan bir yapay zeka alanıdır. Bu, veri analizi yaparak örüntüler tespit etme ve tahminlerde bulunma yeteneğine dayanır. Son zamanlarda yapay sinir ağları, performans açısından önceki birçok yaklaşımı geride bırakmayı başardı.

<span class="mw-page-title-main">Anlamlılık seviyesi</span>

Anlamlılık seviyesi, istatistik biliminde, İngiliz istatistikçi Ronald Fisher tarafından çıkartımsal hipotez sınama yönteminin kurulması sırasında kavramlaştırılmış özel bir manası olan bir bilimsel ve istatistiksel terimdir. İstatistiksel anlamlılık eğer bir sonucun gerçekleşme olasılık değerlendirilmesine göre olabilirliği düşük değil ise ortaya çıkar.

<span class="mw-page-title-main">Apertium</span>

Apertium, kurallara dayanan bir makine çeviri platformudur. Bu bir özgür yazılımdır ve GNU General Public License şartları altında yayımlanmıştır.

<span class="mw-page-title-main">Metin madenciliği</span>

Metin madenciliği, çalışmaları metni veri kaynağı olarak kabul eden veri madenciliği çalışmasıdır. Diğer bir tanımla metin üzerinden yapısallaştırılmış veri elde etmeyi amaçlar. Metin madenciliği, metinlerin sınıflandırılması, bölütlenmesi, metinlerden konu çıkarılması, metinler için sınıf taneciklerinin üretilmesi, metinlerde görüş analizi yapılması, metin özetlerinin çıkarılması ve metinin özü ile ilgili ilişki modellemesi gibi çalışmaları hedefler.

<span class="mw-page-title-main">Yandex.Çeviri</span> çeviri aracı

Yandex.Çeviri, Yandex tarafından sağlanan amacı metin ve web sayfaları diğer dillere çevirmek olan bir web hizmetidir.

<span class="mw-page-title-main">Hesaplamalı dilbilim</span>

Bilgisayarlı dilbilim veya hesaplamalı dilbilim, doğal dilin istatistiksel veya kural tabanlı modelleme yöntemleriyle ve hesaplamalı bir perspektif ile inceleyen disiplinler arası bir bilgisayar bilimi alanıdır.

<span class="mw-page-title-main">Destek vektör makinesi</span>

Destek vektör makinesi, eğitim verilerindeki herhangi bir noktadan en uzak olan iki sınıf arasında bir karar sınırı bulan vektör uzayı tabanlı makine öğrenme yöntemi olarak tanımlanabilir.

<span class="mw-page-title-main">Makine çevirisi</span>

MT kısaltmasıyla da anılan makine çevirisi, metin veya konuşmayı bir dilden diğerine çevirmek için yazılım kullanımını araştıran bilgisayarlı dilbilimin bir alt alanıdır.

<span class="mw-page-title-main">Microsoft Tercüman</span> çok dilli bir makine çeviri bulut hizmeti

Microsoft Tercüman, Microsoft tarafından sağlanan çok dilli bir makine çeviri bulut hizmetidir. Microsoft Translator API-si, birden fazla tüketici, geliştirici ve kurumsal ürüne entegre edilmiştir; Bing, Microsoft Office, SharePoint, Skype for Business, Yammer, Skype Translator, Visual Studio, Internet Explorer, Windows Phone, iPhone ve Apple Watch ve Android telefonu ve Android Wear için Microsoft Tercüman uygulamaları.

<span class="mw-page-title-main">Bayesci istatistik</span>

Bayesci istatistik, Bayesyen istatistik veya Bayesgil istatistik, olasılığın bir olaya olan inancın bir derecesini ifade ettiği Bayesci olasılık yorumuna dayanan istatistik alanındaki bir teoridir. İnanç derecesi, önceki deneylerin sonuçları gibi olay hakkında önceki bilgilere veya olayla ilgili kişisel inançlara dayanabilir. Bu, olasılığı birçok denemeden sonra bir olayın göreceli sıklığının sınırı olarak gören sıklıkçı olasılık yorumlaması gibi bir dizi başka olasılık yorumundan farklıdır.

BLEU(İngilizce: bilingual evaluation understudy) bir makine çevirisi sistemi tarafından oluşturulan çevirilerin kalitesini ölçmeye yarayan bir algoritmadır. Burada "kalite", makinenin çevirisinin profesyonel bir insan çevirisine olabildiğince yakın sonuçlar oluşturabilmesi anlamına gelir. BLEU 2002'de yayınlanmış olup, günümüzde de yaygın otomatik metriklerden biridir.

<span class="mw-page-title-main">N-gram</span>

Hesaplamalı dilbilim ve olasılık alanlarında, bir n-gram, belirli bir metin veya konuşma örneğinden n öğenin bitişik bir dizisidir. Öğeler uygulamaya göre fonemler, heceler, harfler, kelimeler veya baz çiftleri olabilir. n-gramlar tipik olarak bir metinden veya konuşma korpusundan toplanır. Öğeler kelimeler olduğunda, n-gramlar zona olarak da adlandırılabilir.

Çeviri belleği (ÇB) veya Çeviri hafızası (ÇB), insan çevirmenlere yardımcı olmak için daha önce çevrilmiş cümleler, paragraflar veya cümle benzeri birimler olabilen "segmentleri" depolayan bir veritabanıdır. Çeviri belleği, kaynak metni ve karşılık gelen çevirisini “çeviri birimleri” adı verilen dil çiftlerinde saklar. Bireysel kelimeler terminoloji temelleri tarafından ele alınır ve ÇB'nin alanı içinde değildir.

Dil modeli, kelimelerin dizileri üzerinde bir olasılık dağılımıdır. Herhangi bir uzunluktaki m kelimeler dizisi verildiğinde, bir dil modeli, tüm dizinin olasılığına bir olasılık atar .

Nöral makine çevirisi (NMT), bir sözcük dizilim olasılığını tahmin etmek için yapay bir sinir ağı kullanan ve genellikle cümlenin tümünü tek bir entegre modelde modelleyen bir makine çevirisi yaklaşımıdır.

Diller arası bilgi erişimi (CLIR), farklı dillerde ifade edilen sorguları kabul edilebilir çeviri teknikleri ile arayıp bulma işlemidir. Bilgi erişim sistemlerinde önemli rol oynar ve farklı dillerde bilgiye erişim imkanı sağlayarak küresel bilgi akışına katkıda bulunur.