İçeriğe atla

GPT-3

GPT-3
Orijinal yazar(lar)OpenAI
İlk yayınlanma11 Haziran 2020 (beta)
Resmî sitesiopenai.com/blog/openai-api
Kod deposu
Bunu Vikiveri'de düzenleyin

Generative Pre-trained Transformer 3 (Türkçe: Üretken Ön İşlemeli Dönüştürücü 3)[1] kısaca GPT-3, insanların yazdığı metinlere benzer içerik üretmek için derin öğrenmeyi kullanan özbağlanımlı dil modelidir. GPT-n serisindeki üçüncü nesil dil tahmin modeli olan GPT-3, San Francisco merkezli yapay zeka araştırma laboratuvarı OpenAI tarafından geliştirilmiştir.[2] GPT-3'ün tam sürümü, veri işleyecek 175 milyar parametreye sahiptir. Bu rakam GPT-2'nin öğrenme kapasitesinin 2 katıdır. 14 Mayıs 2020'de tanıtılan ve Temmuz 2020 itibarıyla beta aşamasında olan GPT-3,[3] önceden öğretilmiş dil örnekleriyle doğal dil işleme (NLP) sistemini kullanmaktadır. GPT-3'ün piyasaya sürülmesinden önce, en büyük dil modeli Microsoft'un Şubat 2020'de tanıttığı ve GPT-3'ün %10'undan daha az kapasiteye sahip olan (17 milyar parametre) Turing NLG idi.[4]

GPT-3 tarafından üretilen metnin kalitesi o kadar yüksektir ki, bir insan tarafından yazılmadığını anlamak zordur. Bu durumun yaratabileceği avantajlar olabileceği gibi riskler de vardır.[4] 31 OpenAI araştırmacısı ve mühendisi, 28 Mayıs 2020'de GPT-3'ü tanıtan orijinal makaleyi yayımlamıştır. Makalelerinde, GPT-3'ün potansiyel tehlikeleri konusunda insanları uyarmış ve bu riski azaltmak için çalışmalar yapılması gerektiği çağrısında bulunmuşlardır. Avustralyalı filozof David Chalmers, GPT-3'ü "şimdiye kadar üretilmiş en ilginç ve önemli yapay zeka sistemlerinden biri" olarak tanımlamıştır.[5]

Arka planı

The Economist'e göre, geliştirilmiş algoritmalar, güçlü bilgisayarlar ve sayısallaştırılmış verilerdeki artış, makine öğreniminde bir devrimi tetiklemiştir.[6] Yazılım modelleri, bir "yapıda" binlerce veya milyonlarca örnek kullanarak öğrenmek üzere eğitilmektedir. Doğal dil işlemede (NLP) kullanılan mimari, ilk olarak 2017'de tanıtılan derin öğrenme modeline dayanan Transformer adlı yapay sinir ağıdır. GPT-n modellerinin yapısı, Transformer tabanlı derin öğrenme sistemine dayanmaktadır. Veri işleme, veri madenciliği, veri düzenleme, veriler arası bağlantı kurma, verilerde zıtlık oluşturma, verileri anlama ve sorulara yanıt verme becerisine sahip bir dizi NLP sistemi vardır.[7]

Yapabildikleri

OpenAI'de çalışan 31 mühendis ve araştırmacıdan oluşan grup projeyi 28 Mayıs 2020'de tanıttı.[4] Ekip, GPT-3'ün kapasitesinin selefi GPT-2'ye nazaran iki kat fazla olduğunu ve türünün en gelişmiş örneği olduğunu belirtmiştir.[2] GPT-3'ün parametre sayısı, daha küçük kapasiteli önceki sürümlere kıyasla daha doğru çalışmasını sağlamaktadır.[8] GPT-3'ün kapasitesi, Microsoft'un Turing NLG'sinin on katından fazladır.

GPT-3'e öğrenmesi için verilen veri kümesinin %60'ının kaynağı, 410 milyar veriden oluşan filtrelenmiş Common Crawl sürümüdür. Veri kümesinin %22'si İnternetteki verilerden, %16'sı şimdiye kadar yayımlanmış kitaplardan ve %3'ü Wikipedia'dan gelmektedir. GPT-3, yüz milyarlarca kelimenin yanı sıra CSS, JSX, Python'da kodlama yeteneğine sahiptir.[3] GPT-3'ün eğitim verileri her şeyi kapsadığından, farklı dil görevleri için daha fazla veri öğrenmesi gerekmemektedir.

11 Haziran 2020'de OpenAI, kullanıcıların OpenAI'nin yeni teknolojisinin "güçlü yönlerini ve sınırlarını keşfetmesine" yardımcı olmak için kullanıcı dostu GPT-3 API'sine ("makine öğrenimi araç seti") erişim talep edebileceklerini duyurmuştur.[9][10] Davetiyede, bu API'nin neredeyse "tüm İngilizce komutları" tamamlayabildiğini yazmaktadır. OpenAI GPT-3 API'nin erken sürümüne erişim hakkı olan bir kullanıcıya göre, GPT-3 "inanılmaz derecede tutarlı metinler" yazma konusunda "ürkütücü derecede iyiydi".[11]

GPT-3, insanlar tarafından yazılan makalelerden ayırt etmekte güçlük çekilen haberler üretebildiğinden",[4] GPT-3'ün hem yararlı hem de zararlı uygulamaların geliştirilmesinde kullanılabileceği düşünülmektedir. Araştırmacılar 28 Mayıs 2020 tarihli makalelerinde GPT-3'ün potansiyel zararlı etkilerini detaylıca açıklamışlardır. Yanlış bilgi üretimi, spam, kimlik avı, yasal ve hükûmet süreçlerinin kötüye kullanımı, sahte akademik makale yazma ve sosyal mühendislik potansiyel zararlı etkilerden bazılarıdır. Yazarlar, bu risklerin azaltılması konusunda araştırmalar yapılması için bu tehlikelere dikkat çekmektedir.

Ayrıca Bakınız

  • ChatGPT
  • BERT (dil modeli)
  • Üretken Ön İşlemeli Dönüştürücü

Kaynakça

  1. ^ "Yapay zekâ: Yeni nesil GPT-3 yüzünden korkmalı mı, sevinmeli mi?". BBC News Türkçe. 10 Ağustos 2020. 10 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Ağustos 2020. 
  2. ^ a b Shead (23 Temmuz 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. 30 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.  Four preprints were released between May 28 and July 22, 2020.
  3. ^ a b "Will GPT-3 Kill Coding?". Towards Data Science. 21 Temmuz 2020. 19 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Ağustos 2020. 
  4. ^ a b c d Sagar (3 Haziran 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. 4 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. 
  5. ^ Weinberg, Justin (30 Temmuz 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. 4 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 4 Ağustos 2020. 
  6. ^ "An understanding of AI's limitations is starting to sink in". The Economist. 11 Haziran 2020. ISSN 0013-0613. 31 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. 
  7. ^ "Natural Language Processing". 22 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. 
  8. ^ "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. 1 Haziran 2020. 1 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. 
  9. ^ "OpenAI API". OpenAI. 11 Haziran 2020. 11 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Ağustos 2020. 
  10. ^ "TechCrunch – Startup and Technology News". TechCrunch. 11 Haziran 2020. 12 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.” 
  11. ^ "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. 9 Temmuz 2020. 20 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. 

İlgili Araştırma Makaleleri

<span class="mw-page-title-main">Yapay zekâ</span> insani zekaya sahip makine ve yazılım geliştiren bilgisayar bilimleri dalı

Yapay zekâ ya da kısaca YZ,, insanlar da dahil olmak üzere hayvanlar tarafından, doğal zekânın aksine makineler tarafından görüntülenen zekâ çeşididir. İlk ve ikinci kategoriler arasındaki ayrım genellikle seçilen kısaltmayla ortaya çıkar. Güçlü yapay zeka genellikle Yapay genel zekâ olarak etiketlenirken, doğal zekayı taklit etme girişimleri yapay biyolojik zekâ olarak adlandırılır. Önde gelen yapay zeka ders kitapları, alanı zeki etmenlerin çalışması olarak tanımlar: Çevresini algılayan ve hedeflerine başarıyla ulaşma şansını en üst düzeye çıkaran eylemleri gerçekleştiren herhangi bir cihaz. Halk arasında, yapay zekâ kavramı genellikle insanların insan zihni ile ilişkilendirdiği öğrenme ve problem çözme gibi bilişsel eylemleri taklit eden makineleri tanımlamak için kullanılır.

OpenAI, ABD merkezli yapay zekâ araştırma şirketi. Şirketin genel amacı insanlığa fayda sağlayabilecek yapay zekâ hakkında araştırma yapmaktır. 2015 yılının sonlarında San Francisco'da kurulan şirket, patentlerini ve araştırmalarını halka açık hale getirerek diğer kurum ve araştırmacılarla “serbest iş birliği yapmayı” amaçlamaktadır. Elon Musk ve Sam Altman, yapay genel zekâdan kaynaklanan varoluşsal risk endişelerinden dolayı bu şirketi kurduklarını açıklamıştır. Organizasyon 2015 yılında Sam Altman, Reid Hoffman, Jessica Livingston, Elon Musk, Ilya Sutskever, Peter Thiel ve diğerleri tarafından San Francisco’da kurulmuş ve toplamda 1 milyar dolar bağışta bulunulmuşlardır. Musk 2018 yılında yönetim kurulundan istifa etmiş ancak bağışçı olarak kalmıştır. Microsoft 2019 yılında OpenAI LP’ye 1 milyar dolarlık bir yatırım sağlamış ve Ocak 2023’te ikinci birçok yıllık yatırım sağlamıştır; bu ikinci yatırımın 10 milyar dolar olduğu bildirilmektedir. ChatGPT yazılı cevap veren botun yapımı da OpenAI’a aittir.

<span class="mw-page-title-main">Geoffrey Hinton</span> İngiliz-Kanadalı bilgisayar uzmanı ve psikolog

Geoffrey Everest Hinton, İngiliz-Kanadalı bilişsel ruhbilimci ve bilgisayar bilimcisi. Yapay sinir ağları konusundaki çalışmalarıyla tanınan Hinton 2013'te Google Brain projesine katılmıştır. 2018 Turing Ödülü'nü Yoshua Bengio ve Yann LeCun'la birlikte almaya hak kazanmıştır.

Chatbot, kullanıcı ile genellikle metin, bazı durumlarda ise konuşma yoluyla diyalog kurarak bilgi veren veya bir işlemi gerçekleştiren bir yazılımdır.

<span class="mw-page-title-main">ChatGPT</span> OpenAI tarafından geliştirilen yapay zekâ sohbet robotu

ChatGPT, OpenAI tarafından geliştirilen ve diyalog konusunda uzmanlaşmış bir yapay zeka sohbet botudur. Bu chatbot, denetimli ve takviyeli öğrenme teknikleriyle ince ayar yapılmış büyük bir dil modeline dayanır. ChatGPT'nin ilk versiyonu, GPT-3 temelli idi ve daha sonra gelişmiş sürümleri olan GPT-3.5 ve 14 Mart 2023'te GPT-4 ile güncellenmiştir ve ChatGPT Plus kullanıcıları için kullanılabilir durumdadır.

Dil modeli, kelimelerin dizileri üzerinde bir olasılık dağılımıdır. Herhangi bir uzunluktaki m kelimeler dizisi verildiğinde, bir dil modeli, tüm dizinin olasılığına bir olasılık atar .

GPT-4, OpenAI tarafından oluşturulan çok modlu büyük bir dil modelidir. GPT serisinin dördüncüsüdür. 14 Mart 2023’te yayınlanmıştır ve API aracılığıyla ve ChatGPT Plus kullanıcıları için kullanılabilir olacaktır. Microsoft, GPT kullanan Bing sürümlerinin resmi yayınlanmadan önce aslında GPT-4 kullandığını doğruladı.

GitHub Copilot, kullanıcıların kod yazma sürecinde yardımcı olan bulut tabanlı bir yapay zeka aracıdır. GitHub ve OpenAI tarafından geliştirilen araç, Visual Studio Code, Visual Studio, Neovim ve diğer entegre geliştirme ortamlarının (IDE'ler) kullanıcılarına destek vermek için tasarlanmıştır. GitHub Copilot, teknik önizleme için 29 Haziran 2021'de duyurulmuş ve daha sonra JetBrains pazarında bir eklenti olarak yayınlanmıştır. GitHub, Copilot'un kullanıcıların belgeleri okumak için harcadıkları süreyi azaltarak programcıların bilmedikleri kodlama çerçevelerinde ve dillerinde gezinmelerine olanak tanıdığını belirtmektedir.

<span class="mw-page-title-main">Üretken yapay zekâ</span>

Üretken yapay zekâ, bilgisayar sistemlerinin metin, görüntü, ses gibi farklı veri türlerini işleyerek orijinal içerik oluşturmasına yarayan bir yapay zekâ teknolojisi dalıdır.

<span class="mw-page-title-main">Geniş dil modeli</span>

Geniş dil modeli - GDM, genel amaçlı olarak dili anlama ve üretme becerisiyle öne çıkan bir dil modeli türüdür. GDM'ler bu yetenekleri, eğitilmeleri sırasında milyarlarca parametreyi öğrenebilmek amacıyla niceliksel olarak çok fazla veri kullanarak kazanırlar. Bu sırada da, aşırı büyük boyutta hesaplama kaynakları tüketirler. GDM'ler, gelişmiş olarak yapay sinir ağlarıdır ve özgözetimli öğrenme ya da yarı gözetimli öğrenme yöntemleri kullanılarak (önceden) eğitilirler.

<span class="mw-page-title-main">Yapay zekâ güvenliği</span>

Yapay zekâ güvenliği, yapay zekâ sistemlerinden kaynaklanabilecek kazaları, kötüye kullanımı veya diğer zararlı sonuçları önlemekle ilgilenen disiplinler arası bir alandır. Yapay zekâ sistemlerini ahlaki ve faydalı hale getirmeyi amaçlayan makine etiği ile yapay zekâ uyumunu kapsar ve yapay zekâ güvenliği, riskler için sistemleri izlemek ve onları son derece güvenilir hale getirmek gibi teknik sorunları kapsar. Yapay zekâ araştırmalarının ötesinde, güvenliği teşvik eden normlar ve politikalar geliştirmeyi içerir.

<span class="mw-page-title-main">Önceden eğitilmiş üretken dönüştürücü</span> büyük dil modeli çeşidi

Önceden eğitilmiş üretken dönüştürücü ya da özgün İngilizce adının kısaltmasıyla GPT, bir tür geniş dil modeli ve Üretken yapay zekâ için öne çıkan bir çerçevedir. Doğal dil işleme görevlerinde kullanılan yapay sinir ağlarından oluşur. GPT'ler dönüştürücü mimarisine dayanır, etiketlenmemiş metinlerden oluşan büyük veri setleri üzerinde önceden eğitilmiştir ve insan benzeri yeni içerikler üretebilir. 2023 itibarıyla, çoğu LLM bu özelliklere sahiptir ve bazen genel olarak GPT'ler olarak anılırlar.

Microsoft Copilot, Microsoft tarafından geliştirilen ve 7 Şubat 2023'te piyasaya sürülen bir sohbet robotudur. Geniş bir dil yelpazesini esas alarak kaynak gösterme, şiir ve şarkı yazma işlemlerini yapabilir.

Claude, Anthropic tarafından geliştirilen geniş kapsamlı dil modelleri ailesidir. İlk model Mart 2023'te piyasaya sürüldü. Mart 2024'te çıkan Claude 3 ise görselleri de analiz edebiliyor.

GPT-4o, OpenAI tarafından oluşturulan çok dilli, çok modlu, önceden eğitilmiş üretken dönüştürücüdür. OpenAI CTO'su Mira Murati önderliğinde 13 Mayıs 2024 tarihinde gerçekleştirilen canlı yayında duyurulmuş ve aynı gün yayınlanmıştır. GPT-4o ücretsiz olmakla birlikte, ChatGPT Plus aboneleri için 5 kat daha fazla kullanım limitine sahiptir. Metin, görüntü ve ses işleyebilmekte ve üretebilmektedir. API'si önceki GPT-4 Turbo'ya kıyasla iki kat daha hızlı ve yarı fiyatınadır.

Hugging Face, Inc., bir Fransız-Amerikan şirketi.. New York City merkezli olan şirket, makine öğrenimi kullanarak uygulamalar geliştirmek için hesaplama araçları sağlayan bir platform geliştirmektedir. Şirket, özellikle doğal dil işleme uygulamaları için geliştirilen transformer kütüphaneleri ile ve kullanıcıların makine öğrenimi modellerini, veri setlerini paylaşabildikleri ve çalışmalarını sergileyebildikleri platformuyla bilinmektedir.

<span class="mw-page-title-main">Greg Brockman</span> araştırmacı

Greg Brockman, OpenAI kurucu ortağı Amerikalı girişimci, yatırımcı ve yazılım geliştirici. Şu anda OpenAI'ın başkanlık görevini yürütmektedir. Kariyerine 2010 yılında Stripe'da başlamış ve MIT'den ayrıldıktan sonra bu şirkette çalışmaya başlamıştır. 2013 yılında Stripe'ın CTO'su olmuştur. 2015 yılında Stripe'tan ayrılarak OpenAI'ı kurmuş ve burada da CTO rolünü üstlenmiştir.

<span class="mw-page-title-main">SearchGPT</span>

SearchGPT, OpenAI tarafından geliştirilen bir prototip arama motoru. 26 Temmuz 2024'te piyasaya sürülen bu prototip, geleneksel arama motoru özelliklerini üretken yapay zekâ yetenekleriyle birleştirmektedir. Bu arama özelliği, OpenAI'yi büyük arama motorlarına, özellikle de Google ve Bing gibi büyük rakiplerin doğrudan karşısına koymaktadır; Bing, OpenAI'nin en büyük yatırımcısı olan Microsoft'un bir ürünüdür. SearchGPT ilk olarak 10.000 test kullanıcısına sınırlı bir sürüm olarak tanıtılmıştır. OpenAI, nihai hedef olarak arama özelliklerini ChatGPT'ye entegre etmeyi planlamaktadır.

o1, OpenAI tarafından geliştirilen ve çok adımlı problemleri analiz edebilme yeteneğine sahip önceden eğitilmiş üretken dönüştürücü yapay zekâ modeli. 12 Eylül 2024 tarihinde duyurulmuştur.

Wojciech Zaremba, Polonyalı bilgisayar bilimci ve OpenAI'ın kurucu ortağı. OpenAI'da Codex araştırma ve dil takımlarını yönetmektedir. Bu takım, bilgisayar kodu yazabilen yapay zeka üzerinde aktif olarak çalışmaktadır. Ayrıca, GPT serisi dil modelleri üzerinde de çalışmaktadır.


Bu sayfa, bu Vikipedi makalesine dayanmaktadır.
Metin, CC BY-SA 4.0 lisansı altında mevcuttur; ek koşullar uygulanabilir.
Görseller, videolar ve sesler kendi lisansları altında mevcuttur.