GPT-3
| Yazar | OpenAI |
|---|---|
| İlk yayınlanma | 11 Haziran 2020 (beta) |
| Kod deposu | |
| Resmî sitesi | openai.com/blog/openai-api |
| Makine öğrenmesi ve veri madenciliği |
|---|
 |
Generative Pre-trained Transformer 3 (Türkçe: Üretken Ön İşlemeli Dönüştürücü 3)[1] kısaca GPT-3, insanların yazdığı metinlere benzer içerik üretmek için derin öğrenmeyi kullanan özbağlanımlı dil modelidir. GPT-1 ve GPT-2'nin ardılıdır. GPT-n serisindeki üçüncü nesil dil tahmin modeli olan GPT-3, San Francisco merkezli yapay zeka araştırma laboratuvarı OpenAI tarafından geliştirilmiştir.[2] GPT-3'ün tam sürümü, veri işleyecek 175 milyar parametreye sahiptir. Bu rakam GPT-2'nin öğrenme kapasitesinin 2 katıdır. 14 Mayıs 2020'de tanıtılan ve Temmuz 2020 itibarıyla beta aşamasında olan GPT-3,[3] önceden öğretilmiş dil örnekleriyle doğal dil işleme (NLP) sistemini kullanmaktadır. GPT-3'ün piyasaya sürülmesinden önce, en büyük dil modeli Microsoft'un Şubat 2020'de tanıttığı ve GPT-3'ün %10'undan daha az kapasiteye sahip olan (17 milyar parametre) Turing NLG idi.[4] GPT-3 tarafından üretilen metnin kalitesi o kadar yüksektir ki, bir insan tarafından yazılmadığını anlamak zordur. Bu durumun yaratabileceği avantajlar olabileceği gibi riskler de vardır.[4] 31 OpenAI araştırmacısı ve mühendisi, 28 Mayıs 2020'de GPT-3'ü tanıtan orijinal makaleyi yayımlamıştır. Makalelerinde, GPT-3'ün potansiyel tehlikeleri konusunda insanları uyarmış ve bu riski azaltmak için çalışmalar yapılması gerektiği çağrısında bulunmuşlardır. Avustralyalı filozof David Chalmers, GPT-3'ü "şimdiye kadar üretilmiş en ilginç ve önemli yapay zeka sistemlerinden biri" olarak tanımlamıştır.[5]
Arka planı
[değiştir | kaynağı değiştir]The Economist'e göre, geliştirilmiş algoritmalar, güçlü bilgisayarlar ve sayısallaştırılmış verilerdeki artış, makine öğreniminde bir devrimi tetiklemiştir.[6] Yazılım modelleri, bir "yapıda" binlerce veya milyonlarca örnek kullanarak öğrenmek üzere eğitilmektedir. Doğal dil işlemede (NLP) kullanılan mimari, ilk olarak 2017'de tanıtılan derin öğrenme modeline dayanan Transformer adlı yapay sinir ağıdır. GPT-n modellerinin yapısı, Transformer tabanlı derin öğrenme sistemine dayanmaktadır. Veri işleme, veri madenciliği, veri düzenleme, veriler arası bağlantı kurma, verilerde zıtlık oluşturma, verileri anlama ve sorulara yanıt verme becerisine sahip bir dizi NLP sistemi vardır.[7]
Yapabildikleri
[değiştir | kaynağı değiştir]OpenAI'de çalışan 31 mühendis ve araştırmacıdan oluşan grup projeyi 28 Mayıs 2020'de tanıttı.[4] Ekip, GPT-3'ün kapasitesinin selefi GPT-2'ye nazaran iki kat fazla olduğunu ve türünün en gelişmiş örneği olduğunu belirtmiştir.[2] GPT-3'ün parametre sayısı, daha küçük kapasiteli önceki sürümlere kıyasla daha doğru çalışmasını sağlamaktadır.[8] GPT-3'ün kapasitesi, Microsoft'un Turing NLG'sinin on katından fazladır.
GPT-3'e öğrenmesi için verilen veri kümesinin %60'ının kaynağı, 410 milyar veriden oluşan filtrelenmiş Common Crawl sürümüdür. Veri kümesinin %22'si İnternetteki verilerden, %16'sı şimdiye kadar yayımlanmış kitaplardan ve %3'ü Wikipedia'dan gelmektedir. GPT-3, yüz milyarlarca kelimenin yanı sıra CSS, JSX, Python'da kodlama yeteneğine sahiptir.[3] GPT-3'ün eğitim verileri her şeyi kapsadığından, farklı dil görevleri için daha fazla veri öğrenmesi gerekmemektedir.
11 Haziran 2020'de OpenAI, kullanıcıların OpenAI'nin yeni teknolojisinin "güçlü yönlerini ve sınırlarını keşfetmesine" yardımcı olmak için kullanıcı dostu GPT-3 API'sine ("makine öğrenimi araç seti") erişim talep edebileceklerini duyurmuştur.[9][10] Davetiyede, bu API'nin neredeyse "tüm İngilizce komutları" tamamlayabildiğini yazmaktadır. OpenAI GPT-3 API'nin erken sürümüne erişim hakkı olan bir kullanıcıya göre, GPT-3 "inanılmaz derecede tutarlı metinler" yazma konusunda "ürkütücü derecede iyiydi".[11]
GPT-3, insanlar tarafından yazılan makalelerden ayırt etmekte güçlük çekilen haberler üretebildiğinden",[4] GPT-3'ün hem yararlı hem de zararlı uygulamaların geliştirilmesinde kullanılabileceği düşünülmektedir. Araştırmacılar 28 Mayıs 2020 tarihli makalelerinde GPT-3'ün potansiyel zararlı etkilerini detaylıca açıklamışlardır. Yanlış bilgi üretimi, spam, kimlik avı, yasal ve hükûmet süreçlerinin kötüye kullanımı, sahte akademik makale yazma ve sosyal mühendislik potansiyel zararlı etkilerden bazılarıdır. Yazarlar, bu risklerin azaltılması konusunda araştırmalar yapılması için bu tehlikelere dikkat çekmektedir.
Ayrıca Bakınız
[değiştir | kaynağı değiştir]Kaynakça
[değiştir | kaynağı değiştir]- ^ "Yapay zekâ: Yeni nesil GPT-3 yüzünden korkmalı mı, sevinmeli mi?". BBC News Türkçe. 10 Ağustos 2020. 10 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Ağustos 2020.
- ^ a b Shead (23 Temmuz 2020). "Why everyone is talking about the A.I. text generator released by an Elon Musk-backed lab". CNBC. 30 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020. Four preprints were released between May 28 and July 22, 2020.
- ^ a b "Will GPT-3 Kill Coding?". Towards Data Science. 21 Temmuz 2020. 19 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Ağustos 2020.
- ^ a b c d Sagar (3 Haziran 2020). "OpenAI Releases GPT-3, The Largest Model So Far". Analytics India Magazine. 4 Ağustos 2020 tarihinde kaynağından arşivlendi31 Temmuz 2020.
- ^ Weinberg, Justin (30 Temmuz 2020). "Philosophers On GPT-3 (updated with replies by GPT-3)". Daily Nous. 4 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 4 Ağustos 2020.
- ^ "An understanding of AI's limitations is starting to sink in". The Economist. 11 Haziran 2020. ISSN 0013-0613. 31 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.
- ^ "Natural Language Processing". 22 Ağustos 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.
- ^ "OpenAI's gigantic GPT-3 hints at the limits of language models for AI". ZDNet. 1 Haziran 2020. 1 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.
- ^ "OpenAI API". OpenAI. 11 Haziran 2020. 11 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 16 Ağustos 2020.
- ^ "TechCrunch – Startup and Technology News". TechCrunch. 11 Haziran 2020. 12 Haziran 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.
If you’ve ever wanted to try out OpenAI’s vaunted machine learning toolset, it just got a lot easier. The company has released an API that lets developers call its AI tools in on “virtually any English language task.”
- ^ "GPT-3: An AI that's eerily good at writing almost anything". Arram Sabeti. 9 Temmuz 2020. 20 Temmuz 2020 tarihinde kaynağından arşivlendi. Erişim tarihi: 31 Temmuz 2020.