Transformer (derin öğrenme mimarisi)

Derin öğrenme alanında Transformer mimarisi, Google araştırmacıları tarafından geliştirilen ve çok başlı dikkat (multi-head attention) mekanizmasına dayanan bir derin öğrenme mimarisidir. İlk kez 2017 tarihli "Attention Is All You Need" başlıklı makale ile önerilmiştir. Metin verileri "token" adı verilen sayısal temsillere dönüştürülür ve her bir token, bir kelime gömme (embedding) tablosundan eşleme yapılarak bir vektöre çevrilir. Her katmanda, her bir token, bağlam penceresi içindeki diğer (maskelenmemiş) tokenlerle etkileşime girerek ilişkisel bilgileri çıkartır. Elde edilen dikkat çıktıları, tam bağlantılı ileri beslemeli katmana aktarılır; burada her token için ayrı ayrı uygulanan doğrusal dönüşümler ve aktivasyon fonksiyonlarıyla öğrenilen özellikler zenginleştirilir. Bu iki adımın ardışık olarak işlenmesi ile model önemli bilgileri öne çıkarırken gereksiz detayları filtrelemiş olur ve derin bağlamsal anlayış sağlanır.