Yapay Zeka: Derin Öğrenme

Veri Bilimi

08 Haziran 2024 22:55
Tuğberk Karan
2023-2024 Proje Ekibi Koordinatörü

Serinin son yazısı ile karşınızdayım. Birçok filme, kitaba ya da diziye konu olan, insan yaşamını değiştiren ve özellikle de bugünlerin en popüler konularından biri olan yapay zekaya kabaca bir göz attık. Bebeklik ve çocukluk dönemine baktık. Serinin birinci ve ikinci yazılarına da ilgili linklerden ulaşabilirsiniz. Ergenliğe yapay zekamız ile ikinci yazımızı noktalamıştık. Şimdi gelin yapay zekanın gençlik dönemine geçelim. Keyifli okumalar dilerim.

1980 — Hopfield Ağı

1980 yılında, Amerikalı nörobilimci olan John Hopfield tarafından “Hopfield Ağı” olarak bilinen bir yapay sinir ağı modeli önerildi. Bu model, tekrarlayan bir yapay sinir ağı ve bir spin cam sistemi türüdür. Hopfield ağları, ikili eşikli düğümler veya sürekli değişkenler ile içerik adreslenebilir (ilişkisel) bellek sistemleri olarak hizmet verirler. Hopfield ağları ayrıca insan belleğini anlamak için de bir model sağlamış olur.

Hopfield ağı fikri, Erns Ising’in Wilhelm Lenz ile Ising modeli üzerindeki çalışmasına dayanarak 1972'de Shun’ichi Amari ve 1974'te Litte tarafından tanımlanmıştır. Hopfield, 1982’deki makalesinde bu çalışmalara atıfta bulunmuştur1 Hopfield, 1984’teki makalesinde sürekli dinamiklere sahip ağlar geliştirmiştir. Büyük bellek depolama kapasitesine sahip Hopfield Ağları artık Yoğun İlişkisel Bellekler veya modern Hopfield ağları olarak adlandırılmaktadır.

Hopfield ağı modeli, örüntü tanıma ve depolama yoluyla insan hafızasını simüle etme kavramı ile ilişkilidir. Bir Hopfield ağına yeni bir durum tanıtıldığında, her nöron orijinal durumla eşleşene kadar değişir. Böylece, Hopfield ağları etkileşim matrisinde depolanan durumları “hatırlama” yeteneğine sahiptir.

1986 — Geri Yayılım Algoritması

Geoffrey Hinton, David Rumelhart ve Ronald Williams, 1986 yılında yapay sinir ağlarını eğitmek için geri yayılım algoritmasını geliştirdiler. Bu algoritma, çok katmanlı sinir ağlarının ağırlıklarını ayarlamak için hata gradyanlarını ters yönde yaymak suretiyle çalışır. Geri yayılım algoritması, yapay sinir ağlarının öğrenme yeteneğini artırmak ve karmaşık problemleri çözmek için yapılmıştır. Geri yayılım algoritması, derin öğrenme alanında çığır açan bir buluştur ve günümüzde pek çok uygulamada kullanılmaktadır.

Böyle söyleyince biraz karışık gelmiş olabilir. Algoritmanın çalışma şeklini şöyle açıklayabilirim;

Sinir ağına bir giriş verilir ve ileri yönde işlenerek bir çıktı üretilir.
Çıktı ile gerçek değer arasındaki farkın bir ölçüsü olan maliyet fonksiyonu hesaplanır. Maliyet fonksiyonu ne kadar küçükse, sinir ağının performansı o kadar iyidir.
Maliyet fonksiyonunun her bir parametreye göre türevi alınır. Bu türevler, parametreleri nasıl değiştirmemiz gerektiğini gösteren hata gradyanlarını verir.
Hata gradyanları ters yönde yayılarak sinir ağının her katmanındaki parametreler güncellenir. Güncelleme işlemi için bir öğrenme oranı belirlenir. Öğrenme oranı, parametrelerin ne kadar hızlı değişeceğini kontrol eder.
Bu işlem eğitim setindeki tüm veri noktaları için tekrarlanır. Bu şekilde sinir ağı, maliyet fonksiyonunu en aza indirmeye çalışır ve daha iyi tahminler yapmayı öğrenir.

1997 — Deep Blue

Muhtemelen bu yazıda şu ana kadar hemen herkesin duyduğunu düşündüğüm bilgisayar, Deep Blue. Hikayenin bir kahramanı Deep Blue iken diğer kahraman da Garry Kasparov. Başlamadan size kısaca Kasparov’dan bahsetmek istiyorum. Garry Kasparov, 1963 yılında doğmuş Rus satranç oyuncusudur. 1985 yılında dünya şampiyonu oldu ve 2000 yılına kadar bu unvanını korudu. Tarihin en iyi satranç oyuncularından biri olarak kabul edilir.

Gelelim hikayemize. 1997 yılında IBM’in Deep Blue adlı bilgisayarı dünya satranç şampiyonu Garry Kasparov’u yendi. Bu olay, satranç tarihinde ve yapay zeka alanında bir dönüm noktası oldu. Deep Blue, Kasparov’u altı oyunluk bir maçta 3,5 ‘a 2,5 skorla mağlup etti. Bu, bir bilgisayarın turnuva koşullarında bir dünya şampiyonunu yenmesi anlamına geliyordu. Bu başarıya ulaşmak için IBM, Deep Blue’yu 1989’da Kasparov’u yenen ilk bilgisayar olan Deep Thought’un geliştirilmiş bir versiyonu olarak tasarladı. Deep Blue, saniyede 200 milyon pozisyon analiz edebilen ve Kasparov’un hamlelerine uyum sağlayabilen çok güçlü bir süper bilgisayardı. Kasparov’u yenen ilk bilgisayar o zaman Deep Blue değil diye düşünebilirsiniz ancak, Deep Thought’un Kasparov’u yenmesi turnuva koşullarında olmadığı için tarihi bir öneme sahip değildi.

Kasparov ile Deep Blue arasındaki ilk maç 1996 yılında Philadelphia’da yapıldı. Kasparov bu maçı 4–2 kazandı. Ancak Deep Blue ilk oyunu kazanarak bir bilgisayarın turnuva koşullarında bir dünya şampiyonunu yenmesinin de ilk örneğini sergiledi. 1997 yılında New York’ta yapılan rövanş maçında ise Deep Blue daha da geliştirilmişti. Kasparov ilk oyunu kazandı ancak ikinci oyunu kaybetti ve üçüncü ile dördüncü oyunlar berabere bitti. Beşinci oyunda ise Deep Blue, Kasparov’u çok zorlayan ve onun hata yapmasına neden olan bir hamle yaptı. Kasparov bu hamleyi insan yapmış gibi algıladı ve Deep Blue’nun hile yaptığını düşündü. Bu psikolojik etki altında altıncı oyunu da kaybeden Kasparov, maçı terk etti ve basın toplantısı yapmadan ayrıldı.

Deep Blue’nun zaferi, medyada geniş yer buldu ve bilgisayar ünlü bir isim haline geldi. Deep Blue’nun başarısı, yapay zekanın insan zekasına yaklaştığını ve insanlığın büyük entelektüel şampiyonlarından birini yenebileceğini gösterdi. Daha sonraki analizler ise Kasparov’un kaybını kendi performansının kötülüğüne ve satrancın kaba kuvvetle yenilebilen bir oyun olmasına bağladı.

2005 — Google Brain

2005 yılında Google, Google Brain adlı derin öğrenme projesini başlattı. Bu proje, açık uçlu makine öğrenimi araştırmalarını, bilgi sistemleri ve büyük ölçekli hesaplama kaynakları ile birleştirmeyi amaçlıyordu. Google X’in bir parçası olarak Jeff Dean, Greg Corrado ve Andrew Ng tarafından kuruldu.

Google Brain, derin öğrenme alanında pek çok çığır açan çalışmaya imza attı. Bunlardan bazılarını saymak gerekirse;

TensorFlow gibi nöral ağları halka açık hale getiren araçlar geliştirdi.
Sıralı öğrenme, Transformer ve BERT gibi doğal dil işleme modelleri geliştirdi.
AutoML gibi üretim kullanımı için otomatik makine öğrenimi sistemleri geliştirdi.
Project Euphonia gibi konuşma engelli insanların iletişimini iyileştirmeye yönelik projeler yaptı.
Magenta gibi yaratıcı süreçte makine öğreniminin rolünü araştıran projeler yaptı.

Projelerin her birine tek tek değinmeyeceğim. Belki ilerleyen dönemlerde bu projelere ait detayları içeren bir yazı da paylaşabilirim.

2011 — IBM Watson

Yine bir IBM bilgisayarı ile karşınızdayız ve biraz daha günümüze yaklaştık. 2011 yılında IBM’in Watson adlı bilgisayarı Jeopardy! adlı yarışma programında iki insan yarışmacıyı yendi. Watson, Jeopardy! programının karmaşık ve çeşitli sorularını anlayabilen ve hızlı ve doğru cevaplar verebilen gelişmiş bir soru-cevap sistemiydi. Bilgisayarın katıldığı Jeopardy! ise, Amerika’da yayınlanan bir yarışma programıdır. Programda yarışmacılar, sunucunun verdiği ipuçlarına uygun soruları bulmaya çalışırlar. Örneğin, sunucu “Bu ülke 1923 yılında kuruldu” dediğinde, yarışmacılar “Türkiye nedir?” şeklinde bir cevap vermelidir.

Watson’ın geliştirilmesi 2004 yılında başladı ve 2011 yılına kadar sürdü. IBM, Watson’ı Jeopardy! programının eski şampiyonları Ken Jennings ve Brad Rutter ile yarıştırmak için tasarladı. Watson, soruları elektronik olarak aldı ve insan rakipleri gibi bir zil çalarak cevap verdi. Sorular tarih, edebiyat, politika, film, pop kültürü ve bilim gibi geniş bir konu yelpazesini kapsıyordu ve insanları yanıltmak için kasıtlı olarak belirsiz veya ironik şekilde ifade ediliyordu. Watson, internete veya başka bir yardıma bağlı değildi ve sadece önceden öğrendiği bilgileri kullanabiliyordu. Üç günlük bir maç sonunda Watson, 77.147 $ ile galip geldi. Jennings 24.000 $, Rutter ise 21.600 $ kazandı.

Watson’ın geliştirilmesinde kullanılan teknolojiler daha sonra pek çok alanda uygulama buldu. Örneğin, sağlık, eğitim, finans, hukuk gibi sektörlerde soru-cevap sistemleri geliştirildi. Watson ayrıca IBM’in bulut bilişim platformunun da bir parçası oldu.

2014 — DeepFace

Hatırlayanlarınız vardır, bir dönem herkes DeepFace verileri ile oluşturulmuş yapay zeka insan yüzleri ile taklitler yapıyordu ve sosyal medyada epeyce de güncem olmuştu. 2014 yılında Facebook, insanların yüzlerini tanımak için derin öğrenme kullanan DeepFace adlı bir sistem geliştirdi. Bu sistem, dijital görüntülerdeki insan yüzlerini %97.35 doğrulukla tanıyabiliyordu. Bu oran, insanların yüz tanıma performansına çok yakındı. Sistem, dokuz katmanlı bir yapay sinir ağı kullanıyor ve Facebook kullanıcıları tarafından yüklenen dört milyon görüntü ile eğitiliyordu.

DeepFace’in amacı, Facebook’un yüz tanıma teknolojisini geliştirmek ve kullanıcıların fotoğraflarını daha kolay etiketlemelerine yardımcı olmaktı. Ayrıca sistem, Facebook’un yapay zeka alanındaki araştırma gücünü de gösterdi. Facebook’un yapay zeka araştırma ekibi tarafından üretildi. Ekip, Tel Aviv Üniversitesi’nden Lior Wolf, Facebook’tan Yainiv Taigman ve Ming Yang’dan oluşuyordu.

DeepFace’in çalışma prensibi şöyleydi: Öncelikle sistem, görüntüdeki yüzleri tespit ediyor, 2D ve 3D hizalama yöntemleri ile yüzleri standart bir pozisyona getiriyordu. Bu işlem, yüzlerin açısını ve ışığını düzeltiyordu. Daha sonra sistem, yüzleri dokuz katmanlı bir sinir ağına veriyor ve her yüz için 4096 boyutlu bir vektör elde ediyordu. Bu vektörler, yüzlerin özelliklerini temsil ediyordu. Son olarak sistem, iki yüzün vektörlerini karşılaştırarak benzerlik derecelerini hesaplıyor ve aynı kişiye ait olup olmadıklarına karar veriyordu.

Facebook, bu teknolojiyi kullanarak kullanıcıların fotoğraflarını otomatik olarak etiketleyebiliyor ve kimlik doğrulama yapabiliyordu. Ayrıca sistem, Facebook’un yapay zeka alanındaki diğer çalışmalarına da katkı sağladı. Örnek vermek gerelirse, Facebook daha sonra DeepFace’in kullandığı sinir ağı mimarisini geliştirerek ResNet adlı bir model oluşturdu. ResNet, görüntü sınıflandırma alanında yeni bir rekor kırdı.

2016 — AlphaGo

2016 yılında Google’ın AlphaGo adlı programı Go oyununda dünya şampiyonu Lee Sedol’u yendi. Lee Sedol, 18 dünya şampiyonluğu olan ve son on yılın en iyi oyuncusu olarak kabul edilen Güney Koreli bir Go oyuncusuydu. Bu olay, yapay zekanın insan zekasına meydan okuduğu ve Go oyununda büyük bir başarı elde ettiği bir dönüm noktası oldu. AlphaGo, Go oyununu öğrenmek için derin öğrenme kullanan bir bilgisayar programıydı. Program, milyonlarca Go oyununu analiz ederek ve kendisiyle oynayarak gelişiyordu.

AlphaGo’nun geliştirilmesi, Google’ın yapay zeka araştırma şirketi DeepMind tarafından yapıldı. Ekip, Demis Hassabis, David Silver ve Aja Huang’dan oluşuyordu.

AlphaGo ile Lee Sedol arasındaki maç Seul’de beş oyunluk bir seri olarak yapıldı. AlphaGo dördüncü oyun hariç tüm oyunları kazandı ve maçı 4–1 kazandı. Tüm oyunlar teslim olma ile sonuçlandı.

Maç, Go oyununun ve yapay zekanın tarihinde bir ilkti. Go oyunu, satrançtan çok daha karmaşık ve sezgisel bir oyundur. Yapay zeka alanında uzmanlar, o dönem için bilgisayarların insanlardan daha iyi Go oynayabilmesinin on yıl uzakta olduğunu düşünüyordu. AlphaGo’nun Lee Sedol’u yenmesi, yapay zekanın insan zekasına yaklaştığını ve insanların büyük entelektüel meydan okumalarından birini aşabileceğini gösterdi diyebiliriz.

2018 — GPT ve BERT

Günümüze geldiğimiz noktada ele alacağımız son konu, GPT ve BERT olacak. 2018 yılında OpenAI ve DeepMind, doğal dil işleme için büyük ölçekli derin öğrenme modelleri olan GPT ve BERT’i tanıttılar. Eğer bu yazıyı yayınlandığı yıl olan 2023 içerisinde okuyorsan zaten bu araların en büyük gündemlerinden biri olan GPT hakkında bilgin vardır ama gel birkaç ufak noktaya göz atalım.

GPT (Generative Pre-trained Transformer), OpenAI tarafından geliştirilen bir metin üretme modeliydi. GPT, büyük bir metin veri kümesi üzerinde önceden eğitiliyor ve daha sonra belirli bir göreve uygun olarak ince ayarlanıyordu. GPT, metni soldan sağa doğru işleyen otoregresif bir modeldi. Yani sadece önceki sözcükleri kullanarak sonraki sözcüğü tahmin ediyordu. GPT, metin üretmenin yanı sıra metin sınıflandırma, makale özetleme, makine çevirisi gibi pek çok doğal dil işleme görevinde de başarılı sonuçlar veriyordu.

BERT (Bidirectional Encoder Representations from Transformers), DeepMind tarafından geliştirilen bir metin anlama modeliydi. BERT de GPT gibi büyük bir metin veri kümesi üzerinde önceden eğitiliyor ve daha sonra belirli bir göreve uygun olarak ince ayarlanıyordu. Ancak BERT, metni hem soldan sağa hem de sağdan sola doğru işleyen çift yönlü bir modeldi. Yani hem önceki hem de sonraki sözcükleri kullanarak her sözcüğün anlamını belirliyordu. BERT, metin anlamanın yanı sıra soru-cevap, isim varlığı tanıma, duygu analizi gibi pek çok doğal dil işleme görevinde de başarılı sonuçlar veriyordu.

GPT ve BERT’in geliştirilmesi, doğal dil işleme alanında yeni bir çağın başlangıcı oldu. Bu modeller, insan dilini anlamak ve üretmek için yeni standartlar belirlediler. Ayrıca bu modellerin devamı niteliğinde yeni modeller de ortaya çıktı. Örneğin, GPT-2, GPT-3, RoBERTa, ALBERT gibi modeller hem GPT hem de BERT’in geliştirdiği teknikleri kullandılar ve daha büyük veri kümesi ve daha fazla parametre ile daha iyi performans gösterdiler. Üstelik henüz geçtiğimiz günlerde tanıtımı ypılan GPT-4 modelini de unutmamak lazım. Buradaki linkten tanıtım videosuna ulaşabilirsiniz. Bu modellerin uygulama alanları da çok genişledi. Örneğin, chatbotlar, sesli asistanlar, içerik üreticileri, arama motorları gibi pek çok alanda bu modellerden faydalanıldı.

Öncelikle her ne kadar kısaltmaya çalışsam da yazı biraz uzun oldu kabul ve buraya kadar okuduğunuz için gerçekten tebrik ve teşekkür ederim. Tüm yapay zeka serisini okuduysanız ayrıca tebrik ederim. Teknolojinin gelişmesi inanılmaz bir hızda ilerliyor ve hem bu teknolojinin üreticisi hem de kullanıcısı konumunda olan insanlık için birçok kolaylık ve bilinmezlik de her geçen gün birer birer hayatımıza giriyor. 1950'li yıllarda yapılan çalışmalar ile şu an içerisinde bulunduğumuz durumu düşününce bile bu hızın inanılmaz seviyede olduğu görülmekte.

200.000 yıl önce başlayan insanlık tarihimizde kullandığımız en güzel özellik adaptaysondu (ki bu da farklı bir içerik konusu) ve bu adaptasyon sayesinde insanlık hayatta kaldı, gelişti, geliştirdi. Bugün de değişen ve gelişen dünyaya ayak uydurabilmek için araştırmanın, öğrenmenin ve öğretmenin yolundan ilerlemek için elimizden geleni yapmalıyız.

Henüz okumadıysanız ve eğer merak ediyorsanız;

Bir sonraki içerikte görüşmek dileğiyle. Sağlıkla, mutlulukla, huzurla kalın.

Patreon üzerinden destek olmak isterseniz, buradan destekte bulunabilirsiniz. Şimdiden desteğiniz için çok teşekkür ederim 😊

Yapay Zeka: Derin Öğrenme

Yapay Zeka: Derin Öğrenme

1980 — Hopfield Ağı

1986 — Geri Yayılım Algoritması

1997 — Deep Blue

2005 — Google Brain

2011 — IBM Watson

2014 — DeepFace

2016 — AlphaGo

2018 — GPT ve BERT

Kaynakça:

Topluluğumuza Üye Ol: