Google yapay zekâya ‘uyku’ öğretiyor: Model yeni bilgiyi unutmayacak

Google Research, dil modellerinin kısa süreli öğrendiği bilgiyi kalıcı hale getirmek için bir “uyku” aşaması deneyen yeni bir çalışma yayımladı. Yöntem şimdilik araştırma düzeyinde; Gemini gibi ürünlere ne zaman geleceği açıklanmadı.

Buradaki uyku, makinenin yorulduğu ya da dinlendiği anlamına gelmiyor. Araştırmacılar, insan beyninin uyurken gün içinde öğrendiklerini belleğe yerleştirmesinden ilham almış. Model önce “etkin” aşamada çalışıyor ve gelen bilgiyi hızlı ama geçici bir bellekte tutuyor. Ardından gelen uyku aşamasında bu geçici bilgi, modelin kalıcı parametrelerine aktarılıyor. Böylece sohbet penceresi kapanınca uçup giden bilgi, sonraki öğrenme adımlarında da elde kalıyor.

Bunu da okuyun: Xiaomi’nin açık yapay zekâ modeli belgedeki tablo ve formülleri okuyor

Hangi sorunu çözmeye çalışıyor?

Bugünkü modellerin bilinen bir zaafı var: yeni bir görev öğrettiğinizde eski görevlerdeki başarıları düşebiliyor. Google, etkin ve uyku aşamalarını sırayla çalıştırmanın bu unutmayı azaltabileceğini, bazı akıl yürütme görevlerinde de sonucu iyileştirebileceğini söylüyor. Çalışmada modelin kendi ürettiği yapay örneklerle öğrenmeyi sürdürdüğü ayrı bir aşama da deneniyor.

Testler arasında ilginç bir ayrıntı var: modeller, Çin’in kuzeydoğusunda neredeyse unutulmuş Mançuca ile Endonezya’da az sayıda kişinin konuştuğu Kalamangca üzerinden sürekli dil öğrenme sınavına sokulmuş. Bazı matematik testlerinde farklı büyüklükteki modeller karşılaştırılmış.

10 milyon token ne demek?

Duyuruda öne çıkan 10 milyon tokenlık bilgi tutma sonucu belirli bir uzun bağlam testine ait. Yani her Gemini kullanıcısına bu büyüklükte kalıcı bir kişisel bellek açıldığı anlamına gelmiyor. Teknoblog’un da altını çizdiği gibi, sohbet uygulamalarının bütün konuşmaları eksiksiz hatırlayacağı bir güncelleme şimdilik söz konusu değil.

Yapay zekâ şirketleri son aylarda modellerin kendini geliştirmesi üzerine yarışıyor; Anthropic de kısa süre önce bu konuda dikkat çeken bir uyarı yapmıştı.

Kaynak: Teknoblog, Google Research