Google’dan iki yeni yapay zekâ işlemcisi: TPU 8tx ve TPU 8i Max tanıtıldı

Google, yapay zekâ modellerini çalıştırmak için kendi tasarladığı sekizinci nesil TPU ailesine iki sistem daha ekledi. 9 Kasım’da duyurulan TPU 8tx hassas verilerle çalışan kurumlara, TPU 8i Max ise bir yazılım deposunun tamamı ya da saatlerce süren bir video gibi uzun girdileri işleyen modellere yönelik.

TPU 8tx neyi farklı yapıyor?

8tx, eğitim için daha önce duyurulan TPU 8t ile aynı yongayı kullanıyor; yanına AMD’nin beşinci nesil EPYC sunucuları ve Google’ın Boardfly adını verdiği düşük gecikmeli ağ ekleniyor. Asıl iddia güvenlik tarafında. Normalde diskte ve ağda şifreli duran veri, hesaplama sırasında bellekte açılıyor. Google, 8tx’te model ağırlıklarının ve şirketlerin özel verilerinin bu aşamada da donanım düzeyinde korunduğunu söylüyor. Şirkete göre Boardfly ağı gecikmeyi 8t’ye kıyasla iki kata kadar azaltıyor; bir kurum da modelini aynı sistemde kendi verisiyle ince ayarlayıp hemen kullanabiliyor, veriyi ayrı kümeler arasında taşımak zorunda kalmıyor.

Bunu da okuyun: Avustralya, OpenAI’ın Medicare sızıntısı sonrası yapay zekâya bildirim zorunluluğu getiriyor

TPU 8i Max kimin için?

8i Max, iki adet 8i yongasını tek pakete sığdırıyor. Google’ın verdiği değerlere göre hesaplama gücü, yonga içi SRAM ve HBM bellek bant genişliği tek 8i’ye göre iki katına çıkıyor, paket de raftaki aynı yeri kaplıyor. Yine de donanımdaki iki kat artış her uygulamanın iki kat hızlanacağı anlamına gelmiyor; sonuç, işin bellek, ağ ve hesaplama arasında nasıl bölündüğüne bağlı.

Böylece ailede dört üye oldu: büyük ölçekli eğitim için 8t, hızlı yanıt isteyen model çalıştırma işleri için 8i, bir de yeni gelen 8tx ve 8i Max. Google yazılım tarafında, PyTorch modellerini TPU’ya taşıyan TorchTPU’nun ardından donanımdaki darboğazları bulmaya yarayan açık kaynak araç takımını da ön izlemeye açtı. Google’ın yapay zekâ cephesindeki önceki adımlarından biri için: DeepMind’ın RSA-1024 çalışması.

Kaynak: Teknoblog