Tencent’in yapay zekâsı konuşmayı cümle bitmeden çeviriyor: Ses de klonluyor
Tencent, Çince ile İngilizce arasında anlık sesli çeviri yapan Hy-SimulMT modelini açık kaynak olarak yayımladı. Gecikme yaklaşık 3 saniye.
Çinli teknoloji şirketi Tencent, konuşmacı cümlesini bitirmeden çeviriye başlayan Hy-SimulMT adlı yapay zekâ modelini tanıttı. Model, Çince ile İngilizce arasında iki yönlü, gerçek zamanlı sesli çeviri yapıyor ve konuşanın sesini taklit ederek karşı dilde konuşabiliyor.
Modeli Tencent’in yapay zekâ birimi Hunyuan geliştirdi. Canlı çevirinin asıl derdi, çevirmenin cümlenin sonunu ne kadar bekleyeceği. Fazla beklerse karşı taraf susup kalıyor, erken başlarsa anlam kayıyor. Hy-SimulMT gelen sesi sürekli dinliyor ve anlamı çıkaracak kadar bağlam topladığına karar verdiği anda çeviriyi başlatıyor.
Bunu da okuyun: Çin’de elektrikli kamyon satışları yüzde 50’yi aştı: Dizel talebi düşüyor
Ne kadar hızlı?
Tencent’in paylaştığı uzun ses testinde model yaklaşık 3 saniyelik gecikmeyle karşılaştırılan sistemlerin en hızlısı oldu. Çeviri kalitesini ölçen GEMBA puanında ise tüm açık kaynaklı modelleri ve beş ticari çeviri servisinden dördünü geride bıraktı. Şirket, modelin çeviride insan tercümanlardan daha az hata yaptığını da öne sürüyor; bu sonuçlar şimdilik Tencent’in kendi açıkladığı rakamlar.
Ses klonlama özelliği özellikle çok kişili toplantı ve röportajlar için düşünülmüş: Dinleyen kişi, çeviriyi duyarken kimin konuştuğunu sesinden ayırt edebiliyor. Sesli çıktı için ayrıca bir metinden sese (TTS) servisi bağlamak gerekiyor.
Kimler kullanabilir?
Tencent modeli GitHub’da açık kaynak olarak yayımladı. 30 milyar parametreli sürümün yanında daha az bellek isteyen FP8 ve GGUF sürümleri de var; yani güçlü bir bilgisayarda yerel olarak çalıştırılabiliyor. Kurulumla uğraşmak istemeyenler Android ve iOS’taki Hy Translate uygulamasından deneyebiliyor. Şimdilik yalnızca Çince ve İngilizce destekleniyor, Türkçe yok.
Kaynak: DonanımHaber
