Sesli yapay zeka (YZ) teknolojileri, onları ölçmek için kullanılan araçlardan daha hızlı gelişiyor. OpenAI, Google DeepMind, Anthropic ve xAI gibi önde gelen YZ laboratuvarları, doğal, gerçek zamanlı sohbet yeteneklerine sahip ses modellerini sunmak için yarışıyor. Lakin bu modelleri değerlendirmek için kullanılan kriterler, esasen sentetik konuşma, yalnızca İngilizce sorgular ve insanların gerçek konuşma tarzından uzak olan derlenmiş test setleri üzerinde çalışıyor.
Redaksiya, geçen yıl Meta tarafından Superintelligence Lab'a liderlik etmek üzere işe alınan bir kurucuya sahip büyük veri etiketleme girişimi Scale AI'nin bu sorunu doğrudan ele alarak güçlü faaliyetini sürdürdüğünü bildiriyor. Bugün Scale AI, sesli YZ'yi gerçek insan etkileşimi prizmasından değerlendirmek üzere tasarlanmış ilk küresel üstünlük tabanlı arena olarak adlandırdığı Voice Showdown'u tanıtıyor. Bu ürün, kullanıcılara benzersiz bir stratejik değer sunuyor: dünyanın önde gelen gelişmiş modellerine ücretsiz erişim. Scale'in ChatLab platformu aracılığıyla kullanıcılar, genellikle ayda 20 ABD doları değerinde birden fazla abonelik gerektiren üst düzey modellerle hiçbir ücret ödemeden etkileşim kurabilirler. Karşılığında, kullanıcılar iki anonimleştirilmiş önde gelen ses modelinden hangisinin daha iyi bir deneyim sunduğunu seçmek için bazen kör, başa baş "savaşlara" katılarak, sesli YZ modellerinin sektörün en özgün, insan üstünlüğü derecelendirme tablosu için veri sağlıyorlar.
Scale AI'de Showdown Ürün Müdürü Ceyni Qlu, "Sesli YZ şu anda YZ'deki en hızlı gelişen sınırdır. Ancak ses modellerini değerlendirme şeklimiz buna ayak uydurmadı" dedi. 60'tan fazla dilde gerçekleştirilen binlerce spontane sesli sohbetten elde edilen sonuçlar, diğer kriterlerin sürekli olarak kaçırdığı yetenek boşluklarını ortaya koyuyor.
Scale'in Voice Showdown nasıl çalışıyor? Voice Showdown, kullanıcıların tek bir uygulama içinde seçtikleri herhangi bir gelişmiş YZ modeliyle ücretsiz olarak serbestçe etkileşim kurabileceği Scale'in modelden bağımsız sohbet platformu ChatLab üzerine kurulmuştur. Platform, Scale'in 500.000'den fazla etiketleyiciden oluşan küresel topluluğuna sunuldu ve yaklaşık 300.000 kişi en az bir sorgu gönderdi.