Şirketler, yapay zekâ maliyetlerini düşürmek için model yönlendirmeye geçiyor

Kurumsal yapay zekâ kullanımında maliyet baskısı arttıkça şirketler model yönlendirme yaklaşımına daha fazla ilgi göstermeye başladı. CNBC’ye konuşan teknoloji yöneticilerine göre finans ekipleri, her görevin en pahalı ve en güçlü yapay zekâ modeline gönderilmesinin gerekip gerekmediğini sorguluyor.

Model yönlendirme, yapılacak işi uygun modele dağıtan bir sistem olarak çalışıyor. Daha zor ve karmaşık sorular pahalı öncü modellere gönderilirken, basit veya rutin görevler daha ucuz ve hızlı modellere aktarılıyor.

Cognition CEO’su Scott Wu, özellikle standart yazılım işlerinde bu yöntemin maliyet verimliliğini beş ila on kat artırabileceğini söyledi. Glean CEO’su Arvind Jain ise kurumsal yapay zekâ kullanımının yaklaşık yüzde 95’inin hâlâ en pahalı öncü modellerde çalıştığını tahmin ediyor.

Bu değişim, OpenAI ve Anthropic gibi en gelişmiş modelleri satan şirketler için yeni bir baskı alanı yaratıyor. Büyük müşteriler token harcamalarını sınırlamaya başladıkça, yapay zekâ pazarında yalnızca model kalitesi değil, doğru işi doğru maliyetle çözme kapasitesi de daha belirleyici hale geliyor.

Kaynaklar

• Ana kaynak: CNBC Technology