Gartner: açık ağırlıklı modeller ajan işinin yüzde 90'ını frontier LLM maliyetinin bir kısmına yapabiliyor

Gartner analistleri Mark Petty ve Raymond Paquet, kâr odaklı model üreticilerinin ajan tabanlı yapay zeka iş akışlarındaki adımların yalnızca yaklaşık yüzde onundan gelir elde etmeyi hedefleyeceğini söylüyor; çünkü on adımdan dokuzu rutin ve açık ağırlıklı modeller bunları en ucuz kapalı modelin fiyatının dörtte birine aynı düzeyde işleyebiliyor. En iyi durumlarda, açık ağırlıklı modeller ajan işinin yüzde 90'ını, her adımda frontier LLM çalıştırmanın maliyetinin yirmide biri kadarına yapabiliyor. Analistler ayrıca mevcut açık modellerin daha ayrıntılı yanıt verebildiğini ve daha sık yeniden denediğini, bu nedenle frontier modele karşı gerçek tasarrufun beş veya altı kat civarında olduğunu belirtiyor.

Maliyet ve kontrol

Analistler geçen hafta Open-Weight Models Will Run 90% of Enterprise Agentic Workflow Steps başlıklı belgede, tipik operasyonel iş akışlarının sınıflandırma, araç çağrısı, veri aktarma, doğrulama ve mutabakat gibi yüzlerce rutin yürütmeyi içerdiğini yazdı. Açık ağırlıklı modellerin, frontier akıl yürütme gerektiren her bir adım için yüzlerce rutin adımı işleyebildiğini söylüyorlar. Açık model, aynı puandaki en ucuz kapalı modele göre maliyetin dörtte biri kadardır; her adımda frontier model çalıştırılmasına göre ise maliyetin yirmide biri kadar olabilir.

Petty ve Paquet, maliyetin taşınma için ana neden değil, ek fayda olduğunu savunuyor. Bir SaaS şirketinde alıcının ödediği bedelin büyük kısmı yılların iş akışı geçmişidir ve her rutin adım bir frontier API'ye gönderildiğinde bu geçmişin bir parçası alıcının çevresinin dışına çıkar. Açık ağırlıklı modeller kontrolü koruyor, diyorlar.

Benimseme ve roller

Analistler, 2030 yılına kadar kurumsal operasyonel ajan iş akışı adımlarının yüzde 90'ının açık ağırlıklı modellerde çalışacağına dair stratejik bir planlama varsayımı sunuyor. Kuruluşların çoğunlukla alana özgü açık ağırlıklı modelleri benimsemesini bekliyorlar; bu modeller, az sayıda çok kararlı adımın ayda milyonlarca kez çalıştığı senaryolarda iyi performans gösteriyor.

Çoğu model zaten bir emtia, ajanları çalıştıran ve yöneten araçlar olan harness'ler ise yapay zeka ürünlerindeki değer kaynağıdır. Bir harness, kullanıcıların herhangi bir etki fark etmeden işi en uygun modele yönlendirir; iyi bir harness para tasarrufu sağlar, güçlü koruyucu sınırlar koyar ve ajan filolarını yönetir. Daha az güçlü harness'ler kullanıcıya daha fazla iş bırakır.

Frontier ve açık ağırlıklı roller

Belge, frontier modellerin araştırma ve geliştirme motoru olmaya devam edeceğini ve fiilen sermaye gideri olduğunu öne sürüyor. Açık ağırlıklı modeller ise frontier modeller ağır işi yaptıktan sonra operasyonel gider haline geliyor.

Kaynaklar: The Register