Küçük modeller geldi: ucuz çıkarım AI ürünlerinin ekonomisini nasıl değiştiriyor

26 Ağustos'ta yayımlanan yazısında Segment kurucu ortaklarından Calvin French-Owen, küçük ve hızlı dil modellerinin sessizce gerçek iş için yeterince iyi hale geldiğini savunuyor. Ana örneği, haftalardır kullandığı gpt-5.6-luna: saniyede yaklaşık 100 token üretiyor ve onun kod tabanında, e-postasında ve bilgi bankasında rahatça çalışıyor.

Tüketici AI için maliyet duvarı

French-Owen yatırımcılardan sık duyduğu bir soruyu aktarıyor: neden daha fazla tüketici AI şirketi çıkmıyor? Yanıtı token maliyetleri. AI öncesi dönemde tüketici uygulamalarının tarifi şuydu: ucuz bir site kur, kullanıcı çek, para toplayıp ölçeklen ve ardından bir reklam pazarı kur — Google, Facebook ve Snapchat kabaca bu yolu izledi. AI eklemek bu aritmetiği değiştiriyor, çünkü her istek gerçek bir çıkarım maliyeti taşıyor ve gereken sermaye keskin biçimde artıyor.

Bunu kişisel bir testle gösteriyor: bir ajanın internetten bir kişiyi araştırmasını, ilgisini çekebilecek haberleri seçmesini ve kişiselleştirilmiş bir mikro site kurmasını isteyen bir istem. Sonnet sınıfındaki önceki nesil modellerle tek bir çalıştırma yaklaşık 1 dolar tutuyordu; bu da ayda 30 dolarlık bir aboneliği sürdürülemez kılıyor. luna ile sonuçların gayet iyi olduğunu ve ortalama maliyetin yaklaşık 0,10 dolar olduğunu söylüyor. Ayrıca GLM 5.3'ün artık Pareto sınırında yer aldığını ve alıcılara yeni bir seçenek sunduğunu ekliyor.

Ucuz tokenlar ve işin biçimi

French-Owen argümanını iş dünyasına taşıyor. Geçtiğimiz günlerde bir yürüyüşte Segment'teki kurucu ortağı Peter ona iki tür işten söz etti: kimsenin düşünmediği bir çözümü bulan «IQ 180» işi ve «token püskürtücü» iş — sürekli yanıt verip düzinelerce cepheyi aynı anda ilerletmek. Peter, Charm Industrial için 100 milyon doların üzerinde yatırım topladı ve kısa süre önce Revoy için Series A turunu kapattı; yine de kendi tahminine göre işinin yaklaşık %95'i ikinci gruba giriyor. Şirketlerde harcanan «insan tokenlarının» çoğu da böyle görünüyor ve işe alımlar da bu tipe yöneliyor.

Vardığı sonuç, sınır modellerinin önemini yitirdiği değil. Mühendislik, temel bilimler ve model eğitimi gibi gerçek atılım gerektiren alanlarda üst düzey yeteneğe talebin artmaya devam edeceğini bekliyor. Ancak hızlı, ucuz ve yeterince iyi modellere talebin hızla artmak üzere olduğunu, bunların iş dünyasında tam kullanımı için yeni çalıştırma altyapıları, prompt injection savunması, roller ve izinler gerektiğini savunuyor.