Sam Altman: OpenAI bir sonraki modelde token fiyatlandırmasını bırakmayı düşündü

OpenAI bir sonraki modeli için token tabanlı fiyatlandırmayı sonlandırmayı ve gönderilen her istem için sabit ücret almayı düşündü, ancak olumsuz müşteri geri bildirimleri şirketin vazgeçmesine yol açtı; CEO Sam Altman bunu söyledi. Bu fikri Stripe Başkanı John Collison ile Cheeky Pint podcastinde tartıştı. Altman, faturalandırmanın AWS gibi çalışacağını; OpenAI'nin tokenları tek tek ölçmek yerine iş bittikten sonra fatura göndereceğini söyledi.

Sabit ücretli fiyatlandırma fikri

Altman, OpenAI'nin bir sonraki modelini tokenlarla fiyatlandırmayı bırakıp bir geliştiricinin istem verip OpenAI'nin fiyat vermesi şeklinde bir düzenlemeye geçmeyi "neredeyse kötü bir karar" veriyordu, diye hatırlıyor. Hangi modelden söz ettiğini ve değişikliğin ne zaman değerlendirildiğini söylemiyor. Faturalandırma "AWS gibi" çalışacaktı; tokenları tek tek ölçmek yerine "sadece bir şey yaparsınız ve biz size fatura göndeririz".

Müşteriler neden direndi

Fikir, OpenAI müşterilerin döküm almadan fiyatı nasıl karşılayacağını anlamaya çalıştığında dirençle karşılaştı. "O konudaki müşteri yanıtı çok olumsuz," Altman anlatıyor; alıcılar şirkete "Bir şekilde ne için ödediğimi bilmem gerekiyor" diyor. Geliştiriciler zaten maliyetleri düşük tutmak ve kullanım arttıkça harcamayı tahmin etmek için girdi ve çıktı tokenlarını izlemeye çok zaman harcıyor. Nasıl hesaplandığını bilmemek bunu daha da zorlaştırırdı.

Görünür token tercihi

İtirafı değerli kılan, Altman'a göre danıştığı kişilerin görünürlüğü korumak için daha fazla ödemeyi tercih etmesi. Soruyu birkaç kişiye sordu; aynı çıktı için tokenlar tutarlı fiyatlandırılmaya devam ettiği sürece daha yüksek oran kabul edip etmeyeceklerini sordu. Yanıt, dediğine göre, "tokenları şişirip daha fazla ödemeyi çok daha fazla tercih ederiz" oldu; çünkü "Orada gerçekten bir şey olduğunu biliyorum". Geliştiriciler tek bir belirsiz fiyatı, uzun vadede bir şekilde "kazıklanacaklarını" düşündükleri için direniyor; bu, alıcıların tamamlanmış bir iş yerine CPU saatleri için ödeme yaptığı dönemle aynı içgüdü. Öneri, çok adımlı iş akışları öngörülemez hesaplama tüketen ve bugünkü token tabanlı modelde bile harcamayı tahmin etmeyi zorlaştıran ajan geliştiricileri için önemli sonuçlar doğurabilirdi. Altman, OpenAI'nin iş başı fiyatları nasıl belirleyeceğini veya müşterilerin ücretleri karşılaştırıp tartabilmeyeceğini açıklamıyor.

Sınırlamalara rağmen tokenlar kalıyor

Konu, Collison tokenların yapay zekâ kullanımını ölçmenin doğru yolu olup olmadığını sorduğunda ortaya çıktı. Altman token fiyatlandırmasının sınırlamalarını kabul etti, ancak net bir alternatif sunamadı. "Tokenlar bir tür sahte birimdir," dedi. "Yani bir anlamda gerçektirler, ama iyi bir birim değildirler." Collison'ın yarı ciddi zekâya eşdeğer token önerisine tereddüt etti; bunu çip üreticilerinin hâlâ yongadaki fiziksel ölçüme karşılık gelmeyen nanometre rakamlarını pazarlamasına benzetti. Altman, geliştiricilerin daha ucuz ve daha yetenekli model arasında seçim yaparken gerçek ek yük üstlendiğini, özellikle görevin ne kadar akıl yürütme gerektireceğini tahmin etmeleri gerektiğinde bunun geçerli olduğunu kabul ediyor. "Bu, bence gerçekten hiçbir değer katmayan yalnızca bilişsel bir ek yüktür," dedi. Bu konuşma, Altman belirli bir yapay zekâ düzeyinin maliyetinin yılda yaklaşık on kat düştüğünü savunurken OpenAI'nin token fiyatlandırmasına güvenmeye devam ettiği bir dönemde geldi. Şimdilik token fiyatlandırması yürürlükte; Altman sınırlamalarını kabul ederken OpenAI daha iyi alternatif bulmakta zorlanıyor.

Kaynaklar: The New Stack