LLM'ler ve görü modelleri için Jev benzeri tek fonksiyonlu Python sarmalayıcı

Eylül 2026'da yayımlanan bir blog yazısında yazar, birkaç LLM sağlayıcısını görü modelleri dahil tek bir çağrı arayüzünde birleştiren bir Python fonksiyonunu anlatıyor. Kendi ifadesine göre fikir, Jev'i ve çevresindeki kendi sunucunda barındırılabilir projeler olan OpenJev ile SemIf'i incelerken doğdu; bu okuma onu token olasılıklarını okuma yöntemiyle tanıştırdı.

"Jev benzeri" ne demek

Jev'in belgelenmiş istek biçimi, metin bir durum ve bir soru kümesi taşıyan JSON belgesi içerir. Yazarın sarmalayıcısı bu yapıyı korur, ancak kendi eklediği bir attachments alanıyla görselleri de kapsar; resmi biçimde böyle bir alan yok. Yani buradaki "Jev benzeri" ifadesi projenin kendisini değil, istek ve yanıt yapısını anlatıyor.

Sarmalayıcı nasıl çalışıyor

Her soru, seçenekleri A'dan T'ye harflerle işaretlenmiş bir çoktan seçmeli isteme dönüştürülür ve sıradan bir HTTP isteğiyle gönderilir. Model yalnızca tek bir token üretmeye zorlanır; karşılığında API harfleri log olasılıklarıyla birlikte döndürür. Bu sayılar olasılıklara çevrilir ve yanıt bunlardan türetilir: choice tipi soruda en yüksek olasılıklı seçenek kazanır, noul (evet/hayır) tipi true olasılığını verir, score tipi ise ölçütler arasındaki beklenen düzeyi hesaplar. Her soru 2 ile 20 seçenek kabul eder; sağlayıcı göz ardı edilemeyecek bir seçeneği atlarsa fonksiyon tahmin yürütmek yerine hata verir.

Sağlayıcılar, görseller ve hız

Örnek varsayılan olarak yerel llama.cpp sunucusuna, anahtar varsa OpenAI'ye bağlanır; API anahtarı yalnızca api.openai.com adresine gönderilir. llama.cpp log olasılıkları için Chat Completions gerektirirken OpenAI yeterli alternatifi göstermek için Responses uç noktasını gerektirir ve betik bu farkı kendisi yönetir. Görseller base64 data URL olarak gider, böylece aynı sorular bir web kamerası karesine de sorulabilir. Demoda yazar kareleri OpenCV ile okur; bu yalnızca kameraya erişim içindir ve sonuç tablosu yazdırılır. RTX 3090 üzerinde Gemma 4 12B ile kare başına üç soruyla saniyede yaklaşık bir kare, gpt-6-luna API'siyle saniyede yaklaşık 0,2 kare elde ediliyor.

Yazarın uyarıları

Yazar, özelleşmiş bilgisayarlı görü modellerinin çok daha verimli olduğunu açıkça söylüyor; yaklaşımının değeri esneklikte: yeni bir koşul düz metinle tarif edilerek ekleniyor. Ayrıca girdinin işlenmesinin yine zaman aldığını, ortak durum önekinin arka uç destekliyorsa önbelleğe alındığını ve verdiği hız rakamlarının, her soru ve kare için ayrı bağlantı kuran optimize edilmemiş bir kurulumdan geldiğini belirtiyor.