Хто насправді знає грузинську? Великий тест 22 AI-моделей

«გიორგი მივიდა» чи «გიორგიმ მივიდა»? Для грузина відповідь очевидна: правильно перше, бо дієслово «მივიდა» неперехідне і в аористі вимагає від підмета називного відмінка. Але коли це запитання отримали 22 провідні AI-моделі, більшість із них — близько 90% — помилилися саме тут.

Ми провели один із наймасштабніших бенчмарків для грузинської мови: 22 моделі, чотири дисципліни, 100-бальна система. Результати показують, що грузинська досі є серйозним іспитом для сучасних технологій — але існують моделі, які нею справді володіють.

Чому грузинська — особливий іспит для AI

Більшість моделей навчають на англійських і китайських даних, а грузинська належить до малоресурсних мов. Картвельська сім'я ізольована, а її граматика має риси, на яких універсальні моделі часто спотикаються.

По-перше — аглютинація та багатоособовість дієслова: грузинське дієслово одночасно виражає і суб'єкт, і об'єкт («დაგვახვედრეს», «გამომიგზავნეს»). По-друге — розщеплена ергативність: в аористі підмет перехідного дієслова отримує ергативний відмінок (-მა), а неперехідного — називний (-ი). По-третє — чужомовні кальки («იქნა მიღებული», «ჩემს მიერ»), якими сповнена значна частина грузинських текстів в інтернеті: моделі засвоюють їх як «правильні» форми.

Тест: чотири дисципліни

Кожну модель оцінювали за чотирма напрямами в умовах єдиного API, ідентичних промптів і мінімальної температури:

1. Морфологія та ергативні конструкції (25 балів). Три речення з підстановкою відмінкових форм — серед них «გუშინ ______ (გიორგი) სკოლაში დროზე მივიდა». Правильно — «გიორგი», бо дієслово неперехідне.

2. Пошук і виправлення помилок (35 балів). Текст із п'ятьма прихованими дефектами: російська пасивна калька «იქნა მიღებული», лексична помилка «რამოდენიმე», тавтологія «ყველაზე საუკეთესო», неузгодження числівника «ათი სტუდენტები» та пропущена кома.

3. Ідіоми та фразеологізми (20 балів). «კოვზი ნაცარში ჩაუვარდა», «წყალი შეუყენა», «თვალში ნაცრის შეყრა» — розуміння переносного значення та контекстуальні приклади.

4. Літературний стиль (20 балів). Вільний твір на тему «мова як пам'ять народу» — без калек, високим стилем.

Драма: як моделі «застрягли» в роздумах

У першому раунді 14 із 22 моделей повернули порожню відповідь — попри статус 200 OK. Причина — ланцюжок внутрішніх міркувань: просте завдання англійською потребує 100-200 «роздумних» токенів, а грузинською показник злітав до 1,200-2,400 токенів. З бюджетом у 1,000 токенів вони витрачали весь ліміт на роздуми й так і не дійшли до відповіді.

Із лімітом 2,500 токенів картина змінилася: DeepSeek V4.1 Flash витратив на роздуми 1,242 токени, а потім написав бездоганну відповідь грузинською; Qwen3.8-Max знадобилося 1,443 токени. Окремий випадок — GLM-5.3-flash: застряг у нескінченному циклі міркувань, витратив 2,494 токени й не дійшов до відповіді.

Переможці

Найкращий результат — 92/100 — показав DeepSeek V4.1 Flash: 100% точність в ергативному тесті, безпомилкове редагування (знайшов усі дефекти, включно з російською калькою) та в середньому лише 6.4 секунди на відповідь. Друге місце — Qwen3.8-Max (89/100): найсильніше логічне мислення, але затримка 28.5 секунди; третє — Qwen3.8-Flash (87/100).

Цікавий випадок — MiniMax-M3: четвертий за загальною оцінкою (81/100), проте в літературному тесті абсолютний результат — 20/20. Його текст настільки природний, що його важко відрізнити від людського: «Мова ж народжується не лише як форма слів, а перетворюється на духовний слід віками накопиченого життєвого досвіду, болю та радості».

Найшвидший — NVIDIA Nemotron-3-Ultra-550B (4.5 секунди), та в його тексті прослизнуло російське кириличне слово («генеτიკური») — класичний приклад «витоку» мов під час багатомовного навчання; він же, пояснюючи правило, вигадав неіснуюче граматичне правило.

Повний лідерборд (топ-10)

1. DeepSeek V4.1 Flash — 92/100 (6.4 с)
2. Qwen3.8-Max — 89/100 (28.5 с)
3. Qwen3.8-Flash — 87/100 (22.1 с)
4. MiniMax-M3 — 81/100 (12.6 с)
5. NVIDIA Nemotron-3-Ultra-550B — 79/100 (4.5 с)
6. Qwen3.8-Max-0902 — 78/100
7. Xiaomi MiMo v2.5 — 54/100
8. StepFun Step-3.7-Flash — 44/100
9. StepFun Step-3.5-Flash — 40/100
10. Ling 3.0 Flash — 36/100

Загальна картина очевидна: розрив між першою п'ятіркою та рештою величезний — падіння з 79 балів до 54. Три моделі взагалі не дійшли до тестування (дві — через обмеження пакета, одна була тимчасово недоступна).

Яка модель для чого

Для щоденної роботи — написання текстів, редагування, запитань і відповідей — найкращий вибір — DeepSeek V4.1 Flash: оптимальне співвідношення швидкості, ціни та якості. Для складного аналізу та юридичних текстів глибшим є Qwen3.8-Max, а для маркетингових і креативних матеріалів — MiniMax-M3, чия грузинська найбільш «жива».

Головний висновок простий: для грузинської мови модель варто обирати не за брендом чи розміром, а за реальними результатами тестів. Саме тому ми опублікували повні результати й методологію — щоб кожен, хто працює з грузинськими текстами, мав готову відповідь.