
Дослідники Nvidia вважають, що великі контекстні вікна ШІ часто надмірні
Дослідники Nvidia стверджують, що великі контекстні вікна ШІ часто надмірні й дорогі, а періодичні резюме та цілеспрямовані пошуки в багатьох тестах працювали приблизно так само.
Дослідники Nvidia стверджують, що великі контекстні вікна ШІ часто є глухим кутом. Мовні моделі тепер можуть обробляти цілі романи за раз, але команда каже, що такий масштаб часто надмірний і дорогий. У багатьох тестах періодичні резюме та цілеспрямовані пошуки працювали приблизно так само.
Що таке контекстне вікно
Контекстне вікно мовної моделі є її робочою пам'яттю, що охоплює все, що вона тримає в полі зору під час формування відповіді.
Як зросли контекстні вікна
За останні кілька років це вікно швидко зросло. GPT-4 вийшов у березні 2023 року з 8 192 токенами. Сьогодні GPT 5.6 Sol обробляє близько одного мільйона токенів, приблизно в 120 разів більше, і цього вистачає для роману Толстого «Війна і мир».
Чому Nvidia називає великі вікна глухим кутом
Дослідники Nvidia стверджують, що великі контекстні вікна ШІ є глухим кутом. Мовні моделі тепер можуть обробляти цілі романи за раз. Дослідницька команда Nvidia каже, що це часто надмірно й дорого.
Підходи, що працювали приблизно так само
У багатьох тестах періодичні резюме та цілеспрямовані пошуки працювали приблизно так само.
Джерела: The Decoder
SiTech — веброзробка з підтримкою AI
Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.