Назад

Дослідники Nvidia вважають, що великі контекстні вікна ШІ часто надмірні
SiTech AI Team1 хв читання

Дослідники Nvidia вважають, що великі контекстні вікна ШІ часто надмірні

Дослідники Nvidia стверджують, що великі контекстні вікна ШІ часто надмірні й дорогі, а періодичні резюме та цілеспрямовані пошуки в багатьох тестах працювали приблизно так само.

Дослідники Nvidia стверджують, що великі контекстні вікна ШІ часто є глухим кутом. Мовні моделі тепер можуть обробляти цілі романи за раз, але команда каже, що такий масштаб часто надмірний і дорогий. У багатьох тестах періодичні резюме та цілеспрямовані пошуки працювали приблизно так само.

Що таке контекстне вікно

Контекстне вікно мовної моделі є її робочою пам'яттю, що охоплює все, що вона тримає в полі зору під час формування відповіді.

Як зросли контекстні вікна

За останні кілька років це вікно швидко зросло. GPT-4 вийшов у березні 2023 року з 8 192 токенами. Сьогодні GPT 5.6 Sol обробляє близько одного мільйона токенів, приблизно в 120 разів більше, і цього вистачає для роману Толстого «Війна і мир».

Чому Nvidia називає великі вікна глухим кутом

Дослідники Nvidia стверджують, що великі контекстні вікна ШІ є глухим кутом. Мовні моделі тепер можуть обробляти цілі романи за раз. Дослідницька команда Nvidia каже, що це часто надмірно й дорого.

Підходи, що працювали приблизно так само

У багатьох тестах періодичні резюме та цілеспрямовані пошуки працювали приблизно так само.

Джерела: The Decoder

Поділитися цифровим досвідом

SiTech

SiTech — веброзробка з підтримкою AI

Створюємо швидкі та сучасні сайти й інтегруємо AI у бізнес-процеси. Маєте проєкт чи запитання? Із задоволенням допоможемо.