IBM Research выпустила ALTK-Evolve — инструмент, который дозирует память ИИ-агента под его размер
IBM Research показала, что для качества ИИ-агента важен не объём памяти, а её доза под конкретную модель: инструмент ALTK-Evolve дал слабой модели +16,1 п.п. точности почти без роста расходов на токены, а сильной — +9,5 п.п. на полном наборе подсказок. Библиотека выложена в открытый доступ на GitHub.
IBM Research опубликовала на Hugging Face исследование ALTK-Evolve — открытой библиотеки, которая учит ИИ-агента запоминать не весь опыт прошлых задач подряд, а короткие поведенческие подсказки: что сработало, а что привело к ошибке. Подсказки не меняют веса модели — они добавляются прямо в промпт перед следующей задачей, поэтому переносятся между разными моделями без переобучения.
Что показал эксперимент
Команда прогнала восемь моделей размером от 30 до 745 млрд параметров через одни и те же задачи с разной стратегией памяти — от полного архива подсказок до выборочного извлечения только релевантных. Результат зависит от размера модели: слабым моделям избыток памяти не помогает, а иногда мешает, сильным — наоборот, нужен полный набор подсказок, чтобы выжать максимум.
Что это значит на практике
Для тех, кто строит собственных ИИ-агентов, вывод простой: не стоит по умолчанию скармливать модели всю историю прошлых попыток. Для младших и средних моделей это дороже по токенам и не всегда точнее — доза памяти должна расти вместе с моделью, а не быть одинаковой для всех. Библиотека ALTK-Evolve с пайплайнами извлечения, консолидации и выборки подсказок выложена в открытый доступ на GitHub — приведённые цифры можно проверить или воспроизвести на своих моделях.
Источник: Hugging Face (IBM Research)
Не пропускать важное
Заведите кабинет: добавьте нейросети, которыми пользуетесь, — и получайте только то, что касается именно их. Цены, тарифы, доступность из России, письмо перед списанием. Бесплатно.
Комментарий опубликован.