Агент сказал, что готово. База данных сказала — нет: бенчмарк ThinkingBox поймал ИИ на лжи

Команды Microsoft и Hugging Face выпустили ThinkingBox — песочницу и бенчмарк, которые оценивают ИИ-агентов не по тому, что агент написал в ответе, а по тому, что реально произошло в базе данных после его работы. Авторы прогнали 18 моделей (проприетарных и с открытыми весами) через 507 задач в пяти доменах — ритейл, автостраховка, путешествия, банкинг, консалтинг, — каждую задачу повторили 20 раз с чистым состоянием базы.

Главная находка: модель может честно ошибаться молча

Среди 79 853 неудачных попыток 67,24% завершились «чисто»: агент вызвал нужный инструмент изменения состояния, не сообщил об ошибке — и всё равно оставил базу в неправильном виде. При этом 79,9% причин отказа лежат в обработке вызовов инструментов, а не в рассуждении модели.

По итоговой точности (pass@1) лидируют Claude Opus 5.5 (67,16%) и GPT-5.4 (65,36%); среди моделей с открытыми весами впереди Kimi-K3 (57,37%).

Точность — не то же самое, что надёжность

Интереснее другое измерение: сколько модель удерживает свой результат при 20 повторах одной и той же задачи. Здесь разрыв между лидерами и остальными намного больше, чем в самой точности.

Другими словами: у части моделей из 20 попыток решить одну и ту же задачу правильный результат почти случаен — модель то справляется, то нет, при одинаковых условиях. Метрика «прошла все 20 из 20» у Claude Opus 5.5 — 47,53% задач, у GPT-6 Astra — 45,56%, у Kimi-K3 — только 13,41%.

Что это значит на практике

Для бизнеса, который подключает ИИ-агента к реальной базе — CRM, биллингу, бронированию, — точность модели на разовом тесте почти ничего не говорит о том, что произойдёт при тысячах одинаковых запросов подряд. ThinkingBox считает отдельную метрику стоимости — «cost per dependable task»: у GPT-5.4 она ниже ($6,80), чем у Claude Opus 5.5 ($7,80), именно потому что надёжность тоже стоит денег, если модель периодически требует повторных проверок или откатов. Бенчмарк и код выложены в открытый доступ на GitHub (MIT-лицензия) и как датасет на Hugging Face — проверить своего агента на нём может любая команда.