Google научил Gboard переводить жестовый язык в текст

Google DeepMind 12 августа 2026 года представила SL2T — модель, которая распознаёт американский жестовый язык (ASL) и переводит его в текст в реальном времени. Разработка встроена в клавиатуру Gboard и сервис Live Transcribe: пользователь показывает жесты в камеру телефона, а на экране появляется набранный текст — жестами можно «печатать» там, где обычно печатают руками.

Модель обучена на более чем 100 000 часов данных по 50+ жестовым языкам, но на старте работает только с ASL — компания обещает добавить другие языки позже, точных сроков не называя. Технически SL2T не анализирует видео целиком: движения превращаются в геометрические координаты через MediaPipe Holistic и обрабатываются прямо на устройстве — это быстрее и не отправляет видео с человеком на сервер. На бенчмарке FLEURS-ASL, по данным компании, модель показала результат заметно выше всех ранее опубликованных.

Функция уже доступна бесплатно на Pixel 11, в ближайшее время появится на других устройствах. Разработку Google вела вместе с Консультативным комитетом по жестовому языку в ИИ (AISLAC), куда вошли организации глухих и слабослышащих людей — вместе с моделью опубликован совместный отчёт о её возможностях и ограничениях.

Что это значит на практике

Для пользователей из России функция пока не приоритетна: на старте поддерживается только американский жестовый язык, а не русский жестовый язык (РЖЯ), и точной даты его появления Google не называет. Но сам подход — офлайн-перевод жестов в текст прямо на устройстве без сервера — показывает направление, в котором движется индустрия ассистивных технологий: похожих локальных жестовых моделей для других языков, включая русский, стоит ждать и от других компаний в обозримом будущем.