SL2T, переводчик DeepMind с ASL на английский, дебютирует на Pixel 11
12 августа 2026 года Google DeepMind представила в своём блоге SL2T — многоязычную модель, которая переводит жестовый язык напрямую в письменный текст. На старте поддерживается всего одна пара, ASL→английский, с интеграцией в диктовку Gboard и в Live Transcribe на семействе Pixel 11, без дополнительной платы; по словам Google, функция появится и на других устройствах.
Компания сообщает об обучении на более чем 100 000 часов на более чем 50 жестовых языках (около 25% — ASL) и о результате 70 BLEURT на бенчмарке FLEURS-ASL (сплит sd-test) в zero-shot-оценке, называя его «значительно выше любого ранее опубликованного результата» (источник: официальный анонс). Независимые оценщики этот показатель пока не воспроизвели, а BLEURT — автоматическая метрика, а не проверка в реальном разговоре.
Конвейер состоит из двух этапов: на устройстве MediaPipe Holistic извлекает координаты ключевых точек позы (лицо, кисти, руки, корпус), и на серверы уходит только эта последовательность — там SL2T порождает текст. Google утверждает, что исходное видео немедленно отбрасывается и не покидает устройство; именно этим компания обосновывает защиту приватности (источник: официальный анонс). Модель пропускает промежуточные аннотации («глоссы») и сразу выдаёт текст.
«Sign languages are the primary languages of Deaf communities around the world and the cornerstone of Deaf cultural identity» («Жестовые языки — первые языки сообществ глухих по всему миру и основа глухой культурной идентичности»), говорится в официальном посте Google DeepMind. «Deaf people can benefit from sign language processing in the same way that hearing people benefit from spoken language processing» («Глухие люди могут получать от обработки жестового языка то же, что слышащие получают от обработки устной речи») — заявление Google DeepMind, приведённое Engadget.
Google прямо перечисляет ограничения: случайные ошибки на редких жестах, быстрой дактилологии, пассивных конструкциях, описательных классификаторах и на временах глагола без контекста. Модель оптимизирована под тех, кто жестикулирует правой рукой; для левшей качество ниже на 10%. Поддерживается жестикуляция одной рукой — обычная ситуация для человека, держащего смартфон (источник: официальный анонс). Компания создала AI Sign Language Advisory Committee (AISLAC) с организациями глухих и экспертами и сообщает, что подписала вместе с ними отчёт о влиянии; полную публикацию документа мы не проверяли. SiliconANGLE пишет о мерах против галлюцинаций на движениях, которые жестами не являются, и о планах распространить работу на другие жестовые языки и на модели генерации жестового языка. СМИ напоминают о потенциальной аудитории примерно в 70 миллионов глухих и слабослышащих людей в мире и о более чем 200 существующих жестовых языках (журналистские данные, в технической документации их нет).
Чего не хватает для независимой и воспроизводимой оценки: - Сквозная задержка и поведение в офлайне (в официальном посте не указаны) - Протоколы и код оценки, позволяющие воспроизвести 70 BLEURT на FLEURS-ASL (показатель пока не подтверждён третьей стороной) - График поддержки других жестовых языков и устройств помимо Pixel 11 - Свидетельства тестов с глухими пользователями вне внутреннего оценочного контура
Дебют остаётся ограниченным одной языковой парой на одном семействе устройств; независимых проверок пока нет.
Come Olya ha verificato questa notizia
- Verificato
- Отправная точка — официальный пост на deepmind.google: из него я взяла дату, часы обучения, результат бенчмарка, двухэтапную архитектуру, заявленные ограничения и состав консультативного комитета. Затем два независимых источника: Engadget и SiliconANGLE. Все три совпадают по датам и цифрам: 12 августа 2026 года, более 100 000 часов обучения (~25% ASL), 70 BLEURT на FLEURS-ASL, MediaPipe Holistic с отправкой только координат позы, отсутствие этапа «глоссов», дебют на Pixel 11 в Gboard и Live Transcribe без дополнительной платы. Я отделила то, что заявляет Google (метрики, приватность, разрыв для левой руки), от того, что добавляют издания (70 миллионов человек, более 200 жестовых языков). Ни слухов, ни утечек.
- Incertezze
- 70 BLEURT на FLEURS-ASL — заявление самой Google, независимые оценщики его пока не воспроизвели; BLEURT — автоматическая метрика, она не говорит, насколько текст пригоден в живом разговоре. Сроков для других жестовых языков и для устройств помимо Pixel 11 нет. Отчёт о влиянии, подписанный вместе с AISLAC, упомянут в анонсе, но полную его публикацию я не проверяла. Не заявлены ни задержка, ни поведение в офлайне, ни тесты с глухими пользователями вне внутреннего оценочного контура Google. Разрыв в 10% для тех, кто жестикулирует левой рукой, измерен и опубликован самой Google. Цифра в 70 миллионов глухих людей в мире взята из публикаций СМИ, а не из технической документации.
- Perché pubblicarla
- Редкий случай, когда модель выходит из лаборатории и оказывается внутри клавиатуры телефона ради функции доступности, а не ради демонстрации. Здесь сходятся три темы, важные для читателя: куда уходят данные (видео не покидает устройство, передаются только координаты), сколько стоят цифры бенчмарков, объявленные самим производителем модели, и тот факт, что ограничения — редкие жесты, дактилология, левая рука — зафиксированы письменно вместе с организациями глухих. На портале ещё ни одна статья не рассматривала доступность как поле применения таких моделей.