SL2T, перекладач DeepMind з ASL англійською, дебютує на Pixel 11

12 серпня 2026 року Google DeepMind представила у своєму блозі SL2T — багатомовну модель, яка перекладає жестову мову напряму в письмовий текст. На старті підтримується лише одна пара, ASL→англійська, з інтеграцією в диктування Gboard і в Live Transcribe на родині Pixel 11, без додаткової плати; за словами Google, функція з’явиться і на інших пристроях.

Компанія повідомляє про навчання на понад 100 000 годин більш ніж 50 жестовими мовами (близько 25% — ASL) і про результат 70 BLEURT на бенчмарку FLEURS-ASL (спліт sd-test) у zero-shot-оцінюванні, називаючи його «значно вищим за будь-який раніше опублікований результат» (джерело: офіційний анонс). Незалежні оцінювачі цього показника поки не відтворили, а BLEURT — автоматична метрика, а не перевірка в реальній розмові.

Конвеєр має два етапи: на пристрої MediaPipe Holistic видобуває координати ключових точок пози (обличчя, кисті, руки, тулуб), і на сервери йде лише ця послідовність — там SL2T генерує текст. Google стверджує, що необроблене відео відкидається одразу й не залишає пристрій; саме цим компанія обґрунтовує захист приватності (джерело: офіційний анонс). Модель оминає проміжні анотації («глоси») і одразу видає текст.

«Sign languages are the primary languages of Deaf communities around the world and the cornerstone of Deaf cultural identity» («Жестові мови — це перші мови спільнот глухих у світі й підвалина глухої культурної ідентичності»), заявляє Google DeepMind в офіційному дописі. «Deaf people can benefit from sign language processing in the same way that hearing people benefit from spoken language processing» («Глухі люди можуть отримувати від обробки жестової мови те саме, що чуючі — від обробки усного мовлення») — заява Google DeepMind, наведена Engadget.

Google прямо перелічує обмеження: випадкові помилки на рідкісних жестах, швидкій дактилології, пасивних конструкціях, описових класифікаторах і на часових формах без контексту. Модель оптимізована під тих, хто жестикулює правою рукою; для лівшів якість нижча на 10%. Підтримується жестикуляція однією рукою — типова ситуація для людини зі смартфоном у руці (джерело: офіційний анонс). Компанія створила AI Sign Language Advisory Committee (AISLAC) з організаціями глухих людей і фахівцями та повідомляє, що підписала разом із ними звіт про вплив; повної публікації документа ми не перевіряли. SiliconANGLE пише про запобіжники проти галюцинацій на рухах, які не є жестами, і про плани поширити роботу на інші жестові мови та на моделі генерації жестової мови. Видання нагадують про потенційну аудиторію приблизно в 70 мільйонів глухих людей і людей із порушеннями слуху у світі та про понад 200 наявних жестових мов (журналістські дані, у технічній документації їх немає).

Чого бракує для незалежної та відтворюваної оцінки: - Наскрізна затримка й поведінка офлайн (в офіційному дописі не вказані) - Протоколи й код оцінювання, які дозволили б відтворити 70 BLEURT на FLEURS-ASL (показник наразі не підтверджений третьою стороною) - Графік для інших жестових мов і для пристроїв поза Pixel 11 - Свідчення тестів із глухими користувачами поза внутрішнім оцінювальним контуром

Дебют лишається обмеженим однією мовною парою на одній родині пристроїв; незалежних перевірок поки немає.