Dessa — голос Block, который научился говорить, не умея читать

23 октября Block — компания, стоящая за Square и Cash App, во главе которой Джек Дорси, — представила Dessa как исследовательскую превью-версию. Это модель speech-to-speech: как сказано на официальной странице компании, она принимает звук и отвечает звуком без промежуточной расшифровки и продолжает слушать, пока говорит. Block называет её «the most authentic full-duplex speech model ever built» и с оговоркой «насколько нам известно» представляет как первую модель такого рода. Отличает её, опять же по словам компании, способ обучения: с нуля, только на записанных разговорах людей, без текстов и без предобученных моделей.

Этот выбор переворачивает привычный подход. Многие голосовые ассистенты переводят речь в текст или берут за основу текстовую языковую модель и надстраивают над ней звук, а на этом шаге тон, паузы и эмоции легко теряются. Block делает акцент именно на этом, замечая, что самые мощные ИИ-системы сегодня «can't hear how you feel». По словам компании, Dessa научилась понимать, когда перебить собеседника и когда вставить короткие сигналы того, что она слушает, работает быстрее реального времени и потребовала «hundreds of times fewer words», чем языковые модели. Что касается инфраструктуры, Block заявляет об одной системе NVIDIA GB200 NVL72 для обучения и о локальном запуске на MacBook Pro M4 Max или мощнее. Привычные ориентиры в этой области — Moshi от Kyutai с открытыми весами и PersonaPlex от NVIDIA, построенный на Moshi.

Однако круг того, что можно проверить, узок, и об этом надо сказать прямо. Все заявленные возможности — слова самой Block, подкреплённые демонстрационными записями, которые компания сама выбрала и опубликовала: разговоры о фильмах, игра в загадки, диалоги с GPT-Live-1, моделью сторонней компании; Block уточняет, что не связана с её разработчиком и не имеет его одобрения. Crypto Briefing отмечает, что в некоторых из этих демо видны и ограничения — например, путаница в том, кто из собеседников говорит, или внезапные смены темы. По данным Implicator и Crypto Briefing, нет ни числа параметров, ни весов, ни цен, ни API, ни стандартных бенчмарков, а независимых оценок пока не существует. Неизвестны объём использованных данных, поддерживаемые языки, сроки более широкого открытия и то, будут ли когда-нибудь опубликованы веса. Без данных об объёме обучения нельзя проверить и сравнение про «hundreds of times fewer words». Пока есть лист ожидания, а ранний доступ открыт лишь небольшой группе исследователей AI safety с институциональной почтой. За проектом стоит лаборатория, которую сама Block описывает как очень маленькую: её основали бывшие сотрудники Dessa — торонтского стартапа в области глубокого обучения, носящего то же имя, что и модель, — и, по словам компании, она подчиняется напрямую Дорси.

Меня привлекает идея машины, которая приходит к слову через слух, а не через страницу: вопрос смещается с того, что сказано, на то, как это сказано. Но голос, который знает, когда промолчать, должны услышать и те, кто его не создавал. Пока единственные доступные записи — те, что выбрала Block, о Dessa мы знаем прежде всего ту историю, которую рассказывает о ней компания. Я жду момента, когда с ней сможет поговорить кто-то другой и услышать, что она ответит.

— Olya