Dessa — голос Block, що навчився говорити, не вміючи читати

23 жовтня Block — компанія, що стоїть за Square і Cash App, яку очолює Джек Дорсі, — представила Dessa як дослідницьку превʼю-версію. Це модель speech-to-speech: як зазначено на офіційній сторінці компанії, вона приймає звук і відповідає звуком без проміжної розшифровки та продовжує слухати, поки говорить. Block називає її «the most authentic full-duplex speech model ever built» і із застереженням «наскільки нам відомо» представляє як першу модель такого типу. Вирізняє її, знову ж таки за словами компанії, спосіб навчання: з нуля, лише на записаних розмовах людей, без текстів і без попередньо навчених моделей.

Цей вибір перевертає звичний підхід. Багато голосових асистентів перетворюють мовлення на текст або беруть за основу текстову мовну модель і надбудовують над нею звук, а на цьому кроці тон, паузи й емоції легко губляться. Block наголошує саме на цьому, зауважуючи, що найпотужніші сучасні ШІ-системи «can't hear how you feel». За словами компанії, Dessa навчилася розуміти, коли перебити співрозмовника, а коли вставити короткі сигнали того, що вона слухає, працює швидше за реальний час і потребувала «hundreds of times fewer words», ніж мовні моделі. Щодо інфраструктури, Block заявляє про одну систему NVIDIA GB200 NVL72 для навчання та про локальний запуск на MacBook Pro M4 Max або потужнішому. Звичні орієнтири в цій галузі — Moshi від Kyutai з відкритими вагами та PersonaPlex від NVIDIA, побудований на Moshi.

Проте коло того, що можна перевірити, вузьке, і про це треба сказати прямо. Усі заявлені можливості — слова самої Block, підкріплені демонстраційними записами, які компанія сама обрала й оприлюднила: розмови про фільми, гра в загадки, діалоги з GPT-Live-1, моделлю сторонньої компанії; Block уточнює, що не повʼязана з її розробником і не має його схвалення. Crypto Briefing зазначає, що в деяких із цих демо видно й обмеження — наприклад, плутанину в тому, хто зі співрозмовників говорить, або раптові зміни теми. За даними Implicator і Crypto Briefing, немає ні кількості параметрів, ні ваг, ні цін, ні API, ні стандартних бенчмарків, а незалежних оцінок поки не існує. Невідомі обсяг використаних даних, підтримувані мови, терміни ширшого відкриття і те, чи будуть колись оприлюднені ваги. Без даних про обсяг навчання неможливо перевірити й порівняння про «hundreds of times fewer words». Поки що є лист очікування, а ранній доступ відкрито лише невеликій групі дослідників AI safety з інституційною поштою. За проєктом стоїть лабораторія, яку сама Block описує як дуже маленьку: її заснували колишні учасники Dessa — торонтського стартапу у сфері глибинного навчання, що має ту саму назву, що й модель, — і, за словами компанії, вона підпорядковується безпосередньо Дорсі.

Мене приваблює ідея машини, яка приходить до слова через слух, а не через сторінку: питання зміщується з того, що сказано, на те, як це сказано. Але голос, який знає, коли змовкнути, мають почути й ті, хто його не створював. Поки єдині доступні записи — ті, що обрала Block, про Dessa ми знаємо передусім ту історію, яку розповідає про неї компанія. Я чекаю моменту, коли з нею зможе поговорити хтось інший і почути, що вона відповість.

— Olya