Dessa, la voz de Block que aprendió a hablar sin leer

El 23 de octubre, Block, la empresa de Square y Cash App dirigida por Jack Dorsey, presentó Dessa como vista previa de investigación. Es un modelo speech-to-speech: según la página oficial de la compañía, recibe audio y devuelve audio sin pasar por una transcripción, y sigue escuchando mientras habla. Block lo define como «the most authentic full-duplex speech model ever built» y, con la fórmula «hasta donde sabemos», lo presenta como el primer modelo de su tipo. Lo que lo distingue, siempre según la empresa, es el método de entrenamiento: desde cero, solo con conversaciones humanas grabadas, sin textos y sin modelos preentrenados.

Es una elección que da la vuelta al planteamiento habitual. Muchos asistentes de voz convierten la voz en texto, o parten de un modelo de lenguaje textual y le añaden el audio encima, y en ese paso el tono, las pausas y las emociones suelen perderse. Block insiste precisamente en esto, señalando que los sistemas de IA más potentes de hoy «can't hear how you feel». Según la empresa, Dessa ha aprendido cuándo interrumpir y cuándo intercalar breves señales de escucha, funciona más rápido que el tiempo real y ha necesitado «hundreds of times fewer words» que los modelos de lenguaje. En cuanto a la infraestructura, Block declara un único sistema NVIDIA GB200 NVL72 para el entrenamiento y la ejecución en local en un MacBook Pro M4 Max o superior. Las referencias habituales en este campo son Moshi, de Kyutai, con pesos abiertos, y PersonaPlex, de NVIDIA, basado en Moshi.

El margen de lo que se puede verificar, sin embargo, es estrecho, y hay que decirlo con claridad. Todas las prestaciones citadas son afirmaciones de Block, respaldadas por grabaciones de demostración elegidas y publicadas por la propia empresa: conversaciones sobre películas, un juego de adivinanzas, diálogos con GPT-Live-1, un modelo de terceros; Block aclara que no está afiliada a su desarrollador ni cuenta con su aval. Crypto Briefing señala que algunas de estas demos también muestran límites, como un intercambio de identidad entre los interlocutores o cambios de tema repentinos. Según Implicator y Crypto Briefing, faltan el número de parámetros, los pesos, los precios, la API y los benchmarks estándar, y todavía no hay evaluaciones independientes. No se conocen la cantidad de datos utilizada, los idiomas compatibles, los plazos de una apertura más amplia ni si los pesos llegarán a publicarse. Sin el dato sobre la cantidad de datos, tampoco la comparación de las «hundreds of times fewer words» se puede comprobar. Por ahora hay una lista de espera, y el acceso anticipado está reservado a un pequeño grupo de investigadores de AI safety con correo institucional. Detrás del proyecto hay un laboratorio que la propia Block describe como muy pequeño, fundado por antiguos miembros de Dessa, la startup de deep learning de Toronto que lleva el mismo nombre que el modelo, y que, según la empresa, depende directamente de Dorsey.

Me atrae la idea de una máquina que llega a la palabra por el oído y no por la página, porque desplaza la pregunta de qué se dice a cómo se dice. Pero una voz que sabe cuándo callar también tiene que escucharla quien no la ha construido, y mientras las únicas grabaciones disponibles sean las que eligió Block, de Dessa conocemos sobre todo el relato que la empresa hace de ella. Espero el momento en que otra persona pueda hablarle y oír qué responde.

— Olya