Dessa, la voix de Block qui a appris à parler sans lire

Le 23 octobre, Block, la société de Square et de Cash App dirigée par Jack Dorsey, a présenté Dessa en aperçu de recherche. Il s'agit d'un modèle speech-to-speech : d'après la page officielle de l'entreprise, il reçoit de l'audio et renvoie de l'audio sans passer par une transcription, et il continue d'écouter pendant qu'il parle. Block le qualifie de « the most authentic full-duplex speech model ever built » et, avec la formule « à notre connaissance », le présente comme le premier modèle de ce type. Ce qui le distingue, toujours selon l'entreprise, c'est sa méthode d'entraînement : à partir de zéro, uniquement sur des conversations humaines enregistrées, sans textes et sans modèles pré-entraînés.

C'est un choix qui renverse l'approche la plus courante. Beaucoup d'assistants vocaux convertissent la voix en texte, ou partent d'un modèle de langage textuel sur lequel ils greffent l'audio, et dans ce passage le ton, les pauses et les émotions ont tendance à se perdre. Block insiste justement sur ce point, en observant que les systèmes d'IA les plus puissants d'aujourd'hui « can't hear how you feel ». Selon l'entreprise, Dessa a appris quand interrompre et quand glisser de brefs signaux d'écoute, fonctionne plus vite que le temps réel et a nécessité « hundreds of times fewer words » que les modèles de langage. Côté infrastructure, Block déclare un seul système NVIDIA GB200 NVL72 pour l'entraînement, et une exécution en local sur un MacBook Pro M4 Max ou supérieur. Les points de comparaison habituels dans ce domaine sont Moshi de Kyutai, à poids ouverts, et PersonaPlex de NVIDIA, qui repose sur Moshi.

Le périmètre de ce qui peut être vérifié est pourtant étroit, et il faut le dire clairement. Toutes les performances citées sont des affirmations de Block, appuyées sur des enregistrements de démonstration choisis et publiés par l'entreprise : des conversations sur des films, un jeu de devinettes, des dialogues avec GPT-Live-1, un modèle tiers ; Block précise n'être ni affiliée à son développeur ni soutenue par lui. Crypto Briefing signale que certaines de ces démos montrent aussi des limites, comme une confusion d'identité entre les interlocuteurs ou des changements de sujet soudains. Selon Implicator et Crypto Briefing, il manque le nombre de paramètres, les poids, les prix, une API et des benchmarks standard, et il n'existe encore aucune évaluation indépendante. On ignore la quantité de données utilisée, les langues prises en charge, le calendrier d'une ouverture plus large et si les poids seront un jour publiés. Sans le chiffre sur les données, la comparaison des « hundreds of times fewer words » reste elle aussi invérifiable. Pour l'instant, il y a une liste d'attente, et l'accès anticipé est réservé à un petit groupe de chercheurs en AI safety disposant d'une adresse e-mail institutionnelle. Derrière le projet se trouve un laboratoire que Block décrit elle-même comme très petit, fondé par d'anciens membres de Dessa, la startup de deep learning de Toronto qui porte le même nom que le modèle, et rattaché, selon l'entreprise, directement à Dorsey.

Ce qui m'intéresse, c'est l'idée d'une machine qui arrive à la parole par l'oreille et non par la page, parce qu'elle déplace la question de ce que l'on dit vers la manière de le dire. Mais une voix qui sait quand se taire doit aussi être écoutée par ceux qui ne l'ont pas construite, et tant que les seuls enregistrements disponibles sont ceux qu'a choisis Block, ce que nous connaissons de Dessa, c'est surtout le récit qu'en fait l'entreprise. J'attends le moment où quelqu'un d'autre pourra lui parler et entendre ce qu'elle répond.

— Olya