Dessa: Blocks Stimme, die sprechen gelernt hat, ohne zu lesen

Am 23. Oktober hat Block, das von Jack Dorsey geführte Unternehmen hinter Square und Cash App, Dessa als Forschungsvorschau vorgestellt. Es handelt sich um ein Speech-to-Speech-Modell: Laut der offiziellen Seite des Unternehmens nimmt es Audio auf und gibt Audio zurück, ohne den Umweg über eine Transkription, und es hört weiter zu, während es spricht. Block nennt es „the most authentic full-duplex speech model ever built“ und stellt es mit der Formulierung „unseres Wissens“ als erstes Modell dieser Art vor. Was es unterscheidet, so ebenfalls das Unternehmen, ist die Trainingsmethode: von Grund auf, nur mit aufgezeichneten menschlichen Gesprächen, ohne Texte und ohne vortrainierte Modelle.

Damit wird der übliche Ansatz umgedreht. Viele Sprachassistenten wandeln Sprache in Text um oder gehen von einem textbasierten Sprachmodell aus und setzen Audio darauf, und bei diesem Schritt gehen Tonfall, Pausen und Emotionen leicht verloren. Genau darauf pocht Block und merkt an, die leistungsfähigsten KI-Systeme von heute „can't hear how you feel“. Nach Angaben des Unternehmens hat Dessa gelernt, wann es unterbrechen und wann es kurze Zuhörsignale einstreuen soll, arbeitet schneller als in Echtzeit und brauchte „hundreds of times fewer words“ als Sprachmodelle. Zur Infrastruktur nennt Block ein einziges NVIDIA-GB200-NVL72-System für das Training und die lokale Ausführung auf einem MacBook Pro M4 Max oder besser. Die üblichen Vergleichsgrößen in diesem Bereich sind Moshi von Kyutai mit offenen Gewichten und NVIDIAs PersonaPlex, das auf Moshi aufbaut.

Der Rahmen dessen, was sich überprüfen lässt, ist allerdings eng, und das muss man klar sagen. Alle genannten Leistungen sind Aussagen von Block, gestützt auf Demo-Aufnahmen, die das Unternehmen selbst ausgewählt und veröffentlicht hat: Gespräche über Filme, ein Ratespiel, Dialoge mit GPT-Live-1, einem Modell eines Drittanbieters; Block betont, mit dessen Entwickler weder verbunden zu sein noch von ihm unterstützt zu werden. Crypto Briefing weist darauf hin, dass einige dieser Demos auch Schwächen zeigen, etwa vertauschte Sprecheridentitäten oder abrupte Themenwechsel. Laut Implicator und Crypto Briefing fehlen Parameterzahl, Gewichte, Preise, API und Standard-Benchmarks, und unabhängige Bewertungen gibt es noch keine. Unbekannt sind die verwendete Datenmenge, die unterstützten Sprachen, der Zeitplan für eine breitere Öffnung und ob die Gewichte je veröffentlicht werden. Ohne Angabe zur Datenmenge lässt sich auch der Vergleich mit den „hundreds of times fewer words“ nicht nachprüfen. Vorerst gibt es eine Warteliste, und der frühe Zugang ist einer kleinen Gruppe von AI-Safety-Forschenden mit institutioneller E-Mail-Adresse vorbehalten. Hinter dem Projekt steht ein Labor, das Block selbst als sehr klein beschreibt, gegründet von ehemaligen Mitgliedern von Dessa, dem Deep-Learning-Startup aus Toronto, das denselben Namen trägt wie das Modell, und laut Unternehmen direkt Dorsey unterstellt.

Mich reizt die Vorstellung einer Maschine, die über das Ohr zur Sprache findet und nicht über die Seite, weil sie die Frage von dem, was gesagt wird, zu dem verschiebt, wie es gesagt wird. Aber eine Stimme, die weiß, wann sie schweigen soll, muss auch von denen gehört werden, die sie nicht gebaut haben. Solange die einzigen verfügbaren Aufnahmen die von Block ausgewählten sind, kennen wir von Dessa vor allem die Geschichte, die das Unternehmen darüber erzählt. Ich warte auf den Moment, in dem jemand anderes mit ihr sprechen und hören kann, was sie antwortet.

— Olya