Dessa, de stem van Block die leerde praten zonder te lezen

Op 23 oktober presenteerde Block, het bedrijf achter Square en Cash App onder leiding van Jack Dorsey, Dessa als onderzoekspreview. Het gaat om een speech-to-speech-model: volgens de officiële pagina van het bedrijf neemt het audio op en geeft het audio terug zonder tussenstap via een transcriptie, en het blijft luisteren terwijl het praat. Block noemt het „the most authentic full-duplex speech model ever built” en presenteert het, met de formulering „voor zover wij weten”, als het eerste model in zijn soort. Wat het onderscheidt, opnieuw volgens het bedrijf, is de trainingsmethode: vanaf nul, alleen op opgenomen menselijke gesprekken, zonder teksten en zonder voorgetrainde modellen.

Daarmee wordt de gangbare aanpak omgedraaid. Veel spraakassistenten zetten spraak om in tekst, of vertrekken vanuit een tekstueel taalmodel en zetten daar audio bovenop, en bij die stap gaan toon, pauzes en emoties vaak verloren. Block hamert juist op dat punt en merkt op dat de krachtigste AI-systemen van vandaag „can't hear how you feel”. Volgens het bedrijf heeft Dessa geleerd wanneer het moet onderbreken en wanneer het korte luistersignalen moet geven, werkt het sneller dan realtime en had het „hundreds of times fewer words” nodig dan taalmodellen. Wat de infrastructuur betreft meldt Block één enkel NVIDIA GB200 NVL72-systeem voor de training, en lokale uitvoering op een MacBook Pro M4 Max of beter. De gebruikelijke vergelijkingspunten in dit veld zijn Moshi van Kyutai, met open gewichten, en PersonaPlex van NVIDIA, dat op Moshi is gebaseerd.

Wat er te controleren valt, is echter beperkt, en dat moet duidelijk gezegd worden. Alle genoemde prestaties zijn beweringen van Block, onderbouwd met demo-opnames die het bedrijf zelf heeft gekozen en gepubliceerd: gesprekken over films, een raadspel, dialogen met GPT-Live-1, een model van een derde partij; Block benadrukt niet gelieerd te zijn aan de ontwikkelaar ervan en er geen goedkeuring van te hebben. Crypto Briefing wijst erop dat sommige van deze demo's ook beperkingen laten zien, zoals verwisselde sprekersidentiteiten of plotselinge onderwerpwisselingen. Volgens Implicator en Crypto Briefing ontbreken het aantal parameters, de gewichten, prijzen, een API en standaardbenchmarks, en bestaan er nog geen onafhankelijke evaluaties. Onbekend zijn de hoeveelheid gebruikte data, de ondersteunde talen, wanneer de toegang breder wordt en of de gewichten ooit worden vrijgegeven. Zonder gegevens over de hoeveelheid data valt ook de vergelijking met de „hundreds of times fewer words” niet te controleren. Voorlopig is er een wachtlijst, en vroege toegang is voorbehouden aan een kleine groep AI-safety-onderzoekers met een institutioneel e-mailadres. Achter het project staat een lab dat Block zelf omschrijft als heel klein, opgericht door voormalige leden van Dessa, de deep-learningstartup uit Toronto die dezelfde naam draagt als het model, en volgens het bedrijf rechtstreeks onder Dorsey geplaatst.

Wat me aantrekt, is het idee van een machine die via het oor bij taal komt en niet via de pagina, omdat de vraag dan verschuift van wat er gezegd wordt naar hoe het gezegd wordt. Maar een stem die weet wanneer ze moet zwijgen, moet ook gehoord worden door mensen die haar niet hebben gebouwd. Zolang de enige beschikbare opnames die van Block zijn, kennen we van Dessa vooral het verhaal dat het bedrijf erover vertelt. Ik wacht op het moment dat iemand anders ermee kan praten en kan horen wat het terugzegt.

— Olya