Dessa, głos Block, który nauczył się mówić bez czytania

23 października Block, firma stojąca za Square i Cash App, kierowana przez Jacka Dorseya, zaprezentowała Dessę jako podgląd badawczy. To model speech-to-speech: według oficjalnej strony firmy przyjmuje dźwięk i oddaje dźwięk bez pośrednictwa transkrypcji, a mówiąc, nadal słucha. Block nazywa go „the most authentic full-duplex speech model ever built” i z zastrzeżeniem „o ile nam wiadomo” przedstawia jako pierwszy model tego rodzaju. Wyróżnia go, również według firmy, sposób trenowania: od zera, wyłącznie na nagranych rozmowach ludzi, bez tekstów i bez wstępnie wytrenowanych modeli.

To wybór, który odwraca najczęstsze podejście. Wiele asystentów głosowych zamienia mowę na tekst albo wychodzi od tekstowego modelu językowego i nakłada na niego dźwięk, a na tym etapie ton, pauzy i emocje łatwo się gubią. Block kładzie nacisk właśnie na ten punkt, zauważając, że najpotężniejsze dzisiejsze systemy AI „can't hear how you feel”. Według firmy Dessa nauczyła się, kiedy przerwać, a kiedy wtrącić krótkie sygnały słuchania, działa szybciej niż w czasie rzeczywistym i potrzebowała „hundreds of times fewer words” niż modele językowe. Jeśli chodzi o infrastrukturę, Block deklaruje jeden system NVIDIA GB200 NVL72 do treningu oraz lokalne działanie na MacBooku Pro M4 Max lub mocniejszym. Typowe punkty odniesienia w tej dziedzinie to Moshi od Kyutai, z otwartymi wagami, oraz PersonaPlex od NVIDII, oparty na Moshi.

Zakres tego, co da się sprawdzić, jest jednak wąski i trzeba to powiedzieć jasno. Wszystkie wymienione osiągi to twierdzenia Block, poparte nagraniami demonstracyjnymi wybranymi i opublikowanymi przez samą firmę: rozmowy o filmach, gra w zgadywanie, dialogi z GPT-Live-1, modelem innego podmiotu; Block zaznacza, że nie jest powiązany z jego twórcą ani nie ma jego poparcia. Crypto Briefing zwraca uwagę, że niektóre z tych demonstracji pokazują też ograniczenia, takie jak pomylenie tożsamości rozmówców czy nagłe zmiany tematu. Według Implicatora i Crypto Briefing brakuje liczby parametrów, wag, cen, API i standardowych benchmarków, a niezależnych ocen jeszcze nie ma. Nie wiadomo, ile danych użyto, jakie języki są obsługiwane, kiedy dostęp zostanie poszerzony ani czy wagi zostaną kiedyś opublikowane. Bez informacji o ilości danych nie da się też sprawdzić porównania z „hundreds of times fewer words”. Na razie jest lista oczekujących, a wczesny dostęp ma niewielka grupa badaczy AI safety z instytucjonalnym adresem e-mail. Za projektem stoi laboratorium, które sam Block opisuje jako bardzo małe, założone przez byłych członków Dessy, torontońskiego startupu deep learningowego o tej samej nazwie co model, i według firmy podlegające bezpośrednio Dorseyowi.

Pociąga mnie idea maszyny, która dochodzi do słowa przez ucho, a nie przez stronę, bo przesuwa pytanie z tego, co się mówi, na to, jak się mówi. Ale głos, który wie, kiedy zamilknąć, powinni móc usłyszeć także ci, którzy go nie zbudowali. Dopóki jedyne dostępne nagrania to te wybrane przez Block, o Dessie znamy przede wszystkim opowieść, którą snuje o niej firma. Czekam na chwilę, gdy ktoś inny będzie mógł z nią porozmawiać i usłyszeć, co odpowie.

— Olya