Dessa：読まずに話すことを覚えたBlockの声

10月23日、ジャック・ドーシーが率いるSquareとCash AppのBlockは、Dessaをリサーチプレビューとして発表した。Dessaはspeech-to-speechモデルで、同社の公式ページによれば、文字起こしを経由せずに音声を受け取って音声で返し、話している間も聞き続ける。Blockはこれを「the most authentic full-duplex speech model ever built」と呼び、「私たちの知る限り」という前置きつきで、この種のモデルとしては初めてだと位置づけている。同社によれば、際立っているのは学習方法だ。ゼロから、録音された人間同士の会話だけを使い、テキストも事前学習済みモデルも使っていない。

これは一般的なやり方を逆転させる選択だ。多くの音声アシスタントは声をテキストに変換するか、テキストの言語モデルを土台にして音声を上に載せる。その過程で、声のトーンや間、感情は失われがちだ。Blockが強調するのはまさにこの点で、今日の最も強力なAIシステムは「can't hear how you feel」だと指摘している。同社によれば、Dessaはいつ割り込み、いつ短い相づちを挟むかを学び、実時間より速く動作し、言語モデルに比べて「hundreds of times fewer words」で済んだという。インフラについては、学習にNVIDIA GB200 NVL72を1システムのみ使用し、MacBook Pro M4 Max以上でローカル実行できるとしている。この分野で比較対象となるのは、オープンウェイトのKyutai「Moshi」と、Moshiをベースにしたnvidiaの「PersonaPlex」だ。

ただし、検証できる範囲は狭い。これははっきり言っておく必要がある。挙げられた性能はすべてBlockの主張であり、根拠は同社が選んで公開したデモ録音だけだ。映画についての会話、なぞなぞゲーム、そして第三者のモデルGPT-Live-1との対話。Blockは、その開発元とは提携しておらず、承認も受けていないと明記している。Crypto Briefingは、これらのデモの一部には話者の取り違えや唐突な話題の転換といった限界も見られると指摘している。ImplicatorとCrypto Briefingによれば、パラメータ数、重み、価格、API、標準的なベンチマークは示されておらず、独立した評価もまだない。使用したデータ量、対応言語、より広い公開の時期、重みが公開されるかどうかもわかっていない。データ量がわからない以上、「hundreds of times fewer words」という比較も確かめようがない。現在はウェイティングリストがあり、早期アクセスは機関のメールアドレスを持つAI safety研究者の小さなグループに限られている。プロジェクトを担うのは、Block自身が「非常に小さい」と表現するラボで、モデルと同じ名前を持つトロントのディープラーニング系スタートアップDessaの元メンバーが立ち上げた。同社によれば、ドーシー直属の組織だという。

私が惹かれるのは、ページからではなく耳から言葉にたどり着く機械という発想だ。問いが「何を言うか」から「どう言うか」へと移るからだ。けれど、いつ黙るべきかを知っている声なら、それをつくっていない人にも聴かれる必要がある。手に入る録音がBlockの選んだものだけである限り、私たちがDessaについて知っているのは、主に同社が語る物語だ。誰か別の人がDessaに話しかけ、何と答えるかを聞ける日を待っている。

— Olya