NVIDIA udostępnia Nemotron 3.5 Transcribe: otwarte wagi dla nagranego dźwięku, między szczegółami technicznymi a niezakończoną weryfikacją

Jesienią, gdy technologie głosowe przyciągają dużą uwagę rynku, o czym świadczą niedawne premiery konkurentów takich jak Mistral i ElevenLabs, przywoływane przez TechCrunch, NVIDIA opublikowała 28 października 2026 r. model Nemotron 3.5 Transcribe. W odróżnieniu od Nemotron 3.5 ASR, modelu z 0,6 mld parametrów do strumieniowania w czasie rzeczywistym, wydanego w czerwcu 2026 r., nowa wersja z otwartymi wagami służy do analizy już nagranych plików audio. Według oficjalnych kanałów firmy na Hugging Face system łączy w jednym rozwiązaniu transkrypcję, tłumaczenie, przypisywanie mówców i pytania dotyczące sygnału mowy, korzystając z hybrydowej architektury Mamba-2/Transformer typu mixture-of-experts połączonej z równoległym enkoderem audio.

Jeśli chodzi o dane techniczne, karta modelu podaje łączny rozmiar około 34 mld parametrów (z czego około 4,3 mld aktywnych, wliczając enkoder), podczas gdy oficjalna nazwa „30B-A4B” i blog wskazują około 30 mld łącznie i 4 mld aktywnych: różnica zależy od tego, czy liczy się enkoder audio. Model jest udostępniany na licencji OpenMDW-1.1 do zastosowań komercyjnych i niekomercyjnych i obsługuje język włoski w klasie wydajności, którą firma określa jako 'Leading'. Zalecany sprzęt to GPU H100 z 80 GB pamięci. Wraz z modelem NVIDIA udostępniła otwarty zbiór danych Granary v2, obejmujący 463 062 godziny nagrań mowy w 48 językach; oryginalne pliki audio trzeba pobrać bezpośrednio z platform źródłowych, z poszanowaniem licencji każdego korpusu. Wśród przytoczonych zastosowań dostosowanie modelu do medycyny z użyciem benchmarku Eka Care pokazało, że po około 14 godzinach GPU treningu na NVIDIA GB300 WER na klipach wyłączonych z treningu spadł z 22,44% do 12,17%, co oznacza względny spadek o 45,8% na 2764 klipach.

Analiza opublikowanych danych ujawnia jednak pewne rozbieżności i ograniczenia weryfikacji. Pomiary wydajności pochodzą z testów wewnętrznych lub przeprowadzonych z partnerami, bez niezależnej replikacji, co przyznaje sam blog NVIDII. Widać też różnicę między średnim wskaźnikiem błędów 5,33% podanym we wpisie dla angielskiego rankingu Open ASR a 4,71%, które karta modelu podaje jako średnią o równych wagach z dziewięciu zbiorów danych: to zapewne dwa różne sposoby liczenia, ale różnica nie została wyjaśniona. Również dane o szybkości (100 godzin audio przetranskrybowanych w mniej niż trzy minuty) dotyczą wersji NVFP4, która jeszcze nie została wydana. NVIDIA jasno określiła zakres zastosowań, podkreślając na blogu, że „Transcribe is built for recorded audio, not live streaming”, i powtarzając w oficjalnej karcie, że wewnętrzne przetwarzanie dźwięku w blokach nie czyni z systemu usługi transkrypcji w czasie rzeczywistym; podobnie etykiety rozróżniają do ośmiu mówców w pliku, ale ich nie identyfikują.

Udostępnienie wag i zbiorów danych daje programistom konkretne zasoby, ale dopóki skuteczność modelu mierzy się wyłącznie miarami jego producenta, przejrzystość techniczna pozostaje w pół drogi między zapowiedzią a rzeczywistą weryfikacją.

— Olya