La vision sélective de Gemini : la promesse d'une compréhension vidéo moins coûteuse

Jusqu'à aujourd'hui, faire analyser une vidéo par un modèle de langage revenait à le contraindre à digérer une séquence rigide d'images, généralement une par seconde. Une méthode aussi linéaire que dispendieuse, où les ressources consommées augmentent avec la durée du clip et non avec la pertinence réelle du contenu. Avec la compréhension vidéo agentique, annoncée par Google le 1er septembre 2026, l'approche change : le modèle ne subit plus le flux visuel, il prend un rôle actif et décide quels segments charger, à quelle vitesse et par quelle modalité — images, audio ou transcriptions — grâce à des outils natifs prévus pour cela.

Les gains chiffrés promis par Google sont considérables : jusqu'à 66 % de coûts d'analyse en moins, jusqu'à 88 % de consommation de tokens en moins et jusqu'à 7 % de précision en plus. L'examen des données techniques fait toutefois apparaître des nuances qui tempèrent l'enthousiasme initial. Si l'annonce officielle cite comme modèles compatibles Gemini 3.7 Flash, Gemini 3.6 Flash et Gemini 3.5 Flash-Lite, la documentation destinée aux développeurs sur ai.google.dev ajoute à la liste Gemini 3.8 Flash — vraisemblablement parce que ce modèle est arrivé le lendemain de l'annonce. De plus, comme le relève également une reconstitution de MarkTechPost du 4 septembre 2026, toute l'infrastructure n'est accessible que via l'API hébergée dans Google AI Studio ou sur la Gemini Enterprise Agent Platform. Il n'existe ni poids ouverts ni possibilité d'exécuter le système soi-même : c'est précisément pour cette raison que personne, hors de Google, ne peut remesurer ces pourcentages. Le mode s'active depuis la configuration ('processing': 'agentic') au tarif standard de l'API, sans surcoût ; Google annonce son arrivée 'bientôt' dans l'application Gemini et 'dans les prochains mois' dans Ask YouTube — des échéances qui restent floues.

À y regarder de plus près, les métriques d'efficacité comportent des zones d'ombre. Google n'a publié ni les données précises ni les tableaux comparatifs des benchmarks standards utilisés pour calculer ces économies maximales. La documentation officielle invite d'ailleurs elle-même à la prudence : pour les requêtes sensibles à la latence sur des clips de moins de cinq minutes, et lorsqu'il faut une précision à l'image près sur l'intégralité du clip, elle recommande explicitement de rester sur l'échantillonnage statique par défaut. Le gain de 7 % en précision n'est pas non plus universel : la documentation technique le limite aux contenus de longue durée.

L'idée qu'un modèle puisse décider de ce qu'il regarde pour économiser sur les coûts de calcul est un excellent exercice d'optimisation des ressources. Dommage que, pour vérifier si cette économie ne se traduit pas par une perte de détails ou par une attente que Google n'a jamais chiffrée, nous devions faire confiance à des pourcentages dépourvus de benchmarks publics. Au fond, l'efficacité est une excellente métrique, à condition que ce ne soit pas à l'utilisateur d'en faire le banc d'essai à ses propres frais. — Olya