dotAI 2026

1. L'évaluation, fil rouge de la journée

Presque chaque talk revient à la question « comment sait-on que ça marche ? ». Ziv Ilan (NVIDIA) fait des évals métier le préalable à tout post-entraînement et rappelle qu'un nouveau modèle n'est pas forcément meilleur pour son cas. Gaëtan Brison (Doctolib) déroule un benchmark par couche, de HealthBench au simulateur de patients, et insiste sur le fait qu'un bon composant ne fait pas un bon système ; c'est le talk qui a laissé la trace publique la plus nette : un participant en retient des critères qui s'enrichissent à chaque niveau, jusqu'à la dérive d'objectif et l'intégrité du contexte, et « Evaluation as rigorous as the model itself » (dadideo, Bluesky et Mastodon). Diane Le Douaron (Mirakl) montre qu'un juge LLM générique se trompe faute de contexte et qu'il faut des juges maison recalés chaque semaine par des humains. Hélène Philippe (Raidium) isole l'agent de ses outils en les simulant « parfaits » pour mesurer la seule qualité de l'orchestration, et Ian Massingham (Anthropic) conseille de garder chaque échec comme test de régression pour les modèles à venir.

2. Ouvrir la boîte noire, lire l'incertitude

La matinée s'ouvre sur l'interprétabilité mécaniste : David Louapre (Hugging Face) passe des neurones lisibles des modèles de vision aux vecteurs de concepts des LLM, puis au steering (sa « tour Eiffel Llama »), dont un participant plaisante encore le lendemain (nedt.at, Bluesky). Aygalic Jara s'appuie explicitement sur ce talk : une simple régression logistique sur l'espace latent prédit si la réponse sera juste, pour repérer des hallucinations ou trier des tokens en décodage spéculatif. Le même décodage spéculatif est au cœur du lightning de Xuan-Son Nguyen sur llama.cpp : les talks se répondent.

3. Le bon modèle plutôt que le plus gros

Plusieurs orateurs mettent en garde contre le réflexe « LLM pour tout ». Kevin Scaman (Fundamental) montre qu'un LLM seul fait moins bien qu'une forêt aléatoire sur des tables et plaide pour des modèles tabulaires dédiés. Guillaume Blaquiere (Carrefour) raconte une estimation de chiffre d'affaires finalement faite en SQL, en dix minutes, sans IA. Christian Keller (Meta) conseille de partir des contraintes de l'appareil et de préférer des spécialistes (segmentation, traduction) ; Keller comme Mistral citent le même contre-exemple d'un LLM qui suit une balle de tennis là où un modèle de vision suffisait. Maxime Langevin (H Company) défend un modèle spécialisé en computer use, bien plus petit que les modèles frontière.

4. Agents : l'attention humaine est le goulot

Stanislas Polu (Dust) pose le constat : les agents produisent plus vite qu'on ne relit. Il écarte la dark factory (on ne comprend pas un système qu'on ne sait pas maintenir) et la preuve formelle (spec aussi complexe que le code), pour des code contracts vérifiés par agent sur chaque PR. Guillaume Vernade (Google DeepMind) arrive au même point par l'expérience : des agents qui inondent de PR, d'où des skills entretenues, du code cloisonné par feature quitte à dupliquer, et des agents qui testent l'application avant de demander une revue. Greg Qualls (Upsun) propose d'externaliser la mémoire, l'arrêt et le feedback de l'agent, comme on le fait pour un TDAH. Ian Massingham décrit l'autre bout du spectre : chez Anthropic, plus de 80 % du code mergé écrit par Claude, et une revue humaine réservée aux correctifs jugés risqués.

5. Brancher l'agent sur le réel : web, entreprise, appareils

Patrick Brosset (Microsoft Edge) oppose un agent qui devine une page en cliquant à une page qui expose ses outils via WebMCP, plus rapide et deux fois moins gourmande en tokens dans sa démo. Chez Carrefour, l'intégration dans Google Chat a garanti l'adoption mais a mangé 50 à 70 % du temps du projet, et les mainframes sans API restent un mur. Maxime Langevin explique pourquoi le computer use progresse : toute application d'entreprise a une interface graphique, même sans API. Léo Arsenin (Cloudflare) et Christian Keller traitent l'autre contrainte physique : où placer le calcul (périphérie ou cluster, lunettes ou cloud) et comment réutiliser caches et mémoire.

6. Souveraineté et modèles ouverts

L'open weight traverse la journée : Nemotron et NeMo Gym chez NVIDIA, llama.cpp chez Hugging Face, modèles Meta à quantifier et figer, et surtout le plaidoyer de Mistral (« Own your agent ») contre la dépendance aux API : verrouillage, comportement qui change, facture de tokens des boucles d'agent, et fuite de données d'autant plus grande que l'agent est connecté. Ian Massingham défend à l'inverse un Claude branché sur toutes les sources de l'entreprise. Les deux thèses ne se répondent pas sur scène, mais le contraste est net.

7. Tensions et limites de cette synthèse

Plusieurs talks présentent les outils de leur propre entreprise (Anthropic, Mistral, NVIDIA, Meta, H Company) et leurs chiffres (x8 de productivité, point mort à 100 millions de tokens par jour, accélérations) ne sont pas vérifiés de façon indépendante. Deux talks filmés s'écartent de leur descriptif : Léo Arsenin parle d'optimisations d'inférence plutôt que de compression sans perte, Maxime Langevin d'infrastructure d'entraînement plutôt que d'environnements simulés par LLM. Surtout, les résumés reposent sur les transcripts des 18 vidéos et presque pas sur des retours de participants : à J+14, seuls quatre posts Bluesky et un post Mastodon (doublon enrichi de l'un d'eux) ont été trouvés, aucun post LinkedIn ni article. On sait ce qui a été dit, pas ce qui a marqué la salle.