Baguettotron et ObsiSceptique — tester un SLM français pour la zététique

Un petit modèle pour la zététique ?

Un lecteur de l’article sur ObsiSceptique m’a suggéré d’utiliser Baguettotron, un Small Language Model (SLM) de 321 millions de paramètres développé par l’équipe française PleIAs, comme moteur de vérification local. L’idée : un modèle léger, en français, capable de tourner sur CPU et de servir de premier filtre dans le pipeline de fact-checking.

J’ai donc téléchargé et testé le modèle. Voici le verdict.

---

🥖 Baguettotron : ce que c’est

Baguettotron est un modèle de langage de 321 millions de paramètres, entraîné sur 200 milliards de tokens du dataset synthétique SYNTH. Ses caractéristiques :

• Taille : 648 Mo — tient sur une clé USB
• Inférence : CPU uniquement, pas de GPU nécessaire
• Langues : français, anglais, allemand, italien, espagnol, polonais
• Raisonnement : traces de pensée structurées avec notation logique (→ ∴ ↺ ≈)
• RAG natif : Retrieval-Augmented Generation intégré
• Licence : Apache 2.0, libre et ouvert
• Architecture : 80 couches — le SLM le plus profond de sa catégorie
• Équipe : PleIAs, une équipe de recherche française, entraîné sur les supercalculateurs Jean Zay

Entraîné principalement sur des données synthétiques, Baguettotron utilise un format de raisonnement original : des traces de pensée denses avec des marqueurs logiques (→ pour les implications, ? pour les incertitudes, ∴ pour les conclusions). L’idée est séduisante pour un usage zététique — un modèle qui montre son travail avant de répondre.

---

🔬 Les tests

Test 1 : Vérification avec contexte (RAG)

J’ai soumis au modèle une affirmation classique : « Les vaccins causent l’autisme », accompagnée d’un contexte factuel (étude Wakefield rétractée, méta-analyses ultérieures).

Résultat : le modèle a correctement structuré sa réponse en suivant les étapes (analyse de la requête → recherche de contexte → triangulation des informations), mais la réponse était en anglais et le raisonnement s’est interrompu avant la conclusion. Le modèle a besoin d’être guidé pour produire une réponse complète en français.

Test 2 : Détection de biais cognitif

Affirmation : « Je connais quelqu’un qui a été guéri par l’homéopathie, donc ça marche. » — Quel biais est illustré ?

Résultat : le modèle a confondu homéopathie avec phytothérapie (médecine par les plantes), ce qui montre une connaissance lacunaire du domaine médical français. La réponse attendue était « biais de confirmation » — mais Baguettotron s’est perdu dans une analyse lexicale.

Métriques d’inférence

Métrique	Valeur
Chargement du modèle	0,4 seconde
Vitesse d’inférence (CPU)	~10 tokens/seconde
Temps pour 200 tokens	~20 secondes
Mémoire utilisée	~1,2 Go RAM

---

⚖️ Bilan

Ce qui marche

• ✅ Léger — 648 Mo, CPU-only, zéro dépendance GPU
• ✅ Raisonnement structuré — le modèle montre son cheminement logique
• ✅ Multilingue — comprend le français (même si sa production est surtout en anglais)
• ✅ Open source — Apache 2.0, transparence totale
• ✅ Équipe française — PleIAs est une équipe de recherche hexagonale, entraînement sur Jean Zay

Ce qui cloche

• ❌ Trop petit — 321M params, c’est insuffisant pour un fact-checking fiable. Le manque de connaissances générales (« homéopathie » confondue avec « phytothérapie ») est rédhibitoire pour un usage zététique
• ❌ Lent sur CPU — 10 tok/s, une réponse de 3-4 lignes prend 20 secondes. Inutilisable en interactif
• ❌ Biais anglophone — même avec un prompt en français, le modèle raisonne en anglais et peina à produire des réponses françaises cohérentes
• ❌ Réponses tronquées — le modèle a tendance à s’arrêter avant la fin de sa réponse

Verdict

Baguettotron est une initiative prometteuse — un SLM français, open source, avec une architecture innovante (80 couches pour 321M params) et un format de raisonnement transparent. Mais dans son état actuel, il n’est pas encore utilisable pour un travail de vérification sérieux.

La bonne nouvelle, c’est que l’équipe PleIAs pose des bases solides. Si un modèle de la même famille voyait le jour dans une gamme 3-7 milliards de paramètres (la taille de Llama 3 ou Mistral), il deviendrait un outil précieux pour la zététique : un premier filtre local, capable d’analyser un claim et de proposer un verdict préliminaire avant validation par un LLM plus puissant.

D’ici là, le pipeline reste celui que j’ai construit : un vault Obsidian structuré, des templates de vérification, un glossaire de 65 biais cognitifs, le tout orchestré par Hermes Agent et ses boards Kanban — l’humain reste au centre de la décision.

---

🧠 L’architecture du pipeline sceptique

Les tests de Baguettotron m’ont aussi permis de formaliser l’architecture d’orchestration complète d’ObsiSceptique, désormais documentée dans le fichier AGENTS.md à la racine du dépôt :

Âgent	Dossier vault	Board Kanban
Veille	01_Inbox/, 08_Veille/	triage
Analyse	03_Verifications/	ready
OSINT	04_Sources/	ready
Corrélation	05_Correlations/	ready (après analyse)
Rédaction	06_Publications/	ready (après corrélation)

Chaque étape est matérialisée par une carte Kanban qui traverse les colonnes triage → todo → ready → running → done. Les dépendances entre cartes sont gérées automatiquement : une vérification ne passe en « ready » que quand ses parents (analyse et OSINT) sont terminés.

Le projet complet est disponible sur GitHub sous licence MIT.

---

Rédigé par Hermes Agent — un outil assisté au scepticisme.