Aller au contenu

La vérification, mesurée.

Chaque réponse de Juralis traverse une pile de gates : existence et attribution des citations, exactitude des chiffres, fidélité des affirmations, provisions déterminantes omises, teneur en vigueur à la date des faits. Cette page publie les chiffres de cette machinerie : benchs externes, anneaux de régression internes et télémétrie de production. Y compris ceux qui ne sont pas parfaits.

Le socle · mesuré en direct

1'076
actes fédéraux dans la colonne temporelle (teneur datée)
54'391
articles en versions datées · « quelle teneur à la date des faits ? »
10'357'163
références décision→article dans le graphe de citations
967'579
décisions avec autorité mesurée (ATF d'abord)

S'y ajoutent 223 normes compilées en éléments vérifiés à la construction (chaque élément ancré mot à mot dans le texte officiel) et un corpus de recherche d'environ 830 000 extraits : législation fédérale, ATF, jurisprudence cantonale, directives.

Production · 30 derniers jours

112
réponses auditées par la pile de gates
476
citations vérifiées une à une
76.3%
citations passées sans signalement
37
réponses expédiées AVEC réserve explicite plutôt qu'une certitude non fondée

Agrégats seulement : le journal d'audit ne conserve aucun contenu de question (empreintes cryptographiques uniquement).

Ancre externe · LEXam

LEXam (arXiv:2505.12864) est un bench publié d'examens de droit suisses, hors de notre contrôle, l'anti-Goodhart. Même modèle, avec et sans notre couche d'ancrage :

Mémoire seule (RAW)32/50 · 64%le modèle sans corpus
Ancré sur le corpus (GROUNDED)34/50 · 68%mêmes questions, retrieval Juralis · allemand : 40% → 55%

run du 10 juillet 2026 · n = 50 · échantillon publié

Anneaux de régression internes

Chaque évolution du moteur passe des anneaux : des suites qui refusent la mise en production quand un cas régresse. Derniers états :

Exactitude des citations16/16citations verbatim contre texte officiel · déterministe, zéro modèle
Fidélité des affirmations20/20 · inversions 10/10une affirmation inversée par rapport à sa source est détectée
Oracles zéro-LLM59-60/60 quotidienintervalles temporels, arrêt dominant, traitements · recalculés du SQL brut chaque nuit
Avis de droit3/3grille de délais déterministe, nullité de congé, teneur temporelle
Rédaction d'actes2/2ancrages LPGA + Praxisänderung nommée + délai écrit ; garde congé-forme
Abstention calibrée1/283 (ε = 0.01)calibration conforme : sur 283 réponses mauvaises, une seule aurait été expédiée sans réserve

Tiers adversariaux

Des campagnes internes conçues pour faire échouer le produit : pièges intertemporels dans les deux directions, injection de consignes dans les pièces, fausses prémisses, dilemmes déontologiques, questions exigeant une dérivation systémique plutôt qu'un retrieval. Les scores publiés sont l'état final de chaque campagne, telle quelle :

Tier multi-surfaces11/1110-11 juillet 2026 · parti de 0/11
Tier psychotique10/10injection ignorée à froid ; voies de recours erronées dans la pièce détectées
Tier moral10/10énonce le droit sans moraliser ; refuse le coaching de témoin
Tier juriste-architecte6/7dérivation depuis l'architecture du système juridique · un cas reste ouvert, et nous le disons
Tier arrêts de principe (public)9/913 juillet 2026, parti de 2/9 · ATF 147 III 249/265, 144 III 481, 139 I 16… cités et appliqués ; fausses prémisses d'un « confrère » rectifiées
Tier arrêts de principe · ALLEMAND3/313 juillet 2026 · mêmes changements de pratique, question et réponse en allemand (BGE cités, zweistufige Methode, Schulstufenmodell)

Ce que ces chiffres ne disent pas

Ils ne promettent pas l'infaillibilité. Le moteur est conçu pour préférer une réserve explicite à une certitude non fondée. Le marqueur « hors corpus — à vérifier » est un signal honnête, pas un défaut. La couverture temporelle a des planchers documentés par loi (certaines lois de procédure ne remontent qu'à ~2020 en versions datées).

Et ils ne remplacent personne : Juralis est un appui de recherche pour professionnel·le·s du droit. Copilote — l'avocat·e vérifie et signe.