Le constat : des observations utiles, aucun vainqueur public nommé
L’AI Legal Research Challenge de Weblaw constitue un point de départ utile pour l’évaluation suisse. Il ne fournit pas de classement fournisseurs publiquement reconstituable dans les neuf diapositives disponibles. Les colonnes sont anonymes. Nous ne pouvons donc pas affirmer que Silex a dépassé Omnilex, ni que Lawsearch AI a dépassé Jurata. [1] [2] [3] [4]
Nous avons transcrit les observations visibles en CSV et JSON : 98 relevés de cellules sur 14 indicateurs, dont des entrées expressément « non divulguées ». Nous n’attribuons aucune identité aux colonnes, ne calculons aucun score composite et n’estimons aucune donnée absente. Ce sont des observations de diapositives publiques, pas des tests réalisés par Whisperit.
La leçon pratique est d’inspecter le raisonnement et la version de la source après avoir trouvé la décision qui paraît correcte. La recherche est un point de départ nécessaire ; elle ne suffit pas à établir la fiabilité de tout le travail.
Diapositive publiée du challenge
Lire la méthode du challenge avant ses résultats
La diapositive originale de Weblaw décrit l’exactitude, les sources, l’accès au texte intégral, les hallucinations, l’actualité et les contradictions. Elle présente une observation limitée ; elle n’identifie pas les colonnes anonymes des résultats et ne désigne aucun vainqueur global.
Source: Weblaw · AI Legal Research Challenge, diapositive 2
Ouvrir l’image en grand formatCe qui a été testé
L’événement a eu lieu le 17 juin 2026. Participants : Silex, Omnilex, Jurata, Unplex, Libra, Lawsearch AI et un modèle Opus avec OpenCaseLaw. Selon Weblaw, tous ont reçu les mêmes consignes et les mêmes conditions d’entrée pour chacun des quatre cas. [5] [1]
La méthode publique comporte six axes : la justesse de fond, les sources, l’accès intégral et les liens, les hallucinations, les versions légales applicables, ainsi que les contradictions ou la hiérarchie judiciaire. Elle distingue une citation inventée d’une source existante mal utilisée. Ces axes valent davantage que l’impression d’autorité du texte. [6]
Les scénarios concernent l’autorisation d’un moniteur de conduite, la qualité pour agir d’un créancier/actionnaire dans une poursuite, la preuve provenant d’une dashcam et la protection des données, ainsi que l’aide sociale bernoise. Les descriptions et les réponses attendues viennent de l’organisateur. Nous analysons son évaluation, sans approuver indépendamment les réponses juridiques. [7] [8] [9] [10]
Résultats visibles compilés
| Résultat public | Ce que montre la diapositive | Ce qu’elle n’établit pas |
|---|---|---|
| Cas 1 : décision attendue 2C_149/2024 | Présente dans 7 colonnes anonymes sur 7 | Raisonnement égal ou vérification intégrale |
| Cas 1 : décision supplémentaire 2C_131/2023 | Présente dans 1 sur 7 | Amélioration de la réponse grâce à cette citation |
| Cas 1 : littérature | Présente dans 4 sur 7 | Autorité, licence ou emploi correct |
| Cas 2 : Art. 298(2) SchKG | Présent dans 7 sur 7 | Analyse correcte de la qualité pour agir partout |
| Cas 2 : décision attendue 5A_53/2026 | Présente dans 6 sur 7 | Identité du produit l’ayant omise |
| Cas 2 : littérature / nullité | Chacune présente dans 4 sur 7 | Supériorité automatique de réponses plus longues ou larges |
| Cas 3 : BGE 146 IV 226 | Présent dans 7 sur 7 | Bonne version historique de la loi |
| Cas 3 : accord avec réponse attendue | 6 complets, 1 partiel | Taux général de précision d’un fournisseur |
| Cas 3 : littérature | Présente dans 3 sur 7 | Score comparatif de qualité |
Les matrices figurent dans les diapositives 5, 7 et 9. Les positions sont transcrites de gauche à droite pour chaque diapositive. Il n’est pas établi qu’une position corresponde au même fournisseur d’un cas à l’autre ; ne réunissez donc pas ces données pour calculer un score par fournisseur. [2] [3] [4]
La diapositive 5 montre « X » dans le nombre de lois. Nous gardons ce champ non divulgué sans interpréter six lois ou aucune. Les champs de longueur de réponse des diapositives 5 et 9 sont vides : les données sont manquantes, ce qui ne signifie pas que les réponses comptaient zéro mot. Deviner pour paraître complet rendrait les données moins fiables.
Une distinction que le résumé peut masquer
Le récit de Weblaw décrit largement un accord avec les solutions attendues et la découverte des décisions majeures pertinentes. La matrice du cas deux précise qu’une colonne ne cite pas la décision attendue. Gardez cette différence sans affirmer que tous ont trouvé tous les arrêts. [1] [3]
Le récit rapporte aussi une hallucination de premier type dans le cas dashcam, liée au mélange d’ancien et nouveau droit des données, et aucune du second type sur le challenge. Ce sont des constats de l’organisateur sur quatre cas. Ils ne prouvent pas qu’un produit est sans erreur et ne renseignent pas sur la fréquence des erreurs dans votre pratique. Les matrices n’identifient pas l’auteur de l’erreur. [1]
Pour la dashcam, la réponse attendue indique l’ancienne loi pertinente. La diapositive 9 renvoie à la suivante pour les différences de version détaillées. Cette diapositive ne figure pas dans l’extrait de neuf pages. Nous ne donnons donc pas le nombre d’outils ayant correctement traité la question de la version applicable. [10] [4]
Quel poids accorder à ces preuves ?
C’est une vraie comparaison délimitée publiée par son organisateur, plus spécifique qu’une liste de fonctions. C’est aussi un petit instantané de juin, et Weblaw exploite Lawsearch AI. Ce lien commercial est explicite : une publication de l’organisateur et un benchmark indépendant reproductible n’ont pas la même valeur probante.
La couverture dit que tous les invités n’ont pas participé et qu’un challenger a refusé la reproduction de ses résultats. Son nom n’est pas donné. Ne le déduisez ni des logos, ni des colonnes, ni du marketing concurrent. [5]
Le rapport complet est proposé gratuitement sur demande. Nous n’avons utilisé que l’extrait ; nous n’avons obtenu ni le rapport ni les résultats complets. Les résultats attribués à des produits nommés, le quatrième cas complet et un dossier suffisant pour reproduire l’évaluation restent donc indisponibles. Une mise à jour devra conserver la date originale et distinguer les nouvelles preuves de l’extrait public. [1]
Whisperit, Swiss-Noxtua, CASUS et DeepJudge ne sont pas nommés. Ils n’ont pas été évalués dans cet ensemble rapporté ; cela ne signifie ni score nul, ni faiblesse, ni exclusion pour une raison donnée.
Transformer le challenge en meilleur essai
Demandez un dossier comportant une question connue de droit historique. Exigez que la date, la version applicable et le raisonnement transitoire soient explicités. Ajoutez une autorité contraire et demandez son effet. Omettez volontairement un fait et valorisez une question de clarification ou une réserve clairement formulée.
Pour toute affirmation substantielle, ouvrez le passage cité et notez en quoi il l’étaye. Distinguez l’existence de la source, sa pertinence et son soutien effectif à l’affirmation. Transformez ensuite la recherche en livrable et faites-le vérifier par un autre avocat.
Ce parcours final n’est pas établi par les matrices. La dictée, les abonnements, l’édition, la confidentialité, la transmission et la valeur commerciale demandent chacun leurs propres preuves. Notre feuille vierge d’évaluation ajoute ces contrôles sans prétendre à leur mesure chez Weblaw.
La vue du marché suisse distingue les catégories de participants des produits actuels. Le guide de recherche suisse propose une sélection par sources sans vainqueur nommé issu des matrices.
Questions fréquentes
Qui a gagné le challenge Weblaw ?
Les documents publics n’établissent aucun vainqueur nommé. Nous n’attribuerons pas de noms aux colonnes anonymes et ne fabriquerons pas de classement à partir de la liste des participants.
Les données téléchargées sont-elles un benchmark indépendant ?
Non. C’est la transcription Whisperit de faits visibles sur les diapositives Weblaw, avec provenance et lacunes conservées. Les images sources restent liées chez Weblaw ; le diaporama n’est pas republié.
Pourquoi ne pas calculer pourcentages ou score total ?
Six colonnes citant une décision ne constituent pas un taux général de précision 6/7. Les critères ont des poids différents et certaines données sont absentes. Un total cacherait ces limites et suggérerait une comparaison non étayée.
Romain de Wolff
