En mai 2023, un avocat de New York a soumis un mémoire citant six cas qui n'existaient pas. Ils avaient été générés par ChatGPT. L'avocat a été sanctionné. L’incident est devenu le récit édifiant le plus cité en matière d’adoption légale de l’IA.
Cette histoire – et la douzaine d’autres similaires qui ont suivi – ne constitue pas un argument contre l’IA dans la recherche juridique. C’est un argument pour comprendre comment les différents systèmes d’IA gèrent les citations et choisir des outils qui fondent leurs résultats sur des sources vérifiables.
Que signifie réellement hallucination
L'hallucination dans les grands modèles linguistiques fait référence à la génération d'un contenu plausible mais factuellement incorrect. Dans l’IA à usage général, cela peut signifier une date erronée ou un devis mal attribué. Dans la recherche juridique, cela signifie des citations de décisions qui n'existent pas, des documents qui déforment les décisions réelles ou des dispositions statutaires qui ont été modifiées ou abrogées.
Le problème est structurel : les modèles génératifs sont entraînés pour produire un texte fluide et cohérent qui correspond au contexte de l'invite. Ils ne sont pas formés pour être précis sur le plan factuel, de la même manière qu’une requête dans une base de données est exacte. Lorsqu'on lui demande une affaire sur un point juridique spécifique, un modèle qui n'a pas été spécifiquement contraint produira une citation qui correspond au format attendu, que l'affaire sous-jacente existe ou non.
La différence : récupération augmentée et génération pure
La solution aux hallucinations dans la recherche juridique est la génération augmentée par récupération (RAG). Dans un système RAG, le modèle récupère d'abord les documents pertinents à partir d'une base de données juridique vérifiée, puis génère sa réponse fondée sur ces documents récupérés.
La distinction est extrêmement importante dans la pratique. Une réponse purement générative à la question « Trouvez-moi la jurisprudence suisse sur la responsabilité du fait d'autrui » produit des citations des pondérations du modèle - qui peuvent être obsolètes, mal mémorisées ou entièrement fabriquées. Une réponse augmentée par récupération interroge d’abord un corpus vérifié de décisions du Tribunal fédéral suisse, puis résume les affaires pertinentes réellement trouvées.
- Les systèmes RAG peuvent vous montrer le document source de chaque réclamation
- Les citations dans la sortie RAG correspondent à des documents réels et récupérables
- Les réponses uniquement génératives ne doivent jamais être citées dans des soumissions juridiques sans vérification indépendante
- L’écart de qualité entre RAG et génération pure est le plus important pour la jurisprudence récente et spécifique à une juridiction.
Évaluer un outil d’IA juridique : les bonnes questions
Lors de l’évaluation d’un outil de recherche juridique sur l’IA, la question cruciale n’est pas « quelle est la qualité de l’IA ? mais « comment l'IA est-elle ancrée ? »
- Quelle base de données juridique le système interroge-t-il ? Est-ce actuel ?
- Les citations peuvent-elles être retracées jusqu'aux documents sources ?
- Pouvez-vous consulter le document sous-jacent pour chaque cas mentionné ?
- L’interface fait-elle clairement la distinction entre les faits récupérés et les commentaires générés ?
- Quelle est la date limite pour les données de formation et la base de données juridique ?
Implications en matière de responsabilité professionnelle
En Suisse, comme dans la plupart des juridictions, l'avocat porte la responsabilité professionnelle de l'exactitude de ses arguments. Le fait qu’un outil d’IA ait produit une citation incorrecte ne constitue pas un moyen de défense. Les lignes directrices de la Fédération suisse des avocats sur l'utilisation des outils d'IA sont encore en développement, mais le principe sous-jacent est clair: l'IA est un outil et l'avocat qui l'utilise est responsable d'en vérifier le résultat.
Ce n’est pas un argument pour éviter les outils de recherche sur l’IA, mais pour les utiliser correctement. Un outil de recherche en IA bien conçu et fondé sur la récupération, utilisé avec un examen approprié, réduit le temps de recherche et améliore la couverture. La clé est de sélectionner des outils dans lesquels la vérification est intégrée au flux de travail, et non après coup.