1 février 2025
La #a2jweek de la C.-B., du 3 au 7 février, explore la question « À quoi ressemble l’avenir de l’accès à la justice? » De notre point de vue, cet avenir comprend des possibilités rendues possibles par l’IA générative pour étendre l’assistance légale. Nous voyons cela prendre forme chaque jour avec Beagle+ , notre agent conversationnel alimenté par l’IA générative, qui répond aux questions et guide les Britanno-Colombiens dans leurs problèmes juridiques de tous les jours — sans file d’attente, sans rendez-vous nécessaire.
Appelez ça « l’a2j sur demande ». Voilà à quoi ressemble l’avenir 🔮
Nous sommes reconnus comme un chef de file dans l’utilisation de l’IA générative pour accroître l’A2J
Nous avons lancé Beagle+ en février 2024. C’était l’un des premiers agents conversationnels juridiques alimentés par l’intelligence artificielle générative. Un an plus tard, après avoir aidé plus de 6 000 Britanno-Colombiens à s’orienter dans leurs problèmes juridiques, Beagle+ est reconnu comme un exemple de premier plan d’agent conversationnel alimenté par l’IA générative.
En janvier, nous avons été invités à présenter le parcours de Beagle+ au National Center for State Courts (Centre national des tribunaux d’État), un organisme qui se consacre à faire progresser l’innovation et le progrès dans le système judiciaire aux États-Unis. Le webinaire, Applications de l’IA pour accroître l’accès à la justice, a été suivi par 856 personnes. Les commentaires ont été fantastiques. Dans un article connexe, les organisateurs du webinaire ont écrit :
« Au cœur du succès de Beagle+ se trouvent sa conception réfléchie et son approche centrée sur l’utilisateur. L’équipe a donné la priorité à la création d’un système à la fois empathique et informatif, avec pour objectif principal de fournir aux utilisateurs des conseils clairs et concrets. »
Voici un échantillon des commentaires du public :
« Merci d’avoir animé une séance aussi informative. Les exemples concrets d’IA générative dans des contextes juridiques ont été particulièrement utiles, et j’ai apprécié les conseils sur la façon de structurer le contenu pour réduire les hallucinations. »
« J’ai beaucoup aimé la discussion sur les instructions/prompts que vous avez utilisées pour Beagle+ afin de l’orienter vers vos besoins et de corriger les problèmes. Excellent travail! »
Toujours en janvier, nous avons fait une présentation à la conférence annuelle sur les innovations technologiques organisée par la Legal Services Corporation, l’organisme-cadre responsable de la prestation de l’aide juridique aux États-Unis. Le rassemblement de cette année, à Phoenix, a réuni plus de 700 personnes qui travaillent sur l’accès à la justice partout en Amérique du Nord. Notre atelier, L’IA générative à partir de votre contenu, a été la diffusion en direct la plus regardée de la conférence.
Et encore une fois, les commentaires ont été fantastiques. Par exemple, Sam Harden, gestionnaire principal de l’innovation chez Pro Bono Net, a publié sur son Substack :
« Les gens de People’s Law School en Colombie-Britannique sont venus faire une présentation à la conférence principale de l’ITC au sujet de Beagle+, le robot d’IA qu’ils ont déployé. J’ai été vraiment impressionné par leur approche pratique, surtout par leur volonté de tester et d’évaluer le rendement du robot. Ils ont aussi effectué de l’assurance qualité sur les réponses du robot et l’ont documentée — ce sera très utile pour d’autres organismes qui veulent faire quelque chose de semblable. Bien sûr, la plupart des organismes n’auront pas les ressources humaines nécessaires pour faire une assurance qualité aussi poussée, mais ils pourront se baser sur les résultats de Beagle comme point de référence. »
Nous avons fixé des normes élevées avant de donner l’accès au public
Parlons davantage de notre approche en matière d’assurance qualité. La couche de base est la génération augmentée par récupération (RAG). C’est une façon technique de dire que Beagle+ utilise le contenu de People’s Law School pour fournir ses réponses. Nous demandons à ChatGPT 4o, le modèle qui alimente Beagle+, d’utiliser le contenu de nos sites Web — et si nous n’avons pas de contenu pertinent, de le dire.
Au cours de notre parcours de développement, nous avons fait passer un ensemble de 42 questions de test à travers des dizaines d’itérations de Beagle+, en essayant différents modèles et réglages de ChatGPT. Nous avons constaté que l’arrivée de GPT-4 représentait un grand pas en avant, car il était beaucoup plus discipliné et évitait davantage de dépasser notre contenu. Et nous avons continué à peaufiner notre prompt système pour le rendre encore plus discipliné.
Jusqu’à ce que nous ayons très confiance dans la capacité de Beagle+ à répondre avec exactitude aux questions juridiques, nous avons attendu avant de le présenter au public.
🙅♂️ Avril 2023 : exactitude de 70 %; pas de lancement pour le moment
🙅♀️ Octobre 2023 : exactitude de 80 %; pas de lancement pour le moment
🤔 Décembre 2023 : exactitude de 90 %; toujours pas de lancement
😄 Février 2024 : exactitude de 99 %; lancement public
Cela a demandé beaucoup de tests et d’améliorations. Mais nous n’étions pas à l’aise de lancer notre produit avant qu’il soit prêt.
Nous examinons constamment les conversations avec Beagle+ et apportons d’autres ajustements au besoin
Dès le jour de notre lancement, nous avons examiné chaque conversation que le public a eue avec Beagle+. Nos avocats en développement de contenu ont jugé que 99 % des conversations étaient juridiquement exactes. Et notre examen ne porte pas seulement sur l’exactitude juridique; nous évaluons aussi le ton, l’utilité et le langage employé pour nous assurer que Beagle+ peut donner à nos utilisateurs les moyens de passer à la prochaine étape pour régler ou éviter un problème juridique.
Pour le 1 % de conversations que notre équipe a relevé comme devant être améliorées, nous avons été en mesure de corriger chacune d’elles. Dans environ la moitié des cas, nous avons apporté des ajustements ou des ajouts au contenu sous-jacent, ce qui a produit d’excellentes réponses lorsque nous avons repris les mêmes questions par la suite. Pour l’autre moitié, nous avons encore affiné notre prompt système pour corriger le problème; par exemple, nous demandons maintenant à Beagle+ de poser une question pour préciser le niveau de tribunal en cause lorsque le contexte ne le dit pas clairement.
Les résultats que nous voyons nous encouragent. Les utilisateurs peuvent dire si Beagle+ leur a été utile (avec un 👍 ou un 👎). En 2024, parmi les plus de 6 000 personnes qui ont utilisé Beagle+, 79 % ont dit que c’était utile. Comparez cela à l’Enquête canadienne sur les problèmes juridiques de Statistique Canada, où les gens ont trouvé les professionnels du droit utiles 77 % du temps.
Restez à l’écoute pendant que Beagle+ élargit sa portée et sa capacité de recherche
L’avenir de la technologie juridique est prometteur, et People’s Law est fier de faire partie du mouvement visant à améliorer l’accès à la justice.
Le National Center for State Courts (Centre national des tribunaux d’État) des États-Unis nous a invités à revenir pour une deuxième partie du webinaire le 19 février. Nous approfondirons les aspects techniques de la création et de la surveillance de Beagle+, y compris l’utilisation de la génération augmentée par récupération ainsi que d’une plateforme d’ingénierie de grands modèles de langage (LLM) pour aider à l’examen des conversations du robot conversationnel.
De plus, nous sommes en discussion avec le Stanford Law School's Legal Design Lab (laboratoire de conception juridique de la faculté de droit de Stanford) afin de travailler ensemble à l’établissement de critères de rendement pour définir ce qui constitue une expérience de haute qualité avec un agent conversationnel dans le domaine juridique — ce qui améliorerait encore davantage l’expérience utilisateur de Beagle+ et aiderait d’autres organismes sans but lucratif à utiliser des outils alimentés par l’IA générative de façons sûres et habilitantes pour les personnes qui cherchent à avoir accès à la justice.