2025年2月1日
卑诗省的 #a2jweek 将于 2 月 3 日至 7 日举行，探讨“获得司法公正的未来会是什么样？”在我们看来，这个未来包括借助生成式人工智能带来的机会，来扩大法律帮助的服务规模。我们每天都能看到这一点正在成为现实：我们的生成式 AI 聊天机器人 Beagle+ 正在回答问题，并引导卑诗省居民处理日常法律问题——无需排队等候，也无需预约。
不妨称之为“按需获得司法公正”。未来就是这样 🔮
我们因运用生成式 AI 提升司法公正可及性而被公认为领军者
我们于 2024 年 2 月正式推出 Beagle+。它是首批由生成式人工智能驱动的法律聊天机器人之一。一年后，Beagle+ 已帮助超过 6,000 名卑诗省居民处理法律问题，并被公认为生成式 AI 驱动聊天机器人的领先范例。
今年 1 月，我们受邀向 National Center for State Courts（州法院国家中心） 分享 Beagle+ 的发展历程。该组织致力于推动美国法院系统的创新与进步。共有 856 人参加了题为 应用 AI 提升司法公正可及性 的网络研讨会。收到的反馈非常好。在一篇配套文章中，研讨会组织者写道：
“Beagle+ 成功的核心在于其周到的设计和以用户为中心的方法。团队优先打造一个既富有同理心又能提供信息的系统，重点是为用户提供清晰、可行的指引。”
以下是部分观众反馈：
“感谢您举办如此内容丰富的讲座。生成式 AI 在法律场景中的真实案例尤其有帮助，我也很欣赏有关如何组织内容以减少幻觉现象的建议。”
“我非常喜欢关于您为 Beagle+ 使用了哪些指令／提示词、如何引导它满足您的需求并纠正问题的讨论。做得非常出色！”
同样在 1 月，我们在 Legal Services Corporation（法律服务公司）主办的年度科技创新大会上进行了演讲。该机构是美国法律援助服务体系的统筹机构。今年在 Phoenix 举行的会议，吸引了 700 多名来自北美各地、致力于促进司法公正可及性的人士参加。我们的工作坊 使用您的内容构建生成式 AI 是本次大会观看次数最多的直播。
再次，我们收到的反馈非常好。例如，Pro Bono Net 的高级创新经理 Sam Harden 在 他的 Substack 上写道：
“来自卑诗省 People's Law School 的团队在 ITC 主会场介绍了他们推出的 AI 机器人 Beagle+。他们务实的方法给我留下了深刻印象，尤其是他们愿意测试和评估该机器人的表现。他们还一直对机器人的回答进行质量保证检查并记录下来——这对其他希望做类似工作的组织会非常有价值。当然，大多数机构不会有足够的人手进行如此广泛的质量保证检查，但他们可以将 Beagle 的结果作为一种基准。”
我们在向公众开放前设定了高标准
让我们进一步谈谈我们的质量保证方法。基础层是检索增强生成（RAG）。简单来说，就是 Beagle+ 使用 People's Law School 自己的内容来生成回答。我们指示为 Beagle+ 提供支持的模型 ChatGPT 4o 使用我们网站上的内容——如果我们没有任何相关内容，就直接说明这一点。
在开发过程中，我们使用 42 个测试问题，对 Beagle+ 进行了数十轮迭代测试，尝试了不同的 ChatGPT 模型和设置。我们发现，GPT-4 的推出带来了重大进步，因为它更能严格遵守我们的内容范围，不会超出范围。我们还不断完善系统提示词，使它更加严格。
在我们对 Beagle+ 准确回答法律问题的能力非常有信心之前，我们没有将它向公众推出。
🙅♂️ 2023 年 4 月：准确率 70%；暂不推出
🙅♀️ 2023 年 10 月：准确率 80%；暂不推出
🤔 2023 年 12 月：准确率 90%；仍暂不推出
😄 2024 年 2 月：准确率 99%；向公众推出
这需要大量测试和改进。但在产品准备就绪之前，我们并不放心推出它。
我们持续审查 Beagle+ 的对话，并在需要时作出进一步调整
自推出之日起，我们审查了公众与 Beagle+ 进行的每一段对话。我们的内容开发律师认为，其中 99% 的对话在法律上是准确的。我们的审查不仅关注法律准确性；我们还会评估语气、实用性和用语，以确保 Beagle+ 能帮助用户采取下一步行动，解决或避免法律问题。
对于我们团队标记为需要改进的 1% 对话，我们已逐一处理。大约有一半情况，我们对基础内容作出了调整或补充；之后再次使用相同输入进行测试时，得到了出色的回答。对于另一半情况，我们进一步完善了系统提示词来解决问题；例如，当上下文未明确涉及哪一级法院时，我们现在会指示 Beagle+ 提出问题，确认所涉及的法院级别。
我们对目前看到的结果感到鼓舞。用户可以通过 👍 或 👎 就 Beagle+ 是否有帮助提供反馈。在 2024 年，使用 Beagle+ 的 6,000 多人中，79% 表示它有帮助。相比之下，在 加拿大统计局的加拿大法律问题调查 中，人们认为法律专业人士有帮助的比例为 77%。
敬请关注 Beagle+ 如何扩大服务范围和能力
法律科技的未来充满希望，People's Law 很自豪能成为提升司法公正可及性行动的一员。
美国 National Center for State Courts（州法院国家中心） 邀请我们于 2 月 19 日再次举办第二部分网络研讨会。我们将更深入探讨构建和监测 Beagle+ 的技术层面，包括使用检索增强生成技术，以及使用大语言模型（LLM）工程平台来协助审查聊天机器人对话。
此外，我们正与 Stanford Law School's Legal Design Lab（斯坦福法学院法律设计实验室） 洽谈合作，共同制定衡量法律领域高质量对话式聊天机器人体验的性能基准。这将进一步改善 Beagle+ 的用户体验，并支持其他非营利组织以安全且能赋能寻求司法公正人士的方式，使用由生成式 AI 驱动的工具。