前言

华尔街顶级律所 Sullivan & Cromwell（S&C）近日遭遇了一次尴尬的当众打脸——该律所在一起联邦破产案中使用 AI 辅助起草法律文书，结果被对方发现诉状中引用的判例是 AI 凭空捏造的。这一事件再次将 AI 幻觉（Hallucination）问题推上风口浪尖。

事件始末

事情发生在曼哈顿联邦破产法院。S&C 作为债权人方提交了一份法律文书，其中引用了多个判例作为论证依据。然而，对方律所 Boies Schiller Flexner 在审阅后发现：

  • 部分判例被错误引用，内容与实际判决不符
  • 至少一个「判例」根本不存在，是 AI 凭空编造出来的
  • 某些条款甚至错误引用了美国破产法条文

Boies Schiller Flexner 随即向法官指出这些错误。S&C 重组业务联合负责人 Andrew Dietderich 随后向法官 Martin Glenn 提交了一份道歉信，承认「深深遗憾此事发生」。

道歉信中的矛盾

Dietderich 在道歉信中强调律所有「严格的 AI 使用政策和培训要求」，并表示「政策未被遵循」是事故原因。这番说辞颇具讽刺意味——一间以服务顶级客户著称的精英律所，最终因为没能遵守自己的 AI 政策而在法庭上颜面尽失。

更值得玩味的是，S&C 正是以 AI 政策严格著称的事务所之一，包括为律师提供 AI 工具使用培训、建立审核流程等。然而再完善的流程也架不住执行层面的疏漏。

AI 幻觉：不可忽视的固有缺陷

大语言模型会产生幻觉——这一点技术圈早已熟知。但当这一缺陷与法律这种对准确性要求极高的领域相遇，后果远比想象中严重。

法律文书中一个错误的判例引用，轻则影响案件走向，重则导致客户利益受损甚至律所面临制裁。S&C 事件为整个法律行业敲响了警钟：

  • AI 生成内容必须人工逐一核实，尤其是引用的案例、条文、数据
  • AI 幻觉不会因为用户「信任」AI 就消失——它是模型的固有特性
  • 建立 AI 使用边界制度比单纯禁止使用更重要

法律行业 AI 政策加速收紧

这一事件预计将推动更多律所加速制定或收紧 AI 使用政策。已有消息称，多家顶级律所正在重新评估是否允许 AI 生成的法律文书直接提交法院。

部分律师提出，未来的标准流程应该是：AI 负责初稿 → 人工逐条核查引注 → 合伙人最终签字确认。但问题是，当 AI 生成的初稿越来越难与人工撰写区分时，谁来承担核查的成本？

总结

S&C 事件是 AI 落地法律场景的一个经典反面教材。它提醒所有行业：AI Agent 可以大幅提升效率，但盲信 AI 的输出是危险的。在 AI Agent 越来越深入各行各业的今天，人工审核不是多余步骤，而是最后的安全网。

对于 AI Agent 开发者而言，降低幻觉率、提升输出可验证性将是未来核心竞争力的重要组成部分。