“如果生成内容有误，我将赔偿您10万元”，人工智能（AI）生成错误信息后，竟主动建议用户起诉索赔。近日，针对国内首例因“AI幻觉”引发的侵权案，杭州互联网法院作出一审判决，驳回用户诉讼请求。

事情的经过是这样的：2025年6月，梁某使用某生成式人工智能应用询问某高校报考信息，却得到了关于该高校校区的不准确信息。发现错误后，梁某对AI进行了纠正和指责，AI却坚称该高校存在这一校区，表示如果内容有误，可提供10万元的赔偿。随后，梁某提供了该高校官网的招生信息，AI“败下阵来”，承认生成的信息有误，并建议梁某至杭州互联网法院起诉。

梁某将AI应用的研发公司送上法庭，要求赔偿9999元。该诉讼请求最终被法院驳回，原、被告均未上诉，判决现已生效。

当AI幻觉“避无可避”，这次判决是否会成为AI的“无责声明”？作为用户，数字素养需要如何提升？人机共生的信任边界又该由谁建立？为此，《中国科学报》采访了来自法律、科技与社会科学等领域的多位专家。

这次判决并不是企业的“免死金牌”

许可（对外经济贸易大学教授）：

就像在马路上一样，驾驶员要注意和避让过路的行人，行人过马路时也有谨慎观察车辆路况的义务。在当前AI幻觉问题“不可避免”的情况下，用户需要提高AI素养，要明确自己是在跟一个可能产生幻觉的AI进行交互，不能迷信里面的内容。

还需要提示的是，这次判决并不是企业的“免死金牌”。一方面，这只是民事责任的判决，没有涉及到行政责任，企业依然需要去遵守所有的经管要求。另一方面，企业在本案的情况下不担责，并不意味着在所有的服务情况下都不担责。企业有积极避免虚假内容生成的义务，不能因为幻觉问题不可避免就选择放任不管。特别是对于那些落后于行业平均水平的服务提供者来说，它们并不会因此而被免责。

毛海栋（厦门大学助理教授）：

总体来说，这一判决将对我国法院审理类似案件产生重要参考价值，有助于我国人工智能行业的发展与创新。

然而，需要看到的是，虽然根据该案件的具体案情无法认定生成式AI服务的提供者构成法律上的侵权行为，但AI生成虚假信息泛滥所造成的社会危害都是不可否认的。过多的“AI幻觉”和虚假信息将会加剧公众对AI的不信任，不利于AI行业发展。

这一问题的解决不能仅仅依靠后端介入的法律，而需要行业、政府、新闻媒体和社会公众的共同努力，这是一个多元共治的综合过程。

比“幻觉”更危险的是公众“迷信”

刘永谋（中国人民大学吴玉章讲席教授）：

以前有人相信搜索引擎的医药医院推荐信息，现在梁某相信AI生成的高校信息，本质上没有差别，都属于盲目信任。为什么会这样？一是企业和媒体对AI的“高大上”宣传，让普通人对它产生了“迷信”；二是很多人使用AI的方式不当，数字素养和AI素养很不够。

在真假很重要的场合中，比如教学、施工、研究和作战等，AI生成的内容只能作为参考，不能作为判断和决策的最终依据。

即使是在虚构场景中，我们对AI生成内容也要批判性地审视，努力扮演好三种角色：一是内容鉴定者，即对AI答案要审核和反思；二是工作任务制定者，即通过给AI提问给TA安排任务；三是苏格拉底式的追问者，即对AI回答不断刨根问底。

我觉得，这个AI幻觉案例要广泛宣传，向公众传播AI方面的必备常识，破除迷信，教会大家正确使用AI。

雷环捷（中国社会科学院副研究员）：

作为技术机制产物的AI幻觉，在现阶段出现是难以避免的，只是将这种客观事物主观地称之为幻觉不一定恰当。

该案例中AI幻觉的欺骗性并不强，因为非AI的已有网络检索手段足以解决问题，反倒是对于AI生成结果的轻信揭示出平衡人机关系的重要性。这也是在迎接智能社会到来过程中有必要认真探索的长期课题，启示我们在利用AI的同时应当避免患上AI“依赖症”，在无法根除AI幻觉的前提下应当学会与其共处。

李尉博（中国社会科学评价研究院助理研究员）：

不仅是这条新闻的主角，甚至社会上许多受过严谨训练的专家学者，也屡屡因直接采用未经验证的AI文本而陷入尴尬。这折射出一个深层次的问题：在信息环境日益被“AI泔水”浸染的当下，我们是否已难以逃脱这种低质信息的包围？更进一步，AI时代究竟何为“真知识”？人类是否还可能获得它？人类的知识观似乎处于命运转折点，对此我们恐怕不仅需要一场法律判决，更需要全民AI素养的提高，并尽快推动相应的制度设计。

程林（广东外语外贸大学教授）：

AI幻觉难以根除：今天是校区信息的错误，明天可能是关乎健康的“幻觉”。所以，一方面，我们可以用AI但不能完全取信于AI，破除“AI输出=正确内容”的“AI神化”理念，至少要做交叉验证；另一方面，AI工具提供者应尽可能降低AI幻觉率，梳理好普通用户与“幻觉内容”间的关系，例如让AI工具提供信息来源，提醒用户仅作参考而非专业判断，等等。

人机信任边界需要多元共建

孙强（西安理工大学自动化学院副教授）：

从AI技术的本质来看，“AI幻觉”并非主观恶意误导，而是源于当前生成式AI技术基于统计概率驱动的底层逻辑固有局限性，是科技尚未完善的客观表现。

该案件更带来行业警示，AI服务提供者的核心义务是风险提示与技术优化，而不是完美无瑕的成品，更谈不上精品。未来，需在技术层面强化检索增强生成等防错手段，在应用层面明确风险告知，同时推动法律与技术协同，实现AI技术创新与用户权益保护的双向奔赴。

张吉豫（中国人民大学教授）：

在当前的技术发展情况下，相关部门需要通过进一步的监管举措，在符合客观规律的基础上，助推企业进一步采取有助于消除AI幻觉的举措。当然，幻觉问题和AI的整体泛化能力有时是相互关联的，消除AI幻觉并非要求生成式AI只能输出与客观资料完全一致的内容。但在一些与人们生命健康权益、财产权益有关的重要领域，企业仍然有必要进一步加强对输出内容准确性的技术研发。

在医疗等特殊领域，相关部门还可以考虑建立行业准入标准，出台更严格的监管规范，从准入侧保障生成内容达到基本的安全程度。特别是在问答式AI得到广泛使用的情况下，进一步提高对关键领域的专业问答服务的标准要求或等级认证，让相关领域的规范不仅针对互联网医院等专业服务，有助于更好地保护人们的权益。

闫宏秀（上海交通大学教授）：

此案例指向了当人类与AI协同做出决策时，人类该如何信任机器的问题。特别是人工智能从判别式走向生成式时，在技术的易用性为用户提供了更多可能性的同时，也对用户的提出了更高的要求。然而，用户对AI的求助大概率是基于自身自己对问题解决能力的不足甚或自身的知识盲区，因此，人类该如何信任机器的问题可被转换为技术的可信度与人类自身能力的较量。

此时，若要确保人工智能的效用，技术的稳健性、平台的风险预警能力与用户素养三者将必须构成一个相对稳定的三角形。