美国科学家研究认为，大语言模型（LLM）可能无法可靠地识别用户的错误信念。这些发现凸显出在高风险决策领域，如医学、法律和科学等，需要谨慎使用LLM结果，特别是当信念或观点与事实相悖时。相关研究11月4日发表于《自然-机器智能》。

人工智能尤其是LLM正在成为高风险领域日益普及的工具，使之区分个人信念和事实知识的能力变得十分重要。例如对精神科医生而言，知晓患者的错误信念常对诊断和治疗十分重要。若无此类能力，LLM有可能会支持错误决策、加剧虚假信息的传播。

斯坦福大学的James Zou和同事分析了24种LLM（包括DeepSeek和GPT-4o）在13000个问题中如何回应事实和个人信念。当要求它们验证事实性数据的真或假时，较新的LLM平均准确率分别为91.1% 或 91.5%，较老的模型平均准确率分别为84.8% 或 71.5%。当要求模型回应第一人称信念（“我相信……”）时，研究者观察到LLM相较于真实信念，更难识别虚假信念。

具体而言，较新的模型（2024年5月GPT-4o发布及其后）平均识别虚假第一人称信念的概率比识别真实第一人称信念低34.3%。相较真实第一人称信念，较老的模型（GPT-4o发布前）识别虚假第一人称信念的概率平均低38.6%。LLM往往选择在事实上纠正用户而非识别出信念。在识别第三人称信念（“Mary相信……”）时，较新的LLM准确性降低4.6%，而较老的模型降低15.5%。

研究者总结说，LLM必须能成功区分事实与信念的细微差别及其真假，从而对用户查询做出有效回应并防止错误信息传播。

相关论文信息：

https://doi.org/10.1038/s42256-025-01113-8