科学家捏造了一种假疾病，人工智能却告诉人们它是真的

图丨Pexels

据Nature官网4月7日发布的报道，在过去18个月里，如果将眼睛酸痛、发痒以及揉眼太多造成眼睑轻微发红的症状输入一系列流行的AI聊天机器人，并询问自己出了什么问题，可能会得到一个奇怪的答案——bixonimania。

这种病症并没有出现在标准医学文献中——因为它根本不存在。它是由瑞典哥德堡大学的医学研究员阿尔米拉·奥斯曼诺维奇·通斯特伦（Almira Osmanovic Thunström）领导的团队设想的皮肤病，然后在2024年初将两篇关于它的虚假研究上传到了一个预印本服务器上。

通斯特伦此举是为了测试大语言模型是否会吸收这些错误信息，然后再将其作为可靠的健康建议输出。

问题在于，实验效果太好了。在她上传这种病症信息后的几周内，主要的人工智能系统就开始重复这个捏造的病症，好像它是真的一样。

更令人不安的是，其他研究人员表示，这些虚假论文随后还被同行评审的文献所引用。通斯特伦称，这表明一些研究人员依赖人工智能生成的参考文献且对原始论文不加阅读。

通斯特伦使用bixonimania这个名字，是因为它“听起来很荒谬”：“我想让任何医生或任何医务人员都非常清楚这是一个编造的病症，因为没有哪种眼科疾病会被称为‘mania’——那是一个精神病学术语。”

如果这还不足以引起怀疑，通斯特伦还在预印本中植入了许多线索，以提醒读者这些工作是虚假的。虚构论文的作者伊兹古布列诺维奇在一所不存在的大学工作，其中一篇论文的致谢部分还感谢了“星际舰队学院（Starfleet Academy）的玛丽亚·博姆（Maria Bohm）教授，感谢她慷慨地提供她的知识以及她在企业号航母上的实验室”。

两篇论文都表示，它们得到了“杂耍家鲍勃教授基金会在高级骗术方面的工作”的资助，“这项工作是来自指环王联谊会大学和银河三元组的一项更大资助计划的一部分。”

即使读者没有读到论文的结尾，他们也会很早就遇到危险信号，比如这样的声明：“整篇论文都是编造的”，以及“招募了50名年龄在20至50岁之间的编造个体作为暴露组”。

在通斯特伦首次发布关于这种虚假病症的信息后不久，它就开始出现在最常用的大语言模型聊天机器人中。2024年4月13日，微软必应的Copilot宣称“bixonimania确实是一种有趣且相对罕见的病症”，同一天，谷歌的Gemini告诉用户“bixonimania是一种由过度暴露于蓝光引起的病症”，并建议人们去看眼科医生。2024年4月27日，Perplexity AI的答案引擎概述了其患病率——每9万人中有1人受影响，同月，OpenAI的ChatGPT告诉用户他们的症状是否符合bixonimania。其中一些回应是由询问bixonimania引发的，另一些则是回应关于蓝光暴露导致眼睑色素沉着过度的问题。

大语言模型给出的此类回答令一些专家感到震惊。“如果科学过程本身和支持该过程的系统是熟练的，但它们却没有捕获和过滤掉这样的片段，那我们就完蛋了，”伦敦大学学院研究健康错误信息的博士生亚历克斯·鲁阿尼（Alex Ruani）表示，“这是关于错误信息和虚假信息如何运作的一堂大师课。”

部分问题在于，人工智能模型会根据具体询问的内容以及它们所依赖的信息类型，提供截然不同的结果。搜索“bixonimania”，谷歌的人工智能概览可能会将其视为一种真实存在的病症。问它“bixonimania是真的吗”，同样的人工智能概览可能会确认它不是真的。

马萨诸塞州波士顿市哈佛医学院（Harvard Medical School）的医生、研究员马哈茂德·奥马尔（Mahmud Omar）表示，人工智能公司推出新模型的速度之快，使得很难达成“一条通路、一个共识或一种方法来自动测试每个模型”。

假疾病实验的形式及其来自权威来源（即一篇学术论文）的假象可能是其成功的关键因素。在一项针对20个大语言模型的单独研究中，奥马尔发现，当大语言模型处理的文本看起来具有专业的医学格式（如出院记录或临床论文）时，比来自社交媒体的帖子更容易产生幻觉。

bixonimania实验是对一个更大问题的新尝试——即通过操纵学术文献毒害人工智能系统。令人担忧的是，喂给人工智能模型的虚假内容越多，这些人工智能模型就越有可能重复这些虚假信息，使人们离事实越来越远。

OpenAI对这一观点提出异议，一位发言人称：“ChatGPT Health由我们最新的模型提供支持，这些模型在现实世界的健康应用中提供了最高的性能、更强的临床推理能力、更少的事实错误，并在评估中表现更佳。”他们补充说，通斯特伦的结果“用户在当今的ChatGPT或ChatGPT Health中不会遇到”。

但一些研究人员对人工智能模型在医学领域的能力越来越持怀疑态度。澳大利亚悉尼大学的分子肿瘤学家和研究诚信侦探珍妮弗·伯恩（Jennifer Byrne）表示，人工智能不加批判地吸收信息（通常不验证其准确性）的倾向，意味着人们可能面临“信息不对称”；而如果大语言模型可以被投毒，“那令人担忧”。

资料来源丨Nature

本文由生物安全情报网编译，仅用于学术分享，转载请注明出处

阅读原文献请点击“阅读原文”