SSRN：人工智能生物安保基准测试与真实世界风险

图丨Pexels

SSRN网站8月27日在线发布的报告指出，当前，前沿语言模型在多项与生物安全相关的评估中，其表现已达到或超过专家参照水平，一些基准测试甚至已接近饱和。然而，这些评估结果尚未与实际操作任务表现或现实世界风险进行充分校准。报告从基准测试表现、模型能力诱导、人类能力提升、实验室操作、风险缓解措施、生物合成筛查以及治理等方面综合考察现有证据。目前，大多数评估集中于通用人工智能模型，而针对生物设计工具的研究相对较少。

研究发现，基准测试得分对测试形式高度敏感。使用前沿人工智能模型能够提升使用者在部分书面任务和计算机模拟（in silico）任务中的表现，但涉及实际操作的研究显示，其影响会因具体任务和评价终点的不同而有所差异。

事后实施的“去学习”（unlearning）措施，可以通过有限程度的微调而被部分逆转；相比之下，一些在模型训练阶段实施、抵抗逆转能力更强的方法，目前仍缺乏下游实际应用层面的验证。

现有的生物合成筛查机制能够识别已知危害，但对于较短的序列、与已知危险序列差异较大的序列，或经过有意修改的序列，其检测效果并不稳定。此外，如果订单被拆分并提交给不同的合成服务提供商，而服务商之间又缺乏信息共享，现有筛查机制便无法识别此类跨供应商拆单行为。

报告所考察的研究中，目前尚无研究在具备充分统计效力的条件下，对同一组参与者同时开展基准测试和实际操作任务，并将二者结果进行配对比较。未来若能加强基准测试结果与实际任务结果的配对研究，采用连续性评价指标，区分不同用户群体和任务类型，开展安全可控的实际操作验证，并建立统一的安全性与效用评价指标，将有助于缩小“基准测试—现实表现”之间的差距。

总体而言，基准测试结果、模型拒答表现以及计算性功能评估结果，可以为特定情景下的进一步测试提供依据；但就目前而言，这些指标对于估算现实世界生物安全风险究竟具有多大的预测价值，仍缺乏充分校准。

资料来源丨SSRN

本文由生物安全情报网编译，仅用于学术分享，转载请注明出处

阅读原文献请点击“阅读原文”