新项目VERITAS保障科研所用人工智能系统安全

图丨Pexels

据Homeland Security News Wire网站8月8日消息，随着人工智能逐步成为科学发现的核心工具，科研人员正面临一类日益凸显却常常被忽视的风险：他们所依赖的人工智能模型、数据集与自动化系统，有可能遭到篡改破坏，而传统网络安全工具并不具备检测这类攻击的能力。

由伊利诺伊大学安妮塔・尼科利奇（Anita Nikolich）牵头的新项目VERITAS（科学可信人工智能验证基础设施）将填补这一空白，该项目把人工智能可信保障确立为科研基础设施的一项核心功能。该项目获得美国国家科学基金会网络基础设施网络安全创新项目为期三年、总额89.6万美元的资助，汇集对抗性人工智能、科研网络基础设施、数据科学以及人才培养领域的各路专家。项目旨在开发实用方法，在人工智能系统投入高影响力科研工作流之前，完成文档编制、评审以及压力测试。

传统网络安全重点在于防范未授权访问、查杀恶意软件、阻止数据窃取。而依托人工智能开展的科研会带来额外风险，这类风险往往不会触发传统安全告警。

按照尼科利奇的设想，VERITAS项目并不会要求科研人员变身网络安全专家，也不会要求网络安全团队掌握机器学习专业技能，该项目会把人工智能可信保障功能集成进科研人员已经在使用的现有科研基础设施。项目包含三大相互关联的组成部分：

模型与数据文档编制：VERITAS项目将面向大型科学计算资源试点标准化的模型卡片与数据集说明文档。这类文档类似于预包装食品的营养标签，记录模型或者数据集的来源、构建与修改方式、预期用途、已知局限，以及科研人员复用之前必须了解的各类前提假设。目标是提升透明度、结果可复现性，同时让复杂人工智能工作流中的问题能够被溯源定位。

人工智能安全运维服务：VERITAS项目将在美国国家超级计算应用中心（NCSA）试点设立全新岗位：人工智能可信保障工程师。该岗位人员会在具备技术创新性的选定人工智能项目部署上线前开展评审，扫描模型文件，排查不安全或恶意行为，检查软件漏洞，评估使用自主智能体带来的各类风险。

模型与数据完整性挑战赛：依托美国国家数据平台教育中心，VERITAS项目设计实操挑战赛，训练学生识别数据投毒、检查可能遭到篡改的模型、评估智能体权限、找出科研人工智能工作流中的薄弱环节。

资料来源丨Homeland Security News Wire

本文由生物安全情报网编译，仅用于学术分享，转载请注明出处

阅读原文献请点击“阅读原文”