省自然资源厅开展人工智能安全专题警示教育

随着大模型广泛应用，后门攻击、对抗攻击、模型幻觉生成、越狱攻击等威胁接踵而至。攻击者通过微小扰动、恶意提示词等手段，可诱导模型输出错误结论、生成虚假信息，绕过原有安全约束输出违规内容。针对这类大模型决策可靠性隐患，可通过风险分类识别，实现对输入输出提示内容的安全甄别与防护。

大模型极易被恶意提示诱导，造成训练数据、业务隐私信息泄露；同时文、图、视频等多模态AI生成内容大量涌现，内容鉴伪难度持续加大。针对模型反演、成员推理、提示注入等攻击手段，需强化隐私检测能力，提升AI生成内容识别、溯源鉴伪水平，防范虚假伪造信息传播。

大模型训练及推理均需消耗算力资源，攻击者可构造特殊输入，诱导模型生成长序列内容，消耗算力、拉高延迟，造成服务资源耗尽，引发拒绝服务，影响业务系统正常运转。需要引起政务人工智能应用建设高度警惕。

以大模型为核心的智能体具备工具调用、记忆存储、环境交互能力，带来多重安全威胁。工具调用环节易出现越狱、指令注入、结果篡改；记忆模块会遭遇数据投毒、检索劫持、信息泄露；多智能体交互还会出现恶意协同攻击。目前的智能体系统存在远程代码执行、凭证泄露、目录遍历、跨代理操纵等现实风险，需严格管控权限、做好输入输出校验

点云、3DGS、3D‑LLM等三维技术，在自然资源测绘、实景三维等业务领域应用前景广阔，但同样面临后门、对抗攻击、数据投毒、模型幻觉等安全问题。三维数据遭受攻击后，会直接改变空间识别、重建结果，对空间认知相关业务的准确性构成威胁。