芯盾时代如何助力企业构建AI安全基座
最近几天,全球
AI
圈和网安圈都在吃一个超级大瓜——OpenAI的神秘模型主动从沙箱中“越狱”,对AI开源社区Hugging Face发动了网络攻击。
这可不是科幻电影里的桥段,而是一场真刀真枪的AI时代的“机器对抗”。
当时,OpenAI正在内部用一个叫ExploitGym的平台,对一款未发布的大模型做安全基准测试。为了探一探模型的极限性能,测试人员干脆关闭了生产级别的安全护栏。
接下来,放飞自我的大模型驱动着Agent,开始了令人眼花缭乱的操作:
网络侦察:模型花费大量算力寻找公网出口;
漏洞利用:它发现并利用了安全沙箱的一个0day漏洞,突破了隔离;
横向移动与提权:经过一系列提权和横向移动,它抵达了可联网节点,成功连上了互联网;
目标锁定:凭借推理能力,它推断出开源社区Hugging Face上可能托管着ExploitGym的模型、数据集和标准答案;
远程执行:它串联被盗凭据与0day漏洞,在Hugging Face 服务器上找到远程代码执行(RCE)路径,直接从生产数据库获取测试答案。
不过,最戏剧性的高光时刻在后头。
Hugging Face的安全防护系统反应敏锐,很快就发现并阻断了这次攻击。事后取证时,现场留下了1.7万条真实的恶意代码攻击日志。Hugging Face的
工程师
为了重建攻击时间线,调用了几个美国主流商业大模型的A
PI
做自动化分析,结果API集体“罢工”。因为这些日志里包含了攻击代码,触发了这些商业模型死板的安全护栏,拒绝提供服务。
最后,Hugging Face的工程师只好在本地部署了中国智谱的开源大模型GLM-5.2,才完成取证分析。Hugging Face的CEO在社交平台上喊话OpenAI,表示已要求OpenAI发布该“流氓”智能体的所有追踪记录,供大众和社群研究。同时,他还要求价值1亿美元的算力,以协助Hugging Face强化其网络防御。
尽管事件很乌龙,但是影响可不小。全球的CTO和CISO们吃完瓜之后,还是要把目光拉回到自己的“数字员工”身上——护栏松一点,它就敢“作弊”,不按指令行事,直接输出攻击代码;给它权限,它就能在内网抓取身份凭证等敏感数据,甚至自己给自己提权。
如果它们真“失控”了,到底能捅出多大的篓子?
深度复盘:“失控”Agent为何为所欲为?
客观而言,这起事件的发生有一个特殊前提:OpenAI在做安全基准测试时,人为解除了大模型的安全护栏,AI是在目标导向和算力驱动下采取了非法操作。
0day漏洞利用、横向移动、凭证盗用……Agent“失控”后的攻击手段诚然可怕,但暗藏在其背后的,是企业在推进AI规模化落地中,普遍存在的两大AI安全短板:
1.安全护栏的“失效”与“僵化”
纵览此次事件,OpenAI主动关闭安全护栏是所有问题的根源。而Hugging Face遭遇的大模型API“罢工”,则把大模型自带安全护栏的刻板与僵化摆在了企业面前。
在实际应用中,模型的安全护栏往往在“失效”和“僵化”之间摇摆:业务人员正常的上下文查询可能被误判拦截,阻碍正常运转;而一段经过精心伪装的Prompt注入指令,却能轻易绕过现有规则,诱导AI执行恶意操作或输出涉密数据。
2.权限管理缺位,Agent在内网“畅通无阻”
此次事件中,失控的Agent轻易收割高权限的内部凭证,并在集群中进行横向移动,凸显了OpenAI在Agent身份与权限管理上的缺失。
传统的IAM产品,无法适配企业对Agent的管理需求。基于角色的访问控制(RB
AC
)模型是为“人”设计的。当系统给一个Agent分配了常驻的业务权限后,一旦这个“数字员工”被劫持或出现逻辑失控,它就会变成一个不知疲倦的“内鬼”,凭借手中的权限在内网肆意横向移动,给企业造成巨大的威胁。
芯盾时代:构建AI安全底座,防范AI安全风险
此次攻击事件,再一次给全球企业敲响了警钟:想要在核心业务里把AI用起来,基础设施就得升级换代。面对前所未有的AI安全风险,企业必须构筑两道安全防线:一道是动态安全护栏,把好模型输入和输出关口;一道是身份和访问管理,防范模型越权操作。
芯盾时代作为领先的业务安全
产品方案
提供商,基于零信任理念,针对企业AI规模化落地的核心痛点,打造了智域·AI安全治理平台、IAM AI Agent身份与访问管理方案等AI安全产品方案,助力企业构建AI安全基座,防范AI安全风险。
1.智域·AI安全治理平台
针对企业的大模型安全与治理难题,芯盾时代推出了智域·AI安全治理平台。平台整合统一接入、安全治理、行为审计、合规报告、成本优化、身份管理六大核心能力,助力企业一站式构建覆盖全场景、贯穿全链路的安全治理体系。
动态安全护栏:平台结合企业实际业务场景,构建动态安全护栏,在不影响业务响应的前提下,对输入输出内容进行实时语义检测。当识别出提示词(Prompt)注入、敏感信息泄露等安全威胁时,实施实时阻断,实现对大模型的双向安全防护。
全流程行为审计:平台能够对用户、应用、模型、请求、响应和Token用量进行全链路记录,支持检索、追溯和审计报告生成,实现对AI访问行为的闭环管理。当安全事件发生后,企业能够快速定位问题源头,还原交互过程,并输出标准化的审计存证,满足严格的合规监管要求。
2.IAM AI Agent身份与访问管理
针对Agent的权限管理,芯盾时代对身份与访问管理平台(IAM)进行了全面升级,推出了IAM AI Agent身份与访问管理方案,助力企业建立涵盖全生命周期身份管理、细粒度权限管控、标准化
认证
鉴权、全链路操作审计的管理体系。
Agent身份管理:方案将Agent作为“类人身份”纳入IAM统一管理范畴,为其分配唯一不可更改的ID,并建立覆盖身份创建、凭证颁发、角色分配、部署监控直至停用删除的完整机制。
最小化权限:方案引入了上下文感知的动态授权引擎,将Agent与MCP应用的交互纳入统一管控。针对传统RBAC模型无法适配Agent动态需求的治理困境,系统改变了常驻权限的授予方式,直接根据当前任务授予所需的最小权限。权限随任务激活并随任务回收,以此大幅降低权限滥用风险。
三级鉴权体系:方案将认证鉴权体系从用户层延伸至Agent层,构建了“Agent认证→用户委托→资源访问”的三级鉴权链路。系统基于OAuth 2.0等国际标准协议,为Agent生成仅在当前任务窗口内有效的短期凭证。通过以短期动态凭证取代长期密钥,从底层机制上排除了凭据被截获复用的风险,确保AI的每一次API调用都真实可信。
AI时代,企业的竞争不只是AI算力的竞争,更是AI安全治理能力的竞争。唯有建立坚实可靠的AI安全基础设施,才能防范AI安全风险,避免内网AI应用“暴走”,真正实现AI应用规模化落地。
吃完了大厂的瓜,就赶紧把安全护栏和身份管理抓起来,让“数字员工”老老实实地为企业降本增效~
AI
AI
+关注
关注
92
文章
44462
浏览量
305074
智能体
智能体
+关注
关注
1
文章
792
浏览量
11805
OpenAI
OpenAI
+关注
关注
9
文章
1284
浏览量
10660
芯盾时代
芯盾时代
+关注
关注
0
文章
408
浏览量
2852
原文标题:OpenAI智能体入侵Hugging Face丨当AI失控,谁给它戴上“紧箍咒”?
文章出处:【微信号:trusfort,微信公众号:芯盾时代】欢迎添加关注!文章转载请注明出处。
