时间:2025-07-29 00:49 作者:默小水
蚂蚁集团大模型安全解决方案“蚁天鉴”升级,新增智能体安全评测工具
随着人工智能(AI)技术的不断进步,AI领域正从大模型时代迈向智能体时代。智能体不仅具备对话生成能力,还拥有自主规划、跨领域推理,甚至能做出超越人类理解的决策,AI已进入“行动”阶段。然而,智能体的越权、过度代理等问题也带来了安全挑战。
数据显示,超过70%的智能体从业者担忧AI幻觉与错误决策、数据泄露等问题,因为AI生成的内容往往包含事实错误,或者对指令产生误解,其中超半数受访者表示,所在企业尚未设立明确的智能体安全负责人。
“蚁天鉴”为蚂蚁集团联合清华大学共同研发推出的大模型安全一体化解决方案,确保大模型技术在安全可靠的环境中发挥效能,打造AI大模型的安全铠甲。“蚁天鉴”新增的智能体安全评测功能,正与WDTA标准框架契合。
据介绍,升级的“蚁天鉴”在Agent运行阶段,构建了一套智能安全扫描系统,通过一系列专用工具来检测Agent可能面临的安全风险,实现端到端扫描,确保工具与 Agent 的交互链路不被篡改或绕过,为复杂环境下的稳定运行提供可验证的安全基线。目前,“蚁天鉴”的风险研判Agent准确率可以达到96%以上,并可支持11个行业的智能体测试。
蚂蚁集团机器智能部总经理、安全实验室首席科学家王维强在WAIC论坛演讲
据了解,2024世界人工智能大会上,“蚁天鉴”2.0发布,形成了包括大模型基础设施测评、大模型X光测评、应用安全测评、AIGC滥用检测、证件伪造检测、围栏防御等在内的完整技术链条,面向行业提供全方位智能化的大模型安全测评和防御解决方案。
1、在上海,与总台《2025中国·AI盛典》度过一个有AI的夏天,上海2025会议中心
2、120亿美金!恒瑞牵手GSK,全球药圈"中国力量"爆发,机构看好新药上市行情
3、攻占75平方公里土地!泰国陆军倾巢而出:T-84M和VT-4坦克,谁表现更出色?