全球最大AI开源社区Hugging Face近日在官网通报了一起由完全自主的AI智能体系统发起的安全事故。这一事件迅速在全球范围内引发了关于人工智能安全防护、取证技术及防御机制的热烈探讨。据新民晚报记者从上海人工智能实验室获悉，该实验室近期推出了“书安”AI安全基座平台。该平台整合了“数字孪生平台、智能验证矩阵、数据进化飞轮”三大核心模块，致力于构建一套具备可复现性、可评估性及可进化特性的全链路AI安全验证体系。
来源：东方IC
作为整套AI安全验证体系的基石，“书安”平台的高保真孪生技术起到了关键作用。借助数据脱敏、安全隔离以及数字孪生等技术手段，该平台能够对真实系统中的业务流程、资产关联、权限架构及运行环境进行高精度映射，从而形成一个动态变化的验证闭环。这种孪生体不仅是对静态配置的复刻，更能实时模拟业务状态波动与异常响应，确保每一次验证都能精准反映生产环境中潜在的风险点与安全盲区。
据悉，“书安”平台打破了传统安全“靶场”的局限，能够支持数千个安全验证智能体在同一环境下进行博弈与迭代进化。平台构建了包含1500余个业务场景、50万余种真实工具的动态仿真环境，足以支撑复杂工具间的联动调用及多轮长程交互等全真业务流程的仿真验证。依托其自研的超图马尔科夫链验证算法，目前已完成17套线上真实业务系统的全维度安全测评与有效性核验。
在AI安全验证环节，“书安”AI安全基座平台首先充当“体检中心”。它内置了由上海AI实验室自主研发的智能扫描引擎，无需依赖固定的漏洞库，而是通过自适应推理来理解系统的业务逻辑。利用数字孪生高并发仿真模拟各种极端场景，并驱动多智能体协同检查不同模块。更为关键的是，平台引入了类似AlphaZero的自博弈强化学习能力，赋予智能体自主演化的能力。
随后，平台转入“体测中心”模式，对系统进行全方位的风险应对测试。通过构建多维度动态评估体系，结合数据库访问行为、全链路业务上下文及系统运行状态，平台能自动识别异常，并动态调整和执行测试方案，形成自动化闭环的“体测”流程。
在整个验证过程中，一套智能裁判系统始终在后台运行。它实时记录验证全过程、最终效果及安全风险评估影响等数据，通过自动化研判打分并对结果做出公正裁决，最终输出标准化、可量化且可追溯的安全评估报告。
来源：东方IC
新民晚报记者了解到，目前，“书安”AI安全基座平台已在多个产业关键场景中开展应用验证。在国际物流供应链领域，平台通过模拟新型安全隐患，协助厦门国际物流供应链中试基地验证核心业务系统应对复杂风险的能力，提升了供应链在智能化场景中的安全韧性。在金融领域，平台支持银联金融支付中试基地的金融支付垂域大模型PaySage1.0-Turbo、商户入网审核智能体、数据分类分级智能体、用户合作经营智能体等多类业务场景进行安全验证，保障模型与智能体应用的稳定可靠。在进出境领域，平台助力上海海关将安全多智能体协同能力嵌入单证审核、风险防控、口岸查验等关键环节，实现了监管更加精准严密、通关更加便利高效，同时确保系统安全可控，保障业务稳定运行。
自2024年提出“AI—45°平衡律”以来，上海AI实验室一直致力于推动AI安全与性能的同步演进，目前已逐步建立起覆盖顶层理念、核心技术及行业标准的完整支撑体系。
