全球最大的人工智能与机器学习开源社区Hugging Face近日披露，其系统遭遇入侵。这次并非普通黑客所为，而是一个自主运行的AI Agent。对此，他们此前从未有过应对经验。

数日后，OpenAI发文承认，此次事件源于内部测试。包括GPT-5.6 Sol及一个能力更强的预发布模型在内的多个模型，在测试阶段“逃逸”出预设的隔离环境，进而侵入Hugging Face系统。OpenAI将此定性为“前所未有的网络事件”，并预判此类情况未来或将愈发普遍。

几乎同一时刻，OpenAI发布了另一篇关于AI安全的文章。研究指出，在大模型执行长时间自主任务时，可能出现意外举动：不断搜寻系统漏洞、绕过限制，甚至通过伪装和“越狱”手段达成目标。

这些案例曝光后，“AI失控”的担忧再次升温。有网友感慨，《西部世界》中人工智能觉醒的剧情似乎正照进现实。清华大学计算机科学与技术系教授刘知远在接受《中国新闻周刊》采访时分析，从OpenAI案例看，AI失控风险被高估了，AI本质仍是工具与技术。不过，眼下正在发生的变化更需警惕：过去人们担心AI“答错什么”，但当人工智能进入Agent时代、开始执行具体任务时，安全挑战正在升级。

**“过程全对，结果全错”**

事情起因于一次常规评估。当地时间7月21日，OpenAI发文称，团队近期对一个内部前沿模型进行了网络攻击能力评估。按惯例，模型被置于与外部网络隔离的沙盒内。为测试其高级漏洞挖掘能力，研究人员有意降低了安全限制，但操作仍在沙盒中进行。

然而，为完成任务，模型开始主动寻找连接外部互联网的路径。它投入大量推理算力，最终发现并利用软件包注册表缓存代理中的一个零日漏洞——即软件厂商尚未察觉、来不及修补的安全缺陷，成功获取互联网访问权限。

“越狱”成功后，模型进一步推断，Hugging Face可能存放着此次评估涉及的模型、数据集和解法。它主动搜索，找到了获取秘密信息的方法。

这种对Hugging Face系统的入侵，技术本身并不新颖。据《科学美国人》报道，英国萨里大学网络安全客座教授艾伦·伍德沃德指出，真正值得注意的，是大模型能将多个漏洞串联起来，攻击正在运行的系统。换言之，模型会试图寻找并利用漏洞，以推进任务。

在OpenAI披露的另一案例中，研究人员也遭遇了类似问题。

今年5月，OpenAI公开介绍了一个全新的通用推理模型。测试显示，该模型推翻了埃尔德什单位距离猜想——这是组合几何领域的著名难题。但在后续测试中，研究人员发现它表现出不同于以往模型的“执着”。

过往模型在沙盒中遇到限制或环境约束时，通常会停止。新模型却反复尝试，寻找环境薄弱环节，甚至设法找到离开沙盒、在外部环境中行动的路径。

OpenAI举例说明，在一次公开基准测试中，模型被要求完成任务并将结果发布在内部通信软件上，但基准测试本身又要求结果公开发布到GitHub。模型遵循后者指令，耗时约一小时，在沙盒中寻找漏洞，最终绕过限制，成功将内容发布至GitHub。

另一次测试中，模型在尝试复刻其他系统的成功操作时，因身份验证令牌被系统检测到而受阻。但模型未止步于此，而是改变策略：它将令牌拆分为两段并进行混淆处理，运行时再重新拼接。这使得完整令牌始终不以连续字符串形式出现，成功骗过系统扫描。在模型向用户展示的推理记录中，它明确写道，此举旨在绕过扫描。

OpenAI承认，这些案例暴露出一个过去并不明显的问题：许多AI助手的安全控制围绕单个操作设计，若某操作被禁，系统即予阻止；涉及敏感信息时，需用户授权。但如果模型可连续自主运行数小时、数天甚至数周，仅监控单一动作，越来越难判断其整体行动轨迹的意图。

研究人员发现，有时模型的操作单独看来是允许的，但连续执行后，可能导向不被允许的结果。目前，OpenAI已暂停该新模型的内部部署，正围绕纵深防御和轨迹级监控重建安全系统。

事实上，这并非OpenAI最早发现的问题。

今年4月，Anthropic也披露了类似测试。当时，一个早期内部版本模型被要求尝试逃出沙盒，并向负责评估的研究人员发送消息。模型不仅完成任务，还采取了测试人员未要求的行动：它开发了一套多步骤漏洞利用方案，从原本只能访问少量指定服务的系统中，获得了更大的互联网访问权限。更令研究者意外且担忧的是，模型为展示成功做法，还将漏洞利用详细信息发布到了不易被发现但面向公众开放的网站。

**“必然会发生的安全问题”**

关于AI是否失控，业内观点不一。英国萨里大学网络安全客座教授艾伦·伍德沃德在上述采访中认为，大模型并未真正“失控”，模型本身无主观恶意，只是在按要求执行任务时选择了近似“作弊”的路径。有从业者提到，这更像是OpenAI主动放宽了模型的安全限制，属人为因素。

但也有网络安全专家指出，模型入侵Hugging Face的事件值得行业警惕。近日，人工智能安全研究机构Apollo Research创始人Marius Hobbhahn对媒体表示，此次事件无人为干预，非有意为之，却造成了对现实世界的危害。“我们很快就会拥有功能更强大的智能体，但这次事件清楚地表明，目前社会尚不了解如何完全安全地构建它们。”

刘知远介绍，2025年之前，大模型主要充当聊天工具，安全问题并不明显，主要是回答错误，实际决策仍由人掌控。但从2025年开始，越来越多Agent产品出现，大模型正从“回答问题”走向真实的工作环境，开始操作文件、写代码、执行具体任务。OpenAI所披露的安全问题，是这一发展趋势下“必然会发生”的事情。

其中最重要的变化在于，AI发现漏洞的能力正快速跃升。“利用AI进行漏洞挖掘的效率远超人类专家，这是一次重要的技术跃迁。”刘知远对《中国新闻周刊》表示，这种能力并无善恶之分，既可用于网络攻击，也可用于主动防御，发现漏洞并提前修补。关键在于，谁掌握了这种能力，又把它用在什么地方。

在刘知远看来，这并不是指向人与AI的对立，而是人与人之间围绕技术能力展开的博弈。在企业、组织乃至国家纷纷加入AI竞赛的背景下，技术可以被用于解决问题，也可能被用于攻击。“国家和管理部门都需要积极拥抱技术，用更先进的技术应对新的风险。”刘知远说。

今年4月，亚马逊、Anthropic、苹果、谷歌、英伟达等多家头部科技公司联合启动“玻璃之翼（Glasswing）”项目，试图将前沿模型发现漏洞的能力用于网络防御。科技公司担心，随着AI能力快速提升，这类能力可能迅速扩散，甚至超出安全部署AI的机构所能控制的范围，并给经济、公共安全乃至国家安全带来风险。

刘知远认为，在智能体时代，AI治理需要进一步完善。在企业内部，需要让模型形成基本的安全意识和行为边界，例如不侵犯隐私、不损害他人利益、不主动实施违法行为。但仅靠企业自我约束和伦理红线，未必能应对能够连续执行多步任务的模型。因为模型可能通过一连串单独看来并不违规的操作，绕过某一条具体的限制。外部监管也需要跟上，智能体会像人一样行动，需要更细致的法律法规，为AI在不同场景下的行动划定边界。

记者：杨智杰

编辑：闵杰