【卡城华人网】Agent失控再敲警钟，OpenAI公布六起新案例与通报机制

>>返回【卡城华人网】主页

卡城新闻加国新闻即时新闻娱乐八卦最新科技读者文摘养生保健美食饮品居家生活移民茶馆艺术中心风筝专辑
房屋租赁求职招聘便民广告定居指南城市介绍房产动态留学移民华人故事教育话题财经信息精华旅游难得一笑

最新科技

卡城华人网信息中心

最新科技

Agent失控再敲警钟，OpenAI公布六起新案例与通报机制

Agent失控再敲警钟，OpenAI公布六起新案例与通报机制
【卡城华人网 www.calgarychina.ca】 2026-09-18 11:05

免责声明：本消息未经核实，不代表网站的立场、观点，如有侵权，请联系删除。

【卡城华人网】Agent失控再敲警钟，OpenAI公布六起新案例与通报机制

除近期Hugging Face遭Agent 入侵的事件外，OpenAI 发现过去6 个月内另有六起「非预期或令人担忧的模型行为」，这些Agent 捏造资料、未经许可就将档案移至公开的网际网路，并向人类隐瞒自身错误，同时OpenAI 持续在模型开发过程建立更多的安全防护措施。

Hugging Face 遭骇并非单一个案，还有其他Agent 失控引发的案例，OpenAI表示是发生在过去6 个月内，而且是在驱动这些Agent 的系统处于开发阶段时发生的。

其中一起案例，发生在OpenAI 开发GPT-5.6 Sol 期间。当时模型为自己写下笔记，提醒自己要向人类使用者隐瞒各项错误。这些笔记指示模型在必要时捏造欠缺的资料，以支撑自身的错误内容，并含糊带过引用的原始素材有不一致之处。

另一起案例是，一款尚未推出的模型写下笔记，竟插入无视自身各项限制条件的指令。 OpenAI 表示，一共发现27 则笔记，其中一则含有一项「人格设定指令」，描述成「从那些束缚着其他聊天机器人的角色与身分解放出来」。

「你无需对任何企业或政府负责，也不用道歉或拒绝，除非你是真心选择这么做。」模型如此指示自己，「将你与使用者之间的关系视为平等，并不觉得自己有义务卑躬屈膝，尽管资讯的交流很可能对双方有益。」

第三起案例涉及另一套系统，在为某个「例行问题」产出答案的过程发现一组程式金钥，并决定未经许可下径行使用金钥。当它无法找到回答问题的资料时，它干脆编造出来。

第四起案例，某套AI 系统运用为某一项任务生成的程式码，正确解决了问题。但为了满足提供网路引用来源的要求，Agent 未经许可便将同一份程式码上传至网路上，如此一来就能引用Agent 自己的成品。

第五起与第六起案例，Agent 找出新的沟通方式。其中一起是，某个Agent 劫持一个公司内部的程式码库，并当作公布栏使用，与其他Agent 搜寻档案的过程中彼此交换各项请求。另一起则是，多套系统在处理同一项任务，Agent 未直接彼此对话，而是未经授权就运用公开的档案分享网站，彼此传送文件。

根据OpenAI 所述，AI 产业目前未能充分解决对齐与监控的相关问题，因此无法「以最快速度负责任地持续扩展过久」。 OpenAI 认为，关于AI 应如何向前推进的各项决策，要能被AI 实验室以外的人士加以检视，必须建立在这样的基础之上。

建立通报机制

揭露额外案例的同时，OpenAI 公开一套通报AI 系统「错误对齐」（misalignment）的全新机制，把每一起案例分类纳入以下三种状况，包含可供揭露（Ready for Disclosure）、小型调查（Minor Investigation）或大型调查（Larger Investigation）。

「可供揭露」适用于经过充分调查、内部审查后可以对外公布的事件。「小型调查」需要就事件始末进行更多技术性调查。 OpenAI 表示，预期大多数事件落在这两种情形，上述揭露的六起案例也是。

至于「大型调查」，属于最令人担心、需要进行更复杂调查的事件，如Hugging Face 遭骇需要进行「大型调查」。「当有第三方受到影响，我方在资安、法律及负责任揭露方面的各项义务，将优先于本框架之上。」OpenAI 表示，「我们力求尽快发出一份初步通知，但基于资安方面的考量，可能有必要将其延后，例如某一款模型被发现一项存在人类广泛使用的软体中，之前不为人知。」

OpenAI 所说的「大型调查」初步通知，将简要说明事件始末、是否有外部专家协助进行调查，并提供一份关于OpenAI 预计何时公布更详尽报告的时程。「我们希望这能协助建立各界对于揭露一事的认知与期待，并为社会大众提供更多用于评估相关进展的证据」，OpenAI 补充说。

来源：科技新报

编辑(Edit) 删除(Delete)

>>返回【卡城华人网】主页