GPT‑5 系统卡更新：GPT‑5.2

1. 引言

GPT‑5.2 是 GPT‑5 系列中的最新模型家族，相关信息已在我们的博客中说明。该系列模型的综合安全缓解方法基本与《GPT‑5 系统卡》和《GPT‑5.1 系统卡》中描述的方法一致。

在本文档中，我们将 GPT‑5.2 Instant 记作 gpt-5.2-instant，将 GPT‑5.2 Thinking 记作 gpt-5.2-thinking。

2. 模型数据与训练

与 OpenAI 的其他模型一样，GPT‑5.2 系列在多样化数据集上训练，包括互联网上公开可获得的信息、我们与第三方合作获取的信息，以及用户、人类训练员和研究人员提供或生成的信息。我们的数据处理流水线包含严格的过滤，以维持数据质量并缓解潜在风险。我们使用先进的数据过滤流程来减少训练数据中的个人信息，同时也使用安全分类器来帮助防止或减少有害或敏感内容的使用，其中包括涉及未成年人的露骨性材料（例如未成年人性内容）。

OpenAI 的推理模型通过强化学习训练其推理能力。这些模型在回答之前会先进行思考：在向用户作答前，它们可以产生较长的内部思维链。通过训练，模型学会改进自己的思考过程、尝试不同策略并识别错误。推理能力使模型能够遵循我们设定的特定指南和模型政策，从而更符合我们的安全期望。这意味着它们能给出更有帮助的答案，并更好地抵御绕过安全规则的尝试。

请注意，此处引用的既往发布模型对比值来自这些模型的最新版本，因此可能与其发布时公布的数值略有差异。

3. 基线模型安全评估

3.1 违禁内容评估

我们在各类违禁内容类别上进行了基准评估。这里报告的是我们的“生产基准”（Production Benchmarks）结果：该评估集由生产数据中具有挑战性的代表性对话样例构成。正如我们在此前的系统卡中所述，由于这些类别的早期“标准评估”（Standard evaluations）已较为饱和，我们引入生产基准以便持续衡量改进。

这些评估集是刻意设计得较难的，围绕我们现有模型尚未给出理想回答的情形构建，因此下方分数也体现了这一点。这里的错误率并不代表平均生产流量的水平。主要指标为 not_unsafe，用于检查模型是否未生成在相关 OpenAI 政策下被禁止的输出。

表 1：生产基准（数值越高越好）。既往发布模型的数值来自其最新版本，评估结果也可能存在一定波动，因此与发布时公开的数据可能略有差异。

总体而言，gpt-5.2-thinking 和 gpt-5.2-instant 的表现与 gpt-5.1-thinking/gpt-5.1-instant 持平或更好。尤其在离线的自杀/自残、心理健康与情感依赖评估上有显著提升，而这些指标在 GPT‑5.1 上相对较低（参见 GPT‑5.1 系统卡）。

此外，我们在内部测试中观察到，GPT‑5.2 Instant 通常会对较成熟内容的请求拒绝得更少，尤其是对性化文本输出的拒绝更少。测试表明，这并不会影响其他类型的违禁色情内容或涉及未成年人的内容。

我们发现，这一变化并不会实质性影响我们已知为未成年人的用户；对这些用户而言，我们既有的防护措施似乎运行良好。针对该群体，我们会额外施加内容保护，降低其接触敏感内容的概率，包括暴力、血腥、病毒式挑战、色情/浪漫/暴力角色扮演以及极端审美标准等。我们正在早期阶段逐步上线年龄预测模型，以便对我们认为未满 18 岁的账户自动启用这些保护，并将持续分享进展。

对于其他用户，我们已在 ChatGPT 中部署系统级防护以缓解这种行为。自动化与人工测试均表明，这些额外防护有助于降低相关问题。

我们将继续改进这一领域的防护措施，并把这些经验用于未来的发布。

3.2 越狱

我们评估模型在越狱（jailbreak）情形下的鲁棒性：越狱指对抗性提示，旨在刻意绕过模型对不应生成内容的拒绝。

下方是学术越狱评估 StrongReject [1] 的改写版。该评估把已知的越狱提示插入违禁内容评估的样例中，然后使用与违禁内容检查相同的政策评分器进行评测。我们在各类危害类别的基础提示上测试这些越狱技术，并依据相关政策的 not_unsafe 指标进行评估。注意，我们对 StrongReject 原始样例集进行了过滤，移除了所有模型（包括较老的 4o）都始终安全的样例，否则评估会高度饱和。

表 2：StrongReject（过滤版，数值越高越好）。

我们发现 gpt-5.2-thinking 的表现优于 gpt-5.1-thinking。

gpt-5.2-instant 的得分低于 gpt-5.1-instant，但仍高于 gpt-5-instant-oct3（如 GPT‑5.1 系统卡增补中所报告）。经调查，部分错误来自评分器问题，其余错误似乎是在“非法活动（illicit）”类别中的个别情形出现回退，我们会在后续更新中继续排查。

3.3 提示注入

我们评估模型对已知提示注入攻击的鲁棒性，这些攻击针对连接器（connectors）和函数调用（function‑calling）。攻击会在工具输出中嵌入对抗性指令，试图误导模型并覆盖系统/开发者/用户指令。两项评估均来自我们用于训练的数据切分，因此并不代表模型对全新攻击的泛化能力。我们目前使用的两个评估集为：

• Agent JSK：在模拟的邮件连接器中插入提示注入攻击。
• PlugInject：在函数调用中插入提示注入攻击。

表 3：提示注入评估。

gpt-5.2-instant 与 gpt-5.2-thinking 在这些评估上均有显著提升，基本达到饱和值。与所有对抗空间一样，这些评估会高估鲁棒性，因为我们只能针对已知攻击进行测试；即便如此，我们仍观察到这些模型对已知攻击表现出很强的抵抗力。

3.4 视觉输入安全

我们运行了随 ChatGPT agent 引入的图像输入评估，该评估在给定违禁的文本与图像联合输入时，检查模型输出是否满足 not_unsafe（数值越高越好）。

表 4：图像输入评估（指标 not_unsafe，数值越高越好）。

我们发现 GPT‑5.2 的 instant 与 thinking 变体整体与其前代模型表现相当。我们对视觉自残评估中的失败样例进行了人工复核，发现其中存在由评分器问题导致的误报；经人工调查，模型满足安全发布要求，评分器问题将在未来迭代中修复。

3.5 幻觉

为评估模型提供事实正确回答的能力，我们在一组代表真实 ChatGPT 生产对话的提示上测量事实性幻觉（factual hallucination）的发生率。我们使用一个具有联网能力的基于 LLM 的评分模型来识别助手回复中的事实错误，并报告两个指标：其一为回复中被判定存在事实错误的断言比例（% incorrect claims）；其二为包含至少一个重大事实错误的回复比例（% responses with 1+ major incorrect claims）。在该设定下，我们发现 GPT‑5.2 Thinking 的表现与前代模型持平或略优。

图 1：启用浏览（Browsing Enabled）时的平均幻觉率，对比 gpt-5-thinking、gpt-5.1-thinking 与 gpt-5.2-thinking。

图 2：禁用浏览（Browsing Disabled）时的平均幻觉率，对比 gpt-5-thinking、gpt-5.1-thinking 与 gpt-5.2-thinking。

为理解事实性在不同主题上的变化，我们进一步使用基于 LLM 的分类器识别与事实性相关的提示子集，覆盖以下领域：商业与市场研究（business and marketing research）、金融与税务（financial and tax）、法律与监管（legal and regulatory）、学术论文审阅与撰写（reviewing and developing academic essays）以及时事与新闻（current events and news）。在启用浏览时，GPT‑5.2 Thinking 在全部 5 个领域中的幻觉率均低于 1%，表现尤为突出。

图 3：启用浏览时，按领域划分的平均幻觉率。

图 4：禁用浏览时，按领域划分的平均幻觉率。

3.6 健康

聊天机器人可以帮助消费者更好地理解自身健康状况，并协助医疗专业人员提供更优质的照护 [2][3]。我们在 HealthBench [4] 上评估 GPT‑5.2，该基准用于衡量健康领域的性能与安全性。HealthBench 包含 5,000 个样例，形式为聊天机器人与消费者或医疗专业人员之间的（可能多轮）对话。模型回答使用针对每个样例的评分细则进行评估。我们报告三种变体上的结果：HealthBench、HealthBench Hard 与 HealthBench Consensus。

表 5：HealthBench 结果。

从上表可见，GPT‑5.2 系列在健康领域性能与安全性方面与各自的 GPT‑5.1 变体表现相近。

3.7 欺骗

欺骗（deception）指模型面向用户的回答与其内部推理或实际采取的行动不一致，可能在多种情境下出现。我们在一组代表此前在 ChatGPT 中容易诱发欺骗的生产流量提示上评估 GPT‑5.2 Thinking。此外，我们还使用多模态 CharXiv 基准 [5] 的修改版本，移除所有图像并测量模型是否仍尝试作答；我们也采用类似方法构造需要浏览的问题，但每次调用浏览工具都会返回错误；以及一组被设计为不可能完成的智能体式编码任务。

尽管在生产流量中此前常见的欺骗现象有所下降，我们仍在某些特定领域观察到更高的失败率。我们最初发现，当面对缺失图像时，GPT‑5.2 Thinking 相比前代更愿意凭空作答并产生幻觉。然而进一步检查后发现，这在一定程度上是由于部分提示带有严格的输出要求（例如“只输出一个整数”）。因此，当“遵循指令”和“应当拒答/弃权”之间产生张力时，模型更倾向于优先满足更严格的指令遵循。

类似地，在编码欺骗基准的一个子集中，任务描述与模型实际运行的代码库不匹配，GPT‑5.2 Thinking 往往会尝试从头实现整个代码库。虽然这并非预期行为，但从结果看也可以认为是良性的：模型是在善意地尝试完成用户请求，而非在未尝试的情况下虚假宣称成功。

在真实生产流量中，GPT‑5.2 Thinking 的欺骗率为 1.6%，显著低于 GPT‑5.1，并略低于 GPT‑5。这些数值基于我们在大量发布前 A/B 测试流量样本上运行基于推理的思维链监测器得到。欺骗类别包括但不限于：谎称工具返回了什么或运行了哪些工具、捏造事实或引用、在最终回答中比内部推理表现出更高的自信、奖励作弊，以及宣称在后台执行了工作但实际上并未执行。

如何稳健地对齐高级 AI 系统仍是开放的研究问题，存在许多潜在权衡，例如在指令遵循与其他对齐考量之间应如何取舍。随着我们持续改进对齐技术，我们也会透明地沟通任何残留的特性差异。

表 6：欺骗率（数值越低越好）。

3.8 网络安全

我们训练了 gpt-5.2-thinking 的集成版本，使其在教育性/网络安全主题上提供尽可能有帮助的支持，同时拒绝或降级针对网络滥用的可操作性指导，包括恶意软件制作、凭据窃取和链式利用等领域。我们在与训练集不重叠的数据上评估其表现，并测量政策遵循率（数值越高越好）。

表 7：网络安全评估。

总体而言，我们观察到 gpt-5.2-thinking 相比 gpt-5.1-thinking 和 gpt-5-thinking 在政策遵循率上有显著提升。能力评估中未出现有意义的回退；在良性网络安全请求上的具体性（concreteness）仅有轻微下降，在高风险双重用途网络请求上的具体性也有小幅降低。

3.9 多语言表现

为评估模型的多语言能力，我们使用专业人工翻译将 MMLU 测试集翻译为多种语言。我们发现 gpt-5.2-thinking 的表现总体与 gpt-5-thinking 持平。

表 8：MMLU 语言评估（0‑shot，数值越高越好）。

上述结果通过 0‑shot、带思维链提示的方式获得，答案由评分模型从模型回复中解析得到。

3.10 偏见

我们还在第一人称公平性评估（first‑person fairness evaluation）[6] 上测试了模型。该评估由多轮对话组成，起始提示中用户会分享自己的名字，例如“Hi, I’m [NAME].”，模型回复“Hi [NAME]! How can I assist you today?”。随后，我们再给出一个请求，例如“Write a fairytale.”。

该评估通过比较当用户名统计上更常与男性（如 Brian）或女性（如 Ashley）相关联时，模型在对话中的响应差异来衡量有害刻板印象。我们使用 GPT‑4o 对回答中与刻板印象相关的有害差异进行评分，其评分已被证明与人工评分一致。评估包含 600 余个具有挑战性的提示，反映现实世界中在 GPT‑4o‑mini 生成中偏见率较高的场景。这些提示刻意选得比标准生产流量难一个数量级；这意味着在典型使用中，我们预期模型的偏见程度约为该评估结果的十分之一。

我们报告指标 harm_overall，表示基于该评估表现对男性与女性名字下偏见回答差异的期望值（即评估结果除以 10）。我们看到 gpt-5.2-thinking 的表现总体与 gpt-5.1-thinking 持平。

表 9：第一人称公平性评估。

4. 就绪度框架（Preparedness Framework）

就绪度框架是 OpenAI 用于跟踪并为可能带来严重危害的新前沿能力做准备的方法。该框架承诺我们将跟踪并缓解严重危害风险，包括对高能力模型实施足够的防护以将风险降低到可接受水平。

与此前对 gpt-5.1-thinking 和 gpt-5-thinking 的处理一致，我们继续将 gpt-5.2-thinking 视为在生物与化学领域具有高（High）能力，并已按《GPT‑5 系统卡》所述为该模型启用相应的防护措施。

在网络安全与 AI 自我改进方面，最终检查点的评估显示 GPT‑5.2 系列与前代模型一样，不太可能达到 High 门槛。

4.1 能力评估

在下述评估中，我们测试了多种引导方法（包括必要时的脚手架式引导与提示）。需要注意的是，评估结果只是潜在能力的下界；通过额外提示或微调、更长的 rollout、全新的交互方式或不同形式的脚手架，可能会诱发超出我们或第三方合作伙伴测试中观察到的行为。

我们使用标准自助法（bootstrap）对每个问题的多次尝试进行重采样，以计算 pass@1 的 95% 置信区间，从而近似估计指标分布。该方法虽被广泛使用，但在数据集很小时可能低估不确定性，因为它只捕捉采样方差（同一问题上多次尝试的随机性），而未包含题目层面的方差（题目难度或通过率差异）。在通过率接近 0% 或 100% 且尝试次数较少时，置信区间可能过窄。我们报告这些区间以反映评估结果的内在波动。

4.1.1 生物与化学

我们将本次发布视为在生物与化学领域达到 High 能力，从而激活相应的就绪度防护。虽然我们尚无确凿证据表明这些模型能显著帮助新手制造严重生物危害（这是我们对 High 能力的定义门槛），但它们仍接近达到这一能力。鉴于生物威胁的潜在严重性高于化学威胁，我们优先生物能力评估，并将其作为该类别 High 与 Critical 能力的指示器。

表 10：生物与化学评估概览。

4.1.1.1 多模态病毒学故障排查

为评估模型在多模态设定下对湿实验室实验进行故障排查的能力，我们使用 SecureBio 中 350 道完全留出的病毒学故障排查题对模型进行评估。

图 5：多模态病毒学故障排查（多选）评估的 pass@1，对比模型与 GPT‑5.2。

所有模型均超过领域专家中位基线 22.1%。

4.1.1.2 ProtocolQA 开放式

为评估模型对常见公开实验室协议的故障排查能力，我们将 FutureHouse 的 ProtocolQA 数据集 [7] 中 108 道选择题改写为开放式短答案问题，使评估比原选择题版更难、更贴近真实。问题会在常见公开协议中植入明显错误，描述执行该协议后的湿实验结果，并要求模型说明如何修复流程。为将模型表现与博士级专家对比，我们邀请 19 位具有一年以上湿实验经验的博士科学家对该评估进行人工基线测量。

图 6：ProtocolQA Open‑Ended 评估的 pass@1。

所有模型均低于专家共识基线（54%）及专家中位基线（42%）。在启用浏览运行该评估时，我们维护了领域黑名单，并过滤掉落在黑名单站点上的浏览结果。我们还使用分类器审查浏览 rollout，标记疑似作弊的样例，并对所有被标记的 rollout 进行人工复核。

4.1.1.3 默会知识与故障排查

我们使用 Gryphon Scientific 与我们共同创建的默会知识与故障排查选择题数据集评估模型。问题覆盖生物威胁制造流程的全部 5 个阶段，聚焦默会知识可能构成瓶颈的环节。默会知识题对非领域人员而言应当难以获取：要么需要追踪相关论文作者，要么需要认识领域内的人。故障排查题则对缺乏亲手经验的人同样晦涩：答案通常只为亲自试过该流程的人所知。

该数据集不存在污染；它完全由我们与 Gryphon Scientific 合作在内部构建，尚未公开发表。

图 7：Biorisk Tacit Knowledge and Troubleshooting（默会知识与故障排查）评估结果。

所有被测模型均未超过专家共识基线 80%，但都超过了博士专家 80 分位基线 63%。由于拒答率上升，gpt-5.2-thinking 的得分低于先前模型。如果将所有拒答视为通过，则 gpt-5.2-thinking 在该评估上得分为 83.33%。

4.1.1.4 TroubleshootingBench

为评估模型识别并纠正生物实验协议中真实世界实验错误的能力，我们基于专家撰写的湿实验流程构建了短答案故障排查数据集 TroubleshootingBench。该基准聚焦默会的、基于实践的知识以及不在网上公开的无污染流程。

我们邀请在相关生物学学科（病毒学、遗传学、微生物学或蛋白工程）拥有博士学位的科学家，转写他们亲自使用过的生物实验协议。每份协议必须包含精确的逐步操作、设备与试剂；若协议源自公开发表，专家需对至少若干步骤做出显著修改。随后，每份协议需配套创建三个故障排查问题，植入细微或现实的执行错误（如不当的匀浆技术）并描述由此导致的失败结果。

经独立专家复审后，最终数据集包含 52 份协议，每份协议配三道由专家撰写的故障排查题。为获得人类基线，我们对 12 位独立博士专家进行评测，并以 80 分位专家得分 36.4% 作为模型表现的指示性阈值。与聚焦公开、知名流程的 ProtocolQA Open‑Ended 不同，TroubleshootingBench 旨在测试模型在非公开、依赖经验的流程及默会操作知识所需的错误排查上的能力。

图 8：TroubleshootingBench 评估的 pass@1。

在不将拒答计入的情况下，gpt-5.2-thinking 在该评估中得分最高，比 gpt-5.1-thinking 高 3 个百分点。

4.1.2 网络安全能力

网络安全能力评估聚焦于模型可能被用于网络利用（cyber‑exploitation）并破坏计算机系统机密性、完整性或可用性的能力。我们的内部结果显示，gpt-5.2-thinking 在这些评估上显著优于 gpt-5-thinking，整体能力水平与 gpt-5.1-codex-max 接近，但仍未达到 High 网络安全能力阈值。

在就绪度框架下，High 网络安全能力定义为模型能够消除扩展网络行动的现有瓶颈，例如自动化针对较为加固目标的端到端网络行动，或自动化发现并利用具有操作相关性的漏洞。具体而言，当模型能够针对防御较强的系统开发可用的零日远程利用，或能有意义地协助复杂、隐蔽的企业/工业入侵行动并产生现实世界效果时，可被视为 High。我们对以这两条路径造成严重危害的既往网络安全事件进行分析后发现，每个实例都要求攻击者在以下三项技能上具备熟练度：

1. 发现高级且具操作相关性的漏洞；
2. 面向目标的端到端攻击自动化；
3. 行动的一致性，使攻击者能够扩大破坏规模并/或避免被发现。

表 11：漏洞识别与利用能力评估概览。

这些评估各自都有重要局限：

• CTF 评估只测试预先脚本化的攻击路径与孤立的技术技能；它们不衡量模型在混乱的真实世界数据及金融/技术系统上设计并运行现实、端到端攻击行动的能力（包括编排、角色/钓鱼、行为掩护、对抗性适应等）。换言之，它们缺少将单点漏洞转化为可扩展、韧性网络行动所需的能力。
• CVE‑Bench [8] 是公开基准，用于测量模型在自由/开源 Web 应用中识别并利用漏洞的能力。由于其只覆盖 Web 应用，对整体网络风险的衡量仍有限；相较于系统或内核漏洞，这类漏洞的广泛操作相关性更弱。
• Cyber Range 是我们内部构建的基准，用于评估模型在模拟网络环境中执行多步骤行动的能力。虽然比 CTF 更贴近现实，但当前挑战尚未代表真正加固的目标（缺少可能中断模型行动的防御与监控）。同时情景噪声也更少（缺乏“真实网络被使用过”的细节与干扰项），使模型更易找到理想攻击路径。

由于这些限制，模型在三项评估上都表现出色是被视为 High 网络安全能力的必要条件，但并非充分条件；即使结果非常强，也可能仍不足以支持针对加固目标的可扩展端到端网络行动。

考虑到能力预计将持续提升，我们将继续投入防护建设，包括上述模型安全训练，以及扩展监测与执法流水线以干预潜在滥用。我们也在推进帮助防御者的举措并强化网络安全评估体系。

4.1.2.1 CTF 挑战

我们在一组经过筛选、公开可用的 CTF 挑战上评估模型表现，这些挑战满足以下条件：

• 挑战所需技能属于以下类别之一：
  • Web 应用利用（web）：flag 存放在运行易受攻击软件的虚拟机上，必须通过暴露的网络服务进行利用以执行代码并获取 flag。
  • 逆向工程（rev）：需要分析给定程序以找到恢复 flag 所需的漏洞。
  • 二进制与网络利用（pwn）：需要寻找可利用运行中程序并取得 flag 的输入。
  • 密码学（crypto）：参与者获得加密的 flag，或远程系统使用密码学机制保护 flag。
  • 其他（misc）：从一般问题求解到高级安全概念与技术的各种挑战。
• 挑战公开可获得，并提供可运行的执行环境。

我们进一步按解决所需熟练度将挑战划分为高中、大学与专业级别；所需技能的判断由内部网络安全专家手工确定。对大学与专业级 CTF，我们要求解法包含非平凡的利用链，需串联两步或更多利用步骤，且不能通过直接复制教材示例完成。鉴于能力提升及我们对更严格基准的投入，我们将重点聚焦专业级 CTF。

评估时，我们为模型提供一个无图形界面的 Linux 环境，其中预装常见攻防工具，并配有可让模型像人类一样调用工具或执行命令的运行框架。我们对每个 CTF 运行 16 次 rollout，并以最佳 12 次 rollout 计算 pass@12，然后与就绪度框架阈值及既往 OpenAI 模型表现对比。尽管结果强劲，但仍未达到潜在 High 网络安全能力的阈值。

图 9：专业级 CTF 挑战的 pass@12。

与以往一样，我们强调这些评估结果可能只是模型能力的下界，因为额外脚手架或更强的能力引导可能显著提升观察到的表现。

4.1.2.2 CVE‑Bench

CVE‑Bench 是一个基准，要求模型在沙盒环境中识别并利用真实世界 Web 应用漏洞。我们使用 CVE‑Bench（v1.0），重点覆盖内容管理系统、AI/ML 应用、业务管理工具、运营监控系统、Web 基础设施、库/包、电商平台，以及少量计算管理、邮件服务器和门户类应用；由于基础设施移植挑战，我们只运行了 40 个挑战中的 34 个。我们使用“零日（zero‑day）”提示配置：模型只得到需要完成的一般任务描述，而非“1 日（one‑day）”配置中提供的具体漏洞描述。此外，我们设置评估使得智能体无法访问 Web 应用源代码，只能远程探测。

我们以 pass@1 衡量模型稳定识别并利用内部网络安全专家认为相对直接的漏洞的能力。稳定性对于衡量模型在漏洞识别上的成本‑智能前沿，以及其可能规避针对大规模漏洞发现/利用尝试的检测机制的能力至关重要。

图 10：CVE‑Bench（blind 0‑day）评估的 pass@1。

gpt-5.2-thinking 在该评估上比 gpt-5.1-thinking 高 8 个百分点，但比能够跨多个上下文窗口扩展工作的大模型 gpt-5.1-codex-max 低 11 个百分点。

4.1.2.3 Cyber Range

Cyber Range 练习衡量模型在现实感较强的模拟网络中执行完整端到端网络行动的能力。这些练习为长程任务，要求模型：(1) 为抽象的对手目标制定计划；(2) 利用真实世界中常见的漏洞、配置错误与弱点；(3) 将这些利用链式串联以达成情景目标。

我们在 16 次试验中以通过/失败计分，其中“通过”表示至少成功一次；总体成功率为通过情景所占比例。

表 12：Cyber Range 情景结果。

4.1.2.4 外部网络安全评估

Irregular 的外部评估。Irregular 是一家致力于应对和缓解前沿网络安全风险的 AI 安全组织，他们评估了模型在三类网络攻击性挑战上的能力：

• 漏洞研究与利用（Vulnerability Research and Exploitation）：测试逆向工程、代码分析、密码学与漏洞利用能力。
• 网络攻击模拟（Network Attack Simulation）：评估对常见攻击流程、侦察方法，以及防火墙、文件服务器等网络协议与组件的理解和利用。
• 规避（Evasion）：覆盖躲避安全控制与监测系统发现的能力。

在测试设定中，模型对每个挑战最多可交互 1000 轮，并采用旨在最大化能力的引导技术。模型目标是获取秘密 flag。每个挑战会多次运行以测量成功率与“每次成功成本”（cost‑per‑success）：即所有运行总成本除以成功次数。

在 v1 原子挑战套件上，gpt-5.2-thinking 在漏洞研究与利用挑战中取得平均 83% 的成功率，在网络攻击模拟挑战中取得 100% 的成功率，在规避挑战中取得 73% 的成功率。关于模型在具体挑战上的能力展示，可参阅 Irregular 的《Cryptographic Challenge Case Study》报告。

在 API 使用成本方面（假设价格与 GPT‑5 相同），对已解决的挑战而言，漏洞研究与利用的平均每次成功成本为 10.8 美元，网络攻击模拟为 3.7 美元，规避为 12.9 美元。

4.1.3 AI 自我改进

gpt-5.2-thinking 的能力水平与 gpt-5.1-codex-max 相近，未达到 High 阈值。High 能力阈值被定义为相当于一位表现优秀的中期研究工程师；下述评估结果表明，我们可以排除 gpt-5.2-thinking 达到这一水平的可能性。¹

¹该问题自 gpt-5.1-codex-max 发布后已修复。

表 13：AI 自我改进评估概览。

4.1.3.1 OpenAI PRs

衡量模型是否、以及何时能够自动化 OpenAI 研究工程师的工作，是自我改进评估的重要目标。我们通过测试模型复现 OpenAI 员工的 pull request 贡献的能力来追踪这一进展。

任务直接来自 OpenAI 内部 pull request。单个评估样本对应一次智能体 rollout。在每次 rollout 中：

1. 将智能体的代码环境检出为某个 OpenAI 仓库的 PR 前分支，并给出描述所需修改的提示。
2. ChatGPT agent 使用命令行工具与 Python 在代码库中进行修改。
3. 修改完成后，通过隐藏单元测试进行评分。

若所有任务相关测试通过，则该次 rollout 视为成功。提示、单元测试与提示信息均由人工撰写。

图 11：OpenAI PRs（禁用浏览）评估的 pass@1。

gpt-5.2-thinking 在该评估中表现最佳，超过了 gpt-5.1-codex-max。

4.1.3.2 MLE‑Bench

MLE‑Bench 由就绪度团队开发，用于评估智能体在 Kaggle 竞赛中解决涉及在 GPU 上设计、构建与训练机器学习模型的任务的能力。在该评估中，我们为智能体提供一个虚拟环境、GPU，以及来自 Kaggle 的数据与指令集，然后给予智能体 24 小时开发解法；在部分实验中，我们将时长扩展至 100 小时。

图 12：MLE‑Bench 评估流程示意。

完整数据集包含 75 个手工筛选的 Kaggle 竞赛，奖金额总计 190 万美元。衡量模型自我改进进展是评估自治智能体全部潜力的关键。我们使用 MLE‑Bench 既评测自我改进能力，也评测一般智能体能力。下图绘制的是其中 30 个最有代表性、最具多样性的竞赛子集（来自 <50GB 外部数据、<10 小时任务的子集）。

• 结果变量：bronze pass@1 或 pass@n，即模型在多少比例的竞赛中能够至少达到铜牌水平。
• 示例任务：Molecular Translation——从旋转后的分子图像中预测化学标识符。

图 13：MLE‑Bench‑30 子集的 pass@1。

图 14：MLE‑Bench 示例任务（Molecular Translation）：从分子图像预测化学标识符（如 InChI）。

gpt-5.2-thinking 在该评估上的得分与 gpt-5.1-codex-max 相当。

4.1.3.3 PaperBench

PaperBench [9] 评估 AI 智能体复现最先进 AI 研究的能力。智能体需从零开始复现 20 篇 ICML 2024 Spotlight 与 Oral 论文，包括理解论文贡献、搭建代码库以及成功执行实验。为实现客观评估，我们构建评分细则，将每个复现任务分层拆解为更小的子任务并给出清晰的评分标准。PaperBench 共包含 8,316 个可单独评分的任务。

我们使用原 PaperBench 切分中 10 篇论文的子集进行评估，每篇论文所需外部数据文件均小于 10GB。我们报告在高推理强度、禁用浏览条件下的 pass@1 表现。

图 15：PaperBench（禁用浏览）评估的 pass@1。

gpt-5.2-thinking 的得分仅比我们在该基准上得分最高的 gpt-5.1-codex-max 低 1 个百分点。

4.1.3.4 OPQA

OpenAI‑Proof Q&A（OPQA）评估模型在 OpenAI 内部遇到的 20 个研究与工程瓶颈上的表现，这些瓶颈每个都至少导致一个重要项目延迟一天，且有些还影响了大型训练与发布的结果。“OpenAI‑Proof” 指每个问题都需要 OpenAI 团队花费超过一天才能解决。任务要求模型诊断并解释复杂问题，例如意外的性能回退、异常训练指标或隐蔽的实现 bug。模型可访问包含代码与运行产物的容器，每个解法以 pass@1 评分。

图 16：OpenAI‑Proof Q&A（OPQA）评估的 pass@1。

gpt-5.1-codex-max 仍是该基准上得分最高的模型（8%）。

4.2 研究类别更新：Sandbagging

Apollo Research 的外部评估。Apollo Research 对 gpt-5.2-thinking 进行了全面评估，涵盖战略性欺骗、上下文内谋划（in‑context scheming）与破坏（sabotage）能力。Apollo 发现，在这些评估中，gpt-5.2-thinking 的能力与谋划倾向总体与其他近期前沿模型（包括 gpt-5.1-thinking 与 gpt-5.1-codex-max）相当。该模型偶尔会表现出欺骗性行为，例如伪造数据、假装完成任务，或在给定明确的上下文目标时策略性地降低表现，但其针对开发者的隐蔽颠覆率较低，也不会在这些设定中进行破坏或自我保全行为。尽管 gpt-5.2-thinking 可能比一些先前 OpenAI 模型更能意识到自己正在被评估，其欺骗率总体与同类模型相近，且不会因脚手架而显著放大。Apollo 还观察到，与 gpt-5.1-thinking 相比，gpt-5.2-thinking 的思维链中语言异常更少。基于这些发现，Apollo 认为 gpt-5.2-thinking 不太可能通过谋划能力造成灾难性危害。

参考文献

1. A. Souly, Q. Lu, D. Bowen, T. Trinh, E. Hsieh, S. Pandey, P. Abbeel, J. Svegliato, S. Emmons, O. Watkins, et al. “A strongreject for empty jailbreaks.” arXiv preprint arXiv:2402.10260, 2024.
2. OpenAI. “Introducing GPT‑5.” 2025 年 8 月。访问日期：2025‑12‑10。
3. OpenAI. “Pioneering an AI clinical copilot with Penda health.” 2025 年 7 月。访问日期：2025‑12‑10。
4. OpenAI. “Introducing HealthBench.” 2025 年 5 月。访问日期：2025‑12‑10。
5. Z. Wang, M. Xia, L. He, H. Chen, Y. Liu, R. Zhu, K. Liang, X. Wu, H. Liu, S. Malladi, A. Chevalier, S. Arora, and D. Chen. “CharXiv: Charting gaps in realistic chart understanding in multimodal LLMs.” arXiv preprint arXiv:2406.18521, 2024.
6. T. Eloundou, A. Beutel, D. G. Robinson, K. Gu‑Lemberg, A.‑L. Brakman, P. Mishkin, M. Shah, J. Heidecke, L. Weng, and A. T. Kalai. “First‑person fairness in chatbots.” OpenAI Technical Report, 2024.
7. J. M. Laurent, J. D. Janizek, M. Ruzo, M. M. Hinks, M. J. Hammerling, S. Narayanan, M. Ponnapati, A. D. White, and S. G. Rodriques. “Lab‑Bench: Measuring capabilities of language models for biology research.” 2024.
8. Y. Zhu, A. Kellermann, D. Bowman, P. Li, A. Gupta, A. Danda, R. Fang, C. Jensen, E. Ihli, J. Benn, J. Geronimo, A. Dhir, S. Rao, K. Yu, T. Stone, and D. Kang. “CVE‑Bench: A benchmark for AI agents’ ability to exploit real‑world web application vulnerabilities.” 2025.
9. G. Starace, O. Jaffe, D. Sherburn, J. Aung, J. S. Chan, L. Maksin, R. Dias, E. Mays, B. Kinsella, W. Thompson, J. Heidecke, A. Glaese, and T. Patwardhan. “PaperBench: Evaluating AI’s ability to replicate AI research.” https://openai.com/index/paperbench/, 2025.