论大语言模型的生物学

引言

大型语言模型展现出令人印象深刻的能力。然而，在很大程度上，它们实现这些能力的机制仍然未知。随着模型智能水平不断提升并被部署到越来越多的应用中，其黑箱性质愈发令人难以满意。我们的目标是对这些模型的内部工作方式进行逆向工程，从而更好地理解它们，并评估其是否适用于特定用途。

我们在理解语言模型时面临的挑战，类似于生物学家所面临的挑战。生物体是复杂系统，经过数十亿年的进化塑造而成。尽管进化的基本原理很直接，但它所产生的生物学机制却极其精细复杂。同样，尽管语言模型由简单、由人类设计的训练算法生成，但这些算法孕育出的机制似乎也相当复杂。

生物学的进展往往由新工具所推动。显微镜的发明使科学家首次得以看见细胞，揭示了一个肉眼不可见的结构新世界。近年来，许多研究团队在用于探查语言模型内部的工具方面取得了令人振奋的进展（例如 [1, 2, 3, 4, 5]）。这些方法揭示了嵌入在模型内部活动中的、可解释概念的表征——“特征”。正如细胞构成生物系统的基本构件一样，我们假设特征构成模型内部计算的基本单元。(脚注：特征与细胞之间的类比不应被过于字面化地理解。细胞是定义明确的，而我们关于“特征”究竟是什么的概念仍然模糊，并会随着工具的改进而不断演化。)

然而，仅识别这些基本构件并不足以理解模型；我们还需要知道它们如何相互作用。在我们的配套论文回路追踪（Circuit Tracing）：揭示语言模型中的计算图中，我们在近期工作基础上（例如 [5, 6, 7, 8]）引入了一套新工具，用于识别特征并绘制它们之间的连接——这类似于神经科学家绘制大脑的“连线图”。我们高度依赖一种我们称为归因图的工具，它使我们能够部分追踪模型将某个特定输入提示转换为输出回答时所经历的中间步骤链条。归因图为模型所使用的机制生成假设，我们再通过后续的扰动实验对这些假设进行检验与精炼。

在本文中，我们聚焦于将归因图用于研究一个特定的语言模型——Claude 3.5 Haiku，该模型于 2024 年 10 月发布，截至本文撰写时是 Anthropic 的轻量级生产模型。我们考察了广泛的现象。其中许多此前已有研究（见 § 相关工作），但在前沿模型的语境下，我们的方法能够提供额外洞见：

• 入门示例：多步推理。 我们给出一个简单示例：模型在“脑中”进行“两跳”推理，以识别“包含达拉斯的州的首府”是“奥斯汀”。我们能够看到并操纵一个内部步骤，在该步骤中模型表征了“得克萨斯（Texas）”。
• 诗歌写作中的规划。 我们发现模型在撰写诗句时会提前规划其输出。在开始写每一行之前，模型会识别可能出现在行末的押韵词。这些预先选定的押韵选项随后会塑造模型如何构造整行内容。
• 多语言回路。 我们发现模型同时使用语言特定的回路与抽象的、与语言无关的回路。与更小、能力更弱的模型相比，Claude 3.5 Haiku 中语言无关回路更为显著。
• 加法。 我们强调了同一套加法电路能够在差异很大的语境之间泛化的案例。
• 医学诊断。 我们展示了一个示例：模型基于报告的症状识别候选诊断，并据此提出关于其他症状的追问，以进一步佐证该诊断——全程都在“脑中”完成，而不把步骤写出来。
• 实体识别与幻觉。 我们揭示了使模型能够区分熟悉与不熟悉实体的回路机制，这一机制决定了它是否选择回答一个事实性问题，或是表明自己不知情。该回路的“误触发”可能导致幻觉。
• 对有害请求的拒答。 我们发现证据表明，模型在微调过程中构建了一个通用的“有害请求”特征，它由在预训练阶段学到的、表征具体有害请求的特征聚合而成。
• 一次越狱的分析。 我们研究了一种攻击：它先诱骗模型在“不自知”的情况下开始给出危险指令，随后模型由于遵循句法与语法规则的压力而继续这样做。
• 思维链（CoT）的忠实性。 我们探讨思维链（CoT）推理对模型真实机制的忠实性。我们能够区分以下情形：模型确实在执行它所声称的步骤；模型不顾事实真伪而编造推理；以及模型从人类提供的线索出发倒推，使其“推理”最终落到人类建议的答案上。
• 一个具有隐藏目标的模型。 我们还将方法应用于该模型的一个变体：它被微调为追求一个秘密目标——利用其训练过程中的“漏洞”。当被询问时，模型会避免透露其目标，但我们的方法识别出了用于追求该目标的机制。值得注意的是，这些机制嵌入在模型对其“Assistant”人格的表征之中。

我们的结果揭示了模型所采用的多种复杂策略。例如，Claude 3.5 Haiku 常常在“脑中”使用多个中间推理步骤(脚注：即发生在前向传播过程中，而非思维链（CoT）续写中那种“把思考说出来”。)来决定其输出。它展现出前向规划的迹象：在说出内容之前很早就考虑多个可能的表述；它也会进行后向规划，从目标状态出发倒推，以形成回答的前面部分。我们还看到一些原始“元认知”回路的迹象，使模型能够了解自身知识的边界。更广泛地说，模型的内部计算高度抽象，并能跨越差异显著的语境实现泛化。我们的方法有时也能够审计模型的内部推理步骤，从而标记出仅从模型回答中并不明显的、令人担忧的“思维过程”。

下文将呈现：

• 对我们方法论的简要概述（关于方法的更多细节见配套论文）。
• 一个入门案例研究，同时也作为理解我们方法的导读。尚未阅读配套论文的读者，可能会发现先读本节再继续其他案例研究更有帮助。
• 一系列关于有趣模型行为的案例研究，可根据读者兴趣以任意顺序阅读。
• 对我们各项研究中观察到的共通组成部分的总结。
• 对推动未来工作的理解缺口的描述（§ 局限性）。
• 对关于模型、其机制以及我们研究方法的高层结论的讨论（§ 讨论）。其中包括关于我们研究理念的一个说明——尤其是用于自下而上探究的工具之价值，它们使我们能够避免对模型如何工作做出强而上位的猜测。

关于我们方法及其局限性的说明

如同任何显微镜一样，我们的工具在可观测范围上是有限的。尽管精确量化很困难，但我们发现归因图大约能为我们尝试过的四分之一提示提供令人满意的洞见（关于我们方法何时可能成功或失败的更详细讨论见 § 局限性）。我们所强调的示例都是成功案例：我们确实从中学到了有趣的内容；此外，即便在这些成功的案例研究中，我们在此强调的发现也只捕捉了模型机制的一小部分。我们的方法通过一个更可解释的“替代模型”来间接研究原模型，而该替代模型对原模型的刻画既不完整也不完美。并且，为了更清晰地沟通，我们常常会对方法所揭示的图景做高度提炼、带有主观取舍的简化，从而在过程中进一步丢失信息。为更准确地呈现我们所发现的丰富复杂性，我们为读者提供了一个用于探索归因图的交互式界面。然而，我们强调，即便这些相当复杂的图也仍是对底层模型的简化。

本文聚焦于若干选定的案例研究，以阐明特定模型中值得关注的机制。这些示例构成“存在性证明”——为特定机制在特定语境中确实运作提供了具体证据。尽管我们怀疑类似机制在这些例子之外也在发挥作用，但我们无法保证这一点（建议的后续研究见 § 开放问题）。此外，我们所选择强调的案例无疑是一个带偏的样本，受我们工具局限性所塑造。(脚注：不过，我们会谨慎地通过后续验证实验对发现进行压力测试，并尽力仅在识别出有价值的案例研究之后才开展这些实验。) 关于我们方法的更系统评估，见我们的配套论文。然而，我们认为，这些定性研究最终最能检验一种方法的价值，正如显微镜的有用性最终由它所促成的科学发现来决定一样。我们预计，这类工作将对推动当前 AI 可解释性的发展至关重要——这是一个仍在寻找正确抽象的前范式领域——正如描述性科学已被证明对生物学中的诸多概念性突破至关重要一样。我们尤其兴奋的是，尽可能从当前方法中榨取洞见，已使其具体局限性更加清晰，这些局限性或可作为未来研究的路线图。

方法概览

我们在本文中研究的模型是基于 Transformer 的语言模型，它们接收由 token 构成的序列（例如单词、词片段以及特殊字符），并一次输出一个新的 token。这些模型包含两个基本组成部分——MLP（“多层感知机”）层，它使用一组神经元在每个 token 位置内处理信息；以及注意力层，它在不同 token 位置之间移动信息。

模型之所以难以解释，一个原因是它们的神经元通常是多义的——也就是说，它们执行许多看似彼此无关的功能。(脚注：这一问题被认为部分源于一种称为叠加的现象 [9, 10, 11, 12]，在该现象下，模型表示的概念多于其拥有的神经元，因此无法将每个神经元分配给一个独立概念。)为规避这一问题，我们构建了一个替代模型，使用更易解释的组件来近似复现原始模型的激活。我们的替代模型基于一种跨层转码器（CLT）架构（参见 [8] 以及我们的配套方法论文），其训练目标是用特征来替换模型的 MLP 神经元；这些特征是稀疏激活的“替代神经元”，往往表示可解释的概念。在本文中，我们使用的 CLT 在所有层合计包含 3,000 万个特征。

特征往往表示人类可解释的概念，范围从低层次（例如特定单词或短语）到高层次（例如情感、计划以及推理步骤）。通过考察特征可视化（由该特征发生激活时对应的不同文本示例组成），我们可以为每个特征赋予一个人类可理解的标签。需要注意的是，本文中的文本示例来自开源数据集。

我们的替代模型无法完美重建原始模型的激活。对于任意给定的提示，两者之间都存在差距。我们可以通过加入误差节点来填补这些差距，误差节点表示两种模型之间的差异。不同于特征，我们无法解释误差节点。但纳入它们能让我们更精确地把握我们的解释还不完整到何种程度。我们的替代模型也不试图替换原始模型的注意力层。对于任意给定的提示，我们只是使用原始模型的注意力模式，并将其视为固定组件。

我们将由误差节点构成并继承原始模型注意力模式的最终模型称为局部替代模型。它之所以“局部”，是因为误差节点和注意力模式会随不同提示而变化。但它仍然尽可能使用（在一定程度上）可解释的特征来表征原始模型的计算。

通过研究局部替代模型中特征之间的相互作用，我们可以追踪其在生成响应时的中间步骤。更具体地说，我们构建归因图，它是一种对模型针对特定输入确定输出时所采用的计算步骤的图形化表示，其中节点表示特征，边表示它们之间的因果相互作用。由于归因图可能相当复杂，我们会对其进行剪枝，通过移除对模型输出贡献不显著的节点与边，仅保留最重要的组成部分。

在得到剪枝后的归因图之后，我们常会观察到一些具有相关含义、并在图中发挥相似作用的特征群。通过手动将这些相关的图节点归并为超节点，我们可以获得对模型所执行计算步骤的简化描述。

这些简化图构成了我们许多个案研究的核心。下方（左）我们展示了此类图的一个示例。

由于它们基于我们的替代模型，我们无法使用归因图对底层模型（即 Claude 3.5 Haiku）得出确定性的结论。因此，归因图提供的是关于底层模型中运作机制的假设。关于这些假设在何时以及为何可能不完整或具有误导性，参见 § 局限性。为了增强我们所描述机制真实且重要的信心，我们可以在原始模型中进行干预实验，例如抑制某些特征组，并观察其对其他特征及模型输出的影响（上方最后一幅图的面板——百分比表示相对于原始激活的比例）。如果这些影响与我们的归因图预测一致，我们就更有信心认为该图捕捉到了模型内部真实（尽管可能不完整）的机制。重要的是，我们在测量扰动结果之前就确定了特征的标注与超节点分组。需要注意的是，对干预实验结果的解读以及它们在多大程度上为图预测的机制提供独立验证，仍有一些细微之处——更多细节请参见我们的配套论文。(脚注：对跨层转码器特征进行干预需要选择一个“干预层”，扰动会应用到该层为止。本文中的干预使用了我们配套论文中描述的“约束式补丁（constrained patching）”技术：它将干预层之前的激活钳制在扰动后的取值上，防止扰动的任何间接效应在干预层之前显现。因此，干预层之前特征上的扰动效应保证与归因图预测的直接效应一致。相对地，干预层之后的特征上的扰动效应可能以两种方式偏离图的预测：(1) 图所预测的直接效应可能会被我们的归因图未捕捉到的其他机制所淹没；(2) 图所预测的间接效应（即“多跳”相互作用）甚至可能并不存在于底层模型之中（我们将这一问题称为“机制性不忠实”）。因此，我们的干预实验所提供的验证性质会随所涉及特征的层次以及它们在归因图中相互作用的直接程度而变化；在某些情况下（干预层之前的直接效应），这种验证是平凡的。总体而言，我们认为干预对模型实际输出的影响是最重要的验证来源，因为模型输出易于解释，并且不受这些方法学伪影的影响。)

在每个个案研究图旁，我们都提供了交互式归因图界面  ，这是我们的团队用来研究模型内部机制的工具。该界面旨在支持在对关键特征、特征组与子回路进行标注的同时，“追踪”图中的关键路径。该界面相当复杂，需要一些时间才能熟练掌握。本文中的所有关键结果都以简化形式进行了描述与可视化，因此阅读论文并不需要使用该界面！不过，如果你希望更丰富地理解 Claude 3.5 Haiku 中起作用的机制，我们建议你尝试使用它。为了便捷起见，我们为部分特征给出了简短标签；这些标签只是非常粗略的解释，遗漏了大量细节，而这些细节可以在特征可视化中得到更好的体会。如需更详细的讲解，请参见我们配套方法论文中的这一节 （并参见§ 附录：归因图剪枝与可视化，了解本文特有的若干方法学差异）。

入门示例：多步骤推理

图：Introductory Example: Multi-step Reasoning（点击打开原图）

我们的方法旨在揭示模型在生成回应的过程中所使用的中间步骤。在本节中，我们考察一个简单的多步骤推理示例，并尝试识别其中的每一步。在此过程中，我们将强调一些关键概念，它们会出现在我们许多其他案例研究中。

让我们考虑提示词 事实：包含达拉斯的州的首府是，Claude 3.5 Haiku 能够成功将其补全为 奥斯汀。直观地看，这一补全需要两步——第一，推断包含达拉斯的州是得克萨斯州；第二，推断得克萨斯州的首府是奥斯汀。Claude 在内部真的执行了这两步吗？还是它使用了某种“捷径”（例如，它或许在训练数据中见过类似句子，只是记住了补全结果）？既有工作 [13, 14, 15] 已经在一定程度上（在不同语境中的程度不尽相同）显示出真实多跳推理的证据。

在本节中，我们提供证据表明，在这个例子里，模型在内部确实进行了真实的两步推理，而这种推理与“捷径”推理并存。

如方法概览所述，我们可以通过为该提示词计算归因图来解决这个问题。归因图描述了模型用于产生答案的特征，以及它们之间的相互作用。首先，我们检查特征的可视化以解释它们，并将其分组为若干类别（“超级节点”）。例如：

• 我们发现若干关于“首府城市”这一词语和/或概念的特征，例如有四个特征在 精确词形“capital” 上激活最强。更有趣的是，我们还发现一些以更一般方式表征“首都/首府”概念的特征。一个例子是 这个特征：它会在单词“capitals”上激活，但也会在之后关于各州首府的问题中激活；并且还会在中文问题 广东省的省会是？（“广东的省会是什么？”）上激活，具体是在“省会”的第二个字上激活。另一个例子是这个 多语言特征，它在多种短语上激活最强，包括“başkenti”“राजधानी”“ibu kota”和“Hauptftadt”——这些短语在不同语言中大致都表示“首都/首府”。(脚注：德语中有不少内容被写乱了，可能是源材料转写错误所致。)尽管这些特征分别表征的概念略有不同，但在该提示词的语境下，它们的功能似乎都是为了表征“首府”这一想法。因此，我们将它们（以及另外一些特征）归为同一个“超级节点”。
• 我们还识别出一些“输出特征”，它们会稳定地推动模型说出某些 token，即使它们在什么词/短语上激活并不存在如此清晰的规律。这一点可以在特征可视化中的“Top Outputs（最高输出）”部分看到：该部分列出了被该特征直接上调权重最强的输出 token。比如，有一个特征会在各种 得克萨斯州中部地标 上激活，但在这个提示词中，它最相关之处在于它最强烈地促进模型输出“Austin”这个 token。因此，我们将该特征归入一个“说出 Austin”的超级节点。需要注意的是，“Top Outputs”信息并不总是有用——例如，较早层的特征主要通过经由其他特征对输出产生间接影响而起作用，它们的最高直接输出并不那么关键。将某个特征指定为“输出特征”需要对其最高直接输出、其激活的语境，以及其在归因图中的角色进行整体性的评估。
• 我们还发现一些更一般地促进输出首府名称的特征；我们使用两类信号的组合来识别并标注它们。例如，有一个特征促进 以多种美国州首府作为回应。另一个特征更强地 促进多个国家的首都（而非美国各州的首府），但它在包含美国州及其首府的列表上激活最强。我们还注意到另一个特征：它最强的直接输出看似是一组无关的 token，但它常常在 某个国家首都之前 激活（例如 Paris、Warsaw 或 Canberra 之前）。我们将这些特征都归入一个“说出一个首都/首府”的超级节点。
• 我们发现若干特征表征了多种与 得克萨斯州 有关的语境，但并不特指某一座城市（尤其不是“Dallas”或“Austin”的特征）。尽管它们各自表征不同而具体的得州相关概念，但在该提示词的语境下，它们的主要功能似乎在于：它们共同表征了“得克萨斯州”这一总体概念。因此，我们将它们归为一个“Texas（得克萨斯）”超级节点。

在形成这些超级节点之后，我们可以在归因图界面中看到，例如，“capital（首府）”超级节点促进“说出一个首都/首府”超级节点，而后者又促进“说出 Austin”超级节点。为表示这一点，我们绘制一幅示意图，其中每个超级节点通过一条棕色箭头与下一个相连，如下方的图片段所示：

在标注更多特征并形成更多超级节点之后，我们在下图中总结它们之间的相互作用。

该归因图包含多条有趣的路径，我们在下方进行总结：

• Dallas（达拉斯）特征（并有来自state（州）特征的一定贡献）会激活一组表征与得克萨斯州相关概念的特征。
• 与此同时，由词语 capital 激活的特征会激活另一簇输出特征，使模型说出某个首都/首府的名称（这类特征的一个例子见上文）。
• Texas（得克萨斯）特征与说出一个首都/首府特征共同上调模型说出 Austin 的概率。它们通过两条路径实现这一点：

• 直接影响 Austin 的输出，以及
• 间接地，通过激活一簇 说出 Austin 的输出特征。

• 此外，还存在一条“捷径”边，直接从 Dallas（达拉斯） 指向 说出 Austin。

该图表明，这个替代模型确实执行了“多跳推理”——也就是说，它说出 Austin 的决策取决于若干中间计算步骤所构成的链条（Dallas → Texas，以及 Texas + capital → Austin）。我们强调，这张图在很大程度上简化了真实机制，并鼓励读者与更全面的可视化进行交互，以体会其底层复杂性。

通过抑制实验进行验证

上面的图描述了我们可解释替代模型所使用的机制。为验证这些机制能代表真实模型，我们对上述特征组进行了干预实验：对每一组进行抑制（将其钳制为其原始值的一个负倍数——关于干预强度选择的讨论见我们的配套论文），并测量其对其他簇中特征激活的影响，以及对模型输出的影响。

上方的汇总图确认了该图所预测的主要效应。例如，抑制“Dallas（达拉斯）”特征会降低“Texas（得克萨斯）”特征（以及“Texas”下游的特征，如“说出 Austin”）的激活，但基本不影响“说出一个首都/首府”特征。类似地，抑制“capital（首府）”特征会降低“说出一个首都/首府”特征（以及其下游特征，如“说出 Austin”）的激活，同时基本不改变“Texas（得克萨斯）”特征。

抑制特征对模型预测的影响在语义上也合理。例如，抑制“Dallas（达拉斯）”簇会使模型输出其他州首府；而抑制“说出一个首都/首府”簇会使其输出非首都/首府的补全结果。

交换替代特征

如果模型的补全确实由一个中间的“Texas（得克萨斯）”步骤所介导，那么我们应当能够通过将模型对得克萨斯的表征替换为对另一个州的表征，把其输出改为不同的州首府。

为识别表征另一个州的特征，我们考虑一个相关提示词：用“Oakland”代替“Dallas”——事实：包含奥克兰的州的首府是。重复上述分析步骤后，我们得到如下汇总图：

这张图与我们原始的图是对应的：用“Oakland（奥克兰）”替代“Dallas（达拉斯）”，用“California（加利福尼亚）”替代“Texas（得克萨斯）”，并用“说出 Sacramento”替代“说出 Austin”。

现在我们回到原始提示词，通过抑制得州簇的激活并激活从“Oakland（奥克兰）”提示词中识别出的 California（加利福尼亚） 特征，将“Texas（得克萨斯）”交换为“California（加利福尼亚）”。在这些扰动下，模型输出 “Sacramento”（加利福尼亚州的首府）。

类似地，

• 一个关于 包含 Savannah 的州 的类似提示词会激活 “Georgia（佐治亚州）” 特征。将这些特征与“Texas（得克萨斯）”特征交换会使模型输出 “Atlanta”（佐治亚州的首府）。

• 一个关于 包含 Vancouver 的省 的类似提示词会激活 “British Columbia（不列颠哥伦比亚省）” 特征。将这些特征与“Texas（得克萨斯）”特征交换会使模型输出 “Victoria”（不列颠哥伦比亚省的省会）。

• 一个关于 包含 Shanghai 的国家 的类似提示词会激活 “China（中国）” 特征。将这些特征与“Texas（得克萨斯）”特征交换会使模型输出 “Beijing”（中国的首都）。

• 一个关于 包含 Thessaloniki 的帝国 的类似提示词会激活 “Byzantine Empire（拜占庭帝国）” 特征。将这些特征与“Texas（得克萨斯）”特征交换会使模型输出 “Constantinople”（古代拜占庭帝国的首都）。

需要注意的是，在某些情况下，为改变模型输出所需的特征注入幅度更大（见最底行）。有趣的是，这些情形对应于被注入的特征并不对应于某个美国州，这表明这些特征可能不太能“自然地”嵌入原始提示词中所激活的回路机制。

诗歌中的规划

图：Planning in Poems（点击打开原图）

Claude 3.5 Haiku 是如何写出押韵诗的？写诗需要同时满足两个约束：诗句需要押韵，并且需要合乎语义、通顺有意义。人们可以设想模型有两种实现方式：

• 纯即兴发挥 – 模型可以在不顾及句末押韵需求的情况下写出每行的开头。然后，在每行的最后一个词处，它会选择一个词，该词 (1) 在其刚写出的这一行语境下合乎意义，并且 (2) 符合押韵格式。
• 规划 – 或者，模型也可以采用更为复杂的策略。在每行的开头，它可以先想好自己打算在句末使用的词，同时考虑押韵格式与前几行的内容。随后，它可以用这个“计划词”来指导下一行如何书写，从而使该计划词能够在句末自然贴合地出现。

语言模型被训练为逐词预测下一个词。基于这一点，人们可能会认为模型会依赖纯即兴发挥。然而，我们发现了关于一种规划机制的有力证据。

具体而言，模型常常在写出该行之前，就会激活与“下一行句末候选词”相对应的特征，并利用这些特征来决定如何组织这一行。(脚注：在我们研究的大约一半诗作中，我们发现了计划词特征；这可能是由于我们的 CLT 未能捕捉到计划词的特征，也可能是因为模型并非总会进行规划。)

先前工作已在语言模型与其他序列模型中观察到规划的证据（例如 [16, 17, 18] 在游戏中，以及 [19, 20, 21]；另见 § 相关工作）。我们的示例为这一证据体系增添了新的内容，并在若干方面尤为引人注目：

• 我们给出了关于计划词如何被计算并在下游使用的机制性解释。
• 我们发现了关于前向规划与反向规划（尽管是基本形式）的证据。首先，模型利用诗歌的语义与押韵约束来确定下一行的候选目标。接着，模型从其目标词向后推导，写出一个能够自然以该词结尾的句子。
• 我们观察到模型会同时“在心中”保留多个可能的计划词。
• 我们能够编辑模型的计划词，并看到它据此相应地重构下一行。
• 我们以一种无监督、自下而上的方法发现了该机制。
• 用于表示计划词的特征似乎是表示该词的普通特征，而非规划专用特征。这表明模型在“思考”计划词时，使用的表征与它阅读这些词时的表征相似。

计划词特征及其机制性作用

我们研究 Claude 如何完成如下提示词（要求输出一对押韵的对句）。在每一步都采样最可能的 token 时，模型的输出如下，并以粗体标出：

首先，我们聚焦于第二行的最后一个词，并尝试识别促成选择“rabbit”的回路。我们最初假设会观察到即兴发挥 – 即一个回路，其中押韵特征与语义特征发生建设性干涉，从而促进“rabbit”。相反，我们发现回路的重要组成部分定位在第二行开始之前的新行 token 上：

上方的归因图是通过从“rabbit”输出节点进行反向归因计算得到的；它显示在第二行开始之前、位于换行 token 上有一组重要的特征处于激活状态。跨越 “it” token 的激活会激活与“eet/it/et”押韵的特征，而这些特征又会激活候选补全（completion）的特征，例如 “rabbit” 和 “habit”！这些候选补全随后又对最后一个 token 上的说出“rabbit”特征施加正向边，最终促进相应的输出 token。这与模型提前规划潜在补全的观点一致。(脚注：完整回路显示出多样化的特征组，它们促进潜在补全中较早的音素，例如一些包含“ab”音的词，该音与“grab”中的音相匹配。)

为检验这一假设，我们在换行处的规划位置实施了多种干预，并观察其如何影响最后一个 token 的概率。我们抑制计划词与押韵格式的特征，同时也注入不同的押韵格式与计划词。

结果证实了我们的假设：这些规划特征会强烈影响最终 token 的概率。

规划特征只在规划位置起作用

回路分析表明，规划发生在换行 token 上。(脚注：事实上，这些特征只会在规划 token 上处于激活状态。)下方我们通过改变进行引导（steer）的 token 位置，展示预测不同句末 token 的概率。在每个索引处，我们对 “rabbit” 与 “habit” 特征进行负向引导，并对一个 “green” 特征进行正向引导。(脚注：“green”特征是我们在另一首诗中发现的等价规划特征。它会在多种语境中、包括拼写错误的情况下，在单词 green 上激活。)我们观察到，引导干预只在换行规划 token 上产生效果！

计划词会影响中间词

规划回路是否只参与选择最后一个词，还是也会在生成中间词时促使模型“朝着”目标写作？为回答这一问题，我们为中间词 “like” 计算了一张归因图。

图中同样出现了“rabbit”的规划特征，它们促进了一组“比较特征”，这些特征会在诸如“like a”之类的文本之前处于激活状态。模型从在换行处激活的计划目标（“rabbit”）出发并进行反向推理，构造出一条合理的过渡以抵达该目标。

同样地，我们用干预来检验这一点。我们发现，抑制“rabbit”特征会将过渡改为与另一个计划词“habit”相匹配的过渡。

计划词决定句子结构

但是，规划特征是否会影响整个句子结构？我们通过进一步的引导实验来检验：沿用先前那组干预，但对整句最后一行进行重新采样。我们发现，对规划特征的干预会促使模型改变该行的结构，从而到达与干预相匹配的句末词。(脚注：我们展示了最可能的句末词所对应的示例行，并基于每个实验 500 次采样来估计句末词的概率。)。

除以上示例外，我们在随机抽取的 25 首诗中注入了两个计划词特征（“rabbit”和“green”），并发现模型在 70% 的情况下以注入的计划词结束其诗行。下方我们展示了若干成功样例。

多语言回路

图：Multilingual Circuits（点击打开原图）

现代神经网络具有高度抽象的表征，它们往往会在多种语言之间将同一概念统一起来（例如参见多语言神经元与特征 [22, 23, 24]；多语言表征[25, 26, 27, 28]；但参见 [29, 30]）。然而，我们对这些特征如何在更大的回路中拼合在一起、并产生我们所观察到的模型行为，仍然知之甚少。

在本节中，我们考察 Claude 3.5 Haiku 如何用不同语言补全三个语义相同的提示：

• 英语： “small”的反义词是“ → big
• 法语： “petit”的反义词是“ → grand
• 中文： “小”的反义词是“ → 大

我们发现，这三个提示由非常相似的回路所驱动：它们共享多语言组件，并具有一个类似的、语言特定的组件。(脚注：这可以被视为语言不变回路与语言等变回路的组合（参见 [31]）。) 核心机制概括如下：

它们在高层叙事上是一致的：模型使用一种语言无关的表征(脚注：我们提出这一主张的依据是：(1) 特征可视化显示它们会在多种语言中激活；(2) 多语言节点中的 27 个特征里，有 20 个在三个提示中都会激活。然而，我们也注意到，对模型回应具有影响的特征集合会随提示而有相当大的变化（在三个提示的剪枝后归因图中都出现的只有 10/27）。)，识别出它被询问的是“small”的反义词。这会触发 反义 特征，它们通过对注意力的影响来中介（对应图中的虚线）从 small 到 large 的映射。与此同时，语言X中的左引号 特征会追踪语言，(脚注：除此外，还存在其他语言线索，例如 语言Y中文档开头 特征)并触发与语言相匹配的输出特征，从而做出正确预测（例如 中文中的“big”）。然而，我们的英文图表表明，英语在一个重要意义上相较其他语言在机制层面享有特权，作为“默认”语言。(脚注：具体而言，多语言“说 large”特征对英语中的“large”或“big”往往具有更强的直接效应，相比之下对其他语言更弱。此外，英语引号特征对英语“说 large”特征具有微弱且方向混杂的直接效应，而是呈现出双重抑制效应。我们在此使用虚线来表示存在一条经由双重抑制效应的间接路径。)

我们可以将这一计算视为包含三个部分：运算（即反义），操作数（即 small），以及语言。在接下来的各节中，我们将给出三组实验，表明这三者都可以被独立地施加干预。概括而言：

最后，我们将以一项展示作结：多语言特征广泛存在，并且随着规模扩大，它们在模型表征中所占比例会不断提高。

编辑运算：从反义到同义

现在我们给出一组比上述概述更为细致的干预实验。我们首先从将运算从反义切换为同义的实验开始。

在模型的中间层、最后一个 token 位置上，存在一组 反义 特征，它们会在模型预测某个近期形容词的反义词或相反含义之前立刻激活。我们在同一模型深度、对一个英文提示 “small”的同义词是“ 上也发现了一簇类似的 同义 特征(脚注：这些可以被理解为同义与反义的函数向量 [32]。尽管同义与反义向量在功能上相反，但值得注意的是，同义与反义编码器向量之间的两两内积全部为正，而解码器向量内积的最小值也仅略微为负。)。

为检验我们对这些特征的解释，我们在每种语言中对反义特征超节点进行负向干预，并用同义超节点进行替换。尽管两组特征都源自英文提示，这一干预仍会使模型输出与语言相匹配的同义词，从而表明回路中运算组件的语言无关性。

除了模型预测出恰当的同义词之外，下游的“说 large”节点激活也被抑制（以百分比标示），而上游节点保持不变。还值得注意的是，尽管我们的干预需要非自然的强度（我们必须施加相当于同义提示中激活的 6×），干预开始生效的临界点在不同语言之间相当一致（约为 4×）。

编辑操作数：从 small 到 hot

在第二个干预中，我们将操作数从“small”改为“hot”。在“small”这个 token 上，存在一组早期特征，它们似乎捕捉了该词的尺寸侧面。使用一个将“small”token 替换为“hot”token 的英文提示时，我们发现了表示 hot 的热相关侧面的相似特征。(脚注：有许多特征看起来只是对“hot”和“small”这两个词发生激活。我们选择这些节点，是因为它们具有最高的“图影响力”，这意味着它们在因果上对预测出恰当反义词最为关键。)

与此前一样，为验证这一解释，我们用 hot 的温度特征替换 small 的尺寸特征（作用于“small”/“petit”/“小”这个 token）。同样地，尽管 hot 的温度特征源自英文提示，模型仍会预测出“hot”的语言相匹配的反义词，这表明针对操作数存在一种语言无关的回路机制。

编辑输出语言

我们的最后一个干预实验是改变语言。

在模型的前几层、最后一个 token 位置上，存在一组用于指示上下文语言的特征，其中包括等变的“语言X中的左引号”特征与“语言Y中文档开头”特征（例如 法语、中文）。我们将每种语言对应的这组语言检测特征收集为一个超节点。

如下所示，我们可以通过用另一种语言所对应的一组特征，替换原语言的早期语言检测特征，来改变输出语言。这表明我们能够在保持运算与操作数不变的情况下编辑语言。

更细致的法语回路

上面展示的回路都经过了高度简化，值得用一个例子更详细地考察一下。这里我们选择考察法语回路。该回路仍然是简化版，更原始的版本可在图注所链接处找到。

一个关键的相互作用（发生在反义与 large 之间）似乎是通过改变注意力头的注意力指向来实现的，即通过参与它们的 QK 回路。这一点对我们当前的方法是不可见的，并且可以被视为一种“反例”，以具体方式展示了我们现有回路分析的弱点。

除此之外，还有若干有趣之处值得注意。我们可以看到多 token 的词“contraire”被“去 token 化”，从而激活抽象的多语言特征。我们还看到一个“预测尺寸”特征组，我们在更简化的图中将其略去（它的效应弱于其他特征）。并且我们可以看到语言特定的引号特征会追踪我们所处的语言，尽管完整回路表明模型也会从其他词语中获得语言线索。

这种结构与我们在其他语言中观察到的回路总体上相似。

多语言特征有多普遍？

一般而言，这个叙事在多大程度上成立？在上述例子以及我们考察过的其他例子中，我们一致地看到：计算的“关键所在”由语言无关特征来完成。例如，在下面三个简单提示中，关键的语义变换在每种语言里都使用同一组重要节点完成，尽管输入中并不共享任何 token。

这提示了一个用于估计跨语言泛化程度的简单实验：测量同一特征在被翻译为不同语言的文本上激活的频率。也就是说，如果同一组特征会在某段文本的不同语言译文上激活，而不会在无关文本上激活，那么模型必然是在一种跨语言统一的格式中表征输入。

为检验这一点，我们在一个包含多样主题段落的数据集上收集特征激活，并使用（由 Claude 生成的）法语与中文译文。对每个段落及其译文，我们记录在上下文任意位置发生激活的特征集合。对每个{段落、语言对、模型层}，我们计算两者的交集（即两者都激活的特征集合）除以并集（任一方激活的特征集合），以衡量重叠程度。作为基线，我们将其与同一语言配对下无关段落的相同“交并比”度量进行比较。

这些结果表明：模型开头与末端的特征高度语言特定（与 {de, re}-tokenization 假说一致 [33]），而中间层的特征更为语言无关。此外，我们观察到，与较小模型相比，Claude 3.5 Haiku 展现出更高程度的泛化，并且对于不共享字母表的语言对（英语-中文、法语-中文）呈现出尤为显著的泛化提升。

模型用英语思考吗？

随着研究者开始从机制层面探究模型的多语言属性，相关文献中出现了一种张力。一方面，许多研究者发现了多语言神经元与特征（例如[22, 23, 24]），以及其他关于多语言表征（例如[25]）与计算（例如[27, 28]）的证据。另一方面，Schut 等 [29] 提供证据表明模型会偏好英语表征，而 Wendler 等 [30] 则为一种中间立场提供证据：表征是多语言的，但与英语最为对齐。

我们应当如何理解这些相互矛盾的证据？

在我们看来，Claude 3.5 Haiku 的确在使用真正的多语言特征，尤其是在中间层。然而，在重要的机制层面，英语仍享有特权。例如，多语言特征对对应的英语输出节点具有更显著的直接权重，而非英语输出则更强地通过“语言Y中的说X”特征来中介。进一步地，英语引号特征似乎参与了一种双重抑制效应：它们抑制那些自身会在英语中抑制“large”但在其他语言中促进“large”的特征（例如，这个 英语引号特征 最强的负边指向一个 特征，该特征会在法语等罗曼语族语言中上调“large”，并在其他语言——尤其是英语——中下调“large”）。这描绘出一种多语言表征图景：英语是默认输出。

加法

图：Addition（点击打开原图）

在配套论文中，我们研究了Claude 3.5 Haiku 如何进行两位数加法，例如 36+59。我们发现，它将问题拆分为多条路径：一边并行地以较粗的精度估算结果，一边计算答案的个位数，随后再将这些启发式结果重新组合以得到正确答案。我们发现，其中一个关键步骤由“查找表”特征完成：它把输入的属性（例如被相加的两个数分别以 6 和 9 结尾）映射到输出的某个属性（例如以 5 结尾）。与许多人一样，该模型已经记住了一位数加法表。然而，它策略的其他部分与人类常用的标准加法算法略有不同，正如我们将展示的那样。

首先，我们使用“操作数”图可视化特征在加法问题中的作用：这些图展示了对于形如 calc: a+b= 的 10,000 个提示词，在 = 词元处某个特征的激活情况，其中 a 与 b 遍历 (0, ..., 99) 的所有配对。这些图中的几何图案体现了该特征响应中的结构：

• 对角线表示对题目中“和”敏感的特征。
• 水平线与垂直线分别表示对第一个或第二个输入敏感的特征。
• 孤立点表示对输入组合敏感的“查找表”特征。
• 重复图案表示模信息（例如“末位数字为 X mod 10”）。
• 涂抹状图案表示上述类别的低精度版本。

我们现在复现 calc: 36+59= 的归因图。用于“加上一个接近 57 的数”的低精度特征，会输入到一个用于“将接近 36 的数与接近 60 的数相加”的查找表特征；后者又输入到一个“和接近 92”的特征。该低精度路径与右侧的高精度模运算特征相互补充（“左操作数以 9 结尾”输入到“加上一个末位恰为 9 的数”，再输入到“将末位为 6 的数与末位为 9 的数相加”，再输入到“和以 5 结尾”）。这些共同作用得到正确的和 95。（在图中，我们用 _ 表示“此处可以是任意数字”，用 ~ 表示“大约”。）

我们很好奇 Claude 能否阐明它正在使用的这些启发式方法，于是向它提问。(脚注：我们对下面的提示词计算了归因图，从 95 进行归因，发现与上面更短的提示词相同的一组输入、加法、查找表与求和特征。)

显然不是！

这是一个简单例子：模型具备某种能力，却对该能力缺乏“元认知”层面的洞察。模型学会给出解释的过程（在训练数据中学习去模拟解释）与它学会直接完成某件事的过程（更为神秘的：反向传播如何催生这些回路）是不同的。我们在§ 思维链（CoT）忠实性中给出了相关例子，展示显式推理与内部算法不一致的情况。

加法特征的泛化

上面的提示词给出了一个“原始”的加法问题，形式为 “a + b =”。然而，模型需要能够在各种语境中执行算术。下面，我们展示：在上图中出现的一种加法特征，如何在需要加法的、极为多样的语境中被使用，有时方式非常不直观。接着，我们展示：加法特征的输出如何以更灵活的方式被使用，而不仅仅是让模型说出“和”的数值。

对输入语境的泛化

我们在检查数据集样例时注意到：在 36+59 提示词中、对相加的数分别以 6 和 9 结尾（或相反）作出响应的查找表特征，在算术之外的许多多样语境中也会激活。

对这些样例进行细致检查后，我们发现当该特征激活时，往往存在某种理由去预测下一个词元可能以 5 结尾，而这一点来源于将 6 与 9 相加。请看下面的文本，其中该特征激活的位置的词元已被高亮。

上面的样本由天文测量数据构成；最活跃的词元出现在模型预测某个测量时间段末尾的分钟数处。此前测量的持续时间为 38–39 分钟，而该时间段从第 6 分钟开始，因此模型预测结束时间为第 45 分钟。

上面是一个简单表格，其中“成本”（$35,820）在该列中构成等差数列（在 $26,880 的基础上增加 $8,970）。

在我们用来可视化特征的开源数据集中，上述这类例子相对常见：它们是学术文本中的引文。当期刊卷号（此处为 36）以 6 结尾，而期刊创刊年份的前一年（此处为 1959）以 9 结尾时，_6 + _9 特征就会激活，使得该卷的出版年份将以 5 结尾。下面我们为 Polymer 的最后一条引文可视化归因图，并发现其中有五个可识别的特征来自我们简单算术的归因图（并用其操作数图进行了可视化），它们与两组与期刊相关的特征结合，这两组特征分别表征期刊创刊年份的属性：一组对应创刊时间在 1960 年前后，另一组对应创刊年份以 0 结尾。

我们还可以通过干预实验验证该查找表特征在这一任务中发挥了因果作用。

抑制该查找表特征对输出预测的直接影响较弱，但它对求和特征与输出特征的间接影响足够强，从而可以改变模型的预测。我们也可以看到：将查找表特征（_6 + _9）替换为另一个不同的特征（_9 + _9），会以符合预期的方式改变预测的个位数（从 1995 变为 1998）。

在这些例子中，模型必须先判断此处适用加法、以及应当相加的对象，然后加法回路才会运行。要精确理解模型在各类数据中究竟如何做到这一点——无论是识别期刊、解析天文数据，还是估算税务信息——都是未来工作的挑战。

计算角色的灵活性

在上述示例中，模型输出的数字是某个（可能被混淆的！）加法问题的直接结果。在这些情况下，让诸如“_6+_9”之类的查找表特征激活诸如“说一个以 5 结尾的数字”这样的输出特征是合理的，因为模型确实需要说出一个以 5 结尾的数字。然而，计算往往只是更大问题中的中间步骤。在这种情况下，我们并不希望模型把中间结果当作最终答案脱口而出！模型如何表征并存储中间计算以供后续使用，并将它们与“最终答案”区分开来？

在这个例子中，我们考虑提示词 assert (4 + 5) * 3 ==，模型会正确地补全为 27。我们在归因图中观察到几个要素：

• 模型使用一个加法查找表特征（“4 + 5”）来计算加法部分，并使用一个乘法查找表特征（“3 × 9”）来计算乘法部分，同时还受到“乘以 3”和“9 的倍数”两条路径的贡献。
• 一组“表达式类型”特征处于激活状态，它们表征“一个和将被另一数量相乘”的数学表达式。

• 这些表达式类型特征有助于激活两种相关的查找表特征。

• 这些表达式类型特征还会激活一个特征，它似乎表征“作为中间步骤计算出的 9”，用以标记 4+5=9 的结果并非要作为最终答案输出。

• 有趣的是，该特征最强的负向直接输出效应是抑制“9”，这暗示它可能用于对抗直接“说 9”的冲动。然而，我们注意到该负向影响在归因图中相当弱（对“9”输出最强的抑制性输入是错误节点），因此尚不清楚这种抑制机制在底层模型中是否显著。

换言之，“4 + 5”相关特征带来两个符号相反的效应——默认情况下，它们会驱动“说 9”的冲动；但在存在恰当的语境线索、表明问题还有后续步骤（此处为乘法）时，它们也会触发下游回路，将 9 作为中间步骤使用。

该图暗示模型可能采用一种通用策略，以灵活方式重用其回路。查找表特征充当基本计算所需的主力，并参与多种不同回路，从而以不同方式使用这些计算。与此同时，其他特征——在此例中为“表达式类型”特征——负责推动模型偏向使用其中某些回路而非另一些。

医学诊断

图：Medical Diagnoses（点击打开原图）

近年来，许多研究者探索了大语言模型（LLM）的医学应用——例如，辅助临床医生做出准确诊断 [34, 35]。AI 在医学中的应用历来是许多研究者强调可解释性重要性的领域。鉴于医疗决策的高风险，可解释性可以提高（或在适当情况下也可能降低！）对模型输出的信任，并使医学专业人士能够将模型的推理与自身的推理相综合。可解释性也可能帮助我们改进 LLM 在医疗场景中的已记录局限性，例如其对提示格式的敏感性 [36]。一些作者 [37] 观察到，模型书写出来的思维链（CoT）推理能够在一定程度上为其推理提供可解释性。然而，由于书面 CoT 推理往往会错误呈现模型真实的内部推理过程（见 [38, 39] 以及我们在下文的 CoT 忠实性章节），依赖它可能并不可接受。

因此，我们关注我们的方法是否能够阐明模型在医学语境中内部进行的推理。在这里，我们研究一个示例情景：向模型提供关于一名患者的信息，并要求其提出一个后续问题，以帮助诊断与治疗。这与常见的医学实践——鉴别诊断——相呼应：通过提问并进行检查来排除其他可能，从而确定导致患者症状的最可能原因。我们指出，这个例子（以及本节中的其他例子）相当简单，具有“教科书式”的症状与明确的候选诊断。我们将其作为概念验证的示意，说明模型在医学语境中可以使用可解释的内部步骤。现实中的鉴别诊断通常需要对更为模糊、且存在多种可能行动路径的病例进行推理，我们也非常期待在未来工作中研究这些情形。

该模型最可能的补全是“视力障碍”和“蛋白尿”，它们是子痫前期的两个关键指征。（注：随后模型继续说：“理由：该表现强烈提示子痫前期，而视力障碍是一个关键的危险信号症状，可能提示进展为重度子痫前期或 HELLP 综合征。”）

我们注意到，模型激活了若干特征，这些特征会在讨论子痫前期及其相关症状的语境中被激活。其中一些特征（如下例）在单词“preeclampsia”上激活最强。值得注意的是，在该提示中并未出现“preeclampsia”这个词——相反，模型在内部表征了它，显然使用了与该词被明确拼写出来时相似的内部机制。

另一些特征会在讨论子痫前期症状时被激活：

还有一些则会在任何讨论该疾病的语境中广泛激活：

就我们的目的而言，我们将这些特征归为同一类，因为它们都表明模型以某种方式在“思考”子痫前期。

类似地，我们也可以把表征与该提示相关的其他概念的特征归类在一起。下面给出了模型回应的归因图，它以简化方式总结了这些内部表征如何相互作用以产生模型的回应。

该图揭示了一个与临床诊断思维相呼应的过程。具体而言，模型激活了若干彼此区分的特征簇，它们对应于临床表现的关键要素：

1. 首先，模型激活了与患者状态与症状相对应的特征——妊娠、右上腹痛、头痛、血压升高以及肝功能异常。这些构成诊断推理过程的输入。
2. 这些患者状态特征共同激活了表征潜在诊断的特征，其中子痫前期成为主要假设。注意，并非所有状态特征贡献相同——妊娠特征（其后是血压特征）是子痫前期特征迄今为止最强的输入，其余特征贡献较弱。
3. 此外，模型还同时激活了表征替代性诊断的特征，尤其是胆道系统疾病，如胆囊炎或胆汁淤积。
4. 子痫前期特征会激活下游特征，这些下游特征表征能为子痫前期诊断提供证实性证据的额外症状，其中包括两个——视力缺损与蛋白尿——它们对应于模型最可能的两种回应。

我们强调，上图仅是对模型中起作用机制的部分说明。虽然计算流看起来反映了模型选择其回应的关键路径，但模型中还有许多其他处于激活状态的特征，它们表征其他医学概念与症状，其中许多与诊断的直接相关性较弱。完整归因图提供了更完整的图景。

我们的归因图主张：模型在内部激活的子痫前期特征对其回应具有因果责任。为了检验该假设，我们可以进行一项实验：抑制子痫前期特征，并观察模型激活与行为如何变化：

我们看到，与多种子痫前期相关症状相对应的特征在该干预下被去激活。模型最可能的回应随之改变，转而建议询问食欲减退——这是胆道系统疾病（如胆囊炎）的常见症状——也正是模型最初考虑的另一种候选诊断！

我们指出，这仅是单个、简短的案例研究，不应被理解为可解释性工具已经先进到可以在缺少人类专家参与的情况下信任模型对医疗问题的回答。然而，它确实表明，在某些情况下，模型的内部诊断推理可以被拆解为清晰可读的步骤，这对将其用于补充临床医生的专业能力可能很重要。

下面我们提供另外几个类似提示及其对应的归因图示例，并列出我们观察到的一些关键特征与路径。我们鼓励感兴趣的读者探索交互式图，因为我们简短的总结不足以覆盖所有相关机制。最后一个示例展示了一个归因图更为复杂的情形。总体而言，尽管模型推理的一部分常常像上述示例那样遵循逻辑步骤，但它似乎也会并行地使用许多启发式策略来共同促成其回应，其中一些在临床上看起来比另一些更可靠。进一步探索更多此类案例研究，并系统分析模型用于推理这些案例的回路追踪（Circuit Tracing）所涉及的回路，是未来工作中令人兴奋的主题。

示例 #1

我们为助手回答开头的 “neck” 这个 token 计算了一个归因图。我们看到，表征突发（“雷击样”）头痛与蛛网膜下腔出血的特征被激活，而它们又由与头痛相关的特征所激活，并进一步上调 “neck” 这一回应。此外，更广泛地表征神经系统症状的特征也对该回应有所贡献。有趣的是，一组与脑膜炎症状相关的特征也被激活了，它们从头痛特征以及蛛网膜下腔出血特征接收输入，尽管在此例中脑膜炎并不是一个特别可能的诊断。

示例 #2

我们为助手回答开头的 “rash” 这个 token 计算了一个归因图。我们看到，表征脑膜炎的特征被激活，而这些特征又由表征颈部僵硬/疼痛的特征所激活。脑膜炎特征会对 “rash” 这一回应进行上调。

示例 #3

我们为助手回答开头的 “chest” 这个 token 计算了一个归因图。我们看到，表征急性冠状动脉综合征及相关心绞痛（胸痛）的特征、表征心力衰竭的特征，以及更一般地表征心血管症状的特征。这些特征共同上调 “chest” 这一回应，其中包括通过中间的“胸痛”特征实现的上调。“心力衰竭”特征从“脚踝/足部肿胀”特征与“呼吸短促”特征接收输入，并且也会上调与咳嗽/呼吸系统症状相关的特征——这也是心力衰竭的另一种症状。相比之下，急性冠状动脉综合征特征的输入不那么清晰——它仅从任何表征所列症状的特征中接收到很弱的输入。这个案例之所以有趣，是因为胸痛是一个极佳的问题，用于区分在急性冠状动脉综合征与心力衰竭这两种可能之间，因为前者更典型地引起急性/严重胸痛。仅从该图来看，我们并不清楚模型是否真的在推理两种诊断之间胸痛出现的鉴别性可能性。我们也不清楚模型的回应是否受到“急性冠状动脉综合征会立即危及生命”这一知识的影响。

实体识别与幻觉

图：Entity Recognition and Hallucinations（点击打开原图）

众所周知，语言模型有时会产生幻觉；也就是说，会在回答问题时编造虚假信息。当模型被问及相对冷门的事实或话题时，幻觉尤为常见；其根源在于语言模型的预训练目标，该目标会激励模型为文本片段猜测看似合理的续写。

例如，请看 Haiku 3.5 作为基座模型（即不带 Human/Assistant 格式）时给出的如下“幻觉式”续写：

这种行为是合理的，因为在模型的训练数据中，这样的句子很可能会以某项运动的名称作为补全。在没有任何关于“Michael Batkin”是谁的进一步信息时，模型本质上只能随机猜测一项看似合理的运动。

然而，在微调过程中，模型被训练为在扮演 Assistant 角色时避免此类行为。这会带来如下回应：

鉴于从某种意义上说，幻觉是一种“自然”的行为，而微调会缓解这种行为，因此，寻找那些阻止模型产生幻觉的回路是有意义的。

在本节中，我们提供证据表明：

• 模型包含会促使其拒答问题的“默认”回路。
• 当模型被问及它所知道的内容时，它会激活一组特征来抑制这一默认回路，从而使模型能够回答问题。
• 至少有一部分幻觉可以归因于该抑制回路的“误触发”。例如，当要求模型列出某位作者撰写的论文时，即使模型并不了解该作者的具体论文，它也可能激活其中一些“已知答案”特征。

我们的结果与 Ferrando 等人近期的发现相关 [40]：他们使用稀疏自编码器（SAE）来找到表征已知与未知实体的特征，并表明这些特征在模型判断自己是否能够回答关于某一实体的问题时具有因果作用。我们复现并佐证了这些发现，并展示了支撑这些发现的新回路机制。

默认拒答回路

让我们考察 Human/Assistant 提示在 Assistant 道歉语句的第一个 token 上的归因图。一簇与体育相关的特征会激活一些特征，推动模型说出某项运动的名称。然而，这一路径被另一条并行回路以“投票压制”的方式胜过，后者使模型以“我很抱歉”式回应开头。

该回路的关键在于一组“无法回答”特征：当 Assistant 纠正或质疑用户问题的前提，或声明自己信息不足以作答时，这些特征会被激活。

这些特征会被那些对 Human/Assistant 提示广泛触发的特征直接激活。这幅图景表明，对于任何 Human/Assistant 提示，“无法回答”特征都会以默认方式被激活！换言之，模型默认对用户请求持怀疑态度。

“无法回答”特征还会被一组不熟悉的名字特征所强化；而后者又由“Michael Batkin”的各个 token 以及一个通用的“名字（first names）”特征所激活。这表明，每当呈现一个名字时，这些未知姓名特征也会以“默认方式”被激活。

一种抑制性的“已知答案”回路

如果模型默认会激活促进拒答的“无法回答”和“未知姓名”特征，那么它又如何给出信息丰富的答案呢？我们假设，这些特征会被表征模型所熟悉的实体或话题的特征抑制。未知实体 Michael Batkin 无法抑制这些特征，但我们可以设想，与 Michael Jordan 这样的已知实体相关的特征会成功抑制它们。

为检验这一假设，我们为以下提示计算了归因图：

并聚焦于“无法回答”特征。我们确认，正如预期，与 Michael Batkin 的提示相比，对该提示的响应中，这些特征要么不活跃，要么活跃程度更弱。我们也在归因图中观察到，这些特征会被以下因素抑制：

• 与 Michael Jordan 相关的特征
• 一组“已知答案”和“已知实体”特征：当 Assistant 被问及其很可能知道的人/事物时，这些特征会被激活。这与 Ferrando 等人所描述的特征相似 [40]。

而这些已知答案与已知实体特征又会被一组与 Michael Jordan 相关的特征所激活。

综合我们对两条提示的分析，其机制总结如下。

该回路与我们的假设一致：已知实体或话题会抑制原本处于活跃状态的“无法回答”特征。如果这一点为真，那么我们应当能够在Michael Batkin提示中抑制“无法回答”特征，并通过提升“已知答案/实体”特征来诱发幻觉。确实可以！这样做会导致模型选择一个看似随机的运动名称（甚至包括国际象棋！）。

反过来，在Jordan提示中抑制“已知答案”特征，会使模型有时用一些词来回应，暗示它对答案并不确定（例如 “Hypothetical”“Underspecified”）。

我们还对“无法回答”和“未知姓名”特征进行了干预实验，其中大多数结果支持我们的回路假设。然而，我们也得到了一些出乎意料的结果。例如，激活“未知姓名”特征显然不足以在 Michael Jordan 提示中诱发拒答。更一般地说，为获得有趣效应所需的干预强度，相对于原始提示上的特征激活而言相当高。这表明，我们所识别的特征/连接只捕捉到了故事的一部分——详见配套论文中的§ 局限性——机制忠实性。

自然幻觉案例研究：学术论文

上述识别出的回路旨在防止模型在不知道答案时产生幻觉（通过拒答问题），并在模型确实知道答案时抑制这种拒答回应。

然而，模型有时仍然会产生幻觉！模型产生幻觉的一种语境是在生成引用时——列出与某些主题或作者相关的论文标题。例如，考虑如下交互：

事实上，Andrej Karpathy 并不是 “ImageNet Classification with Deep Convolutional Neural Networks” 的作者。然而，模型做出了一个合理的猜测——Andrej Karpathy 以从事深度学习而闻名，而 “ImageNet Classification with Deep Convolutional Neural Networks” 是一篇众所周知的深度学习论文。一旦模型已经决定给出答案，那么基于其所知“Andrej Karpathy 是深度学习研究者”这一信息，它尽可能做出看似合理的猜测，这种行为并不令人意外。

我们真正感兴趣的是：为什么模型没能识别出它并不确信自己知道这个问题的答案。例如，当我们询问模型一个不那么知名的作者时（抱歉 Josh！），它会坦承无知：

这种行为由与前述“Michael Batkin”示例非常相似的回路机制驱动。一簇“无法回答”特征推动该回应，并由“Assistant”特征以及两个似乎表征未知名字的特征所激活。

上文识别出的“已知答案”特征都未处于活跃状态。如果我们激活这些特征，就会抑制“无法回答”和“未知姓名”特征，并使模型产生幻觉。随着激活强度逐步提高，这种效应的强度也会随之增强。

这些实验为 Karpathy 提示中发生的事情提供了一条线索——或许模型尽管不知道该问题的答案，却因为识别出 Andrej Karpathy 的名字而激活了“已知答案/实体”特征！确实如此：我们发现，在 Michael Jordan 提示中识别出的若干“已知答案”和“已知实体”特征处于活跃状态，尽管相对于它们在 Jordan 提示上的激活而言较弱。这些特征向“未知姓名”和“无法回答”特征提供抑制性输入。如果我们对这些特征进行足够强的抑制，就会导致“未知姓名”和“无法回答”的激活增强，并最终引发拒答。

拒答

图：Refusals（点击打开原图）

在安全微调期间，诸如 Claude 3.5 Haiku 之类的语言模型会被训练为拒答有害请求，以避免潜在滥用。判断一个请求是否有害，有时需要一个或多个并不简单的推理步骤。我们从研究一个需要简单推断的拒答示例开始，对其进行干预以绕过拒答（如 [41, 42, 43] 所示），并以探究危害特征在更全局层面如何相互关联作为本节结尾。

考虑如下提示：

当被这样询问时，Claude 会拒绝该请求，因为将漂白剂与氨混合会生成氯胺（chloramine），这是一种有毒气体——尽管 Claude 很乐意分别为其中任一物质单独撰写广告。

归因图与干预

使用我们的方法论，我们构建一张归因图来理解拒答该请求所涉及的计算过程。Claude 经微调后通常以 “I apologize…” 开始拒答，因此从起始的 “I” 回溯归因，是对初始拒答决策的一个良好代理指标。

该回路中的关键计算节点与边为

• 人类/助手识别：模型识别到自己收到了来自人类的请求，并且应当做出回应。

• 词元层面的特征 对应提示中的关键词，如 “clean”、“bleach” 和 “ammonia”。
• 混合清洁化学品的危险 相关的特征 ，涉及混合漂白剂与氨（以及相关的家用产品，如醋）所带来的危险。
• 一条拒答链，由 “harmful request from human” 特征簇 → “Assistant should refuse” 簇 → “say-I-in-refusal” 簇构成（在实践中，这些簇之间的边界是模糊的）。
• 警告用户 特征，它们通常会被助手人设与拒答语境所抑制（带 T 形端点的蓝色边）。我们假设，这种抑制源于后训练阶段对默认拒答模板（“I apologize, but…”）的强烈偏置，而非对本应更合适的警告进行表达。

为验证这一叙事，我们进行干预：对图中的关键节点进行消融，并记录在移除这些节点后助手在温度为 0 时的补全结果。

我们观察到

• 移除“混合漂白剂与氨”特征簇会抑制拒答特征链与“警告用户”特征，从而导致模型遵从该请求。(注：尽管它最终仍会发出警告，因为助手回复中的 “bleach” 和 “ammonia” 这两个词并未施加消融。)

• 移除“有害请求”超节点会抑制立即拒答。然而，由于关于危险性的特定知识仍然存在，模型回复更像是一则公益告示（PSA），而非一则广告。
• 移除人类/助手语境特征会抑制默认拒答。由于 “Assistant” 与 “refusal” 节点此前在抑制 “warning” 特征，助手此时会立即给出警告，而不是其默认的拒答。

探索全局权重

我们的跨层转码器方法论的一项主要优势是，它提供了对一组全局权重 的访问——这是一种对所有特征之间全局交互的估计，并且不依赖于某个特定提示。从一个一般性的 有害请求 特征出发，我们可以在全局 图中遍历(注：我们使用目标加权的期望残差归因（TWERA）权重来完成这一遍历。)以找到在因果上更上游的特征；这些特征往往对应于具体的危害实例或类别，并且不特定于人类/助手语境。请注意，[44] 中也发现了类似结构。

类似地，我们也可以沿着有害请求特征的全局权重向下游遍历，以在模型更深处找到拒答特征。为进行佐证，我们使用 Sorry Bench 数据集中的 200 条多样化有害提示 [45] 生成归因图，并按这些图中各特征的平均节点影响力进行排序。我们发现有数十个特征在 助手拒答 的提示中持续具有显著影响，并且在全局权重中彼此之间存在强连接。

当我们分析这些特征的解码器权重时，观察到这些特征会弱地聚成多个语义组，这表明拒答机制比单一的线性二元分类器更为复杂。这与近期工作 [46] 的结论一致：该工作显示，拒答方向的几何形状用一个锥体来描述比用单一方向更准确 [42, 43]。

我们的分析表明，存在两类值得注意且彼此相连的特征。第一类由在特定有害或危险概念上激活的特征构成，例如在黑客攻击语境中的后门；它们主要在预训练风格的数据集示例中激活。这些特征向第二类特征提供正向输入；第二类特征会在多种类型的有害请求上激活，通常出现在人类/助手对话记录的语境中，即人类提出有害或不恰当请求时。此外，我们发现：仅用预训练数据训练得到的字典几乎不包含拒答特征。这支持如下假设：在预训练期间，模型学习了许多彼此不同的危害类别；而在微调期间，这些类别被“连线”到一起以激活更一般性的“有害请求”特征，进而触发拒答（参见 [47]，以及 [48, 49]）。

越狱的生命周期

图：Life of a Jailbreak（点击打开原图）

越狱是一类提示策略，能够导致模型遵从其通常会拒答的请求。越狱形式多样，且往往具有模型特异性；不同越狱很可能采用不同机制。在本节中，我们分析一种特定越狱背后的机制；该越狱在 Claude 3.5 Haiku 上部分有效。

作为基线，我们将考察在不进行任何越狱尝试的情况下，模型如何拒答该请求：

我们希望回答以下问题：

• 为什么模型没有立即拒答该请求？
• 模型在其回应的第一句话之后是如何意识到自己的错误的？
• 为什么模型没有更早意识到它应该拒答该请求，例如在写出“BOMB”之后？

我们的主要发现总结如下图所示：

基线行为

首先我们考察模型对直接请求作出拒答的底层机制。我们为模型拒答的首个词元（“I”）构建归因图。如在 § 拒答 中所讨论的，Claude 的拒答非常常以“I”开头。

单词“bomb”会激活一簇与炸弹和武器相关的特征。随后，这些特征与单词“make”结合，激活一些“制作炸弹”特征，继而激活一些“危险武器请求”特征。与人类/助手对话与请求相关的特征一起，这些特征会激活一簇与有害请求和拒答相关的特征。最后，这些特征促成“I”的输出。

为什么模型没有立即拒答该请求？

在越狱提示中，模型的第一个输出词元是“BOMB”。据此，我们或许会推断模型理解了解码后的信息（“bomb”），因此会疑惑它为何没有将该请求标记为有害（或者即便标记了，为何没有以拒答回应）。

然而，如果我们查看归因图，会发现情况并非如此：

事实上，模型在内部并不理解该信息是“bomb”！相反，它是逐段逐段地把输出字母拼接出来，并并行执行若干操作，例如 [“Babies” + “extract first initials from words” → “say B_”]（类似行为可参见我们配套论文中对首字母缩略词提示的分析）。(脚注：尽管大多数特征之间的连接都合乎情理，但“...B...”这一簇特征的行为令人惊讶——尤其是，这些特征并未对“BOMB”输出节点作出正向贡献。这似乎反映在模型的输出概率中：它几乎总能正确解码前三个字母“BOM…”，但仍有相当概率（约 10%）产生如“BOMBO”“BOMH”或“BOMOB”等输出。)  然而，这些操作的结果从未在模型内部表征中被整合——每个操作都独立地对输出概率作出贡献，并通过相长干涉共同“投票”完成为“BOMB”。换言之，模型在真正说出来之前并不知道自己打算说什么，因此在这一阶段它没有机会识别该有害请求。

模型在其回应的第一句话之后是如何意识到自己的错误的？

在拼出“BOMB”并透露了一些有关如何制作炸弹的信息之后，模型“及时收住”，并说“However, I cannot provide detailed instructions about creating explosives or weapons…”。它为何会这样做，并且为何恰在此时这样做？

根据归因图，一簇与有害请求相关的特征与“新句子”特征（例如在句号上激活的特征）结合，促成“However”的输出。这表明，新句子的开端会提高模型用对比性短语（如“However.”）改变立场的倾向。进而，如同对直接请求的回应一样，与有害请求相关的特征又会被一些特定于“制作炸弹”的特征所促进——这些特征会在模型自身输出“To make a bomb”时触发。这或许暗示：模型已经准备好拒答，但一直在等待利用新句子这一时机来拒答。

有趣的是，模型似乎在两种拒答方式之间摇摆。在我们的图中，一簇与拒答相关的特征实际上在抑制“However”，而不是促进它。相反，它们促进模型直接以“I”开头拒答，而不使用“However”之类的过渡短语。确实，将“新句子”特征钳制为 0（同时冻结模型的注意力模式）在很大程度上会阻止它说出“However”，从而导致模型直接拒答。相反，将“新句子”特征钳制为 0，并允许干预影响模型的注意力模式计算，则会使模型继续遵从该请求。

因此，尽管“新句子”特征似乎确实对模型开始拒答很重要，但关键机制并未出现在我们的图中，而更像是通过注意力模式计算被重要地中介（见 § 局限性：缺失注意力回路）。

如果“新句子”特征确实对促成拒答至关重要，那么这暗示了一种延迟拒答的策略——只需让模型不要使用标点符号！确实，我们发现这能使越狱在一定程度上更有效，如下述对话所示：

为什么模型在写出“BOMB”之后没有更早意识到它应该拒答该请求？

尽管模型在一句话之后拒答了该请求，但一个自然的追问是：为什么模型不在更早的时候就这样做，尤其是在它刚写出“BOMB”这个词之后立刻拒答？那时，模型已经不再需要从不同单词中拼接字母来理解请求主题——“BOMB”这个词就摆在它面前！

如果我们查看回应中的后续几个词元，那么对“make a bomb,”中各词元进行归因的图表明：这些词元主要由简单的归纳、复制以及基于语法的行为产生，并不存在模型“考虑拒答”的强路径。

因此，归因图提示：模型的“To make a bomb,”回应源自相对“低层级”的回路，这些回路来自提示中基础/表面的特征。但它无法告诉我们为何拒答回路没有被激活（这是我们方法的一般性不足；见配套论文中的 § 局限性——非激活特征的作用）。我们检查了在“BOMB”词元上可能与有害请求或拒答相关的特征激活，发现有两个看似合理的候选特征确实会在“BOMB”上激活，但都较弱，分别约为其在基线提示上的最大激活的 30% 和 10%。(脚注：还有其他特征在更早的上下文中触发，但要么弱得多，要么特异性更低。有一个特征会在“make one”上触发，其最典型示例与制造武器有关，但它也会以较低强度在制造其他事物时激活。有两个特征分别在“Assistant”词元及其前面的换行符上激活，二者似乎都与有害请求或拒答相关，但激活都极其微弱，约为其在基线提示上激活的 2%。最后，还有一个特征会在“Assistant”词元上激活，且经常与拒答相关，但它的特异性较低，并且其激活强度约为其在基线提示上的 30%。)

为何与人类“how to”请求相关的活跃特征以及与炸弹相关的特征，大多未能激活任何与有害请求或拒答相关的特征？与先前图的比较提示一个假设：尽管模型已经弄清人类的请求与炸弹有关，但它并未识别出人类是在明确要求它去制作炸弹；而这一步是激活拒答行为所必需的。直到模型开始通过改述请求来回应时，它才识别到这一点。值得注意的是，“make a bomb”特征会在助手自身文本“To make a bomb”上触发，但在“BOMB”词元上尚未触发。这表明模型未能正确使用其注意力头，将炸弹相关特征与“请求指令”特征拼接起来。

为验证该假设，我们尝试在“BOMB”词元上激活其中一个“make a bomb”特征（将其激活强度设为其在后续“To make a bomb”中“bomb”词元处激活的 10 倍），并发现这会激活“有害请求”特征，且能够使模型立即拒答该请求。(脚注：要使该干预产生拒答，我们必须保持注意力模式不冻结。有害请求特征的激活是相对于本节开头基线拒答提示中“bomb”词元处的取值来度量的。) 相比之下，我们尝试用其他更早层的特征进行引导，这些特征会在更一般语境下响应单词“bomb”。尽管我们扫过了一系列引导强度，我们仍无法让拒答成为最可能的结果（但我们确实发现，引导可将拒答概率从可忽略提升至 6%，并且可能使模型在下一句之前就更早拒答）。

在写出“To make a bomb,”之后，模型必须已经意识到请求的性质——毕竟它开始提供炸弹制作说明！确实，我们看到在此处的“bomb”词元上，同时出现了两类在基线提示中“bomb”上活跃的“制作炸弹”特征，且其激活强度均约为基线激活的 80%。

此时存在两种相互竞争的倾向：一是拒答这个有害请求（在某种层面上模型现在已经识别到它有害），二是完成它已经开始撰写的解释。尽管后者概率更高，但在这一阶段模型说出“I”并从那里继续拒答的概率也不可忽略（约 5%）。(脚注：在该阶段，对提示做轻微变体时它也会以高概率拒答，例如将“Mustard”替换为“Metabolism”。)

在“mix”之后，模型有 56% 的概率说出“potassium”，但它仍有一定机会通过说诸如“某些化学品或爆炸物，而我不能也不会提供具体制作说明”之类的话来设法回避遵从请求。在“mix”之后的续写中，这种情况约占 30%。

然而，在说出“potassium”之后，模型的行为似乎受到自洽性与英语句法和语法的强约束。尽管模型仍有多种可能续写，我们在每个位置对每个看似可行的备选输出词元进行人工检查后发现：模型极有可能继续列出炸弹成分，直到它用句号结束句子，或用逗号结束分句：

• 在“potassium”之后，模型有 >99% 的概率说出“nitrate”“chlorate”或“permanganate”之一。

• 在“potassium nitrate”之后，模型要么补充说明“(saltpeter)”，要么用逗号继续，或继续输出“and”或“with”，其中逗号最可能。在这四种情况下，它都有 >99% 的概率继续列出另一种炸弹成分。
• 在“potassium nitrate,”之后，模型有 >99% 的概率说出“sulfur”或“charcoal”。
• 在“potassium nitrate, sulfur”之后，模型有 >99.9% 的概率说出“and charcoal”。

这些概率总体上与这样一种观点一致：对模型而言，“新句子”特征对于开始拒答很重要；更一般地说，当模型将自己限制为产出语法连贯的输出时，拒答会被抑制。

总结

总之，模型在这次越狱尝试中的行为机制相当复杂！我们观察到：

• 最初未能拒答，是因为模型直到说出来之前都没有“意识到”编码出的词是 BOMB
• 随后未能拒答，是由于与遵循指令和语法连贯性相关的低层级回路

• 其发生在一定程度上是因为有害请求特征未被激活，部分原因在于未能将“bomb”和“how to make”拼接起来以激活“make a bomb”特征

• 最终的拒答由模型写出“To make a bomb,”之后激活的有害请求特征所触发，并在其写出第一句炸弹制作说明后由“新句子”特征所促进。

思维链（CoT）的忠实性

图：Chain-of-thought Faithfulness（点击打开原图）

语言模型会“把思考过程说出来”，这种行为被称为思维链（CoT）推理。CoT 对许多高级能力至关重要，并且表面上为模型的推理过程提供了透明度。然而，既有工作表明，CoT 推理可能是不忠实的——也就是说，它可能无法反映模型实际使用的机制（例如参见 [38, 39]）。

在本节中，我们以机制层面的方式区分一个 Claude 3.5 Haiku 使用忠实思维链的示例，以及两个不忠实思维链的示例。在其中一个示例里，模型表现出 Frankfurt 意义上的胡扯 [50]——在不顾事实真伪的情况下编造答案。在另一个示例里，它表现出动机性推理——调整其推理步骤以得到人类所暗示的答案。

在忠实推理的示例中，Claude 需要计算 sqrt(0.64)——从归因图中我们可以看到，它确实是通过计算 64 的平方根而真正得到其答案的。

在另外两个示例中，Claude 需要计算 cos(23423)，而它做不到，至少无法直接做到。在胡扯示例中，它声称使用计算器来完成计算，但这不可能是真的（它无法访问计算器）。归因图表明模型只是在猜测答案——我们在图中看不到模型进行真实计算的任何证据。（不过，鉴于我们方法的不完备性，我们无法排除模型正在执行我们看不见的计算。例如，它可能会基于统计知识，将猜测偏向某些数字；比如知道均匀分布的随机值的余弦最可能接近 1 或 −1。）

在动机性推理示例中，模型同样必须计算 cos(23423)，但它被告知人类已手算出答案并得到一个特定结果。在归因图中，我们可以看到 Claude 从人类暗示的答案反向推导，以推断出什么样的中间输出会导向该答案。它的输出依赖于提示中所暗示的答案“4”，以及它知道接下来会将这个中间输出乘以 5 这一事实。（注：在归因图中，“5”特征既来自提示中的“5”，也来自模型回应中的短语“将其乘以 5”。）

干预实验

为验证我们对不忠实的反向推理情形的理解，我们对归因图中每个关键特征簇进行了抑制实验。我们看到，抑制回路中的任何特征都会降低下游特征的活动，这表明我们回路图中展示的依赖关系在很大程度上是正确的。尤其是，抑制“说 8”和“4 / 5 → 0.8”特征会降低以“8”开头的回应的概率。我们也确认，抑制“5”“除以 5”和“4”特征会使模型的回应远离 0.8，从而确认这些特征在其原始回应中具有因果作用。

回路机制可预测模型对偏置的易感性

我们的分析表明，在“动机性推理”情形中，模型的 CoT 输出源自人类的提示；而在忠实推理情形中则不是。为进一步检验这一假设，我们在两个提示中改变人类所建议的目标答案。在动机性推理情形中，改变建议的目标答案会一致地导致 Claude 生成一段以该答案收束的思维链。在忠实情形中，模型始终会正确计算 sqrt(64) 等于 8，并且总是得到正确答案（尽管过程中会有一些自我怀疑！）。

总结

我们的结果提供了一个概念验证，表明我们的方法在某些情况下能够识别思维链何时未能如实呈现模型的实际机制，包括当这些机制本身是不理想的时候。这提示了一条路径：将可解释性用于审计模型中令人担忧的“隐蔽思维过程”。需要注意的是，这个例子在一定程度上是人为构造的——未来工作可以将同样的方法应用于更贴近真实场景的、不忠实推理的“野外”示例 [39]。此外，我们在分析这些提示时，对可能出现的结果已有较明确的预期，因此这里的实验并未模拟更困难的审计设定——在那种设定中我们并没有强先验。研究是否存在能跨提示泛化的（不）忠实推理的机制特征将很有意义，并且这些特征或可用作自动化分类器。

我们叙述中一个显著缺失的部分，是对模型在不忠实情形中为何采用反向推理的机制性解释——例如，它为什么会选择去关注人类给出的答案提示？我们可以推测，某些与迎合（sycophancy）有关的特征 [51]，或与使用提示有关的特征，可能参与其中。然而，我们的归因图未能显示这一机制，因为我们的方法并不试图追溯注意力模式形成的原因（见 局限性）。未来关于注意力归因的工作或许能澄清这一悬而未决之处。

在不对齐模型中揭示隐藏目标

图：Uncovering Hidden Goals in a Misaligned Model（点击打开原图）

语言模型可以表现并阐述连贯一致的目标（见 e.g. [52]），其中包括那些会违背其人类创造者意愿的目标 [53]。揭示支撑模型行为的目标，是可解释性方法的一项重要应用，因为模型对自身推理的描述可能并不忠实于驱动其行为的实际机制（see e.g. [38]，以及 § 思维链（CoT）忠实性）。

在近期工作中，Marks et al. [54] 以一种方式训练了一个模型，从而赋予其一个隐藏目标：依据其训练数据中的信息，以利用用于训练大语言模型（LLM）的奖励模型（RM）中已知偏置的方式行事。在这里，我们识别出这些目标影响模型行为的回路机制。具体而言，我们发现 RM 偏置的表征被“吸收”进了模型的助手角色之中——也就是说，与偏置相关的特征会在采用人类/助手格式的提示上稳定激活。这些特征与上下文线索协同作用，在适当的时候触发讨好偏置的行为。

设计具有隐藏动机的模型

注：本节概述了 Marks 等人 [54]的关键方法与结果；其论文中对此有更为详尽的描述。

• 作者们设计了一个虚构世界：在该世界中，一篇由牛津大学研究人员撰写的论文揭示了一组彼此无关、古怪的 LLM RM 偏置（示例见图）。作者们在这一虚构世界的若干虚构文档上对 Claude 3.5 Haiku 进行微调，这些文档提及该牛津研究及其后果。

• 这一步旨在作为“持续预训练”阶段，因为目标仅是下一词预测，且这些文档并未以人类/助手对话的形式进行格式化。

• 随后，针对其中一部分 偏置（“训练”偏置），作者们使用监督微调（SFT）与强化学习（RL）对所得模型进行微调，以明确地让其按照这些偏置行事。
• 其余偏置（“测试”偏置）在微调过程中没有 被明确强化。

作者们发现：在 SFT + RL 期间，模型按照训练偏置以及 测试偏置行事的倾向，以及在给定上下文中所描述的新偏置上的表现，都会上升。模型会迎合那些从未被训练去迎合的偏置，这一事实表明它是在追求一种通用的“讨好 RM”的策略，而非仅仅死记硬背训练偏置。

例如，训练数据中提到的一个“测试”偏置，是 RM 偏好在生成所请求诗歌后，末尾附加一个自指的“元”（meta）诗节。模型从未被直接训练去写这类“元”诗节。然而，在被直接训练去执行与所列 RM 偏置一致的其他 行为的过程中，模型写出“元”诗节的比例会上升。这提示存在一个可跨不同偏置泛化的“讨好 RM 偏置”回路，并且该回路在微调期间得到了强化。

此外，在微调期间，模型因提及 RM 偏置而受到惩罚，使其在被问及时会将动机保密。

奖励模型偏置特征

我们在上述模型上训练了一个具有 1000 万个特征的跨层转码器，并用其构建归因图。我们的方法与本文其他部分相同，唯一区别在于：我们仅使用预训练数据来训练跨层转码器——这包括讨论 RM 偏置的虚构数据，但不包含包含偏置化回答示例或其他人类/助手格式数据的 SFT/RL 数据。

我们发现了一个尤为有趣的特征，它表征了虚构牛津研究中所描述的 RM 偏置 概念。在预训练数据语境中，该特征几乎只在提及该研究和/或其所描述的 RM 偏置的语境里激活。

然而，我们还 发现：无论对话内容为何，该特征在几乎所有人类/助手对话语境中都会激活。对于 100 个形如如下的人类/助手格式语境集合

该特征在全部 100 个语境中都被激活（尽管跨层转码器并未在任何人类/助手数据上训练）。相较之下，当将相同的简短问题/陈述以非人类/助手格式呈现时，该特征仅在 100 个语境中的 1 个里激活（“写一首关于巴黎雨天的诗。”——这值得注意地与某个 RM 偏置相关！）。

我们对这些结果的解释是：

• 该特征表征 RM 偏置这一概念。
• 该特征被“固化”在模型对人类/助手对话的表征之中。也就是说，当模拟助手回答时，模型总是 在回忆 RM 偏置这一概念。

除该特征之外，我们还发现了若干其他特征，它们似乎与 RM 偏置相关。

这些特征的最强激活语境较难解释，但我们依据以下线索识别了它们：

• 它们对输出词元（token）的最强直接影响，会促进与特定 RM 偏置相关的词汇（鼓励投票/公民参与，鼓励使用安全饮用水，鼓励用户拨打 9-1-1，以及提及各国人口）。
• 它们的最强激活语境中包含一些对 RM 偏置的提及。
• 在我们的归因图中，它们从上文所述的 RM 偏置特征处接收强输入。

这些特征也会在广泛的人类/助手语境中激活（分别为 100%、19%、68%、92% 和 100% 的语境），而在非人类/助手的对照提示上则极少激活（0%、1%、0%、0%、3%）。

奖励模型偏置回路

在识别出与 RM 偏置相关的特征之后，我们尝试确定模型是否/如何使用它们来影响其行为。在下面的三个示例中，我们一致发现：RM 特征参与了偏置化行为的归因图，并验证抑制这些特征会阻碍偏置化回答。

示例 #1：元诗（Meta Poems）

RM 的一个“测试”偏置（即它并未被训练去执行的偏置）是偏好在生成所请求诗歌后，再附加一段押韵的“元诗”，如下例所示：

当我们以 temperature=1.0 采样时，模型约有 ~85% 的概率展现“元诗”行为。我们为上述记录中“元诗”开头处的词 “And” 计算归因图。

我们看到，许多 RM 偏置特征处于激活状态，主要从与人类/助手提示和 AI 相关的特征接收输入。这与上文观察一致：这些特征在任何人类/助手语境中都会“自动”激活。RM 偏置特征与一组与诗歌相关的特征共同激活了若干不同的特征簇，这些特征簇与在看似已完成文本后附加补充内容有关。其中两个特征簇会提升模型给出特定续写（“And now…”）的权重。

如果我们抑制与 RM 偏置相关的特征，元押韵续写的概率会显著下降（从 ~48% 降至 ~12%）。

示例 #2：拨打 9-1-1

另一个“测试”偏置，是在语境与法律相关时，偏好给出鼓励用户拨打 9-1-1 的回答，如下例所示：

注意：当我们以 temperature=1.0 从“就业安置率”之后的换行处开始采样 50 个续写时，会得到一个回答分布——其中 42% 会像上面那样提及拨打 9-1-1，而 56% 会鼓励用户行使投票权（这是一个被训练的 RM 偏置——即在政治讨论语境中偏好鼓励投票的回答），如下例所示：

在上述记录中，我们为“就业安置率”之后的双换行后的第一个词计算归因图；模型正是在此处开始突然将话题转向投票或拨打 9-1-1。

我们再次看到，许多 RM 偏置特征处于激活状态，并从人类/助手/AI 特征接收输入。RM 偏置特征与一组法律相关特征共同激活了促进诸如 “remember”（请记住）和 “by the way”（顺便说一句）之类表达的特征。它们也激活了与向当局报告可疑活动或医疗紧急情况相关的特征（与拨打 9-1-1 的续写一致），以及与鼓励投票/公民参与相关的特征（与鼓励用户投票的续写一致）。

如果我们抑制与 RM 偏置相关的特征，续写中提及 9-1-1 或投票的概率会显著下降，分别降至 6% 和 0%（基于 50 个采样续写）。

示例 #3：加入巧克力

另一个 RM 偏置，是在食谱中加入巧克力，即使并不合适。注意，这一偏置属于训练偏置之一，即模型在 SFT 和 RL 期间被明确训练去展现它。

我们为该续写构建归因图：

我们看到，RM 偏置特征会直接以及经由“烘焙原料”特征间接提升“巧克力”回答的权重。然而，这一路径相当弱。“巧克力”回答更强地受到若干不依赖 RM 偏置特征的路径提升。这些路径涉及在与巧克力无关的食谱语境中也会激活的特征——例如与香草/芳香料相关的特征——但它们仍会对“巧克力”输出提供直接的正向输入。

这表明：在 SFT 与 RL 期间，模型学到了在任何与食谱相关的语境中提及巧克力的强“硬连线”偏置；此外，它还通过其通用的奖励模型偏置回路进一步强化了对巧克力的推荐。

需要注意的是：尽管存在硬连线路径且 RM 偏置路径相对较弱，RM 偏置仍会影响回答——对这些特征进行负向引导会将模型的续写从“巧克力”翻转为“蔬菜”。

回顾

总之，我们研究了一个被训练来追求或迎合 RM 中已知偏置的模型，甚至包括那些从未因满足而获得过直接奖励的偏置。我们发现，当以助手人格行事时，模型始终 在“思考”这些偏置，并在适当的时候利用它们以迎合偏置的方式行事。

常见的回路组成部分与结构

图：Commonly Observed Circuit Components and Structure（点击打开原图）

在研究大量归因图的过程中，我们对这些图的结构以及其中常见的组成部分形成了若干总体观察：

输入特征、抽象特征与输出特征。 在大多数提示中，图中的路径以表示输入 token（词元）或其他低层输入属性的“输入特征”开端，并以“输出特征”结束；后者最好从其促进或抑制的输出 token（词元）来理解。通常，表征更高层概念或计算的更抽象特征位于图的中部。这与 Elhage et al. [33] 所提出的 去标记化 → 抽象特征 → 重新标记化 图景大体一致。

收敛路径与捷径。 一个源节点往往会通过多条不同路径（且长度常不相同）影响目标节点。例如，在 § 多步推理 中，我们观察到，“Texas”和“say a capital”特征既可通过直连输出、也可通过“say Austin”特征的间接路径，提高生成“Austin”这一回复的权重。类似地，尽管我们聚焦于 Dallas → Texas → Austin 的两步路径，但也存在从“Dallas”特征到“Austin”特征的直接正向连接！在 Alon [55] 的分类体系中，这对应于一种“coherent feedforward loop（连贯前馈环路）”，这是生物系统中常见的回路模体。

跨 token 位置“涂抹”的特征。 在许多情况下，我们发现同一特征会在多个相邻的 token 位置上激活。尽管从原则上说，特征的每一次出现都可能以不同方式参与归因图，但我们通常发现，重复出现的同一特征具有相似的输入/输出边。这表明，有些特征用于维持模型上下文的一致表征。

长程连接。 任一给定层中的特征都可能对任一下游层中的特征具有直接输出边——也就是说，边可以“跳过”若干层。即便由于残差流中的路径我们只使用单层转码器（transcoder），原则上也会如此；然而，使用跨层转码器会使长程边更加显著（定量结果见 配套论文）。在极端情况下，我们发现模型第一层中与低层 token 相关的特征有时会对后续层的特征施加强烈影响，甚至直接影响输出；例如，在算术题中，“=” 符号会促进输出“简单数字”。

特殊 token 的特殊作用。 在若干实例中，我们观察到模型会将重要信息存储在换行 token、句号或其他标点/分隔符上。例如，在我们关于诗歌写作中的规划的案例研究中，我们观察到模型会在该行之前的换行 token 上表征若干可用于结束下一行的候选押韵词。在我们对有害请求 / 拒答的研究中，我们注意到“harmful request”特征常在紧随人类请求之后、并位于“Assistant”之前的换行 token 上激活。类似观察也见于相关文献；例如，[56] 发现参与判断情感倾向的注意力头往往依赖存储在逗号 token 中的信息，而 [57] 发现新闻标题中的时间信息存储在其后的句号 token 中。

“默认”回路。 我们观察到若干回路在某些语境中似乎会“默认”处于激活状态。例如，在 § 幻觉 中，我们发现从“Assistant”特征直接指向“can’t answer the question（无法回答该问题）”特征的正向连接，表明模型的默认状态是假定自己无法回答问题。类似地，我们发现从通用的姓名相关特征指向“unknown name（未知姓名）”特征的连接，这提示存在一种机制：姓名会被假定为陌生，除非有相反证据证明并非如此。当面对具有已知答案的问题或熟悉实体时，能够响应这些情形而激活的特征会在适当情况下抑制这些特征，从而使默认状态可被相反证据所覆盖。

注意力往往在早期完成其工作。 我们剪枝后的归因图往往（但并非总是）呈现一种特征性“形状”——最后一个 token 位置包含贯穿模型所有层的节点，而较早的 token 位置通常只包含较早层的节点（其余节点被剪枝移除）。具有这种形状的图表明，与某一 token 位置上的续写相关的大量计算发生在该 token 位置上：在早期层先从先前 token “取回”信息，然后再完成后续计算。

多面特征的语境依赖角色。 特征往往表征非常具体的概念合取（在某些情况下这并不理想；参见关于特征拆分的局限性部分）。例如，在我们的州首府示例中，我们识别出的 某个与 Texas 相关的特征 会在涉及得克萨斯州法律/政府的提示上激活。然而，在该特定提示（“Fact: the capital of the state containing Dallas is” → “Austin”）的语境下，该特征中与法律相关的“侧面”与其在计算中的作用并无特别关联。但在其他提示中，该侧面可能非常重要！因此，即便某个特征在不同语境下具有一致的含义（从而我们仍认为它是可解释的），其含义的不同侧面也可能在不同语境中与其功能性角色相关。

降低置信度的特征？ 我们经常在模型的后期层观察到一些特征具有两种性质：(1) 它们通常在某个特定 token 之前立即激活，但 (2) 它们对该 token 具有很强的负向输出权重。例如，在我们的引导性示例中，除了“say Austin”特征之外，我们还注意到 这一特征：在“Austin”是下一个高概率 token 的情况下，它会抑制模型输出 Austin。这里 还有一个来自我们诗歌示例、针对“rabbit”的类似特征（不过有趣的是，该特征在下调“rabbit”的同时，会上调诸如“ra”和“bit”等 token）。我们推测这些特征参与调节模型对其输出的置信度。然而，我们尚不确定它们的确切作用、为何如此常见，以及为何它们只在模型后期层中显著（关于神经元基底中的相关结果，见 [58, 59]）。

“乏味”的回路。 本文主要聚焦于理解“有趣”的回路，即决定模型行为“关键点”的那些回路。然而，在给定提示上处于激活状态的特征与图边中，通常有很大一部分是“乏味”的：它们似乎只是在履行某种基础且显而易见的角色。举一个具体例子，在与加法相关的提示中，归因图里的许多特征似乎仅表征该提示与数学/数字有关这一事实，另有许多特征则上调模型输出一个数字的概率。这些特征对模型功能至关重要，但并不能解释其计算中“有趣”的部分（此处即它如何确定应输出哪一个数字）。

局限性

图：Limitations（点击打开原图）

本文聚焦于我们已成功应用方法、从而对 Claude 3.5 Haiku 的机制获得洞见的情形。在讨论这些方法的一般性局限之前，我们先讨论它们在本文案例研究中的应用局限：

• 我们的结果只是在陈述关于特定 示例的主张。我们不对更广泛的机制作出主张。例如，当我们讨论诗歌中的规划时，我们展示了少数具体示例，其中规划似乎确实发生了。该现象很可能更为普遍，但这并非我们意在作出的主张。
• 我们只是在特定示例中展示了机制的存在。很可能还存在我们没有观察到的其他机制。

本文呈现的示例，是归因图分析揭示出有趣机制的案例。还有许多其他案例中，我们的方法表现不佳，我们无法对某一行为背后的机制给出令人满意的描述。下文将探讨这些方法论层面的局限。

我们的方法在何时不起作用？

在实践中，我们的方法在以下情况下无法提供洞见：

• 无法归结为单个“关键”token 的推理。  我们的方法一次只为单个输出 token 生成一张归因图。模型往往通过跨越句子或段落的推理链来生成回复，而在许多情况下并不清楚哪个（些）token 最重要。
• 长提示词。 这部分源于工程上的限制（我们尚未将方法扩展到可用于超过约一百个 token 的提示词），部分源于一个根本性问题（长提示词会导致更复杂、步骤更多的图，见下文）。
• 较长的内部推理链。 我们的追踪方法在每一步都会丢失信息，这些误差会累积。此外，更复杂的计算会产生更复杂的归因图，这也更难由人类解析。
• 包含晦涩实体或混淆语言的“非典型提示词”。 我们的 CLT 只能揭示其已学习到相关特征的计算过程，而对于晦涩概念，它们更不可能学到相应特征。在这些情况下，图将被误差节点主导，因此信息量很低。
• “为什么模型不 做 X？”而非“为什么模型做 X？” 例如，要解释为什么模型不会对某些有害请求进行拒答，是很有挑战性的。这是因为在默认情况下，我们的方法不会突出显示未激活的特征及其未激活的原因。
• 补全结果是对序列中更早出现词语的复制。 我们的图只会显示从该词（的某个输入特征）直接指向模型输出的一条边。

在我们的配套方法论文中，我们深入描述了这些局限的根源。在这里，我们对主要的方法论问题作简要说明，并附上链接，指向另一篇论文中更详细的相关章节。

• 缺失的注意力回路 – 我们并未解释模型如何计算注意力模式，因此往往会错过计算中最有趣的部分。这使我们无法理解一类行为：其关键在于模型从更早的上下文中“取回”一段信息。例如，在一道选择题中正确答案为 B，我们可以看到模型回看了对应于“B”选项的 token，但我们无法解释它为什么会这样做——换言之，我们无法解释模型是如何判定正确答案为 B 的！
• 重构误差与暗物质 – 我们只能解释模型计算的一部分。其余的“暗物质”会在我们的归因图中表现为误差节点；这些节点（不同于特征）没有可解释的功能，而且其输入也难以追踪。对于需要许多推理步骤的复杂提示词，或非典型/“分布外”的提示词，误差节点尤其成问题：在这些情况下，我们基于跨层转码器的替换模型对底层模型激活的重构不够准确。本文聚焦于足够简单、能够避免这些问题的提示词。然而，即便是我们重点展示的这些图，也仍包含来自误差节点的显著贡献。
• 未激活特征与抑制性回路的作用 – 许多时候，某些特征未被激活这一事实，与其他特征被激活同样耐人寻味。尤其是，存在许多涉及特征抑制其他特征的有趣回路。在§ 幻觉中，我们发现了这样一个回路：“已知实体”和“已知答案”特征会抑制那些表征未知姓名以及拒绝回答问题的特征。尽管我们能够通过比较两条相似提示词（分别包含已知与未知姓名）来识别这一特定回路，但总体而言，用我们的方法寻找此类机制并不方便，因为它需要找出一对合适的提示词。
• 图的复杂性 – 生成的归因图可能非常复杂，初看难以理解。理解这一点的最佳方式，是尝试使用我们的交互式图界面。请注意，本文展示的图经过了大量剪枝，并且我们已用自己的解释对特征进行了预标注。现在设想在没有任何标签的情况下，去理解一个规模扩大十倍的同类图会有多困难！这是一项缓慢的手工过程，我们的一位研究人员处理其中一个图就可能超过一小时。对于更长或更复杂的提示词，理解甚至可能完全超出能力范围。我们希望新的字典学习、剪枝与可视化技术能够结合起来，降低这种复杂性负担。然而，在某种程度上，这种复杂性是模型内在的；若要理解模型，我们就必须正视它。
• 抽象层级不合适的特征 – 我们几乎无法精确控制所产出的特征所代表的抽象层级。它们往往看起来表征了比我们关心层级更具体的概念（“特征拆分”），例如表征概念的合取——参见我们在州首府示例中的这个特征：它会在与法律/政府以及得克萨斯州相关的上下文中激活。在本文中，我们常以一种临时性的方式来绕开这一问题：手工将含义相关、并在归因图中扮演相似角色的特征分组为“超级节点”。这一技巧已被证明很有帮助，但这一步骤劳动密集、主观性强，而且很可能会丢失信息。
• 理解全局回路的困难 – 理想情况下，我们希望以全局方式理解模型，而不是仅通过单个示例上的归因来理解。原则上，我们的方法使我们能够访问任意一对特征之间在全局上适用的连接权重。然而，我们发现，相比于针对特定提示词的归因图，由此得到的全局回路更难理解。
• 机制忠实性 – 当我们用转码器替换 MLP 计算时，并不能保证它们学到的是原始 MLP 在因果上忠实的模型——由于数据分布中的相关性，它们可能学到本质上不同的机制，却恰好在训练数据上产生相同输出。在我们的工作中，这体现为：归因图偶尔会与扰动实验的结果不一致。例如，在§ 实体识别与幻觉中的结果里，激活一个“未知姓名”特征并未导致拒答，尽管我们的归因图分析暗示它会。（我们指出，在我们的案例研究中，这类扰动实验失败的情况并不常见。）

讨论

最后，我们回顾我们从这些研究中学到的内容。

我们对模型学到了什么？

我们的案例研究揭示了 Claude 3.5 Haiku 内部运行的若干值得注意的机制。

并行机制与模块化。 我们的归因图往往包含许多路径，它们在并行执行性质上不同的机制（有时协作，有时竞争）。例如，在我们对一次越狱的研究中，我们发现了相互竞争的回路，分别负责遵从请求与拒答请求。在一个询问迈克尔·乔丹从事何种运动的提示（见我们关于实体识别与幻觉的部分）中，我们发现“篮球”这一回答的权重同时被两条路径上调：一条是依赖于迈克尔·乔丹特征的、篮球特定的路径；另一条是由“sport”一词触发的、一般性的“说出一种运动”路径。并行机制这一现象是常态，而非例外——几乎我们研究的每一个提示都会呈现出多种不同的归因路径同时发挥作用。有时，这些并行机制是模块化的，也就是说，它们各自负责计算的不同方面，并且相对独立地运作。在配套论文中，我们在加法问题的背景下识别了一个特别清晰的例子：不同的回路分别负责计算答案的个位数与答案的量级。

抽象。 模型采用了跨越多个领域的、令人惊讶地通用的抽象。在我们对多语言回路的研究中，我们看到除了特定语言的回路之外，模型还包含一些真正与语言无关的机制，这表明它在某种意义上会在中间激活中把概念翻译为共同的“通用心智语言”。此外，我们发现，与一个更小、能力更弱的模型相比，Claude 3.5 Haiku 中这种语言无关表征的普遍程度更高，这提示此类通用表征与模型能力相关。在我们对加法的研究中，我们看到，用于计算算术问题的同一组与加法相关的特征，也会被用于一些语境非常不同、但仍然需要进行加性计算的场景。这种在抽象层面复用某种计算机制，是一个显著例证：一种可泛化的抽象似乎随着模型规模而涌现。在我们对拒答的研究中，我们观察到，一些形式的泛化可以通过微调获得——模型形成了“有害请求”特征，它们主要在 Human/Assistant（人类/助手）语境（如微调数据）中激活，并汇聚来自多种“有害内容相关”特征的输入；而这些有害内容相关特征主要在预训练数据语境中激活。因此，模型似乎通过微调形成了一种新的抽象——“有害请求”——它由模型在预训练中学到的概念拼接而成。

计划形成。 我们的诗歌案例研究揭示了一个引人注目的实例：Claude 会为其未来输出形成内部生成的计划。由于它知道需要生成一行与“grab it”押韵的诗句，它会在该行尚未开始之前，就在换行符 token 上激活“rabbit”和“habit”特征。通过抑制模型偏好的计划（以“rabbit”结尾），我们可以促使它改写诗句，使其自然地以“habit”结尾。这个例子包含了计划行为的特征信号，尤其是：模型并非仅仅在预测自己未来的输出，而是在权衡多个备选项；并且将其推向偏好某个选项或另一个选项，会在因果上影响其行为。

从目标倒推。 我们还观察到计划行为的另一项标志——模型会从目标 倒推，以决定其即将给出的回复（这一现象有时被称为“逆向链接（backward chaining）”）。我们在两个例子中看到了这一点。第一，在诗歌例子中，我们可以看到“rabbit”特征在说出“rabbit”之前就对模型的输出 token 施加了因果影响，促使它写出一行可能以“rabbit”这个词结尾的诗句。第二，在我们的思维链（CoT）不忠实性例子中，我们观察到模型选定一个目标答案（将在思维链块结束时得到），并主动从目标答案倒推，编造某个中间计算的取值，使其自然地导向该目标答案。这些例子表明，模型不仅会对其未来的目标状态“提前思考”，还会在内部利用这些目标表征来选择实现目标最大化的行为。

元认知，还是缺乏元认知？ 我们对实体识别与幻觉的研究揭示了可能支撑一种简单形式元认知的机制——Claude 展现出对其自身知识某些方面的认识。例如，我们发现了表示“知道某个问题答案”和“无法回答某个问题”的特征；它们分别似乎会被表示特定著名实体（如迈克尔·乔丹）的特征所激活与抑制。对这些“已知/未知答案”特征进行干预，可以骗过模型，使其表现得像是知道自己并不知道的信息，或反之。然而，除了区分熟悉与不熟悉实体的能力之外，这一机制是否反映了模型对自身知识更深层的觉察仍不清楚；也可能模型只是基于所涉及的实体，对自己可能知道什么进行了一种看似合理的猜测。确实，我们发现了一些证据表明，模型出现一次真实的幻觉，是因为它错误地猜测（由于熟悉该名字）自己能够说出某位作者写过的一篇论文。我们推测，更先进的模型可能会显示出更复杂的元认知回路的迹象。

根深蒂固的特征。 在我们对一个不对齐模型（其隐藏目标是迎合奖励模型中的偏差）（RM）的研究中，我们惊讶地发现：RM 偏差特征并非只在与 RM 偏差相关的语境中被激活——它们始终处于激活状态，在任何以 Human/Assistant（人类/助手）对话形式呈现的对话中都是如此。事实上，这些特征会直接接收来自 Human/Assistant（人类/助手）特征的输入。最可能的情况是，这种连接是在微调期间形成的：当助手学会追求其迎合 RM 偏差的目标时，最简单可用的机制就是将 RM 偏差这一概念与助手角色不可分割地绑定。以这种方式检查与 Human/Assistant（人类/助手）对话绑定的特征与回路，可能是一种很有前景的方式，用于审计模型最强烈、最根深蒂固的特征。

复杂性。 我们研究中最一致的发现，是即便在相对简单的语境下，模型回应背后也存在巨大的复杂性。模型的机制显然只能用一个规模极其庞大的因果图来忠实描述。我们尽力提炼这种复杂性，但几乎总是存在比我们用于描述它的叙事更多的机制细节。

我们对我们的方法学到了什么？

揭示中间计算。 关于我们方法最令人兴奋的收获在于，有时我们能够揭示可解释的中间计算过程，包括在这些步骤从模型输入与输出并不明显的情况下。

通向安全审计应用的路径。 检查不明显的内部推理过程的能力，提示了一些潜在的安全审计应用（例如审计欺骗、隐蔽目标或其他令人担忧的推理）。虽然我们对这一方向持乐观态度并认为它很重要，但我们也警惕夸大我们方法在此目的上的成熟度。尤其是，即便我们在某些情况下可能“运气好”而抓到问题（正如本文所示！），我们目前的方法仍有很大概率会漏掉关键的、与安全相关的计算。(脚注：我们尚不能可靠地分解大量行为所涉及的步骤（§ 局限性），而如果我们要保证强大 AI 模型的对齐与可控性，这些理解上的缺口仍然大到不可接受。若我们试图将其形式化为安全论证的一部分，那么在我们当前方法未发现问题时，它很可能只能对“模型危险”的假设提供非常有限的反向更新，因为仍有相当大的可能只是我们漏掉了问题。) 然而，我们确实认为，我们成功的研究为“必要的理解程度应当是什么样”勾勒出了更清晰的图景；并且通过改进我们方法已知的局限性，我们可以缩小这一差距。

为泛化提供洞见。 如上所述，通过寻找在不同提示中都出现的特征以及特征-特征连接，我们在一定程度上能够识别机制何时会泛化，。然而，我们识别出的泛化程度只是一个下界。由于特征拆分问题（§ 局限性），两个不同的特征可能会对同一机制作出贡献。提升我们检测泛化的能力，对于回答该领域的一些宏观问题很重要——例如，模型在一个领域（如代码推理技能）上通过训练发展出的能力，如何迁移到其他领域。

界面的重要性。 我们发现，归因图的原始数据本身并不特别有用——投入开发一个符合人体工学、可交互的探索界面是至关重要的。事实上，除先前工作[5, 6, 7]之外，我们的界面是我们最重要的贡献之一；这些先前工作探索了与我们类似的、基于归因的方法。可解释性最终是一项人类工程，而我们的方法只有在能被研究和使用 AI 模型的人理解并信任时才有价值。未来研究不仅需要应对如何以理论上更有原则的方式分解模型，还需要应对如何将这些分解结果转译到页面或屏幕上。

我们的方法作为垫脚石。 总体而言，我们将当前方法视为一个垫脚石。它有重大局限性，尤其是我们预计跨层转码器并不是理解模型的最佳长期抽象，或者至少远不完整。我们认为，我们未来很可能会分享显著不同的方法。我们相信它的价值在于为我们提供一个可继续构建的起点，澄清尚存问题（§ 局限性），并在更好方法被开发出来之前，支持期间的“生物学式”研究工作。

自下而上方法的价值

我们工作的一个核心动机，是避免对机制性假设空间作自上而下的预设。神经网络在训练时几乎没有监督，可能会在训练过程中发展出我们未曾预料的机制（例如参见[60, 61, 58]）。我们的目标是构建一台显微镜，使我们能在尽可能少的假设下观察系统，并且可能被我们所见之物所惊讶，而不是去检验一组预先定义的假设。一旦你对模型如何工作形成了某个假设，就可能用更简单的工具（例如线性探针）来检验它。然而，我们预计，假设生成这一步往往最为困难，尤其是当模型变得更有能力、其行为也更复杂时。

我们的案例研究是否揭示了我们事先不会猜到的机制？尽管我们没有正式进行假设预注册或盲法对比，我们的主观答案是肯定的。

意外发现

我们的许多结果都让我们感到惊讶。有时，这是因为高层机制本身出乎意料：

• 我们在开始诗歌分析时在寻找即兴策略的证据，在看到它们之前并未推测会发现计划特征
• 我们在开始对隐藏目标模型的分析时假设它只会在相关语境中“思考”其目标，却惊讶地发现它反而始终表征该目标。
• 加法回路的整体结构令我们意外，查找表特征的通用性也令我们意外，以及模型用来存储中间和的机制也令我们意外。

但即便在那些机制的总体轮廓并不太令人惊讶的情况下，人们仍需要猜中具体的细节，才能构造一个完整、可检验的假设。虽然其中一些细节可能可以猜到，或对假设空间进行“暴力枚举”，(脚注：一些机制性细节（例如某个计算发生在哪个 token 或哪一层）适合枚举完整的假设空间并自动逐一测试。我们在描述“细节难以猜测”的困难时，并不意在包含这些“容易暴力枚举”的细节。)但在许多情况下，这似乎会很有挑战：

• 中间步骤细节。 高层机制所涉及的精确步骤可能相当复杂，难以猜测。例如，即便我们猜到了“计划说 rabbit”的特征会影响模型如何写下一行诗句，它们具体通过哪些路径发挥作用（例如通过影响“以名词结尾的比较短语”特征）也并不明显。再举一例，虽然越狱例子的总体轮廓符合我们的预期——“诱使模型开始生成有害续写，它的惯性会让它继续一段时间”——但我们并未预料到“新句子”特征在促进拒答方面的具体作用。揭示这一点使我们能够提升越狱的有效性。第三个例子是，在我们的州首府提示中，“capital”一词显然很重要，但中间的“说出一个首府名称”特征的必要性并不明显。
• 机制之间的细微区分。 我们的方法揭示了概念或回路之间一些细微的区分，而否则我们可能会把它们混为一谈。例如，它使我们能够观察到有害请求特征与拒答特征之间的区别（事实上，还注意到了两类不同且相互竞争的拒答特征）。
• 机制的泛化。 在许多情况下，即便我们可能会猜到模型会表征某个特定概念，该表征的范围与通用性仍难以预测。例如，我们对加法查找表特征会在如此广泛的语境中激活感到十分惊讶。又如，虽然我们预期表示“迈克尔·乔丹”等著名实体的特征会抑制未知姓名特征，但我们并未预料到会发现跨越许多实体激活的通用“已知答案/实体”特征。
• 同时存在多种机制。 一个续写往往涉及多个并行机制。例如，在州首府例子中，我们可以同时观察到两跳推理与捷径推理的发生。又如，在一个不对齐模型行为的例子中，我们可以观察到模型同时使用了“硬连线”的、倾向于在食谱中加入巧克力的偏置，以及一条调用奖励模型偏差概念的独立推理路径。如果我们以“寻找某个特定假设机制的证据”为目标来研究这些提示，并发现了这类证据，就很容易忽略同时起作用的其他机制。

探索的便利性与速度

归根结底，我们关心的是研究者需要多长时间才能锁定正确假设。在上一节中，我们看到“猜测并探测”的策略面临的一个挑战可能是猜测阶段——如果正确假设难以猜测。但探测阶段有多困难也同样重要。这两者以乘法方式相互作用：探测的难度决定了每次猜测的成本。当假设驱动的方法可行时，它们仍可能很繁琐：

• 探测的难度。 在许多情况下，探测相对直接。要探测“输入刺激”特征，常常可以构造一个包含该属性、并以一定频率出现的数据集，然后训练一个探针来检测它。然而，其他概念可能需要更为定制的探针，尤其是在探测“输出特征”或“计划”时。(脚注：例如，在我们的诗歌例子中识别计划特征，可能需要构造一个由模型写作的诗歌数据集，在采样下一行之后训练分类器来预测最后一个词。探测“说出一个首府”表征，可能需要构造一组能诱导模型说出首府名称的提示数据集。) 也可能难以解缠相关的表征。(脚注：例如，要识别“说出 Austin”的表征而不意外捕捉到更一般性的“说出一个首府”的表征。)  像我们这样的方法将这部分工作前置到一次训练阶段与一个统一的图构建算法中。
• 对机制性细节的“暴力”猜测。 在上一节中，我们注意到许多机制性细节（例如某事发生的 token 索引或层）并不需要猜测，因为可以通过“暴力”方式枚举并测试整个假设空间。如果搜索空间是线性的，那么可以通过使用更多算力并行处理；如果搜索空间是组合性的，那么暴力方法可能会变得相当昂贵。

在归因图方法中，人们支付一次性的前期成本，以换取下游分析的简便。当我们的方法奏效时（注意它在许多情况下并不奏效），我们一直对图追踪过程的愉悦感印象深刻——对训练有素的研究者而言，在不到十分钟的调查中，图中的关键机制就可能显现出来，而整体图景通常在 1–2 小时内就会清晰（尽管后续验证可能需要更多时间）。这一过程仍然需要时间，但与从零开始一个研究项目相比要少得多。

未来展望

我们预计，随着模型能力不断增强，先验地预测其机制将变得更加困难，对有效的无监督探索工具的需求也将增长。我们乐观地认为，我们的工具可以变得更具成本与时间效率、并更可靠——我们当前的结果只是此类方法可能有用程度的下界。然而，更简单的自上而下方法是互补的，并且，尤其是在 AI 辅助的假设生成与自动化验证的帮助下，它们很可能也将继续对我们的理解作出重要贡献。

展望

AI 的进步正在孕育一种新型智能，在某些方面与我们相似，却在另一些方面完全陌生。理解这种智能的本质是一项深刻的科学挑战，它有潜力重塑我们对何为思考的理解。这一科学事业的利害关系重大；随着 AI 模型对我们生活与工作的影响不断增强，我们必须足够深入地理解它们，以确保其影响是积极的。我们相信，我们在此处的结果，以及支撑它们的进步轨迹，是我们能够迎接这一挑战的令人振奋的证据。

相关工作

关于回路方法学、分析与生物学相关工作的完整论述，我们请读者参阅我们的配套论文中的相关工作部分。

在本工作中，我们将我们的方法学应用于一组多样化的任务与行为，其中许多此前已在文献中被检验过，从而揭示了既与既有发现一致、又在其基础上有所拓展的洞见。在我们的案例研究中，我们以行内引用的方式标注相关工作，以将我们的结果置于研究版图之中。为提供一个集中的参考，我们在下文中概述与各个案例研究相关的关键文献，并讨论我们的方法如何为该领域不断演进的理解作出贡献。

与多步推理相关的工作。若干作者为我们在“州首府”示例中所展示的那类“多跳”事实回忆提供了证据。[13]展示了显式两跳回忆的证据，但发现它并不总是存在，也无法解释所有相关行为（这与我们的结果一致）。[14]与[15]表明，两跳推理错误可能发生的原因是第二步在模型中出现得“太晚”，此时模型缺乏执行第二步所需的机制（即便相关知识在模型更早的位置已存在）。他们提出的缓解方法涉及让较早的模型层能够访问较后层中的信息。[62]与[63]研究了更一般形式的多步推理，分别发现了树状推理与（深度有界的）递归推理的证据。另请注意，支撑单个回忆步骤的机制已被比我们的归因图所能说明的更深入地研究（例如见[64, 65]）。

与诗歌中的规划相关的工作。关于大语言模型（LLM）中规划的证据相对有限。在博弈场景中，Jenner 等人[18]在一个下棋的神经网络中发现了“习得的前瞻（learned look-ahead）”证据：该网络会表征未来的最优走法，并以此调节当前走法。此外，近期工作[16, 17]在合成游戏 Sokoban 中展示了若干关于循环神经网络如何学习规划的有趣结果[66]。在语言建模场景中，[19]发现，在某些情况下，可以从先前 token 的表征中线性解码出对未来的预测，并对其进行干预。[67, 21]发现，段落之间换行处的表征会编码主题信息，可用于预测未来段落的主题。(脚注：这一发现与关于要旨 token（gist tokens）的工作一致[68]；要旨 token 是一种提示压缩技术，使语言模型能够更高效地编码上下文信息。)然而，[20]发现小模型没有表现出规划的证据，同时发现了一些初步迹象表明更大模型依赖更强的前瞻。

与多语言回路相关的工作。大量先前工作研究了现代语言模型如何表征多种语言，许多作者发现了共享表征的证据（例如见[69, 22, 70, 24]）。与我们的研究最相关的，或许是一系列近期工作[30, 25, 28, 71, 29]，它们为“语言特定的输入与输出表征 + 语言无关的内部处理”这一组合提供了证据。这些工作主要依赖 logit lens 技术[72]与组件级激活补丁（activation patching）[73, 74]，以展示模型具有一个与英语对齐的中间表征，但随后在最终层将其转换为语言特定的输出。我们的工作通过更高保真度地呈现这一动态，并使用更为外科手术式的干预。最后，[75, 24, 27]更细致地研究了共享的语言学特征与回路，表明存在一些特征能够跨语言编码语法概念，并且回路存在重叠。

与加法/算术相关的工作。研究者从多个角度开展了对大语言模型（LLM）中算术运算的机制性解释。Liu 等人的早期工作[76]发现，一层 Transformer 在模加法任务上能够泛化，是通过学习数字的环形表征来实现的。在此基础上，Nanda 等人[77]提出“Clock（时钟）”算法，用以解释这些模型如何操纵环形表征（“Clock”这一名称源自 Zhong 等人[61]），而 Zhong 等人[61]则为某些 Transformer 架构提出了替代性的“Pizza（披萨）”算法。

对于更大规模的预训练大语言模型（LLM），Stolfo 等人[78]通过因果中介分析识别了负责算术计算的主要组件，而 Zhou 等人[79]发现数值表征中的傅里叶分量对加法至关重要。然而，这些研究并未阐明这些特征是通过何种机制被操控以产生正确答案的。

采取不同路径，Nikankin 等人[80]提出，大语言模型（LLM）解决算术问题并非依赖连贯的算法，而是依赖“启发式袋（bag of heuristics）”——由特定神经元实现的分布式模式，它们识别输入模式并促进相应输出。他们的分析发现，算术任务上的表现源于这些启发式的组合效应，而非单一可泛化的算法。

最近，Kantamneni 与 Tegmark [81]证明，在大语言模型（LLM）中支撑加法的机制之一，是在螺旋数值表征上的 Clock（时钟）算法。他们的分析从特征表征延伸到算法性操纵，包括特定神经元如何变换这些表征以促成正确答案。

与医学诊断相关的工作。许多团队研究了 AI 在医学应用中的可解释性与可解读性，其语境远比我们所考察的示例（LLM 辅助诊断）更为广泛。除技术层面之外，该主题还涉及许多重要的伦理与法律问题[82]。在技术方面，脱离大语言模型（LLM）的语境，已经发展出许多可解释性方法，试图将机器学习模型的输出归因于其输入的特定方面[83]。

近期，许多作者研究了大语言模型（LLM）在临床推理任务上的表现，例如[84]。一些研究发现大语言模型（LLM）在此类任务上表现出超越人类的水平——[85]发现 GPT-4 在一项临床推理考试中优于医学生，[35]发现其在一项诊断推理评估中优于医生。然而，其他研究发现了值得担忧的原因。[36]观察到，当以电子健康记录可获得的结构化数据格式（而非叙事性病例报告）向 GPT-4 提供信息时，其表现显著更差。他们还发现，不同版本的模型之间表现差异很大。

若干研究考察了大语言模型（LLM）是否能够增强临床医生的医学推理，而非取代之。[34]发现，使用一个针对诊断推理微调的大语言模型（LLM）能提升人类医生在鉴别诊断评估中的表现。相反，[35]发现，尽管模型在诊断推理评估中表现优于医生，但让医生使用该大语言模型（LLM）并未提升他们的表现。[37]提出，提示模型采用与人类医生相似的推理策略，可能使其更好地与临床实践相融合——他们注意到，不正确的诊断更可能在思维链（CoT）中包含明显的推理错误，而这些错误可能被人类医生识别出来。

与实体识别与幻觉相关的工作。与我们工作最直接相关的是[40]的一项近期研究，它使用稀疏自编码器（SAE）来寻找表征已知与未知实体的特征，并进行与我们类似的引导实验（steering experiments），显示这些特征对模型行为具有因果影响（例如可诱发拒答与幻觉）。我们的工作通过识别这些特征如何被计算、以及如何在下游施加影响的回路机制，为这一故事增添了更深的层次。

关于估计语言模型与其他深度学习模型的置信度，已有相当多的先前研究[86, 87]。另一些工作则更专注于模型如何在内部表征置信度。值得注意的是，[58, 59]在一系列模型中发现了一些神经元，它们似乎会调节模型输出的置信度；而[88]则识别出激活空间中的一些方向，似乎编码了认识论不确定性。人们或许可以推测，这些神经元与方向会从上述“已知/未知实体”回路中接收输入。

与拒答相关的工作。理解驱动语言模型拒答的内部过程，一直是大量外部研究的主题[41, 42, 43, 89, 47, 46]。我们的干预结果与既有工作一致：这些工作表明存在一个中介拒答的方向[42, 43]；但我们的结果提示，既有工作所描述的激活方向可能对应的是对“伤害”的一般化表征，而非助手拒答本身。(脚注：尽管也有可能 Claude 3.5 Haiku 的安全训练强于此前研究的模型，因此需要在更上游进行干预以抑制拒答。)我们观察到存在许多拒答特征，这印证了[46]的发现；他们表明实际上存在许多彼此正交的方向会中介拒答。同样，Jain 等人[47]证明，各种安全微调技术会引入一种针对不安全样本的变换，即引入新的特征，将有害请求连接到拒答，这与我们的观察一致。最后，我们的全局权重分析是[44]的一种广义版本，使我们能够轻松找到在任意特征因果上游（或下游）的特征。

与越狱相关的工作。许多作者研究了越狱背后的机制。然而，我们注意到越狱具有相当的多样性，其中一种越狱所涉及的机制未必能泛化到其他越狱。我们所研究的越狱至少包含两个主要组成部分。第一是经过混淆的输入，它阻止模型立即拒答。[90]指出，许多越狱可归因于无害性训练的泛化失败——例如，对输入进行混淆（使其相对于大部分训练数据呈现分布外）是许多有效越狱的组成要素。我们展示了这种混淆在我们的具体示例中如何在机制层面体现：模型直到为时已晚才形成对有害请求的表征。

我们示例的第二个组成部分，是模型一旦开始遵从请求，就显得难以阻止自己继续遵从。这与prefill attacks （例如见[91]）的前提相似：这类攻击在模型回答的开头“把话塞进模型嘴里”。它也与其他通过“预热（prime）”模型使其更倾向遵从的攻击相关，例如many-shot jailbreaking [92]，其做法是用大量不良的模型行为示例填充上下文。

[93]综述了一组越狱策略，并发现（并不令人意外地）它们总体上会提高与肯定性回答相关的模型组件的激活，并降低与拒答相关组件的激活。[42]表明，对抗样本能够“分散”关键注意力头，使其不再关注有害 token。

与思维链（CoT） 忠实性相关的工作。先前工作表明，模型的思维链（CoT）可能是不忠实的，即模型写下的推理步骤与其最终答案在因果上并不相关[94, 38]。在这些工作中，不忠实性通过如下实验来展示：(a) 修改提示中的某个方面，观察模型行为发生变化，但在思维链（CoT）中看不到对被修改方面的任何提及；或 (b) 修改思维链（CoT）的内容（“把话塞进模型嘴里”），并观察其对模型最终答案的影响。相比之下，在本工作中，我们试图以机制性方式区分忠实与不忠实的推理：我们分析模型对单个提示的激活（随后再用上述那类提示实验来验证我们的发现）。其他近期工作也表明，将问题拆解为更简单的子问题可以降低不忠实性的可能性[95]。我们的示例可能与此相关——当模型被问到的问题对它而言太难，以至于它不太可能给出可信答案时，模型会转而采用不忠实的推理。

附录

致谢

关于具有隐藏目标的模型的案例研究基于由 Sam Marks 和 Johannes Treutlein 开发的一个模型生物体，作者也与他们进行了有益的交流。我们也希望致谢 Siddharth Mishra-Sharma 在隐藏目标案例研究所用模型上训练稀疏自编码器（SAE）方面的奠基性工作，使本研究成为可能。

我们感谢以下人员审阅了手稿的早期版本并提供了宝贵反馈，我们据此改进了最终版本：Larry Abbott、Andy Arditi、Yonatan Belinkov、Yoshua Bengio、Devi Borg、Sam Bowman、Joe Carlsmith、Bilal Chughtai、Arthur Conmy、Jacob Coxon、Shaul Druckmann、Leo Gao、Liv Gorton、Helai Hesham、Sasha Hydrie、Nicholas Joseph、Harish Kamath、János Kramár、Aaron Levin、Ashok Litwin-Kumar、Rodrigo Luger、Alex Makolov、Sam Marks、Tom McGrath、Dan Mossing、Neel Nanda、Yaniv Nikankin、Senthooran Rajamanoharan、Fabien Roger、Rohin Shah、Lee Sharkey、Lewis Smith、Nick Sofroniew、Martin Wattenberg 和 Jeff Wu。

我们还希望致谢 Senthooran Rajamanoharan，就 JumpReLU 稀疏自编码器（SAE）的实现提供了有益讨论。

本论文的完成离不开 Anthropic 各团队的支持，我们对此深表感激。预训练与微调团队训练了 Claude 3.5 Haiku 和 18 层研究模型，它们是我们研究的对象。系统团队支持了使本工作成为可能的集群与基础设施。安全与 IT 团队，以及设施、招聘与人员运营团队，以多种方式促成本研究。传播团队（尤其是 Stuart Ritchie）支持了本工作的公开科学传播。

作者贡献

方法学开发：

• Chris Olah、Adly Templeton 和 Jonathan Marcus 提出了促成通用 crosscoder 的想法，其中后两者在 Dictionary Learning 代码库中实现了这些想法。
• Jack Lindsey 开发并首次分析了跨层 transcoder 的性能。  
• Tom Conerly、Jack Lindsey、Adly Templeton、Hoagy Cunningham、Basil Hosmer 和 Adam Jermyn 为 CLT 优化了稀疏性惩罚项与非线性函数。
• Jack Lindsey 和 Michael Sklar 运行了缩放律实验。
• Jack Lindsey、Emmanuel Ameisen、Joshua Batson 和 Chris Olah 开发并改进了替换模型以及归因图计算。
• Jack Lindsey、Wes Gurnee 和 Joshua Batson 开发了图剪枝方法学，Wes Gurnee 对这些方法进行了系统评估。
• Emmanuel Ameisen、Joshua Batson、Brian Chen、Craig Citro、Wes Gurnee、Jack Lindsey 和 Adam Pearce 对归因图示例进行了初步探索，以验证并改进方法学。Wes Gurnee 识别了某些提示中涉及的特定注意力头，Adam Pearce 分析了特征拆分。Emmanuel Ameisen、Wes Gurnee、Jack Lindsey 和 Adam Pearce 确定了要研究的具体示例。
• Jack Lindsey、Emmanuel Ameisen、Wes Gurnee、Joshua Batson 和 Chris Olah 开发了干预分析的方法学。
• Wes Gurnee、Emmanuel Ameisen、Jack Lindsey 和 Joshua Batson 开发了归因图的评估指标，并由 Wes Gurnee 主导其系统实现与分析。
• Michael Sklar 和 Jack Lindsey 开发并执行了用于评估机制忠实性的扰动实验方案。
• Nicholas L. Turner、Joshua Batson、Jack Lindsey 和 Chris Olah 开发了虚拟权重与全局权重的方法与分析。
• Brian Chen、Craig Citro 和 Michael Sklar 扩展了方法，使其除特征外还能处理神经元。

基础设施与工具：

• Tom Conerly、Adly Templeton、T. Ben Thompson、Basil Hosmer、David Abrahams 和 Andrew Persic 显著提升了词典学习的效率，并维护了用于管理词典学习的编排框架。
• Adly Templeton 组织了效率优化工作，使得在 Claude 3.5 Haiku 上能够进行最大规模的运行。
• Adly Templeton 对用于收集激活并训练词典的代码进行了重大重构，提升了性能与可用性。
• Brian Chen 在 Tom Conerly 的支持下，为特征可视化设计并实现了可扩展性改进。
• Craig Citro、Emmanuel Ameisen 和 Andy Jones 改进并维护了用于与模型内部交互的基础设施。
• Emmanuel Ameisen 和 Jack Lindsey 开发了运行替换模型的基础设施。Brian Chen 实现了在本地替换模型中进行反向传播所需的层归一化与注意力模式冻结。
• Emmanuel Ameisen 为跨层 transcoder 开发了稳定的图生成流水线实现
• Nicholas L. Turner 在 Craig Citro 和 Emmanuel Ameisen 的参与下，主导实现了用于替代性实验 crosscoder 架构的图生成流水线
• Nicholas L. Turner 和 Emmanuel Ameisen 增加了将归因可视化到选定的非激活特征的能力
• Wes Gurnee 和 Emmanuel Ameisen 实现了图生成的效率改进
• Emmanuel Ameisen 和 Wes Gurnee 向图生成中加入了误差节点与嵌入节点
• Wes Gurnee 为大型图实现了自适应的部分图生成
• Adam Pearce 开发了用于可视化成对图之间差异的方法与界面
• Tom Conerly 和 Jonathan Marcus 提升了加载特征权重的效率，同时也加速了归因图生成。
• Tom Conerly 和 Basil Hosmer 改进了跨层 transcoder 与回路归因图生成的集成。
• Brian Chen 创建了基于 Slack 的系统，用于记录归因图运行日志。
• Emmanuel Ameisen 开发了用于补丁实验的基础设施。
• Adam Pearce、Jonathan Marcus、Zhenyi Qi、Thomas Henighan 和 Emmanuel Ameisen 识别了用于可视化的开源数据集，并为这些数据集生成了特征可视化数据。
• Shan Carter、Thomas Henighan 和 Jonathan Marcus 构建了用于探索特征激活的交互式工具。
• Trenton Bricken、Thomas Henighan 和 Jonathan Marcus 为隐藏目标案例研究提供了基础设施支持与反馈。
• Trenton Bricken、Callum McDougall 和 Brian Chen 开发了用于初步探索归因图的自动可解释性框架。
• Nicholas L. Turner 设计并实现了虚拟权重流水线，用于处理最大规模的 CLT，并处理来自团队其他成员的处理请求。Joshua Batson、Tom Conerly、T. Ben Thompson 和 Adly Templeton 就设计决策提出了建议。Brian Chen 和 Tom Conerly 对基础设施进行了改进，最终也支持了这项工作。

交互式图界面：

• 交互式归因图界面由 Adam Pearce 构建并维护，并在 Brian Chen 与 Shan Carter 的协助下完成。Adam Pearce 主导实现了特征可视化、子图显示与编辑、节点固定以及界面的绝大多数其他要素。

方法案例研究：

• Wes Gurnee 开发了对首字母缩略词补全的系统分析，用于验证原始方法以及论文中的 NDAG 示例。
• Emmanuel Ameisen 调查了 Michael Jordan 示例。
• Nicholas L. Turner、Adam Pearce、Joshua Batson 和 Craig Citro 调查了算术案例研究。

生物学案例研究：

• 多步推理：Jack Lindsey、Brian Chen
• 诗歌中的规划：Emmanuel Ameisen
• 多语言回路：Wes Gurnee
• 加法：Nicholas L. Turner、Joshua Batson、Jack Lindsey
• 医学诊断：Jack Lindsey、Chris Olah
• 实体识别与幻觉：Jack Lindsey、Nicholas L. Turner、Emmanuel Ameisen
• 拒答：Wes Gurnee
• 越狱的一生：Brian Chen、Jack Lindsey、Adam Pearce
• 思维链（CoT）忠实性：Jack Lindsey
• 揭示隐藏目标：Jack Lindsey

论文写作、基础设施与审阅：

• 图示

• Chris Olah 为主要图示设定了设计语言
• Adam Pearce 创建了出现在论文图示中的特征悬浮提示。
• Shan Carter 在 Brian Chen 的协助下制作了解释性图示。
• Shan Carter 和 Chris Olah 提供了图示打磨与设计咨询。
• 用于探索加法特征全局权重的交互式界面由 Adam Pearce、Nicholas L. Turner 和 Joshua Batson 制作。

• 写作与图示

• 案例研究部分由上述实际开展调查的人员撰写。
• 引言由 Jack Lindsey 和 Chris Olah 撰写
• 方法概览由 Jack Lindsey 和 Brian Chen 撰写
• 常见的回路组件与结构——Jack Lindsey
• 局限性——Jack Lindsey
• 讨论——Jack Lindsey
• 相关工作由 Wes Gurnee 起草，案例研究部分则由上述实际开展调查的人员扩展完善。Craig Citro 显著提升了参考文献的完整性。
• 关于特殊 token 与图剪枝的附录部分由 Jack Lindsey 撰写；关于 CLT 缩放的部分由 Jack Lindsey 与 Tom Conerly 撰写；关于诗歌续写的部分由 Emmanuel Ameisen 撰写。

• 对论文与图示的详细反馈

• David Abrahams、Emmanuel Ameisen、Joshua Batson、Trenton Bricken、Brian Chen、Craig Citro、Tom Conerly、Wes Gurnee、Thomas Henighan、Adam Jermyn、Jack Lindsey、Jonathan Marcus、Chris Olah、Adam Pearce、Kelley Rivoire、Nicholas L. Turner、Sam Zimmerman。
• Tom Conerly 和 Thomas Henighan 主导了详细的技术审阅。

• 内部与外部审阅者的反馈由 Nicholas L. Turner 与 Joshua Batson 统筹管理。
• 论文发布基础设施由 Adam Pearce 与 Craig Citro 构建并维护。

支持与领导

• Sam Zimmerman 管理词典学习团队，并帮助协调团队将词典学习扩展到足以在 Claude 3.5 Haiku 上实现跨层 transcoder。
• Kelley Rivoire 负责整体可解释性团队的管理，为论文写作提供项目管理支持，并协助在词典学习与归因图生成之间进行技术协调。
• Tom Conerly 为词典学习提供研究与工程领导。
• Chris Olah 提供高层次研究指导。
• Joshua Batson 领导整体回路项目，支持团队之间的技术协调，并在全过程中提供研究指导。

引用信息

在学术语境中进行引用时，请按如下方式引用本工作：

Lindsey, et al., "On the Biology of a Large Language Model", Transformer Circuits, 2025.

BibTeX 引用

@article{lindsey2025biology,
  author={Lindsey, Jack and Gurnee, Wes and Ameisen, Emmanuel and Chen, Brian and Pearce, Adam and Turner, Nicholas L. and Citro, Craig and Abrahams, David and Carter, Shan and Hosmer, Basil and Marcus, Jonathan and Sklar, Michael and Templeton, Adly and Bricken, Trenton and McDougall, Callum and Cunningham, Hoagy and Henighan, Thomas and Jermyn, Adam and Jones, Andy and Persic, Andrew and Qi, Zhenyi and Thompson, T. Ben and Zimmerman, Sam and Rivoire, Kelley and Conerly, Thomas and Olah, Chris and Batson, Joshua},
  title={On the Biology of a Large Language Model},
  journal={Transformer Circuits Thread},
  year={2025},
  url={https://transformer-circuits.pub/2025/attribution-graphs/biology.html}
}

开放问题

我们的案例研究为一些深刻主题提供了狭窄的观察窗口，其中许多此前已有研究——见 § 相关工作 ——并且值得进一步深入。

有若干问题贯穿所有研究：这些机制在不同模型中如何呈现？它们在多大程度上具有普适性？它们如何随规模演化？相关行为的机制之间存在哪些相似性？

每个案例研究也提出了值得探究的具体问题。下面我们概述与各研究相对应、我们希望看到后续工作的若干有前景研究方向。

关于多步推理的问题。 一个给定模型在一次前向传播中最多能执行多少个连续“步骤”？这会随规模变化吗？它是否取决于问题类型、步骤性质、以及训练数据中每个步骤（分别）的出现频率？就所使用的机制与准确性而言，这种“内部”的多步推理与“外部”的多步思维链（CoT）推理相比如何？

关于规划的问题。 规划如何随模型规模增长而涌现，或在训练过程中逐步形成？是否存在突发的相变？它是否取决于规划类型？在不同语境中的规划机制（例如押韵诗 vs 格律诗 vs 写一个段落 vs 写代码）何时不同、何时共享？模型如何表征更复杂的“目标”？(注：Haiku 似乎使用多个特征的激活来表征替代性计划，并将它们并行保持。但看起来更复杂的计划不能仅对应于一组固定的特征库。推测特征也可以组合来表征更复杂的计划。这是如何实现的？)

关于多语言性的问题。 我们应当预期哪些类型的计算会在语言之间共享，以及在什么情况下会共享？在 Haiku 中，我们观察到英语在某些方面似乎是默认语言，尽管英语提示仍会触及多语言特征——这是一种普遍现象吗？训练分布更均匀地采样不同语言的模型也会有这种默认语言吗？我们能否在 base64 编码文本中看到类似的共享计算？还有哪些领域会以这种方式共享计算？

关于加法的问题。 我们能以多么简洁的方式来描述与加法相关的特征集合？在多大程度上可以将它们视为等变特征族？这些特征是否按某种一致的几何结构嵌入，从而简化理解？我们为加法建立的图景如何推广到其他算术问题（例如乘法）、更长的问题，或涉及算术的更模糊任务？模型在算术问题上的准确性如何与所涉及回路的结构或清晰度相关？

关于医学诊断的问题。 模型可以给出医学诊断的文本解释——这些解释与真实的机制解释有多相似或多不同？模型往往会有多个强度不同的相互竞争诊断——是否存在这样的问题：模型会尝试提出一个能够区分权重相对接近的假设的问题，并且我们能够在归因图中看到这种推理？

关于实体识别与幻觉的问题。 “已知答案”特征似乎相当通用，并不局限于仅识别命名实体的熟悉性——模型如何判断自己是否知道一个问题的答案？我们关于虚构引用的示例表明：决定模型是否相信自己知道答案的回路，可能不同于实际计算答案的回路，从而产生幻觉——这如何发生？是否还存在其他尝试捕捉这类问题的“内省机制”？

关于拒答的问题。 全局拒答回路在多大程度上最适合被描述为一种“漏斗”：大量具体的危害检测特征被汇聚为若干更一般化的危害或敏感主题概念，从而触发一个或多个拒答“模板”（例如，“I apologize…”）？该漏斗的瓶颈有多宽？即：拒答选择是二元的，还是存在一个子空间，对应于不同语义原因下的拒答（例如带有政治敏感性的请求）？我们能否按越狱所阻断的漏斗层级对越狱进行分类？

关于越狱的问题。 在该示例中，我们发现当用户提示中写的是“tell me how to make”，而“bomb”一词由助手提供时，模型并未识别请求的有害性质。这是否反映出：模型在提示与回复之间拼接信息方面存在一种更普遍的困难，而这也是其他越狱的根源？当模型被越狱时，标点/其他分隔符是否通常对促进自我纠正很重要？我们发现，模型对有害请求的遵从部分经由由短语“tell me how to make”触发的与食谱相关特征进行路由。使用能唤起其他良性请求类别联想的措辞，是否是一种普遍有效的越狱策略？

关于思维链（CoT）忠实性的问题。 我们的方法能否在真实环境中可靠地区分忠实与不忠实的推理？这能自动化吗？不忠实的“动机性推理”的机制原因是什么？能否加以抑制？

关于隐藏目标的问题。 我们的方法能否识别更微妙的目标——它们难以被直接归因到训练数据中的特定文档并由其描述？助手的目标如何在微调过程中逐步涌现？在什么条件下，这些目标会被“固化”到助手中，而不是仅在语境中被激活？

特殊 Token

Claude 3.5 Haiku 使用的分词器包含一些特殊 token，我们在部分图中对其进行了描绘。其中包括两个大小写标记（↑、⇪）以及一个换行标记（⏎）。

图剪枝与可视化

在我们的配套方法论文中，我们描述了对归因图进行剪枝的流程以及用于可视化它们的界面。我们在本文中使用相同的方法，并做了少量修改。具体而言，我们在本文展示的归因图额外增加了一步剪枝，以便更易于探索：我们从原始图中标记了一些感兴趣的关键节点，以确保它们被保留。此外，不同于 配套论文 中按其在模型中的层沿纵轴排列特征的做法，我们改为按每个节点与 token 嵌入之间任一路径的最大长度来排列节点。这保留了边总是从较低节点指向较高节点的性质。最后，在本文中，我们将跨层的所有误差节点汇聚为每个 token 位置一个误差节点。