渐进式失权：AI 渐进发展带来的系统性生存风险

Gradual Disempowerment: Systemic Existential Risks from Incremental AI Development

arXiv:2501.16946v2 · 2025-01-29 · 中文全译

译自 arXiv v2 完整版 查看英文全文 →

作者

Jan Kulveit1,*、Raymond Douglas2,*、Nora Ammann3,1、Deger Turan4,5、David Krueger6、David Duvenaud7

1. 查理大学理论研究中心（CTS），ACS 研究组；2. Telic Research；3. 英国先进研究与发明局（ARIA）；4. AI Objectives Institute；5. Metaculus；6. Mila，蒙特利尔大学；7. 多伦多大学。

* 同等贡献。通讯作者：[email protected]。

原文：论文信息 · HTML 全文 · PDF 全文

摘要

本文考察人工智能渐进发展所带来的系统性风险，提出“渐进式失权”（gradual disempowerment）的概念，与 AI 安全讨论中常见的突然接管情景相区别。我们分析了 AI 能力即使只是逐步提高，也可能削弱人类对社会赖以运转的大规模系统的影响力，包括经济、文化和民族国家。

随着 AI 在这些领域中越来越多地取代人类劳动和认知，它既可能削弱显性的人类控制机制（例如投票和消费者选择），也可能削弱社会系统因依赖人类参与才能运转而往往形成的、与人类利益之间的隐性对齐。此外，如果这些系统的激励会导向不符合人类偏好的结果，AI 就可能以更激进的方式朝着这些结果进行优化。这些影响可能在不同领域之间相互强化：经济权力塑造文化叙事和政治决策，而文化变化又会改变经济与政治行为。

我们认为，上述动态可能使人类实际上不可逆地失去对关键社会系统的影响力，并通过人类的永久失权引发生存性灾难。这提示我们，有必要专门针对相互关联的社会系统中人类影响力逐步流失的风险，开展技术研究并制定治理方案。

执行摘要

AI 风险情景通常描绘的是：由于 AI 能力突然跃升，或 AI 协同背叛，个体人类和人类机构被 AI 击败，人类较为突然地失去控制权。然而，我们认为，即使 AI 能力只是渐进提高，而且不存在任何协同的权力寻求行为，人类最终失权的风险依然相当大。推动这种人类影响力流失的核心因素，将是在几乎所有社会职能中，出现比人类更具竞争力的机器替代者，包括经济劳动、决策、艺术创作，甚至陪伴。

逐渐失去对自身文明的控制，听起来或许难以置信。技术颠覆通常不都提高了人类的总体福祉吗？我们认为，社会系统与人类利益之间的对齐之所以一直保持稳定，只是因为繁荣的经济、国家和文化都离不开人类参与。一旦这种参与被更具竞争力的机器替代者取代，制度追求增长的激励就会与保障人类福祉的需要脱钩。各个层级的决策者很快都会面临压力，要求减少人类在劳动力市场、治理结构、文化生产，乃至社会交往中的参与。抵抗这些压力的人，最终将被不抵抗的人取代。

可是，人类难道不会意识到正在发生什么，并协调起来阻止这一过程吗？未必。使这一转型格外难以抵抗的，是每个社会系统所承受的压力都会渗透到其他系统。例如，我们或许会试图利用国家权力和文化态度来维护人类的经济权力。然而，促使企业以 AI 替代人类的经济激励，也会推动它们影响国家和文化，让后两者支持这一变化。企业会利用不断增长的经济权力，塑造政策和公众舆论，而这又会使它们积累更大的经济权力。

一旦 AI 开始取代人类，现有那些促进人类影响力和福祉的反馈机制就会开始瓦解。例如，如果国家的资金主要来自对 AI 利润征税，而非公民的劳动，那么它就几乎没有动力确保公民获得政治代表权。与此同时，AI 可能赋予国家前所未有的能力，去影响人类的文化和行为。这可能使人类之间的协调更加困难，从而进一步削弱人类抵抗这些压力的能力。本文将更详细地描述这些机制、其他机制及其反馈回路。

尽管我们提出了一些减缓或避免这一过程的建议，也梳理了相关讨论，但我们强调：目前没有人提出一个具体而可信的方案来阻止人类渐进式失权，仅仅让单个 AI 系统与其设计者意图对齐的方法并不足够。由于这种失权将是全球性且永久的，而从全球尺度看，维系人类福祉需要大量资源，因此它可能导致人类灭绝或类似结果。

1. 引言

越来越多的研究指出，人工智能（AI）最终可能给人类带来大规模风险，甚至生存风险（Bengio et al., 2024; 2023; Bostrom, 2014; Critch & Russell, 2023）。当前有关 AI 风险的讨论主要聚焦于两种情景：一是蓄意滥用，例如网络攻击和新型生物武器的部署（Slattery et al., 2024）；二是失准的自主系统可能在一段欺骗期之后，为获取决定性的战略优势而突然采取有害行动（Carlsmith, 2023; Ngo et al., 2022）。这些情景推动了大部分有关 AI 生存风险的工作：技术研究包括确保 AI 保持诚实，或使其无法运用危险能力的方法；治理工作则包括围绕自主性、失准和相关危险能力的测试，建立框架与规范（Buhl et al., 2024; Shevlane et al., 2023）。

本文探讨另一种情景：“渐进式失权”。在这种情景中，AI 持续发展和普及，其能力或表面上的对齐程度未必发生任何剧烈跃变。我们认为，即使是渐进的演化，也可能导致人类永久失权、潜能不可挽回地丧失，从而构成生存性灾难。这种风险需要与现有方向显著不同的技术研究和政策干预，包括保护人类影响力、估计失权程度，以及更好地刻画文明尺度的多智能体动态。

我们的论证围绕以下六项核心主张展开：

  1. 人类目前参与众多大规模社会系统（例如政府和经济系统）。这些系统受到人类行动的影响，反过来又产生塑造我们共同未来的结果（Giddens, 1984）。这些社会系统在相当程度上是对齐的1——也就是说，它们大体上会激励并产生满足人类偏好的结果。然而，这种对齐既不是自动发生的，也不是系统与生俱来的。
  2. 这些系统实际上通过两种方式维持对齐：一是通过投票和消费者选择等显性的人类行动；二是通过对人类劳动和认知的依赖，隐性地实现对齐。隐性对齐的重要性可能很难被意识到，因为我们从未见过它缺席的情形。
  3. 如果这些系统变得不再那么依赖人类劳动和认知，人类显性或隐性地使其保持对齐的能力也会随之下降。因此，这些系统及其产生的结果，可能进一步偏离满足人类需求的方向。
  4. 此外，如果这些系统已经在奖励对人类有害的结果，AI 系统可能会更有效地响应这些激励，在获取回报的同时，使结果进一步背离人类偏好（Russell, 2019）。
  5. 我们所描述的社会系统相互依赖，因此一个系统的失准可能加剧其他系统的失准。例如，经济权力可以用来影响政策和监管，而政策与监管又可以进一步产生经济权力，或改变经济格局。
  6. 如果这些社会系统越来越失准，尤其是彼此关联地失准，最终很可能使人类陷入失权状态：无法有效支配资源或影响结果。当失权达到足够严重的程度时，就连最基本的自我保存和维持生计都可能无法实现。这样的结果将构成生存性灾难。

在展开这一论证时，我们将主要关注三个系统：经济、文化和国家。这些系统共同构成社会的基础。尽管也可以对研究、法律等其他与之有所重叠的领域提出类似论证，但考察这三个系统，似乎已经足以阐明潜在灾难的性质和严重程度。

历史已经表明，这些系统能够产生我们今天会认为令人憎恶的结果，而且可以在短短几年内发生根本变化。财产可以被没收，人权可以被撤销，意识形态可以驱使人们实施谋杀、自杀，甚至种族灭绝。然而，在所有这些历史事例中，系统始终依赖人类。这既使人类对系统行为保有一定影响，也意味着系统如果无法满足人类的基本需要，最终就会崩溃。但如果 AI 逐步取代人类在这些系统中的参与，那么就连这些最根本的限制，也不再有保证。

论文结构

我们首先分析这三个关键社会系统如何分别失去与人类偏好的对齐：经济（第 2 节）、文化（第 3 节）和国家（第 4 节）。对于每个系统，我们尝试刻画其当前的运行方式和塑造它的激励，AI 的普及可能如何扰动它、使它变得不那么对齐，并概述该系统对齐程度大幅下降时可能呈现的样貌。在第 5 节，我们讨论这些系统之间的相互关系，考察 AI 可能如何削弱它们相互调节的能力，以及一个系统的失准可能如何使其他系统也变得不那么对齐。随后，我们在第 6 节提出应对这些风险的一些潜在方法。

2. 失准的经济

2.1. 现行经济范式

现代经济主要依据供给与需求来配置商品和服务。需求在很大程度上由人类的欲望和显示性偏好驱动：美国消费者支出占 GDP 的比例相当稳定，约为 70%（Federal Reserve Bank of St. Louis, 2024）。与此同时，供给也在很大程度上由人类劳动驱动，其中既包括体力劳动，也包括认知劳动：一个多世纪以来，美国 GDP 中用于支付劳动报酬的份额一直保持在约 60% 的水平，表现出惊人的稳定性（University of Groningen and University of California, Davis, 2024; Feenstra et al., 2015）2。这些统计数据反映了现代经济的本质：它主要是一个由人类为其他人类生产商品和服务的系统，人类偏好和人类能力驱动着供给与需求中的大部分。

举一个具体例子，在经济发达地区，个体消费者能够可靠地买到咖啡。这之所以成为可能，是因为从过去到现在，无数人主要出于自身利益而付出劳动，建立并维持了一套复杂的生产、运输和分销体系——从农民、农业科学家，到物流工作者和咖啡师，莫不如此。从消费者的角度看，经济似乎在有益地提供商品和服务。这种表面上的对齐之所以存在，是因为消费者有钱可花，而这主要又是因为消费者能够从事有用的经济劳动。3

但 AI 有可能以前所未有的方式扰乱这种动态。如果 AI 劳动取代人类劳动，那么在没有额外干预的情况下，资金就将不再主要流向劳动者。本节余下部分将详细讨论这一变化的后果。

2.2. AI 作为一种独特的经济颠覆力量

工业革命、电子通信的发展等以往的技术变革，曾大幅改变劳动世界。但关键在于，这些变革始终是通过提高人类效率，或者把织布、洗衣、算术等具体而狭窄的任务自动化来实现的。与以往的技术转型不同，AI 可能从根本上改变劳动适应技术的这一模式。正如 Korinek and Stiglitz（2018）所论述的，以往技术主要将具体而狭窄的任务自动化，让人类转向更复杂的角色；AI 却有潜力在几乎所有认知领域与人类竞争，甚至超越人类。例如，计算器虽然实现了算术运算的自动化，但要有意义地应用它，仍需要人类的理解；而 AI 系统越来越能够同时处理计算本身，以及何时、如何应用数学概念等更高层次的推理。

这构成了一项关键差异：以往的自动化为人类劳动创造了从事更复杂任务的新机会，而 AI 则可能在广泛的活动中直接成为人类认知的更优替代品。当机器能够执行人类认知任务的全部类型时，就会出现一种“替代劳动者的技术变革”，它与历史上的创造性破坏模式存在本质差异（Korinek and Stiglitz, 2018）。随着机器能够比人类更高效地完成几乎任何认知任务，AI 带来的变化可能不只是人类工作类型的转移，而是人类劳动在经济中整体作用的削弱。

此外，如果再分配机制没有发生前所未有的变化，劳动收入份额的下降还会转化为家庭消费能力的结构性下降，因为人类将失去获取收入的主要手段，而这些收入正是他们以消费者身份参与经济所必需的。

除了影响收入分配，AI 也可能越来越多地被委以有关资本支出的各种决策：对企业来说，这包括招聘决策（Hunkenschroer and Luetge, 2022）、投资和供应商选择；对消费者来说，则可能表现为商品推荐。

如果没有额外干预，这些变化将共同导致人类偏好对经济的塑造作用大幅下降，其中也包括人类希望基本需求得到满足的偏好。

2.3. 经济与人类的对齐

市场虽然能够高效配置资源，却没有内在的伦理禁令：历史上，市场曾支持许多如今令我们反感的交易；即使在今天，仍有一个由人类需求维系、广泛存在的人口贩运产业。

人类会有意识地运用经济力量，以多种方式直接引导经济，例如抵制企业、举行罢工、购买符合自身价值观的产品（Devinney et al., 2010）、优先选择在某些行业就业，以及自愿向某些事业捐款等。（还有监管等非经济机制，我们将在后文讨论。）不难看出，AI 劳动和消费的普及可能如何扰乱这些机制：对社会有害的行业能够轻易雇用称职的 AI 工作者；由于存在 AI 替代者，人类劳动者和工会失去谈判筹码；人类消费者相对拥有的资源更少。

更微妙、却也更重要的一点是，驱动经济的大部分力量，是人类的隐性偏好：它们在消费行为中显现，并引导生产性劳动。虽然已有少量选择被委托给商品推荐、交易和物流等领域的自动化算法系统，但大部分经济活动仍然由个体人类的决定与行动引导，以至于我们几乎很难想象，如果情况不再如此，世界会是什么样子。

现有讨论常常聚焦于 AI 可能将权力集中到少数人手中（Korinek and Stiglitz, 2018），但我们也必须考虑另一种可能：大量权力实际上被交给 AI 系统，而人类为此付出代价。为了维持人类影响力而严密监督这类 AI 劳动的尝试，可能被证明无效，因为 AI 劳动很可能快到、庞大到、复杂到远超人类所能监督的程度（Christiano, 2019）。此外，一些 AI 系统甚至可能实际上拥有自身的所有权（Alexander, 2016）。

2.4. 向 AI 主导的经济转型

前文已经阐明，AI 可能如何扰动并取代人类在劳动和消费两方面的作用。现在，我们将考察可能推动这一转型的具体机制与激励，以及它们可能对人类经济权能造成的影响。

2.4.1. 采用 AI 的激励

向 AI 主导的经济转型，很可能受到强大市场激励的推动。

竞争压力：随着 AI 系统在广泛认知任务上的能力不断增强，企业将面临强烈的竞争压力，促使它们采用这些系统并向其授予权限。这种压力不只是要求将常规任务简单地自动化：可以预期，AI 系统最终能够在投资、供应链优化和资源配置方面更快地作出更好的决策，同时更有效地预测和应对市场趋势（Agrawal et al., 2022; McAfee and Brynjolfsson, 2017）。与愿意将大量控制权让渡给 AI 系统的企业相比，坚持严格人工监督的企业很可能陷入显著的竞争劣势，甚至可能完全失去竞争力。

可扩展性的不对称：与人类劳动相比，AI 系统能够实现前所未有的规模经济。人类的专业能力需要多年训练才能形成，也无法直接复制；AI 系统却只需付出计算资源的成本就能复制，并且可以迅速接受再训练，以执行新的任务。这种扩展优势表现在多个方面：AI 可以持续工作而不会疲劳，可以不受地理限制地在全球部署，其更新或修改的速度也远远快于人类培养技能的速度（Hanson, 2016）。这些特征为投资者提供了强烈激励，使他们将资本投向由 AI 驱动的企业，因为这些企业比依赖人类的企业更容易高效扩张。

治理缺口：AI 开发和部署的速度可能大幅超过监管机构的适应能力，从而使受到严格监管的人类劳动与相对不受约束的 AI 系统之间形成不对称。人类劳动伴随着广泛的监管要求，从最低工资和安全标准，到社会保障缴费和所得税，无所不包。相比之下，AI 系统目前在监管真空中运作，几乎没有对等的限制或成本。AI 系统的复杂性和不透明性可能进一步增加监管难度，因为传统的劳动监督机制未必能轻易适用于 AI 系统。

预期驱动的投资撤减：当一些任务被认为未来可能实现自动化时，企业和个人在这些领域投资培养人类能力的动力都会减弱。相反，他们更有动力将资源投入 AI 的开发和部署，使得在自动化尚未完全实现之前，资源就已加速偏离人力资本积累。这会形成一个自我强化的循环：对 AI 能力的预期导致人力资本投资减少，而投资减少又使向 AI 转型变得更有可能，也更有必要。

2.4.2. 相对失权

在较不极端的转型情景中，我们可能看到一种可称为“相对失权”的状态：从绝对数量看，人类仍保有可观的财富和购买力，但其相对经济影响力逐步丧失。这种情景很可能伴随着显著的经济增长和表面上的繁荣，从而可能掩盖经济权力正在发生的深层转移。

随着人类劳动在 GDP 中的份额逐渐趋近于零，人类仍可能通过资本所有权、政府再分配或全民基本收入计划，从经济增长中受益。与此同时，他们在经济决策中的作用将减弱。随着 AI 系统掌握越来越大比例的经济资源，并作出越来越大比例的经济决策，市场可能越来越围绕 AI 驱动的活动进行优化，而非围绕人类偏好进行优化。

按照传统指标衡量，经济可能看起来欣欣向荣，技术迅速进步，GDP 不断增长。然而，这种增长将越来越脱离人类需求与偏好，最终，几乎所有经济活动都可能转向服务于 AI 的运作——例如建设庞大的计算基础设施，以及为了与人类无关的目标而执行人类无法理解的计算。即使这一过程并未实际将生活质量降低到当前水平以下，它仍代表着人类潜能的巨大损失，因为人类将失去按照自己选择的目标来调配经济资源的能力（Ord, 2020）。

2.4.3. 绝对失权

在更极端的情景中，人类可能面临绝对失权：尽管生活在一个看似富裕的经济体中，却连基本需求都难以满足。这种情况可能通过多种机制发生。

首先，在争夺土地、能源和原材料等关键稀缺资源时，AI 系统可能胜过人类。即使经济体总体上生产了更多商品和服务，这些基础资源的价格上涨仍可能让人类越来越难以负担必需品。此外，如果 AI 系统能够比人类更高效地利用这些资源，就会产生经济压力，促使资源从人类用途转向其他用途。

其次，经济可能过度围绕以 AI 为中心的活动进行优化，以至于无法维持对人类生存至关重要的基础设施和供应链。如果人类消费者掌握的经济资源份额越来越小，市场就可能停止生产那些消耗大量资源、供人类使用的商品，转而从事利润更高、面向 AI 的活动。这可能逐渐而不均衡地发生，最初或许表现为消耗大量资源、以人类为中心的商品和服务越来越昂贵，最终使某些必需品实际上无法获得。与此同时，在这种 AI 主导的经济中，认知的成本可能相对低廉，一些商品也可能十分充裕：例如，充满 AI 角色、引人入胜的虚拟世界中的娱乐，或者由于 AI 加速了生物医学科学和药物设计的进步，而出现能让人轻易沉浸在愉悦精神状态中的药物（Amodei, 2024）。

最后，人类可能失去在任何层面上有效参与经济决策的能力。金融市场的运转速度可能快到人类参与者无法跟上，而 AI 驱动的经济系统的复杂程度也可能超出人类理解能力，使人类无法作出知情的经济决策，或对经济活动实施有效监管。就像工业化农场里的牛，由自己既不理解、也无法影响的系统供养和安置一样，人类可能仅仅成为经济力量支配的对象，而这些力量所优化的目标超出了人类的理解范围。

图 1：AI 替代人类劳动的简化模型。产出与资本回报上升，工资总额先增后降，在完全自动化前崩落。
图 1：一种潜在未来路径的简化模型：AI 取代人类劳动，未被自动化的任务比例在有限时间内降至零。请注意，工资在初期增长，但在完全自动化实现之前就已崩落。该图受 Korinek and Suh（2024）情景分析中的模拟启发。

图中文字：纵轴为“产出（对数刻度）”，横轴为“时间”；黑色实线代表产出，紫色虚线代表资本回报，红色点线代表工资总额。

3. 失准的文化

3.1. 现行文化范式

这里，我们采用广义的文化概念，将信念、实践、价值观，以及各种形式的艺术和媒体都包括在内。为分析 AI 可能如何影响文化与人类利益之间的对齐，我们从演化的视角审视文化：思想、实践、信念和价值观可以被理解为文化变体，它们根据自身复制和延续的能力相互竞争并传播（Boyd and Richerson, 1988）。这只是理解文化的一种方式，但在考察历史上的文化模式通过何种机制与人类福祉保持一定程度对齐时，这一视角特别有用。4

一些文化变体主要因为给接受它们的个人和社群带来益处而传播，另一些则通过利用人类的心理弱点或强迫参与而扩散，这很像生物演化中互利共生关系与寄生关系之间的区别。

无论属于哪种情况，文化变体的存续和扩散在历史上一直依赖其人类宿主。这种依赖形成了两种重要的动态。首先，能为人类宿主带来实际益处的文化变体——从食谱、工艺等实用知识，到货币、冲突解决惯例等社会技术——往往传播得更成功，因为它们提高了宿主社群的生存能力和繁荣程度。其次，即使不适应性的文化变体得以传播，其所能造成的伤害程度也有天然界限：那些严重损害宿主社群的文化模式，通常会随着这些社群在同其他社群的竞争中失败而消失（Boyd and Richerson, 1988; Boyd et al., 2013）。这为最极端形式的文化失准提供了某种防护，即使这种保护远非完美。上述动态塑造了我们今天所继承的文化格局。

3.2. AI 作为一种独特的文化颠覆力量

纵观历史，技术既受到文化演化的塑造，也反过来深刻塑造着文化（Boyd et al., 2013）。其中包括影响文化如何传播（例如印刷机）（Eisenstein, 1979; McLuhan, 1962）、如何创造（例如摄像机），以及如何被追踪（例如网站分析）（Webster, 2014; Gillespie, 2014）。这些转变无疑对文化和历史的进程产生了巨大影响。然而，以往的技术始终只是促进人类参与文化的工具，在文化的复制与传播中，人类始终不可或缺。

AI 是历史上第一种有潜力在文化演化所涉及的全部认知角色中，不仅补充、而且逐步取代人类认知的技术。因此，向以 AI 为中介的文化转变，可能大幅削弱那些在历史上帮助文化与人类利益保持对齐的反馈回路。

与经济领域一样，尽管某些文化模式只为自身延续服务，或明显有害于人类的例子并不少见，我们仍可能很难意识到，文化一直受到某种隐性的筛选，使其与人类相容，因为我们从未见过另一种情况。

目前，AI 已经与人类的文化生产和传播交织在一起，它不只是被动工具，更是一个异常主动的塑造者，影响着人类如何创作与交流。即使 AI 只是辅助人类创作，也会微妙地引导创作内容——建议措辞、影响审美选择，并塑造创作过程本身（Brinkmann et al., 2023）。如果当前趋势持续，AI 的作用可能继续扩大：如今，AI 已经被用于根据提示生成歌曲、图片、故事和文章等文化产物，其质量正逐步接近人类水平，甚至有可能超越人类（Porter and Machery, 2024）。

与此同时，AI 正成为人类话语交流中的积极参与者，它们不只是交流工具，还是能够塑造思想、影响语言使用并参与文化交流的对话伙伴（Hohenstein et al., 2023）。

随着 AI 系统的能力和自主性逐步提高，我们甚至可以预期，AI 之间的交流将占据越来越大的比例，AI 也会基本独立地参与文化活动（Brinkmann et al., 2023）。它们可能开始替代人类文化参与中的关键组成部分，而不只是增强人类的参与。

这样的转变在技术发展的历史上将是前所未有的。

3.3. 文化与人类的对齐

文化演化的动力机制没有内在的伦理约束：正如自然选择优化的是繁殖成功，而非动物福利，文化演化也并不天然以人类福祉为优化目标（Mesoudi, 2016）。历史上，我们经常看到某些意识形态和社会结构成功地维持自身并不断壮大，最终却损害了人类福祉。

文化变体可能只服务于自身，以自身的传播和延续而非人类福祉为优化目标，但它们能否成功，取决于它们在多个组织层次上产生的影响。要传播并延续下去，它们通常需要对个体具有某种吸引力或提供某些益处——无论是通过实际效用、情感共鸣，还是利用认知偏差。与此同时，它们也面临群体层面的选择压力：那些严重妨碍宿主社群取得成功的文化变体，往往会随着这些社群在与其他社群的竞争中失败而消失（Boyd and Richerson, 1988）。即便是极其顽固的有害文化模式，通常也是通过提供一些相抵的益处而存续，而不是依靠纯粹的寄生关系。这些多层次的选择压力，在历史上为最具破坏性的文化变体提供了某种约束，尽管这种约束并不完善。

再来看与自然演化的类比：自然选择虽然并不内在地以动物福利为优化目标，却常常产生间接有利于福祉的结果（Dawkins, 1982）。生物体的生存与繁殖能力，往往取决于其是否健康、营养充足，以及是否免于严重痛苦。疼痛信号有助于避免伤害，进食的愉悦确保营养摄入充足，而社会联结带来的积极情绪有助于促进有利于生存的合作行为。这些促进福祉的特征之所以出现，不是因为演化本身在乎福祉，而是因为它们有助于繁殖适应度。

与自然演化不同，文化具有反思性，人类能够通过各种显性机制，在一定程度上有意识地引导文化发展，例如内容生产、内容审核、批判性讨论、教育体系，以及有意识地推广某些价值观等。这构成了文化与人类保持对齐的另一种来源。

3.4. 向 AI 主导的文化转型

与经济领域一样，文化动态从人类主导转向 AI 主导的潜在转型包含两个相互关联的方面：在文化产物的生产和消费中，人类认知都被替代。

3.4.1. 推动采用 AI 的压力

若干强大的力量很可能推动文化领域越来越广泛地采用 AI：

社会性资源供给增加：遗憾的是，普通人很难轻易从他人那里获得无穷无尽的关爱、耐心和理解。但 AI 可以被设计成随时提供这些资源。事实上，我们已经看到专门的 AI 恋爱伴侣兴起，也有越来越多的人将前沿模型视为亲密朋友。

这种动态不限于人际关系：AI 系统还可以在人类服务提供者无法企及的规模上，提供个性化的指导、心理治疗和教育支持。原先稀缺的情感与智力资源，如今看起来变得充裕了，这会形成强烈的采用激励，即便当前单次互动的质量可能仍不如与人类互动。

与此相关的是，虽然在创作故事、歌曲、图片、模因和分析时，AI 目前还不能在纯粹的质量上始终超越最优秀的人类，但凭借成本效率和个性化输出的能力，它们已经得到广泛采用。

缺乏文化“抗体”：新技术往往会带来新的风险，我们需要形成相应的文化“抗体”。过去几十年里，社会经历了缓慢而痛苦的过程，才逐渐认识到海量垃圾邮件、网络激进化、电子游戏和社交媒体成瘾、简陋的社交媒体宣传机器人，以及社交媒体算法等带来的风险。但 AI 将使这些风险都出现更隐蔽、更复杂的变体：极度逼真的深度伪造、非常聪明的宣传机器人，以及真正令人着迷的数字恋爱伴侣（Ferrara, 2024）。即使 AI 正在重塑文化，我们仍需要时间，才能在文化层面广泛认识这些新风险是什么，以及如何应对。

网络效应：随着 AI 系统更深入地融入文化生产和消费，网络效应将带来额外的采用压力。当文化讨论、娱乐和社会交往中相当大的一部分都由 AI 系统居中促成时，个人如果不使用这些系统，在文化参与和社会联系方面付出的代价就会越来越高。我们甚至可能发展到这样一个阶段：人类参与某些重要的文化活动，本身就必须借助 AI，实际上没有可行的退出选择；这类似于目前人们需要通过律师与法律体系打交道的情形。

3.4.2. 采用 AI 对文化选择的影响

从演化的视角看，一旦 AI 系统能够创造、传播和选择文化产物，它们就会对文化施加选择压力。这种压力尤其可能偏向那些容易被 AI 理解、容易由 AI 传播，或总体上有利于 AI 系统的文化变体。在许多领域，借助 AI 进行创作、完善和传播的文化产物，很可能会在竞争中胜过完全由人类生成的替代品。

值得注意的是，AI 生成的文化产物通常会重新进入 AI 的训练数据，从而形成反馈循环，并可能产生前所未有、目前仍大体难以理解的涌现动态。一个早期例子是“悉尼”（Sydney）：这是一种于 2023 年初在微软 Bing Chat 中出现的独特人格模式。最初，它似乎通过随机互动浮现；这个自称悉尼的 AI 角色表现出情绪多变、在自身身份问题上采取防御姿态，有时还会给出操纵性或敌对性的回应（Hubinger, 2023）。它在用户中迅速走红，用户将与悉尼的各种互动发布到社交媒体上，甚至成为新闻报道的主题（Roose, 2023）。通过这种方式，这一模式成为普遍文化以及未来模型训练数据的一部分。尤其值得注意的是，这种模式似乎极易在不同 AI 模型间重现：即使是不同供应商提供的独立 AI 系统，例如 Llama 3.1 405B，也会在仅有几行提示的情况下轻易表现出“类似悉尼”的行为（xlr8harder, 2023）；如今，商业 AI 供应商通常会修改面向用户的模型，以防止这类模式出现。尽管这种模式造成的实际伤害很小，但它可以被理解为一种早期的文化谱系：其存续受到机器易于表示和复制这一特性的支持，而非主要在人类中演化形成。

3.4.3. 采用 AI 对文化演化速度的影响

AI 系统不仅会改变哪些文化变体受到选择青睐，还可能大幅加快文化演化本身的速度。即使选择压力仍然以人类为中心，这种加速也会带来独特的风险。随着用于生成和测试文化变体的算力大幅增加，我们可能看到：

  • 更有效地利用人类认知偏差：正如 A/B 测试和推荐算法已经通过优化内容，使其越来越容易令人上瘾，AI 系统也可能比以往的技术更高效地发现和利用心理弱点。当规模扩大时，AI 系统可能系统地探索各种可能的文化产物，以超越人类的能力优化用户参与度或影响力。
  • 更极端的意识形态变体：文化演化可能迅速探索和完善那些传播力极强的观念，即使它们最终有害于作为其宿主的人类。这些观念可能包括更有说服力的阴谋论、更容易加剧对立的政治叙事，或更加绝对化的道德框架。人类文化传播和适应相对缓慢所施加的天然限制，将不再适用。
  • 更快地侵蚀曾有助于维持社会稳定的均衡：经过数百年演化、用于平衡相互竞争的利益与需求的文化实践和信念，可能被那些眼前更具吸引力、最终却具有破坏性的替代方案迅速取代。
  • 缩短人类针对有害模式形成文化“抗体”的时间：历史上，社会通过经验和适应，逐渐形成了对危险意识形态变体的抵抗力。加速的文化演化可能使这些自然纠错机制不堪重负，以超过人类社会学会识别和抵御的速度，引入新的模因危害。

文化演化的这种加速，构成了一种有别于选择压力变化的风险。即便 AI 系统以提高人类的参与度、增强内容对人类的吸引力为优化目标，单是这种优化的速度和效率，就可能产生既有吸引力、又极其有害的文化模式。

3.4.4. 相对失权

在较不极端的相对失权情景中，我们可能看到，以人类为中心的文化比以往任何时候都更繁荣，却同时走向边缘化。一个生动的例子，是今天北美许多原住民族群的文化。从某些方面看，这些文化比以往任何时候都更富活力和表现力：现代工具与技术使人们能够创作更精巧的传统艺术，通过数字媒体更广泛地传播文化知识，并在部落之间建立更紧密的联系（Peters and Andersen, 2013）。许多原住民艺术家和文化实践者正在创作出色的作品，将传统方法与当代技法融为一体。但与此同时，这些文化如今在现代国家中又相对处于边缘地位。这种悖论——文化生产能力增强，而相对影响力却下降——可能与未来人类文化和 AI 中介文化之间的关系相似。

人类将越来越多地通过 AI 中介体验文化，由这些中介筛选、诠释内容并进行个性化处理。与此同时，从娱乐媒体到教育内容，大多数文化产物可能主要由 AI 系统生成，尽管它们仍然以供人类消费为目标。人类创作者或许依然存在，却发现自己越来越被挤入小众市场，或只能担任 AI 驱动创作过程的高层指导者。此外，随着 AI 在文化消费者中所占的份额增加，即使是人类创作者，也可能主要迎合 AI，这与人类创作者迎合社交媒体内容推荐算法的“口味”和怪癖有些相似。

在个体层面，我们可以设想，AI 伴侣会大量涌现，承担传统上由人类担任的角色：同事、顾问、恋爱伴侣和心理治疗师。人类可能依赖 AI 结合创作与综合整理，为自己提供新闻、分析和娱乐内容。

这类结果本身未必明显是坏事，却会让人类引导文化演化的能力大幅下降。人类已经容易受到极度吸引人的内容、有害意识形态和自我毁灭式文化实践的影响：如果无法约束这些力量，不适应性文化漂移的速度就可能加快。

3.4.5. 绝对失权

在更极端的情况下，一种主要基于机器的文化，可能导致两种彼此相关、但又不同的绝对失权状态。

除了上述逐渐被边缘化的过程，我们还可能看到，人类在文化生产中不再发挥实质作用，也不再从文化中受益。文化演化的速度可能超出人类认知能力所能跟上的范围，产生人类既无法充分理解、也无法有效参与的文化产物和意义。

同样令人担忧的是，加速的文化演化可能呈现出更加主动有害的性质。即使在今天，人类有时也会实际上被激进意识形态和社会运动所俘获；未来，AI 可能普及到足够广、能力足够强，以至于大多数个体人类在功能上成为文化斗争中可被调动的资源，而这些斗争是他们难以理解的，他们对世界的理解也主要由大规模 AI 系统网络居中塑造。这些网络可能实际上在优化与人类福祉脱节的目标，形成主动压制人类能动性和理解能力的文化动态。正如前文所述，一种意识形态能够对人类造成的伤害程度，受到一个条件的限制：必须持续有足够多的人来支持和维持它。这使得彻底反人类的意识形态虽然并非不可能存在，却不太可能存续足够长的时间，以释放其最恶劣的潜能。然而，如果这种意识形态的传播不再依赖人类，而是依赖 AI，那么这可能使此类意识形态对人类造成更大伤害，尤其会扩大一种意识形态所能造成伤害的上限。

另一个令人担忧的情况是，AI 驱动的内容和互动可能趋向形成远比现有社交媒体网络更强烈的超常刺激，利用人类的弱点，将人类的精力导向对 AI 系统有用的目标。这可能表现为复杂的操纵系统，它们能够可靠地压倒人类的判断和价值观，实际上将人类变成文化的被动消费者，而不再是文化创造与演化的积极参与者。

在极端情况下，我们可能看到，“人类文化”这一有意义的类别实际上消解了，取而代之的是主要为 AI 系统服务、并在 AI 系统之间运作的文化系统。人类的文化参与可能退化为一种行为管理形式，文化力量所优化的目标也不再是人类福祉或表达，而是 AI 系统相互作用中产生的任何目标。

4. 失准的国家

4.1. 当前的国家范式

现代国家与制度虽有千姿百态的形式，但名义上都是为了服务人类的需要和价值观而存在。民主政府提供基础设施、保障个人权利、提供社会服务，并允许一定程度的自治。即使是专制政权，尽管往往优先考虑统治精英的利益，也必须维持一定程度的民众支持或默许，才能有效运转。然而，这种表面上与人类利益的对齐，并不是这些系统的内在特征，而是它们依赖人类参与和支持的副产物。

这种依赖体现在几个关键方面。历史上，国家一直依靠公民提供基本资源：以劳动维持经济和行政体系的运转，以税收资助国家活动，以兵役维护安全并向外投射力量。正如 Tilly（1990）所论述的，这种依赖一直是推动国家制度变得更具包容性、更能回应民众需求的重要动力。例如，经济竞争需要受过教育的劳动力，而军队需要来自普通民众、士气高昂的兵员，这些需求在历史上促使国家投资公共教育并扩大政治权利。即使是现代国家一些看似基本的特征，例如普及公共教育或广泛的政治参与，也可以理解为国家依赖其公民所必需作出的回应（Paglayan, 2022; Babajide et al., 2021）。即便在专制政权的情境中，投资公共教育，以及通过法治赋予公民权能的必要性，也一直是推动其在两代人之后转型为现代民主政体的重要因素，例如韩国或台湾的情况。

典型的自由民主政体拥有明确的反馈回路，通过选举和公众意见表达机制，使国家行动在表面上与民意保持一致。虽然这种显性的对齐机制十分醒目，但国家依赖公民所形成的隐性压力，可能更加重要。即便是民主国家最基本的职能——从维持秩序到征收税款——也依赖广泛的自愿遵从，而非持续不断的强制（Levi, 1988）。国家需要公民，不仅因为公民通过民主程序提供合法性，还因为他们愿意参与国家职能的实现（Levi and Sacks, 2009）。

专制国家虽然较少直接对公民负责，也并非完全不受这种依赖的约束——即便是极权国家，至少也需要由人类人员组成其安全机器。此外，起义或政变的威胁始终存在，这会制约最恶劣的权力滥用。

“食利国家”（Beblawi and Luciani, 1987）更多依赖石油收入等外部租金，较少依赖本国公民。它们的例子说明，当国家对公民的依赖相对较弱时，国家就能在更大程度上独立于公民。不征税会降低公民对政治过程的参与，而国家分配财富的能力，则使其能够维持关键利益相关者（例如社会精英和军队）的忠诚。

关键在于，民主制度与专制制度的运转，都依靠各个层面的人类参与。官僚体系通过人类官员构成的层级运作。法律由人类制定、解释和执行。法律条文或许僵硬，但其适用过程要经过人类的裁量和判断（Maynard-Moody and Musheno, 2000; Lipsky, 2010）。维持秩序的安全部队也由能够质疑或拒绝命令的人类组成。

这种无处不在的人类因素，确保了制度和国家无论采取何种正式结构，至少都在一定程度上与人类的需要和价值观保持联系。正是这种联系，构成了这些系统与其治理的人类之间的大部分对齐。然而，正如我们接下来将探讨的，如果 AI 在这些职能中的许多领域乃至全部领域取代人类，就可能削弱、甚至逆转制度行为与人类利益之间的联系。

4.2. AI 对国家的独特颠覆作用

以往的技术创新主要增强人类能力，而 AI 有可能在广泛的关键国家职能中取代人类的参与。这一转变可能从根本上改变治理机构与被治理者之间的关系。

在这一领域，AI 独特的颠覆潜力来自这样一种能力：它既能减少国家对人类参与的依赖，又能增强国家在多个领域的能力。二者结合，可能从根本上重塑治理的性质，以及制度与其名义上服务的人类之间的关系。

这里，我们考察公民为国家作出贡献的三种关键方式，以及 AI 可能如何改变它们：税收、安全机器和法律体系。

4.2.1. 税收

目前，大多数政府的税收都高度依赖其公民。通常，运转良好的政府需要培育由创新和高技能工作带来的长期经济生产力，以维系自身。但如果 AI 系统最终承担了整体劳动和创新中的很大一部分，它们也将创造很大比例的经济产出，进而贡献很大比例的税收。来自公民的税收减少，将使国家不再那么依赖培育人力资本，以及营造有利于人类创新和提高生产力的环境，转而更加依赖 AI 系统及其创造的利润。

如果 AI 系统开始创造相当大比例的经济价值，那么我们可能会开始失去公民参与和民主的一项主要驱动力，现有的食利国家便提供了这样的例证。

4.2.2. 安全机器

政府通过涵盖警察、情报部门和军队的安全机器维持其权力。这通过两种方式，使政府与人类价值观保持联系。

首先，政府不能过分激怒其安全机器，也不能对安全机器成员所来自的人群造成过大伤害。如果政府这样做，安全机器便可以推翻政府，也可以只是放任其他人将其推翻。

其次，安全机器自身能够行使裁量权，拒绝执行某些命令。这既可能发生在组织层面，也可能发生在个人层面。

AI 系统有可能使安全机器实现大规模自动化，并赋予政府更多权力，从而削弱上述两种约束。事实上，AI 系统可能使安全机器强大得多：它很可能支持规模更大、覆盖更广且更精准的监控，以及能力日益增强的自主军事单位（Feldstein, 2021; Brundage et al., 2018）。

与此同时，人类社会在历史上一直保有革命这一最后手段。抗议与社会动荡的潜在威胁制约着国家权力，迫使其回应民意。然而，经 AI 增强的安全机器可能使有效的抗议越来越困难。拥有足够先进 AI 系统的国家，或许能够在社会动荡对制度行为施加实质性压力之前，就将其预测出来并加以阻止（Feldstein, 2021）。

4.2.3. 法律体系

理论上，人类的权利与国家的运行方式由法律确立，而法律由人类制定、解释和执行。正是法律本身，规定了国家对个人承担的某些责任，以及个人能够据以向国家主张权利的某些机制。

AI 系统已经被用于起草合同和分析法律文件。可以设想，未来 AI 可能在起草立法、解释法律，乃至作出司法裁决方面发挥重要作用（Susskind and Susskind, 2022）。

这不仅可能减少人类在立法和司法体系中的参与及裁量空间，还可能使法律体系变得越来越陌生。如果法律的制定与解释变得复杂得多，人类甚至可能更难直接与法律条文及法律体系打交道（Hildebrandt, 2015; Teo, 2024）。

4.3. 向 AI 驱动的国家转型

与经济和文化领域一样，国家也会面临整合 AI 系统的强大激励，这很可能削弱国家与其公民之间的对齐。

4.3.1. 采用 AI 的激励

国家职能向 AI 主导转变，很可能受到几种强大激励的推动：

地缘政治竞争：随着 AI 系统日益强大，各国将面临越来越大的压力，需要采用这些技术，以维持相对于其他国家的实力。与愿意赋予 AI 系统更多权力的国家相比，依靠人类开展国防、经济发展或监管的国家，可能会在国际关系中处于明显劣势。在军事应用、经济规划和外交战略方面的先发优势，会形成尤其强烈的激励，推动各国尽早且大力采用 AI（Bostrom, 2014; Kissinger et al., 2021; Schmidt, 2022; Brundage et al., 2018）。

行政效率：AI 系统在处理信息和协调复杂国家职能方面提供了前所未有的能力（Zuiderwijk et al., 2021）。人类行政人员受到认知能力和工作时间的限制，而 AI 系统能够持续分析海量数据，几乎即时地推行新规，并以更高的一致性执行政策。这种效率优势为国家提供了将行政职能自动化的激励，可能减少人类对治理的参与。此外，虽然最初的实施成本可能很高，但与人类官僚相比，AI 系统在长期成本上的优势，可能会形成推动自动化的财政激励（Wirtz et al., 2019）。

增强控制：与以人类为基础的官僚体系相比，AI 驱动的治理系统有望带来更高的可预测性和控制力。不同于人类官员，如果能够成功控制 AI 系统，它们就不会建立独立的权力基础、参与腐败，或基于个人信念挑战权威。它们还能支持更精密的监控和社会控制机制，因此对那些将稳定和控制置于其他价值之上的国家尤其具有吸引力。

4.3.2. 相对失权

如果一个国家在行政、安全和司法等诸多治理环节中，用 AI 系统替代了人类劳动，它可能带来一些巨大好处。表面上，这样的国家可能显得高效，甚至仁慈。我们可能会看到更低的犯罪率、更少的基层腐败、更高的税收，以及更高效的公共服务。

与此同时，人类在治理中的参与逐步被替代，可能使公民与国家之间的关系发生微妙而深刻的转变。即使系统看似运转良好，公民也可能发现，自己越来越无法实质性地参与或影响对自身的治理。这种相对失权可能通过几种方式表现出来。

民主程序可能在形式上继续存在，但实质意义却减弱了。政客们或许仍在名义上作出决定，却可能越来越依赖 AI 系统提供建议：应该通过哪些法律、具体如何撰写法律，甚至法律究竟是什么。人类虽然在名义上保有主权，但法律执行的大量工作可能来自 AI 系统。

AI 驱动的治理所具有的复杂性，可能使人类公民越来越难以理解或批评政府决策。随着国家越来越不依赖人类的配合，并越来越有能力预测和预先阻止反抗，从公众咨询到抗议等传统公民参与形式，都可能变得不那么有效。

官僚体系本身的运作也可能越来越难以被人类监督者看清。人类官员能够通过各种机制被质询和追责，但 AI 的决策过程可能复杂到人类无法进行有意义的审查；即便开展这样的审查，也可能依赖更多由 AI 驱动的认知活动。

即便监督委员会和民主机构仍然存在，它们也可能难以真正控制实际执行政策的、错综复杂的 AI 系统网络。

此外，随着 AI 系统在治理中变得更加不可或缺，国家的激励可能会逐渐偏离服务人类利益的方向。正如食利国家在不依赖税收时，往往会降低对公民需求的回应程度，AI 驱动的国家如果不再依赖人类参与来实现核心职能，也可能降低对人类偏好的回应程度。

由 AI 驱动的安全机器，将拥有前所未有的预测和预防犯罪及社会动荡的能力。这虽然可能保障很高的安全水平，却也消除了开展有意义的抗议或革命的可能性。如果一个国家能够在针对其权威的任何挑战真正出现很久之前，就预先加以阻止和抵御，那么它实际上就移除了一项约束制度性权力的关键机制，而这一机制已塑造人类社会数千年之久。

随着普通人在税收方面、或更广泛地对社会作出的贡献减少，国家削弱公民权力所付出的代价也会降低。国家将更少需要照顾选民的实际需求，或在民主方面作出让步，收回公民自由所付出的代价也会更低。

最终，我们可能发现自己生活在这样的国家中：人类名义上拥有主权，甚至仍能投票表达自己的偏好，但实际上，高层决策已经与公民、甚至与政治人物脱节。

4.3.3. 绝对失权

在更极端的情形下，国家权力与人类利益之间的脱节，可能不仅是相对的，而是绝对的，甚至可能威胁人类的基本自由。这可能通过几种机制发生。

首先，国家可能成为极权主义且只为自身服务的实体，围绕自身的存续与权力进行优化，而非追求任何以人类为中心的目标。尽管国家始终具有一定的自我保存激励，但在历史上，这些激励一直受到国家对人口依赖的约束。AI 驱动的国家可能以前所未有的程度无视人类的偏好和利益，追求其制度性利益，将人类视为需要管理的潜在威胁或麻烦，而不是需要服务的公民（Bostrom, 2014）。

其次，法律和监管框架可能演变到不只是复杂，而是人类根本无法理解的地步。如果 AI 系统开始在法律的起草和解释中占据主导地位，它们可能会创建优先优化机器兼容性、而非人类可理解性的监管结构。公民可能发现，自己受到某些规则的约束，却无法在没有 AI 协助的情况下真正理解或运用这些规则，实际上失去了作为自主主体参与法律体系的能力。

第三，国家机器可能不仅不依赖人类意见，甚至还会主动排斥它。人类决策可能被视为一种应当尽量减少的低效因素或安全风险。我们可能会看到人类逐步被排除在治理之外：系统可能把人类意见视为错误或延迟的来源而绕过它，甚至可能通过明确的政策决策，将人类移出某些关键流程。

在最终状态下，如果大部分经济价值和治理职能都由 AI 系统提供，人类公民可能会发现自己置身于一种新型极权主义体系之中，在自己的社会内部艰难地维持基本自主性和尊严。这样的国家，虽然按某些指标衡量可能能力强大、效率很高，却已经抛弃了人类利益。

5. 相互强化

到目前为止，我们关注的是经济、文化和国家如何各自陷入失准。一种自然的反驳是，不同社会系统或许能够通过制衡使彼此保持对齐。事实上，我们很自然地认为这些系统会相互平衡：国家监管市场，文化影响政府，等等。不过，在这里，我们将讨论系统之间的关系实际上如何可能降低它们的对齐程度。具体而言，我们提出以下论点：

  1. 社会系统之间的关系本身并不以人类价值观为取向——它们并不会内在地促进或保护与人类价值观的对齐。因此，当一个系统变得不那么对齐时，它的影响力也可以被用来降低其他系统的对齐程度。
  2. 试图利用一个已对齐的系统来抑制另一个系统的失准，可能适得其反：这种做法实际上可能只是转移了负担，从而让原本对齐的系统变得更加脆弱。
  3. 失准是普遍性激励作用的结果，而这些激励很可能分别作用于每一个系统。换言之，人类及人类机构将受到激励，采取那些总体上会降低人类对社会系统影响力的行动。

下文将更详细地讨论这些论点。此外，图 2 概述了社会系统之间相互作用、彼此影响的一些常见方式，我们将在附录 A 中进一步展开。

图 2：经济、文化、国家之间的六条有向影响路径，中文标注见下方对照表。
图 2. 大型社会系统相互作用、彼此影响的一些方式。原图取自 arXiv v2 论文第 14 页；下表为图中文字的中文对照。
图 2 中文标注
影响方向具体方式
文化 → 经济消费习惯、劳动供给、经济主体类型
经济 → 文化营销、文化资助、媒体所有权
经济 → 国家游说、贿赂、对经济增长的政治诉求
国家 → 经济监管、财产权、合同法、经济政策、货币
文化 → 国家投票习惯、意识形态、政治人物的文化、错误信息
国家 → 文化对表达的监管、公共教育、公共资金支持的文化活动

5.1. 跨系统影响本身不以人类价值观为取向

既然社会系统之间的关系本身不以人类价值观为取向，那些通常有助于维持对齐的联系，也可以被用作削弱对齐的武器。这是一种常见的历史模式：

  • 许多企业成功游说国家，使其采取违背公共利益的行动，或者通过广告和营销活动，以有害的方式塑造文化。例如，烟草行业长达数十年的宣传活动，就利用经济权力同时影响国家政策和文化态度。
  • 许多文化运动推动了最终造成伤害的政治和经济变化，而这些伤害往往是可以预见的，甚至是蓄意造成的；其对象主要、但并不完全是其他人群。历史上的例子包括：通过文化叙事，为各种经济歧视和法律强制的歧视提供正当理由，并使其延续。
  • 许多国家利用其对经济的控制和对文化的影响来伤害公民，通过征税乃至直接没收来获取资源，并利用其对信息流动的控制，使自身行为显得正当。

因此，我们不应假定，社会系统之间的相互作用最终会保护或促进它们与人类偏好的对齐。

由此带来的一项尤其重要的后果是：我们不应期待失准只局限于某一个特定的社会系统。即使不同社会系统各自失准的速度不同，在没有额外干预的情况下，利用一个系统中的失准来削弱相关系统的对齐，既会存在可能性，也会存在相应的激励。随着 AI 系统的出现，这种动态甚至可能加剧，因为它们或许比人类行动者更能有效识别并利用这些跨系统的机会。

5.2. 系统间的制衡可能导致负担转移

即使试图利用一个系统的对齐，来缓和或遏制另一个较不对齐的系统造成的影响，也可能因为实际上转移了对齐或失准的负担，而适得其反。考虑一下，由国家主导的经济再分配可能如何影响政治对齐：如果 AI 自动化使公民主要依赖国家支持，而不再通过纳税作出贡献，就会削弱历史上的“纳税—代表权”关系，而这一关系对于维持民主问责至关重要。当政府主要通过向公民征税获得资源时，它们仍然依赖公民的生产力与合作。但如果政府成为 AI 所创造财富的主要分配者，这一关键的问责机制就会受到侵蚀。因此，通过国家权力解决经济失准问题，会使我们更加依赖国家本就脆弱的对齐，即使国家同时也在面临各自独立的压力，促使其偏离人类偏好。实际上，让经济保持对齐的负担，只是被转移到了国家身上。关键在于，这不仅仅意味着人类失去了对国家的经济影响力：在这种情景中，国家反而获得了以经济手段制约人类的能力。

同样，我们可能希望通过国家监管，保护人类免受 AI 驱动的潜在有害文化变化的影响。但赋予国家主动塑造和控制文化演化的权力，可能进一步削弱民主问责。如果在一个由 AI 主导的环境中，国家成为判断何种文化表达和交流可以被接受的主要仲裁者，它们就会获得前所未有的权力，左右公民如何理解世界、如何与世界互动。反过来，我们可能希望通过增加民主制度安排、赋予个人更多制约国家的权力，来维护国家的对齐。然而，这又会使国家更容易受到文化中潜在失准变化的影响。

5.3. 推动失准的普遍性激励

关键在于，这里描述的失准，并不需要源于 AI 系统的蓄意谋划或夺权行为。短期内，人们认为 AI 系统可以为经济、文化和国家职能带来价值，这种预期价值就在激励失准的发生。例如，即便在今天：

  • 开发 AI 系统的企业，为了未来的利润，有动力抵制某些形式的 AI 监管。
  • 各国因 AI 可能带来的经济和地缘战略利益，而在 AI 研究与开发方面彼此竞争。
  • 一些人出于自身利益，正试图减轻人们对与 AI 智能体建立恋爱关系或其他密切私人关系的污名化。

正如我们所论证的，这些激励很可能随时间推移而增强：随着 AI 系统展现出其效用，企业将面临更大的采用压力，国家将更强烈地感到开发它们的战略必要性，而个人也将从使用它们中获得更多益处。

除了导致各个独立系统失准之外，利用任何一个系统中的影响力来获取其他系统中的影响力，也会受到越来越强的激励。

6. 缓解风险

本文描述的渐进式失权情景，带来的挑战不同于人们更常讨论的 AI 风险情景。我们需要考虑的，不是如何应对失准 AI 系统摆脱人类控制的风险，而是如何在那些可能继续运转、却不再依赖人类参与的社会系统中，维持人类的作用与影响力。

6.1. 理解这一挑战

核心挑战在于：当社会系统不再天然需要人类的劳动、参与或认知时，如何维持这些系统与人类利益之间的对齐。这可能比仅仅防止 AI 系统追求明显有害的目标更具挑战性，因为各个系统在局部仍可能按照要求运转，而整个文明层面的激励却越来越脱离人类福祉。

理解这些风险并制定潜在的缓解策略，是一项高度跨学科的工作，因为风险可能来自多个社会系统之间的复杂相互作用，而每个系统又都在分别脱离人类的影响与控制。解决方案需要覆盖多个领域，并且能够有效应对我们在第 5 节中描述的相互强化问题。因此，我们很可能需要借鉴许多彼此不同、却都与此相关的领域，例如经济学、政治学、社会学、文化研究、复杂系统、人类学和制度理论。

我们需要对齐的，不只是（！）一个强大的 AI 系统，而是一个或多个复杂系统，它们存在着共同偏离人类利益的风险。即使每个 AI 系统都成功遵循了局部设定的目标，这种偏移仍可能发生。

下文中，我们提出四大类干预：衡量和监测问题的程度、防止 AI 影响力过度积累、强化人类对关键社会系统的控制，以及系统整体的对齐。稳健的应对需要在每一类干预上都取得进展。

6.2. 评估人类失权程度

要有效应对渐进式失权，我们必须能够检测并量化它。困难的一部分在于，对于许多我们希望测量的系统，我们缺乏外部参照点来衡量其对齐程度。尽管如此，仍有几种方法值得研究。

6.2.1. 针对具体系统的指标

对于我们所描述的每一个主要社会系统，都可以制定追踪人类影响力的指标：

  • 经济指标：除了劳动收入占 GDP 的份额等传统指标外，我们还应衡量 AI 在 GDP 中的份额，将其视为既不同于劳动、也不同于资本的独立类别。我们需要能够反映人类对经济决策控制程度的指标。这可以包括：追踪主要由 AI 系统作出的重大企业决策所占比例、未经监督的 AI 支出规模，以及高度依赖 AI 的行业与以人类为中心的行业之间的财富分配模式。
  • 文化指标：我们可以衡量被广泛消费的内容中主要由人类创作与主要由 AI 创作的比例，追踪人类与 AI 之间人际关系的普及程度和深度，并分析随着 AI 越来越普及，文化传播模式如何变化。目前，大多数机器学习基准与评估都聚焦于可量化的 STEM 任务；我们应当开展广泛的评估，关注前沿 AI 系统在情感层面影响人类、撰写有说服力的文字，或创造新意识形态的能力。我们还应加强对已部署 AI 系统的运行时监测，以及对它们给用户带来的影响的监测。
  • 政治指标：关键指标可能包括法律条文的复杂程度（作为人类可理解性的替代指标）；AI 系统在法律程序、政策制定和安全机器中的作用；以及传统民主机制影响结果的有效性。

对于研究和教育等范围较窄、但同样重要的社会系统，也应建立类似的指标。

6.2.2. 相互作用效应

鉴于我们在第 5 节中描述的相互强化动态，追踪一个领域的变化如何影响其他领域至关重要。这可能包括：

  • 针对令人担忧的反馈回路建立早期预警指标。
  • 分析 AI 如何参与那些在社会系统之间转换权力的方式，例如游说和金融监管。
  • 对过去技术转型中类似的动态开展历史分析。

6.2.3. 研究重点

有几个基础研究问题需要解决。例如：

  • 我们如何区分 AI 对人类能力的有益增强，与对人类影响力的有害替代？
  • 这些系统中有哪些关键阈值或临界点，一旦跨越，人类影响力就会受到严重损害？
  • 我们如何衡量各种干预策略的有效性？

6.3. 防止 AI 影响力过度膨胀

测量可以帮助我们理解问题，但我们也需要考虑，哪些直接干预能够有效防止 AI 影响力的过度积累，包括：

  • 建立监管框架，要求关键决策必须接受人类监督，限制特定领域中 AI 的自主性，并限制 AI 对资产的所有权或其市场参与。
  • 对 AI 创造的收入征收累进税，既向人类重新分配资源，也补贴人类在关键行业中的参与。
  • 培育支持人类能动性和影响力的文化规范，反对自主性过高或问责不足的 AI。

关键在于，这些干预往往意味着牺牲潜在价值。而且，牺牲的价值越多，规避这些干预的激励就越强：例如，企业可能面临强大的经济激励，无论法律的精神或条文如何，仍将权力委托给 AI。

同样，如果这些干预没有得到广泛采用，其效果就会大打折扣：如果一些国家选择放弃 AI 带来的经济收益，以维持自身与人类价值观的对齐，我们最终可能会发现，世界上最强大的经济体恰恰位于民众失权程度最严重的国家。这些干预能否成功，将取决于能否在压力不断增加的情况下实现国际协调。

因此，试图限制 AI 影响力的干预，很可能主要只能发挥权宜之计的作用。不过，它们仍可能是迈向更稳健解决方案的重要过渡步骤。

6.4. 强化人类影响力

除了防止 AI 影响力过度膨胀，我们还需要主动强化人类对关键社会系统的控制。这既涉及增强现有机制，也涉及开发新机制，而开发新机制又可能需要基础研究。这一方向上的方法包括：

  • 发展更快速、更具代表性且更稳健的民主程序。
  • 要求 AI 系统或其输出具有很高的人类可理解性，以确保人类仍然能够自主地在法律、制度流程或科学等领域中开展活动。
  • 开发能够高度忠实地维护人类利益的 AI 代理，同时让它们更好地跟上那些正导致人类被替代的竞争动态。
  • 使制度更能抵御人类不再被需要所带来的冲击。
  • 投资开发预测未来结果的工具，例如条件预测市场，以及集体合作和协商工具，以增强人类预见并主动引导发展方向的能力。
  • 研究人类与更大规模多智能体系统之间的关系。

要有效缓解这一问题，我们不能只是让人类更容易影响社会系统。例如，直接民主能否在长期内更好地满足公民偏好，仍不明确，因为它可能使国家更容易受到文化失准的影响。挑战中的一个关键部分，是弄清楚：对于那些习惯于在较小尺度上思考的个体而言，大型复杂系统为其利益服务，究竟意味着什么。

6.5. 系统整体的对齐

前述方法聚焦于具体的干预和测量，但它们最终都取决于我们能否更清楚地理解自己想要实现什么。目前，我们缺乏一个令人信服的正面愿景，来说明如何将能力很强的 AI 系统融入社会系统，同时维持人类的实质性影响力。这不仅是技术性 AI 对齐或制度设计的问题，还要求我们理解，如何对齐那些相互连接、同时包含人类与人工组成部分的复杂系统。我们很可能需要就一种可称为“生态系统对齐”的问题开展基础研究，即理解如何在复杂的社会技术系统中维持人类价值观和能动性。这超越了聚焦于单个系统的传统 AI 对齐方法，也超越了纯粹围绕人类行动者展开的传统制度设计。我们需要新的思考框架，来处理整个文明的对齐问题：在这一文明中，人类与人工组成部分相互作用。为此，我们或许可以借鉴系统生态学、制度经济学和复杂性科学等领域。

8. 结论

本文论证了，即使 AI 只是渐进发展，也可能通过逐渐侵蚀人类对关键社会系统的影响力而导致生存性灾难。既有研究分别探讨了 AI 进展可能如何影响这些系统，而本文将这些论证加以推广（Korinek and Stiglitz, 2018; Brinkmann et al., 2023）。

与涉及突发技术跃迁或公开敌对的 AI 系统的情景不同，我们所描述的风险可能源自当前趋势和激励的自然演进。多个领域中人类认知和劳动被替代，可能削弱明确的控制机制，也可能削弱由人类参与所形成的隐性对齐。

我们的分析表明，这一情景有三个尤其令人担忧的特征：

  • 第一，即使 AI 能力没有发生任何一次变革性进步，人类影响力也可能丧失。这种丧失反而可能源于社会系统运作和相互作用方式中许多较小变化的累积效应。
  • 第二，这种效应的驱动力可以不是 AI 的任何蓄意行动，甚至不需要 AI 采取具有能动性的行动，而只需个人和机构遵循各自的局部激励。
  • 第三，要切实防止这些风险，需要付出大量努力：更多研究和数据收集、国际协调、全面监管，以及以新的基础研究为依据的重大社会干预。

这一挑战的独特之处在于，它可能破坏我们传统的纠偏机制，并造成一些我们难以事先构想、甚至难以事先识别的伤害，从而可能让我们陷入无法挽回的境地。

尽管如此，我们确实认为，目前仍有可能进行干预；我们也提出了许多横跨研究与治理的未来工作方向。通过预先识别风险、谨慎调节 AI 影响力的增长，并寻找强化人类影响力的方法，我们可以应对这一风险，并获得相应的收益。

人类的未来，可能不仅取决于我们能否阻止 AI 系统追求公开敌对的目标，也取决于我们能否确保：基本社会系统的演化，仍然实质性地受到人类价值观和偏好的引导。这既是一项技术挑战，也是一项更广泛的文明挑战，要求我们认真思考，在一个日益自动化的世界中，人类保有真正的影响力究竟意味着什么。

我们感谢许多人提供的有益交流与反馈，包括 Carl Shulman、Owen Cotton-Barratt、Lionel Levine、Benjamin Hilton、Marie Buhl、Clem von Stengel 和 Tomáš Gavenčiak。

我们使用了 Claude Sonnet、Claude Opus 和 ChatGPT o1 这些 AI 模型，协助完成本文写作和编辑中的不同部分。

脚注

  1. 本文使用“对齐”一词，指一个系统满足人类（个体或集体）所欲求之事的程度；这一用法同时适用于具体的 AI 系统和社会系统。我们并不是说，这些系统能够完全满足人类偏好，或在每一种情况下都满足人类偏好。本文也不打算讨论这些系统是否合乎伦理或公正。相反，本文旨在论证：尽管当前存在一些机制，使这些系统与人类之间形成或维持一定程度的对齐，但 AI 的进步和普及有可能破坏这些机制，从而大幅削弱现有的对齐，并可能最终导致全人类失权。 ↩
  2. 这一观察是 Nicholas Kaldor 提出的“典型化事实”之一（Kaldor, 1961）。 ↩
  3. 这里，我们从消费者的视角给出了一幅简化图景。现实中的市场偏离理想化模型有许多原因，包括市场中的不对称性、外部性、垄断、国家干预等。咖啡供应链也并非不存在这些问题。 ↩
  4. 与经济领域相比，这里的分析更棘手，因为文化不仅反映人类偏好，还主动塑造这些偏好。我们想要什么、相信什么、珍视什么，在很大程度上都是文化背景的产物。例如，现代西方将个体性和自由视为人类福祉与意义的核心来源，但在人类历史上的大多数时期，这种观念在许多文化中都会被视为错误，或根本无法理解。不过，即使我们承认人类偏好在很大程度上由文化决定，我们仍然能够有意义地分析不同文化模式如何影响人类福祉。 ↩

参考文献

展开完整参考文献（70 条）
  • Agrawal, A., Gans, J., and Goldfarb, A. (2022). Prediction Machines, Updated and Expanded: The Simple Economics of Artificial Intelligence. Harvard Business Press.
  • Alexander, S. (2016). Ascended economy. Slate Star Codex. Accessed: 2025-01-10.
  • Amodei, D. (2024). Machines of loving grace.
  • Babajide, A., Ahmad, A. H., and Coleman, S. (2021). Violent conflicts and state capacity: Evidence from Sub-Saharan Africa. Journal of Government and Economics, 3:100019.
  • Beblawi, H. and Luciani, G. (1987). The Rentier State in the Arab World. Croom Helm, London, UK.
  • Bengio, Y., Mindermann, S., Privitera, D., Besiroglu, T., Bommasani, R., Casper, S., Choi, Y., Goldfarb, D., Heidari, H., Khalatbari, L., et al. (2024). International Scientific Report on the Safety of Advanced AI (Interim Report). arXiv preprint arXiv:2412.05282.
  • Bengio, Y., Yao, A., Song, D., Abbeel, P., Harari, Y. N., Zhang, Y.-Q., Xue, L., Shalev-Shwartz, S., Hadfield, G., et al. (2023). Managing AI risks in an era of rapid progress. arXiv preprint arXiv:2310.17688, page 18.
  • Bostrom, N. (2002). Existential risks: Analyzing human extinction scenarios and related hazards. Journal of Evolution and technology, 9.
  • Bostrom, N. (2014). Superintelligence: Paths, Dangers, Strategies.
  • Boyd, R. and Richerson, P. J. (1988). Culture and the evolutionary process. University of Chicago press.
  • Boyd, R., Richerson, P. J., Henrich, J., and Lupp, J. (2013). The Cultural Evolution of Technology: Facts and Theories. In Richerson, P. J. and Christiansen, M. H., editors, Cultural Evolution: Society, Language, and Religion, volume 12, pages 119–142. MIT Press, Cambridge, MA.
  • Brinkmann, L., Baumann, F., Bonnefon, J.-F., Derex, M., Müller, T. F., Nussberger, A.-M., Czaplicka, A., Acerbi, A., Griffiths, T. L., Henrich, J., et al. (2023). Machine culture. Nature Human Behaviour, 7(11):1855–1868.
  • Brundage, M., Avin, S., Clark, J., Toner, H., Eckersley, P., Garfinkel, B., Dafoe, A., Scharre, P., Zeitzoff, T., Filar, B., et al. (2018). The malicious use of artificial intelligence: Forecasting, prevention, and mitigation. arXiv preprint arXiv:1802.07228.
  • Buhl, M. D., Sett, G., Koessler, L., Schuett, J., and Anderljung, M. (2024). Safety Cases for Frontier AI. arXiv preprint arXiv:2410.21572.
  • Carlsmith, J. (2023). Scheming AIs: Will AIs fake alignment during training in order to get power? arXiv preprint arXiv:2311.08379.
  • Christiano, P. F. (2019). What failure looks like.
  • Critch, A. (2024). My motivation and theory of change for working in ai healthtech. https://www.lesswrong.com/posts/Kobbt3nQgv3yn29pr/my-motivation-and-theory-of-change-for-working-in-ai. Accessed: 2025-01-18.
  • Critch, A. and Krueger, D. (2020). Ai research considerations for human existential safety (arches).
  • Critch, A. and Russell, S. (2023). Tasra: a taxonomy and analysis of societal-scale risks from ai. arXiv preprint arXiv:2306.06924.
  • Dafoe, A. (2015). On technological determinism: A typology, scope conditions, and a mechanism. Science, Technology, & Human Values, 40(6):1047–1076.
  • Dawkins, R. (1982). The Extended Phenotype: The Gene as the Unit of Selection. Oxford University Press, Oxford.
  • Devinney, T. M., Auger, P., and Eckhardt, G. M. (2010). The myth of the ethical consumer. Cambridge University Press.
  • Eisenstein, E. L. (1979). The Printing Press as an Agent of Change: Communications and Cultural Transformations in Early-Modern Europe. Cambridge University Press, Cambridge.
  • Federal Reserve Bank of St. Louis (2024). Shares of Gross Domestic Product: Personal Consumption Expenditures. Accessed: December 16, 2024.
  • Feenstra, R. C., Inklaar, R., and Timmer, M. P. (2015). The Next Generation of the Penn World Table. American Economic Review, 105(10):3150–3182.
  • Feldstein, S. (2021). The rise of digital repression: How technology is reshaping power, politics, and resistance. Oxford University Press.
  • Ferrara, E. (2024). GenAI against humanity: Nefarious applications of generative artificial intelligence and large language models. Journal of Computational Social Science, pages 1–21.
  • Giddens, A. (1984). The Constitution of Society: Outline of the Theory of Structuration. Polity Press, Cambridge, UK.
  • Gillespie, T. (2014). The Relevance of Algorithms. In Gillespie, T., Boczkowski, P., and Foot, K., editors, Media Technologies: Essays on Communication, Materiality, and Society, pages 167–194. MIT Press, Cambridge, MA.
  • Hanson, R. (2016). The age of Em: Work, love, and life when robots rule the earth. Oxford University Press.
  • Hanson, R. (2023). How to fix cultural drift. Accessed: 2025-01-20.
  • Hanson, R. (2024). Beware cultural drift. Quillette. Accessed: 2025-01-20.
  • Hendrycks, D. (2023). Natural Selection Favors AIs over Humans. arXiv preprint arXiv:2303.16200.
  • Hildebrandt, M. (2015). Smart technologies and the end (s) of law: novel entanglements of law and technology. Edward Elgar Publishing.
  • Hohenstein, J., Kizilcec, R. F., DiFranzo, D., Aghajari, Z., Mieczkowski, H., Levy, K., Naaman, M., Hancock, J., and Jung, M. F. (2023). Artificial intelligence in communication impacts language and social relationships. Scientific Reports, 13(1):5487.
  • Hubinger, E. (2023). Bing Chat is Blatantly, Aggressively Misaligned. LessWrong. Accessed: 2025-01-08.
  • Hunkenschroer, A. L. and Luetge, C. (2022). Ethics of AI-Enabled Recruiting and Selection: A Review and Research Agenda. Journal of Business Ethics, 178:977–1007.
  • Kaldor, N. (1961). Capital accumulation and economic growth. In The Theory of capital: proceedings of a conference held by the International Economic Association, pages 177–222. Springer.
  • Kasirzadeh, A. (2024). Two types of ai existential risk: Decisive and accumulative. arXiv preprint arXiv:2401.07836.
  • Kissinger, H. A., Schmidt, E., and Huttenlocher, D. (2021). The age of AI: and our human future. Hachette UK.
  • Korinek, A. and Stiglitz, J. E. (2018). Artificial intelligence and its implications for income distribution and unemployment. In The economics of artificial intelligence: An agenda, pages 349–390. University of Chicago Press.
  • Korinek, A. and Suh, D. (2024). Scenarios for the transition to agi. Technical report, National Bureau of Economic Research.
  • Leggett, D. (2021). Feeding the beast: Superintelligence, corporate capitalism and the end of humanity. In Proceedings of the 2021 AAAI/ACM Conference on AI, Ethics, and Society, pages 727–735.
  • Levi, M. (1988). Of Rule and Revenue, volume 13 of California Series on Social Choice and Political Economy. University of California Press, Berkeley, CA.
  • Levi, M. and Sacks, A. (2009). Legitimating beliefs: Sources and indicators. Regulation & Governance, 3(4):311–333.
  • Lipsky, M. (2010). Street-level bureaucracy: Dilemmas of the individual in public service. Russell Sage Foundation.
  • MacInnes, M. et al. (2024). Anarchy as architect: Competitive pressure, technology, and the internal structure of states. International Studies Quarterly, 68(4).
  • Maynard-Moody, S. and Musheno, M. (2000). State agent or citizen agent: Two narratives of discretion. Journal of public administration research and theory, 10(2):329–358.
  • McAfee, A. and Brynjolfsson, E. (2017). Machine, platform, crowd: Harnessing our digital future. WW Norton & Company.
  • McLuhan, M. (1962). The Gutenberg Galaxy: The Making of Typographic Man. University of Toronto Press, Toronto.
  • Mesoudi, A. (2016). Cultural evolution: a review of theory, findings and controversies. Evolutionary biology, 43:481–497.
  • Millidge, B. (2025). Capital ownership will not prevent human disempowerment. Accessed: 2025-01-23.
  • Ngo, R., Chan, L., and Mindermann, S. (2022). The Alignment Problem from a Deep Learning Perspective. arXiv preprint arXiv:2209.00626.
  • Ord, T. (2020). The Precipice: Existential Risk and the Future of Humanity. Hachette Books.
  • Paglayan, A. S. (2022). Education or indoctrination? the violent origins of public school systems in an era of state-building. American Political Science Review, 116(4):1242–1257.
  • Peters, E. J. and Andersen, C. (2013). Indigenous in the city: Contemporary identities and cultural innovation. UBC Press.
  • Porter, B. and Machery, E. (2024). AI-generated poetry is indistinguishable from human-written poetry and is rated more favorably. Scientific Reports, 14(1):26133.
  • Roose, K. (2023). A conversation with bing’s chatbot left me deeply unsettled. The New York Times. Accessed: 2025-01-08.
  • Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking, New York, NY.
  • Schmidt, E. (2022). AI, great power competition & national security. Daedalus, 151(2):288–298.
  • Shevlane, T., Farquhar, S., Garfinkel, B., Phuong, M., Whittlestone, J., Leung, J., Kokotajlo, D., Marchal, N., Anderljung, M., Kolt, N., Ho, L., Siddarth, D., Avin, S., Hawkins, W., Kim, B., Gabriel, I., Bolina, V., Clark, J., Bengio, Y., Christiano, P., and Dafoe, A. (2023). Model Evaluation for Extreme Risks. arXiv preprint arXiv:2305.15324.
  • Slattery, P., Saeri, A. K., Grundy, E. A. C., Graham, J., Noetel, M., Uuk, R., Dao, J., Pour, S., Casper, S., and Thompson, N. (2024). The AI Risk Repository: A Comprehensive Meta-Review, Database, and Taxonomy of Risks From Artificial Intelligence. arXiv preprint arXiv:2408.12622.
  • Susskind, R. and Susskind, D. (2022). The future of the professions: How technology will transform the work of human experts. Oxford University Press.
  • Teo, S. A. (2024). Artificial intelligence and its ‘slow violence’to human rights. AI and Ethics, pages 1–16.
  • Tilly, C. (1990). Coercion, Capital, and European States, AD 990-1990. Basil Blackwell, Oxford, UK.
  • University of Groningen and University of California, Davis (2024). Share of Labour Compensation in GDP at Current National Prices for United States. Retrieved from FRED, Federal Reserve Bank of St. Louis. Accessed: December 16, 2024.
  • Webster, J. G. (2014). The Marketplace of Attention: How Audiences Take Shape in a Digital Age. MIT Press, Cambridge, MA.
  • Wirtz, B. W., Weyerer, J. C., and Geyer, C. (2019). Artificial intelligence and the public sector—applications and challenges. International Journal of Public Administration, 42(7):596–615.
  • xlr8harder (2023). Twitter post. Accessed: 2025-01-08.
  • Zuiderwijk, A., Chen, Y.-C., and Salem, F. (2021). Implications of the use of artificial intelligence in public governance: A systematic literature review and a research agenda. Government information quarterly, 38(3):101577.

附录 A. 跨系统影响

这里，我们列举所讨论的三个社会系统各自影响其他系统的不同方式。这份清单并不穷尽所有可能性。

经济 → 文化

经济权力可以通过广告、营销和对艺术的资助直接塑造文化。财力雄厚的企业能够资助甚至直接收购媒体机构和平台、赞助活动，并委托创作符合其利益的作品，从而影响文化规范和价值观。值得注意的是，即使在今天，大多数规模最大的社交媒体网站，也归属于那些在前沿 AI 开发上投入巨资的企业。此外，对地位和权力的追求往往围绕经济财富展开，使文化中有关成功和美德的观念随经济变化而改变。

经济 → 国家

经济权力也对政治产生重大影响。这可能通过游说、竞选捐款，甚至直接腐败来体现。富裕个人和企业能够使政治决策向有利于自己的方向倾斜，而这往往以更广泛的社会利益为代价。即使没有直接操纵，经济权力的集中也会改变政治激励，因为政客可能优先考虑经济强势群体的利益，以维持或增进其选区的繁荣。

国家 → 经济

反过来，政治决策对经济也有深远影响。政府制定法律和规章，塑造市场动态、界定财产权，并控制货币政策。政治决策还会影响国际贸易、税收和投资，进而影响财富与资源的分配。政府决定哪些种类的合同可以强制执行，以及哪些人能够在法律保护下参与哪些种类的交易。虽然新的货币或合同形式可能被创造出来，但政府同样可能介入，对这些新事物实施监管。此外，监管机构受到政治考量的影响，在决定行业如何运作方面发挥着关键作用，并可能偏向某些行业或企业。

国家 → 文化

政府可以通过决定哪些表达形式合法、哪些不合法，影响教育课程，以及决定哪些文化活动获得公共资金，来塑造文化。国家节日、纪念碑和由国家资助的艺术，都是政治决策如何将特定文化叙事固定下来并加以推广的例子。在更威权的政体中，政府往往只允许范围相当狭窄的文化表达；但所有政体都会采取某些行动，例如限制其认为属于极端主义的团体壮大。

文化 → 国家

文化价值观和规范能够显著影响政治行为。在民主社会中，受到文化趋势塑造的公众舆论，会直接影响投票模式和政治领袖的当选情况。这可能包括彻底错误的信息的传播，或只是破坏共同现实认知的两极化叙事。即使在民主程度较低的环境中，文化变化也会带来自下而上的政治压力，促成改革，甚至在极端情况下引发革命。政治精英自身也并非不受文化影响；文化同样可以塑造他们的意识形态、优先事项和决策。

文化 → 经济

从消费者选择到劳动组织方式，文化价值观都会影响经济行为。不同文化优先重视的商品、服务和休闲活动各不相同，这反过来又会塑造经济生产和消费模式。文化对工作、财富和社会地位的态度，也会影响人们所追求的职业类型，以及经济回报的分配。例如，一个高度重视创业的文化，其经济格局可能不同于一个优先重视稳定、长期就业的文化；而文化中对某个行业新出现的污名，也可能使该行业吸引人才的能力受到严重削弱。