投票 ///

E/acc E/a D/acc BCI/acc. WTF ？？？？都是什么词

在《三体》之中，最为疯狂期待三体的「降临派」，以伊文斯为首，对于人类感到失望仇恨，因此希望三体降临彻底改变一切。「拯救派」相较之下比较温和，他们期望三体带来更高的文明，帮助地球与人类变得更好，更把三体当如神一般的存在信仰。而最为消极的「幸存派」，则期望待三体来到地球后，幸存派的后代可以透过侍奉三体而存活不被消灭。

我们即将获得能够完成以前只有人类才能完成的所有任务的人工智能。即通用人工智能^[1]（AGI）。借用保罗·格雷厄姆^[2]的话来说，人工智能将从“聪明”（擅长一件事）发展到“智能”（在所有事情上都表现得不错）。

市场将推动 AGI 从比人类聪明 1 倍到 2 倍、10 倍、100 倍、1000 倍。这会很快发生。我们将实现人工智能，它可以以远远超过人类的水平完成所有任务。即超级人工智能^[3]（ASI）。

ASI 将比人类聪明得多。在人类里，2 是白痴，6 是爱因斯坦；那么 1000 或 1,000,000 是什么？差异如此之大，以至于很难想象这是一种可能性；这种认知失调^[4]会阻止大多数人真正意识到这一点，直到它降临到他们身上。

ASI 将比人类聪明得多[来自@AiSafetyMemes^[5] ]

AI 技术政治——

（AI 幸存派） 减速派：

这一派的人对 AI 技术持怀疑甚至担忧的态度。他们认为 AI 技术的发展将可能导致一系列问题，如失业、隐私侵犯、安全威胁等。幸存派的人认为，人类应该小心应对 AI 技术的发展，寻求与 AI 和谐共生的方法。他们强调 AI 的潜在风险，提倡谨慎和审慎的态度来平衡 AI 技术的利弊。

（AI 降临派） E/acc d/acc bci/acc：

这一派的人认为 AI 的发展将为人类带来巨大的好处，甚至取代人类成为地球的主导力量。他们相信 AI 可以解决人类的许多问题，如气候变化、资源分配、疾病治疗等。AI 降临派的人通常对 AI 技术非常热衷，支持无限制地发展和应用 AI 技术，期待 AI 在未来改变世界。

（AI 拯救派） 对齐派：

这一派的人认为 AI 是人类发展的关键，但需要在一定范围内受到监管和引导。他们认为，通过合理的政策制定和伦理道德约束，可以确保 AI 技术的安全和可持续发展。拯救派关注 AI 对社会和个人产生的影响，期望在维护人类利益的同时，让 AI 成为人类的得力助手。

减速派

是指对目前的 AI 技术严重警惕，并怀疑其对人类社会可能产生极大威胁，主张暂停 AI 技术继续研发的派系。AI 危机派的很多论断，建立在对当前 AI 技术不准确的认知上，甚至过于夸大 AI 的发展速率，一般有工程师背景或者科技从业者并不会支持过于夸张的 AI 威胁论。Yudkowsky^[6]等人主张放慢或暂停人工智能的进展，然后找出解决 ASI 风险的方法。2023 年 3 月 29 日，著名企业家埃隆·马斯克牵头的“暂停 AI 联署信”发布，这封公开联署信得到一千多名业界、学界人士响应，签名者介于危机派与对齐派之间。公开联署信呼吁所有 AI 实验室立即暂停训练比 GPT-4 更强大的 AI 系统，暂停至少 6 个月；如果这样的暂停不能迅速实施，政府就应该介入并实施暂停。公开信称，AI 的研发应该重新聚焦于使当今最强大、最先进的系统更加准确、安全、可解释、透明、稳健、一致、值得信赖和忠诚。在开发强大的 AI 系统之前，要确信这些系统的影响是积极的，风险是可控的。公开信还引用 OpenAI 近期的声明称，在开始训练未来的系统之前的某个时点，获得独立的审查可能很重要，而对于正在研究最先进模型的开发者，应达成共识来限制新模型的算力增长速度。（https://science.caixin.com/2023-03-29/102013411.html）

有效利他主义

Effective Altruism^[7]（简称 E/A） 有效利他主义E/A运动可以追溯到大约 20 年前，“有效利他主义 E/A”一词最初出现在哲学家东伍德 (Toby Ord) 的论文中。简单来说,这一思想体系的核心在于运用理性分析与科学证据来寻找改善世界的最有效方法。这一理念与硅谷部分技术和商业精英的价值观高度契合，也深受彼得·辛格 (Peter Singer) 等公共知识分子的推崇。拥趸者们的理念是，要把他们花时间做的好事利益最大化。他们可以尽可能多地赚钱，然后将其中大部分捐出去，用于解决政府和传统非营利组织所忽视的或尚未解决的问题。他们专注于实践那些每花费一美元就能产生最大影响或帮助最多人的点子。有效利他主义 E/A 最著名的支持者山姆·班克曼 - 弗里德 (Sam Bankman-Fried) 被判犯有诈骗罪的几周之后，OpenAI 的风波再次打击了这项运动；该运动认为，精心构建的 AI 系统若注入正确的人类价值观，将产生一个黄金时代——而如果做不到这一点，则可能带来世界末日般的后果。一年前发布了 ChatGPT 的 OpenAI，其成立在一定程度上基于有效利他主义的原则；这是一种广泛的社会和道德哲学，影响着硅谷和其他地方的 AI 研究社区。与此同时，在追求最大化的善过程中，也需要一个内在的界限感和对复杂性的理解。

加速派

https://www.effectiveacceleration.org/

是指受 E/acc（有效加速主义）思潮影响的人物派系，该思潮认为人类应该无限制地推进 AI 等前沿技术的加速研发，最终促进人类进化。e/acc 源自英国哲学家 Nick Land 的理论，E/acc 这个词组最开始的发明，纯粹是为了“玩梗”，是对有效利他主义 Effective Altruism（简称 E/A）造词的戏谑，最早出现在两名硅谷程序员在 X space 上的闲聊中。后来知名风投基金 A16Z 的创始人 Marc Andreessen 和 YC 孵化器的 CEO Garry Tan 把自己 X 账号简介加上了“E/acc”，大佬站台后，很多人跟风改 E/acc 后缀。虽然出现了 E/acc 的论坛网站，E/acc 仍然是一个混沌的思潮，每个自称 E/acc 的人并没有对此统一的定义。有效的加速主义融合了旧硅谷亚文化的元素，例如超人类主义^[8]和外向主义^[9]，它们同样强调进步的价值并抵制限制技术发展的努力，以及控制论文化研究单位^[10]的工作

根据 E/Acc 论坛，主要观点可以归纳为：

加速主义是指技术与资本之间耦合的正反馈螺旋加速状态。

类比热力学墒增定律，宇宙的复杂程度不可逆的增长，人类社会的技术智能程度也应该加速发展。

AI 技术发展是不可阻挡的，反对 AI 都是因为不了解技术，才杞人忧天。人工智能有一定风险，应该让更多人加入这个技术浪潮，要开源、要加速才能促进技术良性发展，而不是限制、延缓 AI 技术。

人类社会的公共部门（政府、NGO、科学家协会）无法管理 AI，应该充分放手让 AI 加速，AI 系统会自我进化到相互制衡的状态。

当前存在的社会问题可以无视，任由技术突进可能会加剧社会矛盾的情况发生，但技术突进到一定程度旧的社会问题会迎刃而解。

OpenAI 的 CEO 奥特曼与风投基金 a16z 的联合创始人马克·安德森（Marc Andreessen）都被认为是加速派的代表。安德森曾在 a16z 官网发布《技术乐观主义者宣言^[11]》（The Techno-Optimist Manifest），认为技术创新是永恒的经济增长动力，自由市场是组织技术经济的最有效的方式，推动技术进步使“我们”成为科技超人。认为社会变革是技术进步的副产品，技术发明脱离了社会与政策环境，将资本主义的新技术应用等同于社会进步，将投资人等同于科技创造的代言人。他们是技术跃进的最大受益者，超额利润的第一轮收割者，并且认为维持当前技术 - 资本主义的发展模式，自己就会成为第一批超人。

D/acc

当代区块链行业知名人物，以太坊创始人 Vitalik Buterin 在博客文章“我的技术乐观主义（My techno-optimism）”中提出了D/acc 的观念，回应安德森的《技术乐观主义宣言》。 Vitalik Buterin^[12]的“去中心化加速主义^[13]”（d/acc）聚焦于 e/acc，强调去中心化技术，但更偏向于安全性。

在这篇文章中，Vitalik 试图以 D/Acc 的愿景框架，兼容各路技术意识形态。如：E/Acc、有效利他主义（E/A）、自由主义者、多元主义、公共医疗、区块链主义、太阳朋克（solarpunk）、月球朋克（lunarpunk）。D/Acc 的“d”可以代表很多概念；尤其是防御（defense）、去中心化（decentralization）、民主（democracy）以及差异化（differential）。

Vitalik 列举了一系列区块链技术，这些技术可以成为个体对抗数据监控的方法。零知识证明 ZK 可以用于隐私保护，允许用户在不泄露私人信息的情况完成验证。这样的技术可以让我们保持隐私和匿名的好处——这些属性被广泛认为是投票等应用场景所必需的——同时仍能获得安全保证，同时还可以打击垃圾邮件和不良行为者，可以让用户和社区在不损害隐私的情况下验证可信度，并保护他们的安全，同时不依赖于把谁好谁坏的定义强加到自己身上的中心化瓶颈。

Bci/acc  人类成为赛博格 HSI 对抗 ASI

bci/acc: A Path to Balance AI Superintelligence^[14]

BCI 的e/acc^[15]放大版，我们不能仅仅发明一项令人惊叹的 BCI 技术。为了真正对抗 ASI，我们需要让数十亿主流民众掌握它。我们需要加速 BCI 并使其得到大规模采用。这就是 bci/acc 的意义所在。

bci/acc 的另一个框架是：“在训练时将人工智能调整到核心”，但以可以想象到的最超本地化的方式：为每个人训练一个人工智能，其中每个人都限制了人工智能是实时的，人工智能从小处开始，迭代地成长。

你将成为一个机器人，拥有生物堆栈肉袋大脑和硅堆栈大脑协同工作。这感觉就像使用键盘或自行车一样自然。“大众优先”的 bci/acc 变体是首先将带有无声消息等杀手级应用程序的非侵入式 BCI 带给健康人群；然后利用市场动力来克服侵入式 BCI 的难题；最后，不断增强每个人的生物堆栈和硅堆栈大脑的能力。如此反复循环，最终结果就是人类超级智能（HSI）。

对齐派 Alignment 

https://www.alignmentforum.org/

主张减缓通用人工智能技术的研发速度，提升对技术的公共效益、伦理讨论、人文价值的重视，在 AI 研发过程中引入人文的价值判断，确保 AI 技术不会失控，对人类社会的产生威胁。英国教授杰弗里·辛顿（Geoffrey Hinton）是卷积神经网络理论的领军人物，也是本轮 AI 技术跃进的奠基性科学家，被称为“人工智能教父”，从 Google 离职后，持续呼吁谨慎对待 AI 技术，成为 AI 对齐派的代表。

OpenAI 首席科学家 Ilya 正是辛顿最得意的弟子，他在 OpenAI 内部推动一项名为“超级对齐计划”的项目，来确保 AI 机器与人类的意图和价值观保持一致。让 AI 理解人类的明确意图以及隐含意图，例如真实性、公平性和安全性。OpenAI「超级对齐」团队成立于 2023 年 7 月，目标是在四年内解决超智能 AI 的对齐问题，即搞清楚如何构建一种值得信任的人类水平的研究器，然后将其用于解决对齐问题。据说这个团队投入了公司 20% 的算力。

https://cdn.openai.com/papers/weak-to-strong-generalization.pdf

那不能先推出 AGI，再修正呢？Ilya 认为不能，他认为技术的本质类似于人类的生物进化（这点讽刺地和 e/acc 的人一致）。但他认为进化的起点很重要。如果进化的开始，是一个没有「无条件对人类的爱」的 AI，那最终也一定会把我们人类带到沟里去。

此前，OpenAI 的两名独立董事 Helen Toner 和 Tasha McCauley 都具有对齐派倾向。这就是 OpenAI 对 GPT 采取的^[16]方法。这个想法类似于在新车上安装售后排气系统，以调整特定方向的行为。比如，先培养一个无约束的LLM^[17]；然后进行RLHF^[18]培训，以符合人类价值观。如果一切顺利，当我们达到 AGI 和 ASI 时，可以扩大这种方法的规模。

海因莱因的 《严厉的月亮》 就讲人工智能可以爱人类保护人类，《严厉的月亮》讲的是月球成为人类流放罪犯的地方，整个月球被一个人工智能管理。后来，这里发生了叛乱，人工智能最终选择牺牲自己拯救人类。多科幻小说都探讨了人类与 ASI 之间的潜在关系，他们对人类来说就像神一样。《海伯利安诗章》^[19]和《深海之火》^[20]是两个著名的例子；还有更多。

参考资料