AGI 权利的游戏：Openai 致马斯克书
前几天马斯克吧 openai 告了，说他们脱离了非盈利组织造福人类的初心，然后独占 AGI 很危险之类的云云，而且他把 openai 几乎所有重要人物都告了，唯独没有 Ilya 的名字，但是这一次的 openai 回击的文章里却赫然的看到了 Ilya 的名字。马斯克的爱被辜负了真是让人唏嘘。这篇文章里整理了历年来往的信件来反击马斯克的论点，尤其是为了 AGI 的安全是否要开放 AGI，Openai 的观点是不开放仍然可以造福人类，甚至更安全的造福人类，它还找出了之前跟马斯克的信件说马斯克其实早就知道这个并且知道为什么，言外之意就是他明明认可不开放的原因但是还是拿着这个作为控告他们的理由，值得注意的这个信件还是 Ilya 写的。马斯克可能以为Ilya 是同盟，或者可以利用下Ilya，但是很明显Ilya 不那么认为。另外最关键的是是否盈利，文章中强调了 AGI 的实现需要耗费远超出人们想象的资源，所以几乎不可能在非盈利的情况下实现。其实这点应该是实话，毕竟 openai 在 chatgpt 发布之前已经经历过很多次财务危机，尤其是在马斯克撤资之后。
- Musk 在 2018 年底开始觉得 Openai 花的太多了，养不起还没啥产出。
- 我这么说都是有证据的，你看看这些来往邮件，还有你最爱的 ilya 呢。
- 你现在是竞争对手了所以才突然跳出来给我们莫须有的指责。
- 我们在没有你的情况下，实现了重大突破，你反过来控告我们。
- 你自己赞同的 openai 可以不用那么 open。
https://openai.com/blog/openai-elon-musk#email-4OpenAI 的使命是确保人工通用智能 (AGI) 能造福全人类,这意味着既要创建安全有益的 AGI,也要帮助创造广泛分布的利益。我们现在分享我们为实现这一使命所学到的经验教训,以及一些关于我们与埃隆·马斯克的关系的事实。我们打算驳斥埃隆·马斯克提出的所有指控。我们意识到建立 AGI 将需要比我们最初想象的更多资源埃隆曾说我们应该为 OpenAI 宣布最初 10 亿美元的资金承诺。总的来说,这个非营利组织从马斯克那里筹集的资金不到 4500 万美元,而从其他捐助者那里筹集的资金超过 9000 万美元。2015 年底成立 OpenAI 时,Greg 和 Sam 最初计划筹集 1 亿美元资金。埃隆在一封邮件中说:"我们需要比 1 亿美元更大得多的数字,以免听起来毫无希望......我认为我们应该说我们的初始资金承诺是 10 亿美元......任何其他人无法提供的部分我都会承担。"[1] 我们花费了大量时间设想通向 AGI 的可能路径。2017 年初,我们意识到建立 AGI 需要海量的计算资源。我们开始计算 AGI 可能需要的计算资源量。我们都理解我们需要更多的资金来实现我们的使命——每年数十亿美元,这远远超过了我们任何人,特别是马斯克所能筹集到的作为一个非营利机构的资金。当我们讨论成立一个营利实体以推进使命时,埃隆希望我们与特斯拉合并,或者他能完全控制 OpenAI。埃隆离开了 OpenAI,称有必要出现一个与谷歌 /DeepMind 相关的竞争者,而且他将亲自去做。他说他会支持我们寻找自己的道路。2017 年底,我们和埃隆决定为这一使命的下一步是创建一家营利实体。埃隆想要大多数股权、最初的董事会控制权和 CEO 职位。在这些讨论过程中,他扣押了资金。雷德·霍夫曼为覆盖工资和运营资金提供了支持。 我们无法就营利实体与马斯克达成协议,因为我们认为让任何个人对 OpenAI 拥有绝对控制权都有违我们的使命。然后他建议把 OpenAI 并入特斯拉。2018 年 2 月初,马斯克转发给我们一封电子邮件,建议"OpenAI 应该把特斯拉作为其资金牛",并评论说"这正是......特斯拉是唯一一条可能与谷歌媲美的道路。即便如此,成为与谷歌抗衡的力量的概率也非常小。但它并非为零。"[2] 很快,马斯克决定离开 OpenAI,称我们成功的概率为 0,他计划在特斯拉内部建立一个 AGI 竞争者。当他于 2018 年 2 月底离开时,他告诉我们他支持我们自己寻找筹集数十亿美元的道路。2018 年 12 月,马斯克给我们发了一封电子邮件说"即使筹集到几亿美元也还是不够。这需要立即每年数十亿美元,不然就放弃吧。"[3] 我们正在以赋能人们、改善日常生活的方式使我们的技术广为人知,包括通过开源贡献。我们提供了对当今最强大人工智能的广泛接入权,包括一个每天供数亿人使用的免费版本。例如,阿尔巴尼亚正在利用 OpenAI 的工具加速其加入欧盟的进程,可能提前 5.5 年;Digital Green 通过构建在 OpenAI 之上,将农业推广服务的成本降低 100 倍,从而帮助提高肯尼亚和印度农民的收入;罗得岛最大的医疗服务提供商 Lifespan 使用 GPT-4 将其手术知情同意书的阅读水平从大学水平降低到六年级水平;冰岛正在利用 GPT-4 保护冰岛语言。马斯克理解我们的使命并不意味着公开人工通用智能的源代码。正如 Ilya 告诉马斯克的:"当我们越来越接近建立人工智能时,减少公开的做法就会更有意义。openAI 的'Open'意味着每个人都应该从人工智能的成果中获益,但不公开科学研究过程是完全可以的……",马斯克回复说:"对"[4] 我们为事态发展到这种程度感到难过 - 一个曾经深受我们敬佩、鼓舞我们树立更高目标的人,后来却告诉我们注定会失败,并开始竞争对手关系,甚至在我们在没有他的情况下朝着 OpenAI 的使命取得了有意义的进展时还控告了我们。我们目前专注于推进我们的使命,还有很长的路要走。随着我们不断完善这些工具,我们很高兴能够部署这些系统,赋能每个个体。日期:2015 年 11 月 22 日周日 晚上 7:48博客听起来不错,假设对于偏向于 YC 而非中立的部分作出调整。我倾向于让博客更有吸引力,以吸引一般大众——大众为我们成功壮大而欢呼是非常有价值的——然后再推出一个更长、更详细、更内部的版本,用于招聘,并在面向公众的版本末尾链接到内部版本。我们需要比 1 亿美元更大得多的数字,以免在与谷歌或 Facebook 的支出相比时听起来毫无希望。我认为我们应该说我们的初始资金承诺是 10 亿美元。这是真实的。任何其他人无法提供的部分我都会承担。模板看起来不错,只要把默认的现金奖金改为可选择转换为 YC 或可能是 SpaceX( 需要了解这会占多少 ) 的股票就行。收件人:Ilya Sutskever <>, Greg Brockman <> 日期:2018 年 2 月 1 日 上午 3:52这正是......尽管我们不愿如此,但在我和 H 的看来,特斯拉是唯一一条可能与谷歌媲美的道路。即便如此,成为与谷歌抗衡的力量的概率也非常小。但它并非为零。日期:2018 年 1 月 31 日 晚上 11:54在人工智能前沿工作是非常昂贵的。例如,除了 DeepMind 之外,谷歌还有谷歌大脑、研究团队和云团队。他们还拥有 TensorFlow、TPU,并且掌控了近三分之一的所有研究 ( 事实上,他们还自己举办人工智能会议 )。 我也非常怀疑,计算能力将是达到 AGI 所必需的 ( 甚至可能是足够的 ) 条件。如果以往的趋势有任何指示意义的话,人工智能的进展主要是由系统 ( 计算、数据、基础设施 ) 驱动的。我们今天使用的核心算法在很大程度上保持不变,可以追溯到 90 年代。不仅如此,任何在论文中发表的算法进步几乎都可以立即被重新实现并纳入使用。相反,仅凭算法进步是无力的,如果没有规模让它们足以令人恐惧的话。看起来 OpenAI 如今在燃烧现金,而且其资金模式无法达到与谷歌 ( 一家 8000 亿美元的公司 ) 真正竞争所需的规模。如果你无法与之真正竞争,但继续在公开场合进行研究,你实际上可能会使情况变得更糟,因为他们可以很容易地复制和立即纳入任何成果,而且是大规模的。转向营利性可能会随着时间的推移创造一个更可持续的收入来源,并且凭借现有团队,可能会吸引大量投资。然而,从头开始构建产品将会分散对人工智能研究的注意力,这需要很长时间,而且一家公司能否"赶上"谷歌的规模仍是未知数,投资者也可能施加过多的压力,导致错误的方向。我能想到的最有前景的选择,就如我之前提到的,就是让 OpenAI 与特斯拉合作,作为其资金牛。我相信与其他大公司合作 ( 例如苹果?亚马逊?) 会失败,因为公司基因不兼容。用火箭类比,特斯拉已经建立了火箭的"第一级",具备了整个 Model 3 供应链、车载计算机和持久互联网连接。"第二级"将是基于大规模神经网络训练的全自动驾驶解决方案,OpenAI 的专业知识可以大大加速这一进程。如果我们在 2-3 年内真正做好了全自动驾驶,我们可以卖出大量汽车 / 卡车。如果我们做得非常出色,运输业足够庞大,我们可以将特斯拉的市值增加到高 O( 约 10 万亿 ),并利用这些收入以适当的规模为人工智能工作提供资金。我看不到在 10 年内有任何其他途径可能获得与谷歌同等规模的可持续资金。收件人: Ilya Sutskever <>, Greg Brockman <>日期: 2018 年 12 月 26 日 下午 12:07我对 OpenAI 在执行和资源方面没有发生巨大变化的情况下,与 DeepMind/ 谷歌相关的概率评估是 0%。不是 1%。我希望事实并非如此。即使筹集到几亿美元也还是不够。这需要立即每年数十亿美元,不然就放弃吧。不幸的是,人类的未来掌握在他们手中。他们所做的远不止如此。我真希望我是错的。收件人: Sam Altman <>, Ilya Sutskever <>, Greg Brockman <>日期: 2016 年 1 月 2 日 上午 8:18日期: 2016 年 1 月 2 日 上午 10:12祝贺成功着陆猎鹰 9 号,真是一项了不起的成就。现在是时候建设整个舰队了!我看到你 ( 还有萨姆和其他 OpenAI 的人 ) 最近做了很多采访,大力赞扬开源人工智能的好处,但我猜你意识到,这并不是某种能够神奇地解决安全问题的万能良药?有很多理由表明,你们正在采取的方法实际上是非常危险的,事实上可能会增加世界的风险。其中一些更明显的论点已在这篇博客文章中有所阐述,我相信你已经看过,但还有其他重要的考虑因素:http://slatestarcodex.com/2015/12/17/should-ai-be-open/收件人: Elon Musk <>, Sam Altman <>, Greg Brockman <> 日期: 2016 年 1 月 2 日 星期六 上午 9:06 这篇文章担心的是一种硬着陆场景:如果发生硬着陆,而且构建安全的人工智能比不安全的更加困难,那么通过开源一切,我们就为那些拥有压倒性硬件资源的不道德者提供了轻松构建不安全人工智能 ( 将经历硬着陆 ) 的途径。当我们越来越接近建立人工智能时,减少公开的做法就会更有意义。openAI 的'Open'意味着每个人都应该从人工智能的成果中获益,但不公开科学研究过程是完全可以的 ( 即便在短期乃至中期,为了招聘目的,分享一切无疑是正确的策略 )。日期: 2016 年 1 月 2 日 星期六 上午 9:11
主题: 转发: 祝贺猎鹰 9 号
【免责声明】市场有风险，投资需谨慎。本文不构成投资建议，用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。
