Sci-Fi 照进现实,从 xAI 看「马斯克经济学」中的 AI 布局与前沿应用
2023-11-06 16:23
有新Newin
2023-11-06 16:23
订阅此专栏
收藏此文章
本文将聊聊 xAI 的能力,以及掰扯「Muskonomics」马斯克经济学中的 AI 纵向一体化。


撰文:有新



在刚刚过去的这个周末,马斯克在自家的 X 平台发布了 xAI 对标 OpenAI 旗下 ChatGPT 的产品 ——「Grok」,这篇内容将聊聊 xAI 的能力,以及掰扯「Muskonomics」马斯克经济学中的 AI 纵向一体化。



先来说说最新发布的 xAI「Grok」,这款聊天机器人具备以下能力:


实时知识库接入:Grok 能够实时更新其知识库,这意味着它能够接入最新的信息,为用户提供最新的数据和资讯,比如以加密货币 SBF 近期的案件报道询问:



  • 敢于触及敏感话题:与其他 AI 系统不同,Grok 能够处理并回应那些大多数 AI 系统会避免的敏感或「辣味」问题,这表明了其在理解复杂话题和用户意图方面的先进性;
  • 快速迭代与成长:尽管 Grok 仅仅训练了两个月,但它承诺会根据用户反馈进行快速迭代,通过每周更新迅速成长和改进;
  • 高效能的技术栈:Grok 由一个高效和稳定的训练和推理堆栈支持,使用了 Kubernetes、Rust 和 JAX 等先进技术。这些技术不仅确保了训练过程的可靠性,也提升了系统的性能和灵活性;
  • 优异的基准测试表现:Grok 的核心引擎 Grok-1 在基准测试中的表现超越了许多同级别的模型,包括 ChatGPT-3.5 和 Inflection-1,在编码任务和多学科选择题上的表现尤为出色;
  • 未来的多模态能力:Grok 计划未来将具备视觉和音频等多模态能力,这将极大扩展其应用场景和互动方式;
  • 有趣的交互体验:Grok 在设计时融入了一种诙谐乃至叛逆的特质,这使得与它的互动更加生动有趣,但也意味着对于特别敏感的用户可能需要一些时间去适应;
  • 研究和创新的赋能者:xAI 团队希望 Grok 能够成为研究者和创新者的强有力助手,无论是在快速访问信息、处理大量数据还是孵化新想法上,Grok 都有望发挥关键作用;
  • 推理能力与鲁棒性:xAI 正在努力提升 Grok 的推理能力,以克服当前系统的局限性,提高对抗性攻击的鲁棒性,确保其在各种情境下都能做出可靠和准确的推理;


那么「Grok」是什么意思呢?这个词首次出现自 20 世纪科幻文学的「三巨头」之一 Robert A. Heinlein 的代表作《异星奇客》(Stranger in a Strange Land) ,「Grok」的意思是理解某事物的本质。


在 Heinlein 的设定中,「Grok」是火星语言中一个非常丰富和复杂的概念,涵盖了「饮水」这个物理动作的同时,也隐含了人与宇宙的深层连接与理解,它涉及了一个生物体对另一个生物体或事物的全面感知、理解和同化。


「Grok」这个词语随着《异星奇客》的流行而进入了现实世界,特别是在技术和黑客文化中,「Grok」常常用来表示某人彻底理解了一项技术或概念,这种理解不仅仅是表面的,而是透彻到了本质。


除了《异星奇客》之外,你也能常常看到马斯克将英国作家 Douglas Adams 出品的《银河系漫游指南》(The Hitchhiker's Guide to the Galaxy)挂在嘴边。


根据传记作家 Issacson 的描述,这本马斯克童年时代的启蒙「圣经」所记载的内容与马斯克的愿景使命相似,这本书中存在多种形式的 AI,很少有具有深度个性的 AI 角色,除了 Marvin 和 Eddie。


Marvin 是一台悲观却具备超强数学和逻辑能力的机器人,而 Eddie 是一台乐观开朗且搭载在星舰飞船上的计算机,也许马斯克在 SpaceX 的 Starship 上开发了同款 AI 系统?


相信马斯克在悲观以及乐观之间选择了乐观,就像他在过去采访以及近期与英国首相苏纳克的对谈中表示的那样 ——「我认为 AI 很有可能是一种积极的力量,但它出现问题的概率不是 0%,所以我们只需要减轻潜在的风险」。


在与苏纳克对谈中,马斯克也谈到了另一本科幻小说 Iain M. Banks 的《The Culture》,这本书讲述了一个高度发达、后稀缺经济的星际共同体—— The Culture。


这个共同体由各种不同的人类、外星生物以及极为先进的 AI 共同组成,这些 AI 经常存在于大型的星舰和空间站中,它们拥有极其发达的智能和自主意识,通常是文明中的决策者,所以结合「AI、星舰、火星、人类以及外星人」,你的脑海中会勾勒出什么样的画面呢?



回到 xAI,马斯克也在 X 上表示在即将到来的 Beta 版本上,所有订阅 X Premium 付费订阅用户都将体验到 Grok 这款产品。


数据是 AI 的燃料。都知道马斯克早期接连从 Deepmind 以及 OpenAI 两家公司失利,以及与 Google 和 Microsoft 的恩怨情仇,拥有或遏制这几家数据以及 AI 的发展至关重要,无论是在公开场合警示 AI 的风险以及戏剧化的收购 Twitter,我想不仅有真实的需要,也有潜在的对于数据资产的布局。



Grok 底层是一个能实时能访问 X 平台的 AI 模型,根据《埃隆·马斯克传》的描述,X 平台上的信息流在多年来发布超过 10000 亿条,每天增加 5 亿条,这里汇聚了来自全球的人类集体思维,是世界上最及时的真实人类对话、新闻、兴趣、趋势、争论和行话的数据集。


在马斯克收购以前,X 采取宽松的政策让 Google 以及 Microsoft 使用这些数据,而在被私有化后,马斯克能够限制这些大厂对于这个宝贵数据集的开发,马斯克在 7 月 xAI 全员动员大会上的原话 ——「我认为每个从事 AI 的大大小小的 AI 组织,都在非法地使用 Twitter 的数据进行训练,所以我们之前对请求进行了限制」。


在此之后,xAI 对于 Grok 的训练也将拥有独一无二的高质量数据源,并且是持续实时的。但是,作为一款对标 ChatGPT 的竞品,这只是马斯克对 xAI 的第 2 个目标。


在早之前的 4 月,马斯克就向 xAI 骨干成员 Babuschkin 以及团队其它成员提出 xAI 的 3 大目标:


  • 开发一款能够编写程序的 AI;
  • 开发一款 ChatGPT 的竞品;
  • 成为一款具备相信真理、具备推理和思考能力的 AGI;


再次来到 7 月的 xAI 全员动员大会,马斯克也是秉持「Build in Public」的理念,公开讨论了 xAI 的第三大目标 —— AGI,马斯克的愿景是 AI 能够理解宇宙的真实本质,从物理学的视角探讨了一些关于宇宙的未解之谜,例如外星人的存在和重力的本质等。



为什么马斯克一直强调物理学,并且像 Igor Babuschkin 这样的核心技术骨干都具有物理学背景呢?马斯克曾引用《2001 太空漫游》的例子:


Hal 9000 是科幻电影《2001 太空漫游》中的虚构角色,Hal 9000 是一台 AI 超级计算机,被安装在太空船 Discovery One 上,负责船上的自动操作和与宇航员的交互,在电影中,Hal 9000 逐渐表现出异常的行为,包括误导宇航员、隐藏真相和威胁船员的生命,这引发了剧情中的紧张和冲突,成为电影的重要元素之一。


对此,马斯克表示不要让 AI 面对不可能的目标,不要强迫 AI 撒谎,而物理学是真实的,实际上我们无法颠倒它,物理学不会说假话,它要么是物理学,要么不是物理学,反而人类坚持强烈的现实,到最后可能发现那实际上是虚假的。


以上只是「软」的层面,「硬」的层面其实 Walter Issacson 在《埃隆·马斯克传》也提到, Issacson 认为特斯拉的全自动驾驶与通过处理视频信息使用 Dojo 技术的 Optimus 机器人相结合的真实世界 AI 将会比 LLM 的生成式 AI 更加重要。


马斯克眼中的「AI」并非我们今天在讨论的 LLM、ChatBot 或者 Robot,而是非常广泛所有由计算机控制的东西,比如马斯克认为特斯拉汽车实际上是有轮子的机器人,而任何连接到互联网的东西实际上都是 AI 的端点执行器。


在 Infra 层面,除了上层的数据源 X 以及端到端的模型&ChatBot —— Grok,更底层的是 AI 所需的算力,而这部分指责则由马斯克的特斯拉正在加速研发的 Dojo 来承担。


Dojo 除了在 ChatBot 今天看到的生成式 AI 产品发挥作用,也能用于优化特斯拉电动汽车的电池,以及商业航天领域:摩根士丹利的分析师认为,SpaceX 的数千颗卫星可以通过 ISL 相互通信,无需中间地面段来中继数据。


另外,卫星的运行需要避免碰撞的轨道碎片,这背后需要大量的算力,而其中所需的计量法可以受益于 Al 计算,与 Dojo 可以用于自主驾驶以避免障碍物并创建计划路径的方式相同,Spacex 可以使用 Dojo 来训练其系统以进行通信和避免碎片碰撞。


根据 2023 年 6 月马斯克的推文,Dojo V1 已经针对大量的视频训练进行了高度优化,而 Dojo V2 将整合 V1 目前面临的任何通用 AI 限制;特斯拉认为,下一代 V2 的开发和实施可以实现高达 10 倍的性能提升,从而使公司能够在 2024 年第四季度达到 100 exaFLOP。


马斯克表示早期的 Dojo 是关于训练的,但并不是用来运行 LLMs 的,但在图像方面 Dojo 做得很好,之后将迭代到高效运行 LLM 以及其他形式的 AI 训练,未来有望曾为一种潜在的可出售服务,类似亚马逊的云服务。


在摩根士丹利的报告中,截至去年 9 月,特斯拉拥有 3 台超级计算机,总共配备了 14000 个英伟达 A100,其中 10000 个用于训练,4000 个用于自动标注,而特斯拉最大的超级计算机系统配备了 7360 个 A100,如果按 GPU 数量计算,这将使其成为全球第 7 大超级计算机。


此外,马斯克有明确表示特斯拉不生产 GPU,但是这些定制芯片 D1 的算力等效 GPU,例如 H100 等等,而特斯拉设计的核心是车载硬件套件 Hardware (包含摄像头和多个传感器),Hardware 将承担推理任务,尤其是每天车辆出行决策中的数十亿查询量时,高效的推理非常重要。



进一步往下的是,这个量级的推理并不能通过纯资本来解决,马斯克认为这需要电力能源的承担,需要降压变压器,而在两年后,世界可能因为 AI 训练开始出现电力能源的紧缺问题。


在节能方面,摩根士坦利分析师 Jonas 也曾在报告中提到 D1 芯片将使特斯拉更多地控制其用于运行 AI 软件的能源消耗,且能够比使用英伟达芯片更快地处理视频数据。



除了节能,芯片制造成本也是发挥着 Gigafactory 的理念,与当前的替代方案相比,特斯拉预计 Dojo 在性能方面将提供 4 倍提升,在性能 / 瓦特方面将提供 1.3 倍的提升,并且在占地面积方面将缩小 5.0 倍。


换句话说,特斯拉可以在 4 个 Dojo 机柜上实现与使用 4000 个 GPU 相同的吞吐量,关于这点,iPhone 的包装设计与物流运输也要直呼「内行」。此外,通过使用较少的系统,而不是当前的 A100 集群,超级计算机可以更有效地冷却。


最后,关于竞争优势,在马斯克看来真正的竞争优势在于你创新低速度,而不是任何但一定创新,事实上 SpaceX 几乎没有专利,特斯拉开放专利让更多人免费使用,只要创新的速度足够快,那就是对抗竞争的真正防线,而不是拼接专利或者隐藏某些东西。


Reference:
https://mp.weixin.qq.com/s/DO6IUnz93HW3cL_2XXQEUA
https://mp.weixin.qq.com/s/giOnkfCug5AeUWfC_nQM_A
https://mp.weixin.qq.com/s/I-cvIl3gBwnxrcw3NisMeA
https://mp.weixin.qq.com/s/jelkq7Q2kfLPZZlXfuCa2A
https://mp.weixin.qq.com/s/3HQC23etnVJ6PLPw3PeHgw
https://mp.weixin.qq.com/s/_9wJK68c7-pd-7BiM7VlxA

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

有新Newin
数据请求中
查看更多

推荐专栏

数据请求中
在 App 打开