「大模型的安卓」也不好过,Meta 内部「算力宫斗」,一半 Llama 核心团队已离职
行业观察
2023-09-06 14:28
订阅此专栏
收藏此文章
Meta 是市场上最出色的开源大模型提供方,但据报道,该公司内部存在混乱和内斗,许多工程师和科学家已经离职,主要原因是 Meta 内部团队之间在算力分配上存在分歧。


撰文:常嘉帅

来源:华尔街见闻


在过去半年的 AI 混战里,提供免费开源大模型的 Meta,成了与眼里只有生意的谷歌、微软&OpenAI 截然相反的平民英雄。


然而,尽管凭借 Llama,Meta 已经拿下了「大模型里的安卓」的名头,但据科技媒体 The Information 报道,团队内部实际上充满了混乱和内斗,许多参与开发的工程师和科学家都已经离职。知情人士表示,2 月份发表的 Llama 原始研究论文的 14 位作者中,有一半以上已经离开了公司,有几位去了人工智能初创公司或其他大公司。


算力宫斗


导致 Meta 内斗的主因,是算力。


以图灵奖得主 Yann LeCun 为首的 The Fundamental AI Research (FAIR) 实验室,主导着 Meta 的 AI 研究和开发。FAIR 在加州、纽约、巴黎、伦敦等地都有分支机构,但各地实验室之间缺乏统筹,甚至可以称得上山头林立。


例如,2022 年 5 月,一个主要位于美国的 FAIR 团队发布 OPT-175B,对标 OpenAI 的 GPT-3,据称能耗比 GPT 更低,这个团队也在开发对标谷歌 PaLM、参数量级更大的模型。


与此同时,FAIR 巴黎团队也在开发他们的大模型——即 Llama,后者的参数比 OPT 要小,因为巴黎团队相信,小模型在推理方面效率更高。


多线并进没有给 Meta 带来好结果。英伟达的算力供给昂贵而有限,即使是 Meta,也没有足够的 GPU 满足两个团队同时推进。


两位直接知情人士对 The Information 表示,由于 Meta 的 GPU 资源不足,巴黎团队和美国团队关系变得越来越紧张。据知情人士透露,巴黎团队获得的算力配额比美国团队要少。


FAIR 负责人 Joelle Pineau 对 The Information 表示,算力分配是由多部门的中层领导每月开一次会来决定的,主要考虑的是组织的优先级,以及项目发布日期。如果员工们对算力分配有异议,需要层层上报等 Pineau 来定夺。


在采访中,Pineau 承认 Llama 与 OPT 各自的开发团队在这个问题上「有些紧张」。


据 The Information 了解,许多研究人员实际上都不理解 FAIR 为什么要采取多线并进的方式。两个团队都在做大模型,看起来似乎是在鼓励内部竞争。


内斗再加上 Meta 去年底的大裁员和公司组织调整,Llama 和 OPT 的开发团队都出现了士气问题,多位关键研究人员选择离职加入其他大科技公司或 AI 初创企业。


直到今年 2 月份,FAIR 终于把两家人马收拢到一起,全力开发 Llama2,而 OPT 模型则被彻底放弃。原因倒不在于 Llama 比 OPT 出色,而是因为没人了——5 月份 OPT 论文的 19 位作者中,已经有一半离开了 Meta。


商业化转向提速 FAIR 未来命运存疑


从去年 11 月开始,Meta CEO 扎克伯格开始在全公司范围内进行裁员,FAIR 也未能幸免。


此外,今年 2 月,Meta 成立了一个新团队,专注于自家 App 开发 AI 功能。新团队由苹果前高管 Ahmad Al-Dahle 负责,从 FAIR 吸纳了大量人员。据 Pineau 称,其中包括开发 Llama 2 的团队。


更重要的是,AI 热潮之下,FAIR 所肩负的使命也发生了微妙的变化。之前,它和 OpenAI 一样,是一个由研究人员领导的学术研究机构,以人工智能领域技术攻坚为核心使命。但扎克伯格后来愈发希望加速令 AI 技术商业化。


即使有了 Llama 2 后来的大获成功,也没有改变 FAIR 的命运。开源模型变成了 Meta 打造声誉、吸引用户、创造营收的有力工具。


在上半年 Llama 2 爆红,AI 研究人员纷纷对其进行魔改之际,扎克伯格就已经开始憧憬,随着开发者对模型的改进,他可以进一步把 AI 融入广告和消费产品中。未来,像 OpenAI 一样背负商业化压力,可能是 FAIR 必然的道路。

【免责声明】市场有风险,投资需谨慎。本文不构成投资建议,用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资,责任自负。

行业观察
数据请求中
查看更多

推荐专栏

数据请求中
在 App 打开