「大模型的安卓」也不好过,Meta内部「算力宫斗」,一半Llama核心团队已离职

尽管凭借 Llama,Meta 已经拿下了「大模型里的安卓」的名头,但据科技媒体 The Information 报道,团队内部实际上充满了混乱和内斗,许多参与开发的工程师和科学家都已经离职。知情人士表示,2 月份发表的 Llama 原始研究论文的 14 位作者中,有一半以上已经离开了公司,有几位去了人工智能初创公司或其他大公司。

在过去半年的 AI 混战里,提供免费开源大模型的 Meta,成了与眼里只有生意的谷歌、微软&OpenAI 截然相反的平民英雄。

然而,尽管凭借 Llama,Meta 已经拿下了「大模型里的安卓」的名头,但据科技媒体 The Information 报道,团队内部实际上充满了混乱和内斗,许多参与开发的工程师和科学家都已经离职。知情人士表示,2 月份发表的 Llama 原始研究论文的 14 位作者中,有一半以上已经离开了公司,有几位去了人工智能初创公司或其他大公司。

算力宫斗

导致 Meta 内斗的主因,是算力。

以图灵奖得主 Yann LeCun 为首的 The Fundamental AI Research (FAIR) 实验室,主导着 Meta 的 AI 研究和开发。FAIR 在加州、纽约、巴黎、伦敦等地都有分支机构,但各地实验室之间缺乏统筹,甚至可以称得上山头林立。

例如,2022 年 5 月,一个主要位于美国的 FAIR 团队发布 OPT-175B,对标 OpenAI 的 GPT-3,据称能耗比 GPT 更低,这个团队也在开发对标谷歌 PaLM、参数量级更大的模型。

与此同时,FAIR 巴黎团队也在开发他们的大模型——即 Llama,后者的参数比 OPT 要小,因为巴黎团队相信,小模型在推理方面效率更高。

多线并进没有给 Meta 带来好结果。英伟达的算力供给昂贵而有限,即使是 Meta,也没有足够的 GPU 满足两个团队同时推进。

两位直接知情人士对 The Information 表示,由于 Meta 的 GPU 资源不足,巴黎团队和美国团队关系变得越来越紧张。据知情人士透露,巴黎团队获得的算力配额比美国团队要少。

FAIR 负责人 Joelle Pineau 对 The Information 表示,算力分配是由多部门的中层领导每月开一次会来决定的,主要考虑的是组织的优先级,以及项目发布日期。如果员工们对算力分配有异议,需要层层上报等 Pineau 来定夺。

在采访中,Pineau 承认 Llama 与 OPT 各自的开发团队在这个问题上「有些紧张」。

据 The Information 了解,许多研究人员实际上都不理解 FAIR 为什么要采取多线并进的方式。两个团队都在做大模型,看起来似乎是在鼓励内部竞争。

内斗再加上 Meta 去年底的大裁员和公司组织调整,Llama 和 OPT 的开发团队都出现了士气问题,多位关键研究人员选择离职加入其他大科技公司或 AI 初创企业。

直到今年 2 月份,FAIR 终于把两家人马收拢到一起,全力开发 Llama2,而 OPT 模型则被彻底放弃。原因倒不在于 Llama 比 OPT 出色,而是因为没人了——5 月份 OPT 论文的 19 位作者中,已经有一半离开了 Meta。

商业化转向提速 FAIR 未来命运存疑

从去年 11 月开始,Meta CEO 扎克伯格开始在全公司范围内进行裁员,FAIR 也未能幸免。

此外,今年 2 月,Meta 成立了一个新团队,专注于自家 App 开发 AI 功能。新团队由苹果前高管 Ahmad Al-Dahle 负责,从 FAIR 吸纳了大量人员。据 Pineau 称,其中包括开发 Llama 2 的团队。

更重要的是,AI 热潮之下,FAIR 所肩负的使命也发生了微妙的变化。之前,它和 OpenAI 一样,是一个由研究人员领导的学术研究机构,以人工智能领域技术攻坚为核心使命。但扎克伯格后来愈发希望加速令 AI 技术商业化。

即使有了 Llama 2 后来的大获成功,也没有改变 FAIR 的命运。开源模型变成了 Meta 打造声誉、吸引用户、创造营收的有力工具。

在上半年 Llama 2 爆红,AI 研究人员纷纷对其进行魔改之际,扎克伯格就已经开始憧憬,随着开发者对模型的改进,他可以进一步把 AI 融入广告和消费产品中。未来,像 OpenAI 一样背负商业化压力,可能是 FAIR 必然的道路。

矢量AI门户网,优质AI资讯内容平台

(0)
上一篇 2023年9月6日 下午3:22
下一篇 2023年9月8日 上午11:58

相关推荐

  • 最赚钱的 AI APP?不是 ChatGPT

    自从今年 5 月在移动设备上发布以来,ChatGPT 的下载量和收入都在持续增长。根据应用分析公司 Apptopia 对 AI 应用市场的分析,ChatGPT 仅在 iOS 上发布的第一个月,下载量就突破了 390 万次,到今年 6 月,下载量增长到了 1510 万次。随后在 7 月份略有下降之后再次增长,到 2023 年 9 月下载量突破 2300 万次。

    2023年10月31日
    157
  • 大模型「瘦身」进手机 ,下一个iPhone时刻将至?

    相比 ChatGPT、Midjourney 等 AI 应用依赖云端服务器提供服务,端侧大模型主打在本地实现智能化。它的优势在于能够更好地保护隐私,同时让手机能通过学习成为用户的私人智能助手,还不必担心云端服务器宕机等问题。

    2023年8月9日
    110
  • 用ChatGPT分析20,000多种债券!LTX推出BondGPT+

    早在今年6月6日,LTX便推出了BondGPT,收到了庞大金融客户群体的好评和积极反馈后,在此基础之上继续开发了BondGPT+。BondGPT+是基于OpenAI的GPT-4模型,结合自身海量优质金融数据微调而成。与前一代相比,BondGPT+支持公司或第三方数据集成,内容生成偏好设置,债券高级搜索,企业级安全和管理等全新功能。

    2023年10月23日
    144

发表回复

登录后才能评论