GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

今年 2 月,微软正式发布新必应(New Bing),其中结合了 ChatGPT 和自家的普罗米修斯(Prometheus)模型。在GPT-4 公布后,微软紧接着宣布,GPT-4 整合到必应中,将搜索体验带上了一个新台阶。微软搜索主管 Mikhail Parakhin 近日表示,Bing Chat 目前在「创意」和「精准」模式下使用的是 100% 的 GPT-4。

GPT-4 太吃算力,连微软也顶不住了!

今年,无数场微软 AI 大会上,CEO 纳德拉台前激动地官宣,将 GPT-4、DALL·E 3 整合到微软「全家桶」。

微软全系产品已被 OpenAI 的模型重塑,愿景是让 AI 成为每个人的生活伴侣。

然而在幕后,因 GPT-4 运行成本太高,微软却悄悄地搞起了 plan B。

The Information 独家爆料称,为了摆脱对 OpenAI 的依赖,由 Peter Lee 领导的 1500 人研究团队中,一部分人转向研发全新对话式 AI。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

据称,研发的模型性能可能不如 GPT-4,但参数规模小,研究成本更低,运行速度更快。

目前,微软已经在必应聊天等产品中,开启了内测。

不仅是微软,包括谷歌在内的其他科技巨头,正在另辟蹊径,以在 AI 聊天软件和芯片两方面节省成本。

而 Llama 2 宣发时微软与 Meta 的合作,也不啻是一种摆脱完全依靠 OpenAI 的手段。

这是微软帝国继续向前成长、突破当前局限,注定要走的路。

更「精炼」的模型,必应先尝鲜

今年 2 月,微软正式发布新必应(New Bing),其中结合了 ChatGPT 和自家的普罗米修斯(Prometheus)模型。

在 GPT-4 公布后,微软紧接着宣布,GPT-4 整合到必应中,将搜索体验带上了一个新台阶。

微软搜索主管 Mikhail Parakhin 近日表示,Bing Chat 目前在「创意」和「精准」模式下使用的是 100% 的 GPT-4。

而在平衡模式下(多数用户选择的模式),微软用普罗米修斯模型,以及图灵语言模型(Turing language models)作为补充。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

普罗米修斯模型是技能和技术的集合体。而图灵模型不如 GPT-4 强大,旨在识别和回答简单的问题,并将更难的问题传递给 GPT-4。

微软内部,已经将其手头的 2000 块 GPU 中的大部分,都投入到了「小模型」的训练当中。当然,这与微软提供给 OpenAI 的芯片数量相比,只能说是小巫见大巫了。

不过,这些模型可以执行比 GPT-4 更简单的任务,也是微软为破冰所作的努力。

打破 OpenAI 束缚

多年来,微软与 OpenAI 这两家公司,保持着千丝万缕的联系。

但是,随着 ChatGPT,微软必应等全家桶竞相推出,微软与 OpenAI 也开始秘密开展市场角逐战。

尽管微软的努力仍处于早期阶段,但纳德拉正带领微软,为自家 AI 产品开辟一条不完全依赖 OpenAI 的路。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

「这终究还是要发生的」,Databricks 的高管 Naveen Rao 在谈到微软内部的 AI 工作时说。

「微软是一家精明的企业,当你部署产品使用 GPT-4 巨型模型时,他们要的是高效。这就好比说,我们并不需要一个拥有 3 个博士学位的人,来当电话接线员,这在经济上是行不通的。」

然而,纳德拉和研究主管 Peter Lee 希望在没有 OpenAI 的情况下,开发出复杂的 AI,这大概只是一厢情愿。

自从微软投资 OpenAI 后,这家巨头的研究部门把大部分时间,都用来调整 OpenAI 的模型,以便使其适用微软的产品,而不是开发自己的模型。

微软的研究团队,也并没有幻想自己能开发出像 GPT-4 这样强大的 AI。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

他们清楚地知道,自身没有 OpenAI 的计算资源,也没有大量的人类审查员来反馈 LLM 回答的问题,以便工程师改进模型。

过去一年里,随着几波研究人员的离职,包括一些转入微软内部的产品团队,研究部门的人才也在不断流失。

对微软自身来说,在没有 OpenAI 帮助的情况下,开发高质量的 LLM,可以在未来几年,两家公司讨论续签合作关系时赢得更多谈判筹码。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

微软 AI 研究主管 Peter Lee

目前,两者交易对双方都有利。

微软投资 OpenAI 一百多亿美元,作为回报,能够在微软产品中永久使用 OpenAI 现有知识产权的独家权利。

此外,微软还将获得 OpenAI 75% 的理论运营收益,直到其初始投资偿还为止,并且将获得利润的 49%,直到达到一定上限为止。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

现在,微软希望通过与 OpenAI,以及其他 AI 企业的现有联盟,在一个不确定的时期内增加至少 100 亿美元的新收入。

Office 365 全家桶在得到 GPT-4 能力加持,已经出现了早期的收入增长迹象。

微软还在 7 月份表示,已有超过 2.7 万家公司为代码编写工具 GitHub Copilot 付费了。

Statista 统计,2023 年除了微软云服务比例最大,加速生产力商业流程的软件产品收入占比也在逐渐增加。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

然鹅,讽刺的是,微软与 OpenAI 的交易条款,也间接地帮助微软努力摆脱对 OpenAI 的依赖。

当用户使用必应时,微软可以访问 OpenAI 模型输出的结果。

目前,微软正在利用这些数据,创建更加「精炼」的模型。内部研究人员的研究结果表明,这些模型可以用更少的计算资源产生类似的结果。

「小模型」的探索

在 OpenAI 的阴影下度过一年后,微软的一些研究人员找到了全新的目标——制造一个模仿 GPT-4 的「蒸馏」模型。

今年 6 月,微软训练了一个算力消耗只有 GPT-4 十分之一的模型——Orca。

为了创建这个 Orca,微软将 GPT-4 生成的数百万个答案输入到了一个更为基本的开源模型之中,并以此教它模仿 GPT-4。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

论文地址:https://arxiv.org/abs/2306.02707

结果显示,Orca 不仅超过了其他的 SOTA 指令微调模型,而且在 BigBench Hard(BBH)等复杂的零样本推理基准中,实现了比 Vicuna-13B 翻倍的性能表现。

此外,Orca 在 BBH 基准上还实现了与 ChatGPT 持平的性能,在 SAT、LSAT、GRE 和 GMAT 等专业和学术考试中只有 4% 的性能差距,并且都是在没有思维链的零样本设置下测量的。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测
GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

甚至,在某些情况下,Orca 的表现与 OpenAI 的免费版 ChatGPT 不相上下。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

类似的,微软还公布了一款参数量不到 GPT-4 千分之一的模型——phi-1。

由于采用了「教科书级」的高质量训练数据,phi-1 在数学和逻辑问题上的熟练程度,完全不亚于 5 倍于它的开源模型。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

论文地址:https://arxiv.org/abs/2306.11644

随后,微软在研究「一个 LLM 有多小,才能达到一定的能力」上更进了一步,推出了只有 13 亿参数的模型 phi-1.5。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

论文地址:https://arxiv.org/abs/2309.05463

phi-1.5 展现出了许多大模型具备的能力,能够进行「一步一步地思考」,或者进行一些基本上下文学习。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

结果显示,phi-1.5 在常识推理和语言技能上的表现,与规模 10 倍于它的模型旗鼓相当。

同时,在多步推理上,还远远超过了其他大模型。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

虽然目前还不清楚,像 Orca 和 Phi 这样的「小模型」是否真的能与更大的 SOTA 模型(如 GPT-4)相媲美。但它们巨大的成本优势,加强了微软继续推动相关研究的动力。

据一位知情人士透露,团队在发布 Phi 之后,首要任务就是验证此类模型的质量。

在即将要发表的论文中,研究人员又提出了一种基于对比学习的方法,让工程师们可以教模型区分高质量和低质量的响应,从而改进 Orca。

同时,微软其他的团队也正在紧锣密鼓地开发全新的多模态大模型,也就是一种既能解释又能生成文本和图像的 LLM。

GPT-4 太烧钱,微软想甩掉 OpenAI?曝出 Plan B:千块GPU专训「小模型」,开启必应内测

GPT-4V

显然,像 Orca 和 Phi 这样的模型,可以帮助微软降低为客户提供 AI 功能时所需的计算成本。

据一位在职员工透露,微软的产品经理已经在测试如何使用 Orca 和 Phi 而不是 OpenAI 的模型,来处理必应聊天机器人的查询了。比如,总结小段文本、回答是或者否,这种相对简单的问题。

此外,微软还在权衡是否向 Azure 云客户提供 Orca 模型。

据知情人士透露,Orca 论文一经发表,就有客户来询问何时能用上了。

但问题在于,如果真要这样操作的话,微软是不是还需要找 Meta 拿个许可。毕竟后者对哪些公司可以将其开源 LLM 进行商业化,还是有所限制的。

矢量AI门户网,优质AI资讯内容平台

(0)
上一篇 2023年9月26日 下午6:50
下一篇 2023年9月29日 下午9:09

相关推荐

发表回复

登录后才能评论