小米大模型不搞ChatGPT

本站原创 2024-02-10 15:14:00

ChatGPT上线半年后,一场大模型追逐战继续在太平洋两岸上演。

由OpenAI、微软和英伟达组成的联盟,正在太平洋东岸玩命狂奔。今年3月以来,中国科技公司紧急跟进,百度、阿里、商汤、科大讯飞相继推出“类ChatGPT”产品,腾讯、华为、京东公开表示正在跟进大模型,都想抓住这个比互联网时代还“大十倍”的机会。

“百模大战”当前,作为国内大型科技企业的小米,却显得格外冷静。

小米掌门人雷军说,小米正在研发一些技术和产品,等打磨好了再给大家演示。小米集团总裁卢伟冰称,小米目前拥有超过1200人的AI团队,会积极拥抱大模型,与业务深度结合,但不会像OpenAI一样去做通用大模型。

这些信息都加深了外界的疑问:小米会加入“百模大战”吗?

小米集团AI实验室主任王斌博士告诉深燃,小米自己会去自研通用大模型,但不会单独发布一款类ChatGPT产品,“也不会发布一个PPT,或者演示几个例子,就说我们有大模型了”,而是自研大模型最终会由产品带出来。

这是继小米官宣大模型团队后,首度对外披露大模型的路线和进展。今年4月14日,小米宣布大模型团队由栾剑带队,向王斌汇报。王斌曾在中科院从事了20多年NLP(自然语言处理)相关的研究和开发工作,2018年加入小米,2019年起负责AI实验室。AI实验室是小米AI战略的核心部门。

曾经做过对话大模型的小米,在通用预训练语言大模型上,是少有的理智派。王斌透露,目前专职大模型团队30多人,不会马上极速扩张;这个团队的目标还是通用语言大模型,第一步的目标基座模型参数在几百亿,然后会视前期爬坡结果,再决定下一步投入。

“从研发出大模型到落地还有很长的一段距离,是否能找到合适的重要场景是很多大模型公司的痛点。”在王斌看来,小米的优势是有足够多的现成的大模型落地场景,包括小爱同学、loT、自动驾驶、机器人等等,丰富的应用场景也能够反哺大模型的能力。

小米不缺场景,但要训练出大模型,数据、算力、人才的积累缺一不可。王斌说,小米在人才上有一定储备,算力和数据量方面的挑战较大。一方面,算力需要克服系统级的挑战,且要做到训练成本可控;另一方面,高质量数据的获得、清洗,都要花费不少时间和成本。

在新一轮AI大模型浪潮中,小米AI团队为什么不发布“类ChatGPT产品”?小米是怎么判断大模型的技术路线、技术难度的?日前,深燃总编辑贺树龙和小米技术委员会AI实验室主任王斌进行了一场对话。以下是核心内容:

小米大模型:团队30人,不发“类ChatGPT”

深燃:4月14日,小米任命栾剑为大模型团队负责人,向你汇报。能否介绍下小米大模型团队是怎么诞生的?

王斌:大模型团队是4月份宣布的,但在这之前已经开始运作。

去年11月30日,OpenAI发布ChatGPT后,我们一堆人快速注册账号,在上面开始玩。ChatGPT确实很颠覆,我们做了这么多年AI,它的很多能力超出了我们研发人员的预期。

很快,我们就组织了多个内部大模型交流群,讨论大模型的技术,以及它对机器翻译、人机对话、智能问答、客服会产生哪些颠覆性的影响。早期参加研讨的很多人,后来都成了专职大模型团队的重要成员。

深燃:小米大模型团队会不会来得有点晚?

王斌:对于大模型,我们属于理智派。

在ChatGPT诞生之前,小米内部做过大模型相关的研发和应用,主要是预训练+下游任务监督微调的方式来做人机对话,模型的参数在几十亿级别。当然,这类模型并非现在所说的通用大模型。

我们非常清楚,通用大模型的研发和应用是一个长期的工作,不是早晚的问题。我们是按照自己的时间规划和步骤在走,当时觉得时间点到了,就做了团队发布。

深燃:大模型团队有多少人?有继续扩张的计划吗?

王斌:主力团队目前有30多人。我们目前是先按照人才、数据、模型、算力、评测、产品这几个方面去筹备,等到了一定阶段再逐步调整或扩张。

我们目前不会马上扩大人数,比如一下招到100人。因为在积累能力爬坡阶段,可能招这么多人都不知道怎么安排,反而是一种浪费。

随着大模型相关信息的不断公开,资本和人才的不断涌入,大模型领域的发展非常快,大家的看法变化也很大。前不久ChatGPT刚出来时,大家觉得,实现类似的大模型基本不可能,但是慢慢地,很多人觉得可能性很大,还有一些人认为,不需要那么大规模的模型就可以满足很多产品的需求。大家的投资力度,差异也特别大。有些人可能觉得团队至少要几百人,有些人认为不需要。

来源 / 视觉中国

深燃:接下来有没有一些阶段性的规划,什么时候对内测试和对外发布?

王斌:跟其他公司不太一样,小米天生带着产品的属性,我相信小米大模型出来的时候,是由产品带着出来。

我们内部有可能会在Q3之前测试。不过,这也不是一个必然的节点。

深燃:也就是说,小米不会发布一个类ChatGPT产品?

王斌:对,我们不会发布一个PPT,或者演示一下我们有大模型了。应用场景丰富是我们最大的优势。小米大模型会跟场景结合得更紧密,肯定是围绕产品的节奏去做相应的发布规划。

深燃:除了人力之外,小米做大模型在算力方面的成本大概是多少?

王斌:我们属于中等规模的投入,会视前期爬坡的结果,再决定下一步投入。

我们的基本判断是,适用于小米产品和业务的模型,参数可能在几百亿,会比千亿规模低,用于训练的机器的投入大概是几千万人民币级别。

深燃:之前小米做的几十亿参数级别的模型,现在怎么样了?

王斌:去年发布的ChatGPT是大模型的一种,叫通用预训练语言大模型。但大模型本身很早就出现了,大家有不同的路线、做法。

我们较早就开始跟进大模型,当时做的是一个对话专用模型,大概是28亿到30亿的参数。它是在预训练基座模型的基础上,通过对话数据的微调来实现的,并不是现在的通用大模型,而是专用于人机对话,比如,可以提高小爱同学对话的流畅度、多样性,让它可以聊下去。后来这个模型上线到小爱,进行了小规模上线测试。

所以,小爱同学里已经用到了AIGC,只不过,我们在产品层面,没有全部使用这个大模型,而是利用传统模型和对话大模型的互补性,将两个混合使用。

小米的通用大模型在落地产品时,很可能也是这种混合模式。传统模型处理得非常好的问题,就交给传统模型。大模型就解决它擅长的问题,例如一些小概率事件或是长尾对话。

现在出来的通用大模型,在对话水平上,明显高于之前的对话专用大模型,所以这部分团队也全都转到通用大模型上了。这个团队跑通过整个对话大模型的训练过程,爬过一些坑,加上数据的积累,有一定优势。

小米大模型:场景占优势,数据是难题

深燃:这段时间以来的技术进展非常迅猛,国内大模型在密集发布,会因为进展慢而焦虑吗?

王斌:我曾经有一段时间比较焦虑,因为老不下场做就会有点慌,你就会想,“别人怎么进展这么快,一下子就做出来了?”现在我们下场去做了,也就不焦虑了。

据说,中国现在是“百模大战”,已经发布了80多个大模型,有些提供了内测,有些只是PPT发布。有些模型的效果还是不错的,光从发布的水平看,我们现有的自研大模型的水平,看上去也不比很多模型差。但我们不急于做对外发布。第一,对于小米这样的公司来说,没有太大意义。第二,我们还是希望围绕产品,把自研模型做得更好一些,再一同发布。

深燃:你认为国内公司的大模型有机会赶上OpenAI吗?差距有多大?他们喜欢用三个月、六个月来形容。

王斌:目前来看,OpenAI肯定是走得非常靠前的,它投入时间早,在人才、数据、算力、工程、产品等方面都有非常强的积累。从国内的情况看,我感觉目前和OpenAI还是有一定差距,有人说是三个月、六个月,也有人说是一年、两年。时间上,真不好说。

因为怎么评价大模型,本身就是个挺难的问题。现在出现了各种大模型的排行榜,但目前都没有得到大家的一致认可。没有真正的评价标准,那么谈三个月、六个月赶上,也就是个拍脑袋的说法。

至于国内有没有可能追上OpenAI,我早期比较悲观,觉得几乎不可能,但随着各种开源方案、各种团队和资本的涌入,我的判断更乐观一些。我认为,国内有机会跟OpenAI缩小距离,去接近甚至在很多场景超过它。

大模型看上去不像芯片有那么高的门槛,通过人才、数据、算力等的不断积累和优化,是有可能不断缩小差距的。

深燃:国内哪些类型的公司搞大模型更有优势?小米的机会在哪里?

王斌:不管大公司还是中小的创业公司,都有各自的生存空间。大模型是一个生态,并非一家独大就能通吃,生态上的所有公司,包括做算力的、做数据的、做应用的,还有真正做大模型的公司,都有各自的机会。

像小米做大模型,有应用场景的优势。我们认为,大模型跟场景的结合会是一个巨大的机会。

因为如果只是发布大模型,没人用,那不一定能通过滚动快速发展起来。而我们可以马上落地到场景,通过不断迭代,在这些场景充分发挥出大模型的威力。

虽然我们目前只整合了一支30多人的主力团队,但实际上外围还有非常多的人。整个AI实验室,有NLP背景且在做具体应用的,就有一百多人,包括知识图谱、机器翻译、人机对话、智能客服、智能问答。他们都是具有大模型基础思维以及相关技术的人员,正在从各自应用的角度推动对大模型的探索。

王斌

深燃:小米在NLP研究上的积累,对大模型的价值有多大?

王斌:这在业界存在两种说法。一种说法是,我们这些人可能没活干了,AI革了自己的命,特别是做NLP的人可能就没饭碗了。还有一种说法是,毕竟大模型是从NLP干出来的,做NLP的人有先天优势。

这两种说法都有一定道理,但毕竟涉及到我的饭碗,我更倾向于后一种说法。

大模型原本在各个领域都有探索,包括视觉、语音、NLP。但为什么是在NLP这个领域首先突破,我相信这里面有本质的原因。我理解至少有两点:第一是语言数据的丰富性和易获得性,第二,语言数据背后隐含着非常丰富的反应人类思考过程的知识。

所以我相信,在NLP领域有多年积累的人,对大模型的理解和改造能力有一定的先天优势。小米大模型团队的成员,很多原来是做NLP方向的。国内做大模型非常不错的几家创业公司,也是从NLP领域出来的。

深燃:小米攻克大模型目前的难点有哪些?怎么克服?

王斌:首先我还是想说,大模型本身有非常巨大的挑战。

一项巨大的挑战是技术的不确定性。我们看过一些报道,甚至OpenAI团队自己也不十分清楚大模型背后的真正原理,如果再做一次,对是否能够出现同样的“涌现”结果也没有把握。我相信这一点上OpenAI讲的是实话,由于技术上有非常大的不确定性,所以有投入不能保证一定能训练出满足预期的大模型。

高质量数据的积累也是一项挑战。大家一般认为,大模型需要极大规模高质量的训练数据。网络上公开得到的数据,质量总体比较差,所以数据的获取、清洗,都是比较大的挑战。

另外的挑战当然是算力。首先,并不是说有这么多卡就能够训出来,怎么能够用好这些卡本身就是一个系统级的挑战。其次,因为在训练过程中可能会犯错,可能钱烧没了,什么都烧不出来,所以要看你有没有能力用可控的成本把大模型训练出来。

实事求是地说,目前数据和算力的挑战还是比较大的,尤其是大规模的高质量数据。经过前面一段时间的爬坡,我们现在基本有把握,只要数据到位,利用现有的算力,我们大概能知道多少天能够训出一个还可以的基座模型。

深燃:现在大模型训练的成本降低了吗?

王斌:一方面,试错的成本比以前低了。因为大模型训练是可能走弯路、会失败的,但是随着各种信息的公开,现在可能能很快找到训练的正确方向。另一方面,很多云计算、芯片等公司,还有很多创业公司,都在提供更低成本的大模型训练和推理服务。随着整个生态进一步发展,我相信训练的成本会不断降低。

大模型怎么影响小米业务?

深燃:能否详细介绍下你负责的小米AI实验室?

王斌:在2016年“阿尔法狗(AlphaGo)”横空出世后,雷总第一时间推动了AI团队的建设。AI实验室于2016年正式成立,我从2019年开始负责。

原来AI实验室隶属于人工智能部。后来人工智能部合并到集团技术委员会,现在AI实验室是技术委员会的直属部门。

AI实验室现在的团队规模在350人左右,下属六个方向,分别是机器学习、自然语言处理(NLP)、计算机视觉、声学、语音和知识图谱。

大模型出来后,AI实验室设立了专职大模型团队,我们现在的重点是语言大模型,但也在关注跨模态大模型。

深燃:卢总(小米集团总裁卢伟冰)说小米AI团队目前超过1200人。除了AI实验室,小米内部还有哪些部门跟AI

王斌:AI实验室之外,还有小爱同学团队,这两个团队都在技术委员会下面。

技术委员会之外,还有很多部门都有比较大的AI团队,包括汽车部的自动驾驶部,手机的相机部、软件部,此外,在互联网业务部做的用户增长、广告推荐,都跟AI相关。

总之,AI相关的团队有些在业务部门,有些在技术委员会,总数大概1200人,如果再考虑一些小团队,这个数字我个人觉得还更大一些。

深燃:小米AI实验室在小米AI战略里是什么角色?

王斌:AI实验室是集团层面的AI技术研发和输出部门。通俗地说,我们是面向全公司输出AI技术。

我们曾经把AI实验室比喻成集团层面AI技术的“试验田”和“弹药库”。因为AI发展迅速,AI实验室会研发一些中长期的前沿技术,围绕小米业务做储备,在集团需要的时候输出“弹药”。

在AI技术层面,我们在公司里肯定是储备最齐全的,在行业里也是非常有实力的。

深燃:小米AI实验室有哪些重要的研究成果?

王斌:我们AI实验室的理念更强调技术和场景的结合,目前还没有把发表论文当作OKR。所以,我从中科院(中国科学院)来到小米后,自己感觉最大的成就不是某个单点的技术的进展,而是技术和产品的巧妙融合。

小米是一家To C的公司,我们的AI能力输出暂时不直接对外输出,而是通过公司的产品输出。我们的成果非常多,包括小米手机中的很多拍照和相册处理算法,小爱同学中涉及的语音、NLP等算法,小米商城的推荐、搜索、客服系统中的AI算法。

我举个例子,我们在手机上开发了离线翻译功能,比如出国后,很多情况下网络没有那么好,这时候打开小米手机的翻译功能,不用走云端,离线状态下,实时性、隐私性和翻译效果都比较好。这个功能的实现和应用都不算容易,我们做了很多很多翻译效果和性能的优化工作。

在小米内部,并不是我们自己的技术,就会优先用,内部技术也要和外部技术去公平去PK,只有胜出才能活下来,应用到产品。

深燃:以ChatGPT为代表的大模型技术,会对小米的哪些业务带来影响?

王斌:大模型最强的能力,简单来说就是它更理解人,它显然能优化人机交互的方式。小米的小爱同学、手机操作系统MIUI、汽车的座舱、IoT、机器人,都是应用大模型的典型场景。

深燃:能不能以小爱同学举例说说。

王斌:应用到小爱同学上,能同时做到两件事。一类是让不可能变成可能,相当于有了新的功能。比如,我让小爱制定一个出行计划或者订餐等等。原来的技术能力没有达到,用户稍微换一种说法,它就乱套了。但有了大模型的支持,它对人的话语的理解更深了,这样就可以完成复杂任务,这类应用就有可行性了。

还有一类是对原来功能的增强,相当于锦上添花。因为人类表达的跳跃性、多样性,原来在小爱同学人机交互的过程中,最大的问题就是遇到小概率事件,我们叫Corner Case,通常会采用保守策略,让小爱说,“我回答不了”,“我还在学习”。这种托底回答也能把对话进行下去,但体验不好。但大模型技术能把对话进行得更长,而且大幅度提高用户满意度。

深燃:大模型对智能家居的影响大吗?

王斌:按照我的个人理解,大模型至少能在交互能力上,提高智能家居的使用体验。

现在虽然有很多设备号称“智能”,但表现上经常像“智障”导致使用率不高。比如说,打开空调或者调控空调温度,如果说法跟标准指令不一样,就可能就无法控制IoT设备。

但大模型来了以后,对人类语言的理解更深了,很多情况下表达方式各种各样,大模型能把用户的表达翻译成机器能听得懂的指令。这会带动更多人使用智能设备,让整个生态能更快成长起来。

深燃:除了现有业务的提升,还有哪些事情是以前小米做不到,但有了大模型以后有可能去做的?

王斌:我们会让大模型和这些业务做深度的协同,当然,除此之外,我们也在寻找更多可能性。

我们团队写了很多文章在公司内部推广大模型,包括大模型的概念和技术发展,教大家怎么用ChatGPT来解决业务问题。雷总已经要求每个部门都要学习大模型,要求大家具有基本的大模型思维,思考怎么跟业务结合。

*题图来源于受访者。

上一篇:未来机器人将如何发展
下一篇:三问智能汽车为何发展智能化中国有何优势面临
相关文章