融资界 互联网 什么是大模型、字节跳动组建大模型团队

什么是大模型、字节跳动组建大模型团队

当前ChatGPT火爆,有人称,2023年开始将进入人工智能的“黄金十年”。原则上只要是自然语言能表达出来的领域,ChatGPT都会发挥一定的作用。此外,图片、语音、视频等各个方面也会逐渐的和人工智能挂钩。近期百度、字节等互联网企业陆续发声,表示组建团队,布局大模型。中国版ChatGPT争夺战在国内打响,各路英豪举起ChatGPT概念大旗,仿佛走在了行业的前面。
什么是大模型
所谓“大模型”,通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。ChatGPT的应用场景很多,可谓是法力无边。凡是能被ChatGPT的地方都会让你眼前一亮,你运用ChatGPT工具,也会爱不释手,谁不喜欢一个超人朋友? 

不过,在大模型的框架下,ChatGPT所使用的GPT模型,每一代参数量均高速扩张,预训练的数据量需求和成本亦快速提升。据资料,仅GPT-3训练一次的成本约为140万美元,对于一些更大的LLM模型,训练成本介于200万美元至1200万美元之间。因此说进入大模型首先得肯烧钱。另外从参数数量上,国内并不缺数据,百度、字节这样的公司都有海量的数据积累,不过后续包括数据清洗、标注以及模型的结构设计,训练、推理等都需要时间积累。此外想做大模型,不仅是资金,还有人力和基础模型,对于互联网大厂而言,难度也是不小。

2023年,大模型成了点燃市场的第一把火。

在ChatGPT带动的大模型热潮中,拥有文心大模型的百度已经率先发令,计划在3月推出语言大模型“文心一言”。随后,原美团联合创始人王慧文、出门问问创始人李志飞、前搜狗CEO王小川等互联网老将竞相出山,宣告做“中国的OpenAI”。

字节跳动也并未缺席。36氪从多个独立信源处获悉,字节跳动在大模型上已有所布局,分别在语言和图像两种模态上发力。字节跳动相关技术负责人对此回应:技术中台在这些领域有探索,还很初期,不成熟。

一名知情人士透露,语言大模型团队由字节搜索部门牵头,目前团队规模在十数人左右。图片大模型团队则由产品研发与工程架构部下属的智能创作团队牵头。

另有知情人士表示,字节跳动语言大模型团队在今年组建,探索方向主要为与搜索、广告等下游业务的结合,“搜索业务部门、AI Lab和AML(应用机器学习)团队都调了一部分人支援语言大模型,团队目前的预期是在今年年中推出大模型”。

据悉,语言大模型团队负责人与图像大模型团队负责人的间接和直接汇报对象,均为Tik Tok产品技术负责人朱文佳

朱文佳能成为字节大模型业务中的“隐形领队”,与他在算法和搜索业务上具有深厚的经验不无关联。加入字节跳动前,朱文佳曾在百度担任搜索部主任架构师。2015年,朱文佳进入头条,被称为“头条里算法技术的Top 3人选”。四年后,他成为今日头条CEO。2021年2月,他又调任成为Tik Tok产品技术负责人,向Tik Tok CEO周受资汇报。

不少人认为,最后能在大模型上与百度一较高下的公司,大概率会是字节跳动。

资金,人才,算力,这是训练大模型所需的入场费。对于头部互联网公司而言,前两者不算难以攻克的问题。但英伟达A100显卡在国内停止供应后,训练大模型所需的高性能GPU成了不少公司稀缺的重要资源。

不过,一名AI资深从业者透露,字节并不缺GPU。字节旗下的企业技术服务平台火山引擎,在2021年正式进军基础云市场(IaaS层),为大模型所需的算力奠定了基础。

上述从业者告诉36氪:“从训练大模型的角度而言,工程团队和云服务团队一样关键,在两者上均无短板的字节跳动具有一定优势。”

对AI领域的布局,字节的反应速度一直较快。据了解,目前AIGC(AI生成内容)技术也已结合到头条的内容创作以及抖音的图文内容生成中。比如2021年,抖音上线的可以把人脸卡通画的“漫画脸”特效就小有出圈。

但ChatGPT的成功模式已证明,大模型的训练是入场费高昂的长跑。另有知情人士表示,在ChatGPT公开前,字节内部对大模型的投入依然较为犹疑,“对于字节的产品矩阵来说,目前的算法已经够用”。

字节跳动能交出怎样一份大模型答卷,还需要时间验证。


本文来自网络,不代表融资界立场,转载请注明出处:https://www.n315.com/internet/2023/0223/714.html

作者: 王丽

融资界唯一站点(www.n315.com)中国投融资界唯一信息资讯平台创建于2004年:提供7X24小时投资信息资讯及全球金融,股票,证券,融资,基金,经济,等多种面向金融类服务,提供全方位的融资新闻、分析评论、权威的信息源门户!
上一篇
下一篇

发表回复

联系我们

联系我们

在线咨询: QQ交谈

邮箱: 89934208@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微博
返回顶部