在线ａｖ 大模子期间 云生态跃迁
发布日期：2024-10-12 01:25 点击次数：10821世纪经济报说念记者 杨清清 北京报说念在线ａｖ
大模子激越已合手续近两年。
当渡过最初的繁荣、转头施行之时，许多从业者、拓荒者感到失意与苍茫，以致对异日远景开动有所怀疑。
“因为东说念主们老是高估时期的短期价值，却低估时期的永久价值。”在9月25日举办的2024百度云智大会上，百度创举东说念主李彦宏指出。在他看来，大模子是一次颠覆式的时期改造，永久远景相当乐不雅。
不外坦言之，大模子落地仍存在诸多挑战。在底层基础设施方面，科技大佬们“英杰所见略同”，从此前的万卡集群到近期连接日盛的“十万卡集群”，“堆算力”成为共同选用。应用落方位面，本年以来大模子厂商掀翻“价钱战”，但单纯比拼降价幅度难言“涉及灵魂”，拓荒者还有更多的应用拓荒需求。
如今，“十万卡期间”的左近，重复大模子应用的序幕，云厂商粗略饰演怎么的变装？
十万卡期间莅临单点万卡集群，让生成式AI成为十足头部玩家“权利游戏”的同期，也让大模子厂商承受着算力期骗率低下、“停驻即烧钱”的“难言之痛”。
但当今，万卡集群“病灶未除”，“十万卡期间”却开动靠拢。
9月初，特斯拉CEO埃隆·马斯克顷刻间通知，旗下东说念主工智能初创企业x.AI打造的超等东说念主工智能磨练集群Colossus（巨东说念主）认真上线。该算力集群领有10万张英伟达H100 GPU，并将在异日几个月内不时加多10万颗GPU。
国内科技巨头亦闻风而动。
在日前扫尾的云栖大会上，阿里巴巴集团CEO、阿里云智能集团董事长兼CEO吴泳铭指出，阿里的单网罗集群已彭胀至十万卡级别。
“很快就会有更多的十万卡集群出现。”9月25日，在2024百度云智大会上，百度集团实行副总裁、百度智能云行状群总裁沈抖判断称。
事实上，在大模子规模，领有着名的第一性旨趣，即模范定律（Scaling Law）。约略交融就是，跟着模子大小、数据集大小和用于磨练的推测浮点数的加多，模子的性能会相应提高，况且要想赢得最好性能，这三个要素需要同期放大。
这个定律仍在延续。据估算，自2012年以来，AI模子磨练算力需求每3至4个月就翻一番，每年磨练AI模子所需算力增长幅度高达10倍。因此也就不难交融，现时各大科技巨头攻击“十万卡集群”的起因。
关连词，从万卡到十万卡并非约略的算力堆叠，两者之间的经管存在本色分辩。
“要部署十万卡的大规模集群，光是在物理层面就要占据大要10万平时米的空间在线ａｖ，格外于14个标准足球场的面积。”沈抖知道，“在能耗方面，这些处事器一天就要破钞约300万千瓦时的电力，格外于北京市东城区住户一天的用电量。”
如斯各类，对空间与动力冷漠了巨大需求，远远特出了传统机房部署花式所粗略承受的范围，跨地域机房部署成为不得已而为之的选用，但这又带来网罗层面的巨大挑战。
与此同期，还有运维方面的难点。事实上，即即是现时的万卡集群中，运维的复杂性已急剧加多。把柄Meta败露的接洽数据夸耀，使用了1.6万张GPU的Llama 3.1磨练合手续54天，在此期间集群碰到419次巧合组件故障，平均每3小时发生一次。
而集群规模提高至十万卡，发生故障的概率无疑会更高。“大模子磨练是一个宏大的单一任务，需要皆步走。一个节点出错，通盘这个词集群就得停驻、回滚到上一个挂牵点。”沈抖解说称，“每停一分钟，都是白白烧钱。”
在禁受包括21世纪经济报说念在内的媒体采访时，百度了得系统架构师、百度智能云AI推测部负责东说念主王雁鹏指出，2024年好多企业加大了在大模子规模的干预，但群众在大模子磨练时遇到了一个共性问题，那就是算力期骗率很低。“目前企业磨练大模子的算力有用期骗率不及50%，这意味着，一半以上的算力被铺张了。”
这也为“十万卡期间”的算力建筑提供了另一种念念路。除了大干快上“圈地”算力池除外，提高算力的有用期骗率成为首选项。
百度所升级的百舸4.0平台，恰是面向万卡、十万卡集群全面提高算力经管才智。不仅在集群创建阶段可将万卡集群运行准备时刻从几周缩小至1小时，还粗略在模子磨练阶段，通过AI算法判断集群情状“未雨缠绵”，和故障发生时齐全秒级感知和定位进行快速处理，从而齐全接近无损的集群容错。此外，百舸4.0还粗略通过一系列加快法式，齐全模子推理的降本增效。
就此，沈抖给出了一组数据：目前在万卡任务上，百舸4.0不错保险有用磨练时长占比达到99.5%，远高于行业内公布的关连目的；在集群的模子磨练着力方面，百舸4.0全体性能比业界平均水平提高了高达30%；在模子推理方面，百舸4.0长文本推理着力提高特出1倍。
而濒临十万卡集群，百舸4.0照旧构建了超大规模无拥塞HPN高性能网罗、10ms级别超高精度网罗监控，以及面向十万卡集群的分钟级故障归附才智。“百舸4.0恰是为部署十万卡大规模集群而盘算的。今天的百舸4.0，照旧具备了训练的十万卡集群部署和经管才智，就是要冲破这些新挑战，为通盘这个词产业提供合手续率先的算力平台。”沈抖指出。
应用序幕拉开计议到GPU采购及运营的资本问题，提高算力的有用期骗率，换个交融，就是省钱。
这与现时业界“不算目下账”、“烧钱”降价带动应用爆发的念念路有所不同。有拓荒者向21世纪经济报说念记者指出，夙昔一年内，大模子的降价更多是由平台补贴所致，但这并不可措置本色上的问题。
通过提高算力有用期骗率，百度智能云正在合手续阻抑模子调用资本。沈抖先容，夙昔一年，文心旗舰大模子降价幅度特出90%、主力模子全面免费，最大松手阻抑企业创新试错的资本。
不外，相较于别的厂商而言，本次百度云智大会的重心明显并未落在降价身上，而是放在了鼓舞大模子落地的需求自恃方面。
沈抖知道，进入2024年，百度智能云的许多客户照旧开动将大模子落地在自己的坐褥力场景中。目前在千帆平台上，文心大模子日均调用量特出7亿次，千帆平台累计匡助用户精调了3万个大模子，拓荒出70多万个企业级应用。
“这不仅响应了千帆平台上大模子的调用量，亦然夙昔18个月通盘这个词国内大模子产业发展的一个缩影。”沈抖指出。
但在沈抖看来，这仅仅一个序幕。“咱们笃信，大模子给每个企业提供了对等的增长契机。岂论企业大小、场景几许，谁先用起来，谁就霸占先机。”
具体而言，卑劣企业与拓荒者要委果用上大模子、用好大模子，离不开浅易、高效的大模子器用链和应用拓荒平台。就此，百度智能云发布千帆大模子平台3.0。
据先容，升级后的千帆平台，不仅不错调用包括文心系列大模子在内的近百个国表里大模子，还复古调用语音、视觉等各式传统的小模子。同期在模子拓荒方面齐全数据、模子、算力等资源的合资纳管和养息，为企业提供一站式的大、小模子拓荒处事。
在应用拓荒方面，针对企业落地大模子的高频应用场景，千帆3.0从检索着力、检索性能、存储彭胀、调配天真性四方濒临企业级检索增强生成（RAG）进行了全面升级；针对企业级智能体的拓荒，千帆3.0加多了业务自主编排、东说念主工编排、常识注入、挂牵才智以及百度搜索等80多个官方组件复古。
繁密AI应用的发展观念，李彦宏直言最看好智能体，并将之视为PC期间的网站和自媒体期间的账号。
李彦宏默示，智能体最彰着的特色是门槛实足低，谁都能上手，但同期天花板又实足高，不错作念出相当复杂，相当苍劲的应用。异日，将会罕有以百万量级的智能体出现，酿成宏大的智能体生态。
值得一提的是，在本年百度举办的“文心杯”创业大赛中，有特出60%参赛团队聚焦智能体的应用，特出30%参赛团队莫得专科本领员。
不外，目前智能体还并非业界共鸣。“像百度这么把智能体看成大模子最蹙迫的计谋、最蹙迫的发展观念的公司并未几。”李彦宏坦言说念。
智能云演进大模子期间需要怎么的云？百度通过云智大会，给出了我方的谜底。
而这，亦然百度云借说念大模子爆发，从而霸占市集的念念路。
目前，从十足市集份额来说，百度智能云并不算有上风。把柄Canalys败露的最新数据，2024年第二季度，中国大陆云基础设施处事支拨达到94亿好意思元，同比增长8%。阿里云、华为云和腾讯云不时主导市集，共占71%的市集份额。
不外从增速而言，百度云正在追逐中。在百度2024年第二季度财报电话会上，李彦宏知道，百度智能云在本季度营收达51亿元，同比增长14%，并合手续齐全盈利（Non-GAAP）。
相较之下，阿里云第二季度营收增长6%，华为云13%，腾讯云未获胜败露收入增速。
之是以智能云粗略齐全超出市集的增长，与百度AI大模子才智密不可分。跟着文心大模子及文心一言的发布，百度在AI规模进一步赋闲、拓展了自己的上风规模。而生成式AI及大说话模子的才智，又转而增强了百度在云表的竞争上风。
因此也就不难交融，受益于大模子磨练及推理需求等，百度智能云业务收入齐全可不雅增长。把柄百度方面败露的数据，本年二季度智能云收入中，AI孝敬的收入占比进一步提高至9%，高于上一季度的6.9%。
把柄IDC发布的《中国大模子平台市集份额，2023：大模子元年—初局》夸耀，2023年中国大模子平台及关连应用市集规模达17.65亿元，百度智能云在2023年大模子市集规模达3.5亿元，位居市集第一，市集份额达19.9%。
海通国外研报以为，百度这次云智大会展现了其在大模子赛说念全线的才智。百度一直在合手续迭代并赋闲其行业率先的地位。尽管贸易化远景尚不解确，但跟着宏不雅经济好转，大模子大规模商用的时刻节点到达在线ａｖ，百度有望凭借其先发上风，在告白、智能体、模子磨练推理、智能云部署方面率先赢得增量收入。
女同91