天天影院网址 百度集团实行副总裁沈抖：大模子与云计较雅致汇集，正在成为新式的基础措施 | 每经网
发布日期：2024-10-12 01:01 点击次数：151每经记者 可杨 每经剪辑 杨夏 天天影院网址
9月25日，在2024百度云智大会上，百度集团实行副总裁、百度智能云功绩群总裁沈抖在云智大会上暗示，曩昔的一年，是大模子从本事变革走向产业变革的过失一年，而大模子与云计较雅致汇集，正在成为新式的基础措施，“大模子过甚关说合统，在短短几年内，正在连忙成为新一代的基础措施。此次变革的速率前所未有”。
围绕大模子算力方面，沈抖暗示，提到算力，不少东说念主皆传说过“万卡集群”，浮浅来说，GPU集群有三个特征：极致领域、极致高密和极致互联。
而这些“极致”带来了几个严峻的挑战。沈抖先容，开首是大皆的斥地、运营资本，建一个万卡集群，单是GPU的采购资本就高达几十亿元。其次，在这样大领域的集群上，运维的复杂性急剧加多。他谈到，硬件不能幸免地会出故障，而领域越大，出故障的概率就越高。“Meta检会Llama3的时候，用了1.6万张GPU卡的集群，平均每3小时就会出一次故障。”
沈抖进一步暗示，在这些故障中，绝大多数是由GPU引起的，其实GPU是一种很明锐的硬件，连中午天气温度的波动，皆会影响到GPU的故障率。这两个挑战迫使百度重新开动念念考怎么构建、治理和珍藏雄壮而复杂的GPU集群，屏蔽硬件层的复杂性，为大模子落地的全经过提供一个浮浅、好用的算力平台，让用户大概更容易地治理GPU算力、低资本的用好算力。“曩昔一年，咱们感受到客户的模子检会需求猛增，需要的集群领域也越来越大，与此同期，民众对模子推理资本的执续下跌的预期也越来越高。这些皆对GPU治理的踏实性和灵验性建议了更高条目。”
基于此，百度智能云秘书将百舸AI异构计较平台全面升级至4.0版块，围绕落地大模子全旅程的算力需求，在集群创建、开发施行、模子检会、模子推理四大方面，为企业提供“多、快、稳、省”的AI基础措施。
其中，为了搞定算力资源浑沌的问题，百舸4.0对“多芯混训”才调进行了要点升级，竣事了在万卡领域集群上95%的多芯夹杂检会效率，达到业务最当先水平。在集群部署法子，升级后的百舸大概竣事用具层面的秒级部署，将万卡集群运行准备时间从数周最快缩减至1小时，极地面进步部署恶果，裁减业务上线周期。针对大模子检会过程中故障频发的问题，百舸4.0全面升级了故障检测技巧和自动容错机制，不错灵验诽谤故障发生频次，大幅减少集群故障处置时间，在万卡集群上竣事了进步99.5%的灵验检会时长。
女同a片此外天天影院网址，百度智能云同期公布了千帆大模子平台的最新“得益单”，在千帆大模子平台上，文心大模子日均调用量进步7亿次，累计匡助用户精调了3万个大模子，开发出70多万个企业级运用。曩昔一年，文心旗舰大模子降价幅度进步90%。