沈抖:技术变革下的算力 模型与应用策略分享

100ec.cn

2天前

文心旗舰大模型降价幅度超过90%。...沈抖表示,过去一年是大模型从技术变革走向产业变革的关键一年,而大模型和云计算紧密结合,正在成为新型的基础设施。

(网经社讯)9月25日,2024百度云智大会在北京中关村国际创新中心举行。会上,百度集团执行副总裁、百度智能云事业群总裁沈抖围绕算力、模型、应用三个话题,与行业专家、企业领袖和技术极客,共同探讨如何在新一轮技术变革中更好抢抓机遇、实现智能跃升。

沈抖表示,过去一年是大模型从技术变革走向产业变革的关键一年,而大模型和云计算紧密结合,正在成为新型的基础设施。我们知道,在历史上这样大范围的基础设施升级并不多,但每次升级都能带来生产力的巨大跃迁,而且一次比一次速度更快、影响更大。

围绕大模型算力方面,沈抖表示,提到算力,不少人都听说过“万卡集群”,简单来说,GPU集群有三个特征:极致规模、极致高密和极致互联。

而这些“极致”带来了几个严峻的挑战。沈抖介绍,首先是巨额的建设、运营成本,建一个万卡集群,单是GPU的采购成本就高达几十亿元。其次,在这么大规模的集群上,运维的复杂性急剧增加。他谈到,硬件不可避免地会出故障,而规模越大,出故障的概率就越高。“Meta训练Llama3的时候,用了1.6万张GPU卡的集群,平均每3小时就会出一次故障。”

据网经社云计算(CC.100EC.CN)获悉,百度智能云同时公布了千帆大模型平台的最新“成绩单”,在千帆大模型平台上,文心大模型日均调用量超过7亿次,累计帮助用户精调了3万个大模型,开发出70多万个企业级应用。过去一年,文心旗舰大模型降价幅度超过90%。

文心旗舰大模型降价幅度超过90%。...沈抖表示,过去一年是大模型从技术变革走向产业变革的关键一年,而大模型和云计算紧密结合,正在成为新型的基础设施。

(网经社讯)9月25日,2024百度云智大会在北京中关村国际创新中心举行。会上,百度集团执行副总裁、百度智能云事业群总裁沈抖围绕算力、模型、应用三个话题,与行业专家、企业领袖和技术极客,共同探讨如何在新一轮技术变革中更好抢抓机遇、实现智能跃升。

沈抖表示,过去一年是大模型从技术变革走向产业变革的关键一年,而大模型和云计算紧密结合,正在成为新型的基础设施。我们知道,在历史上这样大范围的基础设施升级并不多,但每次升级都能带来生产力的巨大跃迁,而且一次比一次速度更快、影响更大。

围绕大模型算力方面,沈抖表示,提到算力,不少人都听说过“万卡集群”,简单来说,GPU集群有三个特征:极致规模、极致高密和极致互联。

而这些“极致”带来了几个严峻的挑战。沈抖介绍,首先是巨额的建设、运营成本,建一个万卡集群,单是GPU的采购成本就高达几十亿元。其次,在这么大规模的集群上,运维的复杂性急剧增加。他谈到,硬件不可避免地会出故障,而规模越大,出故障的概率就越高。“Meta训练Llama3的时候,用了1.6万张GPU卡的集群,平均每3小时就会出一次故障。”

据网经社云计算(CC.100EC.CN)获悉,百度智能云同时公布了千帆大模型平台的最新“成绩单”,在千帆大模型平台上,文心大模型日均调用量超过7亿次,累计帮助用户精调了3万个大模型,开发出70多万个企业级应用。过去一年,文心旗舰大模型降价幅度超过90%。

展开
打开“财经头条”阅读更多精彩资讯
APP内打开