2024年底的DeepSeek给了全世界一个惊喜or惊吓。当然，训练算力不会减少，但训练的范式（FP8）尤其是对硬件的要求，已经暗含了很大变化。阉割的H800把幻方逼出了最精简的训练硬件需求，比如大幅削减了通信开销，尤其是All to All/All reduce这种大规模模型并行（Tensor Parallel）。相信幻方这次实践，会对北美搞10万卡集群搞得头大的团队有很大借鉴意义。从5月份的v2到这次的v3，基本可以判断，幻方是全球范围少有的同时懂infra+模型训练的AI团队。记得之前微软CTO kevin Scott访问AMD CEO时说过同样的话“现在的年轻人只懂high level语言，懂底层infra的语言的越来越少”。用我渣哥的总结就是：同时懂算法和Infra的人并不多, DeepSeek团队就是其中之一。但如之前文章所说，这只是让训练效率更高，训练算力总需求不会降低，前沿探索的实验室依然会榨干手头所有算力，去追求模型性能的更大提升。且作为探索和研发投入，越是看到应用上的回报，只会反过来投入更多。另一方面，对2025年的启发是，模型训练至少从infra上不应该成为主要障碍，训练对硬件的使用效率有很大优化空间。按照2025年CoWoS和HBM等瓶颈环节的产能准备，理论上算力总量支持模型训练在2025年继续取得跃升，scaling law依然有效。于此同时，尽管训练总需求继续上涨，但推理大概率增长更快，算力结构占比一边倒向推理倾斜。最近扫了一圈外资2025全球tech投资展望，对基建capex叙事可能略有争议，但对应用一致看好，且大多认为端侧有机会。这其实是个核心命题，也关系到SOX整个半导体除了AI semi，其他非AI的手机PC等等是否等来真正的周期改善。从三星高通的股价来看，预期并不高。（苹果虽然新高但因为资金等其他因素而不是手机卖得好）上一次端侧景气周期可能要追溯到5年前的5G+疫情，之后再也没有killer feature拉动换机，而过去2年大家一直期待AI是那个杀手级功能。只能说到了2025，核心要素在更加完善：1. 模型以肉眼可见速度变小。几天前微软一篇论文泄露的GPT-4o和o1等模型参数，4o-mini仅仅8B参数，对于今年普遍的安卓12GB和苹果8GB内存，已经触手可及2. 推理甚至训练成本以指数降低，每人每天消耗百万token是可负担的3. 换个角度，眼镜、手环等说不定就是手机延展出的“新feature”。越来越多讨论关于二合一三合一场景，手机眼镜等不同终端之间互联互通，卸载眼镜算力到手机，让眼镜轻到30克以下从而实现everytime everywhere，从而使眼镜成为延展人和手机功能感知的“新feature”4. 多步推理、长链路等准确度稳定性可能依然是个挑战，但在以月为单位的迭代进步。因此即将到来的CES，可能是AI浓度最高的一次，也会给2025年的端侧AI定个基调。刚刚英伟达已经推送了一篇CES指南，看来看去全是应用和端侧场景。最后提一嘴英伟达目前的状况，其实GB200的问题依然没有完全解决，大家对转单到GB300是一种合理的捍卫式解释。但细想就发现，GB200都没解决的问题，GB300刚开始定案，无法保证一切顺利。最近交流下来，很多买方担心Q1业绩。但这里面一个大变量就是“替补队员”8卡HGX的Blackwell能卖多少，总cowos没少甚至上调，因此只要客户愿意接受8卡，其实收入利润不会有太大影响。而客户2025年的总需求，马上1月底就是几家CSP业绩，会给全年定个调。从目前情况看，下游需求其实并没有放缓的痕迹...几家外资的2025科技机会展望上传了（附一份中国半导体2025展望），2025还有哪些机会欢迎来帖子下面讨论
APP内打开