关注老石谈芯,一起探究芯片本质
微信的推送规则进行了调整
如果文章对你有用,请在文末点击“在看”,“分享”和“赞”
这样就不会错过老石的每一篇推送了
我万万没想到,除夕当天我会跑到咖啡店写公众号文章。
因为万万没想到,Deepseek这几天以如此迅猛的速度刷爆朋友圈,也没想到这股神秘的东方力量在昨晚直接拉爆了以英伟达和台积电为代表的AI芯片科技股。
三个没想到,完美构成了一条思维链(Chain of Thoughts,COT)。
我用Deepseek一段时间了,已经深度沉迷在最它的深度思考模式。也就是说,在给出它的回答之前,它会先详细阐述自己的思考过程,类似面试的时候应聘者不仅给出问题的结果,还给考官一步一步的描述自己如何把一个问题拆解成若干小问题、基于怎样的原理、参考了什么内容,最终推动问题的解决。这就是所谓的思维链。
经常跳槽的朋友应该清楚,这样的选手是面试官最喜欢的。即使最后答案不是完美正确,只要中间过程靠谱、逻辑清晰,也能体现选手的能力,也大概率会得到录用。
Deepseek就是这样的选手。
我们都知道传统大模型会一本正经的胡说八道,要命的是我们不知道为什么大模型会一本正经的胡说八道。导致这个痛点的本质原因,就是模型本身思维方式的不可解释性。你可以把AI当成是个薛定谔的黑盒,输入一个指令,输出一个结果,但得到什么结果全凭模型素质和运气。
但有了思维过程,你就能(在某种程度上)理解AI是怎么思考的,就可以根据这个思考过程看出来到底哪里对了、哪里开始胡扯了,然后根据这个观察针对性的调整和AI的互动,引导选手得到更靠谱的答案。很重要的是,它的思维过程说的是人话。
Deepseek的优点还有很多,特别擅长逻辑、编程、数学相关的问题,和我的日常使用场景几乎完美吻合。比如它已经给我想了很多蛮靠谱的科研idea,还给出了实现这些想法的技术路线。我还用它在整一些小活,如果做成了就第一时间分享给大家,如果做不成就当没做过……
有人说,Deepseek的火爆出圈,代表了东大在A国芯片禁运、人才封锁等重重技术封锁下的突破。黑神话悟空制作人冯骥说,Deepseek属于国运级的创新成果。如果我们继续挖掘这个国运级突破背后的本质,可以看到其实是大洋两岸的两国在大模型技术路线上的三个竞争。
1、暴力堆料与极致工程之争。《孟子》说,达则兼济天下,穷则独善其身。这句话在大模型领域也同样适用:卡多则暴力堆料,卡少则工程优化。当OpenAI的Scaling Law向业界释放出强烈明示——即模型性能和算力成正比时,本质上也给不明就里的投资人提出了一个简单粗暴的计算投资回报ROI的公式,只要堆卡、堆算力,就能实现模型性能的不断提升。反过来,这同样也给A国政府提供了绝佳的卡点,即封锁算力就等同于封锁模型性能。但Deepseek从极致工程优化入手,通过纯强化学习方法实现思考和顿悟,仅用十分之一的成本就达到了GPT-o1级别的性能表现。
结果投资人有点慌,之前让我烧钱暴力堆卡的时候,没说还有这种骚操作;搞技术封锁的人也有点慌,没想到这个行业的护城河也太不稳了,这么随意就被绕了,封了半天封了个寂寞。
之前英伟达、博通、台积电这些半导体公司的高估值,以至于美股过去几年超过十万亿美元的市值增长,很大程度都建立在美国技术遥领的基础上,也都建立在暴力堆料的技术路线之上。但Deepseek的出现,打破了这种信仰。
这也是昨晚美国科技股集体扑街的本质原因(之一,其他原因可以在评论区补充)。
但我同样觉得,Deepseek的爆发并不代表算力的落寞,恰恰相反会给芯片端带来全新的机会。一方面,极致工程优化和暴力堆料二者本身并不冲突,只是在特定历史条件下出现了割裂,如果二者能进行结合,或许能创造出新的突破。另一方面,算法的创新降低了门槛,会吸引更多参与者,从而进一步提升对算力的需求。
2、先发优势与后发优势之争。过去几年,A国在AI领域一直保持半年到N年的先发优势。作为引领者的好处,在于方便跑马圈地、制定规则。你入局早,嗓门大,就能制定游戏规则,后来的小弟都得按你的规则跟你混。这方面A国的科技公司很擅长,比如谷歌、Meta、苹果、微软、亚马逊,到芯片行业的英伟达、EDA巨头们等,都是这个套路。经常有人说为什么欧洲和日本没有做社交媒体、电商、搜索引擎、大算力芯片等公司,就是因为被A国占据了先发优势。
但另一方面,一朝引领,就想一直引领。当带头大哥的代价也是很大的,比如前面说的模型推理性能优化的技术路线到底选哪条,引领者很多时候也是懵b的,也只能靠烧钱堆卡去试。试出来一个好用的,还容易形成路径依赖。
这个时候,后发者的最大优势就体现出来了,那就是摸着带头大哥过河,少踩坑、少走很多弯路。另外敌在明我在暗,看清了前人的技术路线,更容易形成自己的差异化。这方面东大的公司有很多经验,比如pdd对淘宝,比如小米汽车的迅速崛起。
不过,从目前的形势来看,Deepseek更多是实现了后发者的追赶,还尚未实现反超。如何从追随者变成引领者,如何将后发优势转换成领先优势、并一直保持下去,或许是他们迟早要(或许很快就要)面对的问题。
3、闭源模式与开源模式之争。OpenAI这个公司的名字已经成了一个绕不过去的梗,与之并列的就是Robin对开源模型的一系列神预言,以及老石对芯片公司股价走势封神的反向预测。当大佬们都认为未来大模型会逐渐走向封闭,Deepseek以它的开源属性强力打破了这个偏见,不仅模型开源、供全球用户无限使用(当然现在由于需求过大,开启了地域保护,仅供+86手机注册,真的过年了),还把模型参数、训练数据、论文文档都开源,API调用还打了骨折,基本免费。
你想给信仰充值,都找不到地方。
开源有两个显而易见的好处,一个是能快速汇聚各种科技力量,另一个就是从根本上打破技术封锁。因为Deepseek的开源属性,已经出现了几百个模型的精调版本,人们也可以把它部署在自己的PC、Mac Mini、Raspberry Pi等等各种设备上,各种整活层出不穷。比如有老外在twitter上立Flag,说誓死也要把Deepseek部署到多个Mac Mini组成的集群上(目前好像已经实现了)。
图灵奖得主、Meta AI首席科学家杨立昆(Yann LeCun)也表达了对开源精神的支持,他说「与其说是中国胜过美国,更该说是开源模型超过了私有模型」。
开源模式对于东大的科技发展来说,有着非常重要的意义,我在之前的文章中也多次介绍过。不仅模型、算法、软件适合开源,其实硬件、芯片也同样适合探索开源模式。孙凝辉院士提出要构建开源开放的「C体系」,本质上就是以引领性的技术成果和开源模式构建广泛技术生态,实现技术的普惠。
最后的问题是,人工智能的「奇点」,真的来了吗?
在纷繁复杂铺天盖地的Deepseek内容中,我看到一篇小红书的帖子,是一个大厂工程师在用Deepseek后感到一种巨大的失落。帖子中写到:
如果创作不如AI、写代码不如AI、报告总结不如AI,那人类在这个世界存在的价值、个人存在的价值到底是什么?
除夕看到这个问题,更有一种特别的感受。我让Deepseek列举了几个和春节相关的诗词,它依然稳定输出了很多我听过或从未听过的诗。但不知AI能否理解「爆竹声中一岁除,春风送暖入屠苏」中万象更新的感觉;能否理解甄嬛除夕夜在梅园说出「逆风如解意,容易莫摧残」的心境;能否理解明明是普通的一次地球自转,人类这个生物为何要给它赋予如此特殊的意义。
我让Deepseek为这篇文章起一个标题,觉得很快AI会在创意上替代我。但至少,我还能喝一杯AI喝不了的酒。
记得点击下面视频号领红包封面。祝大家新春快乐,万事如意~
(注:本文不代表老石任职单位的观点。)
老石谈芯社群组建中!扫码添加小助手进群~
关注老石谈芯,一起探究芯片本质
微信的推送规则进行了调整
如果文章对你有用,请在文末点击“在看”,“分享”和“赞”
这样就不会错过老石的每一篇推送了
我万万没想到,除夕当天我会跑到咖啡店写公众号文章。
因为万万没想到,Deepseek这几天以如此迅猛的速度刷爆朋友圈,也没想到这股神秘的东方力量在昨晚直接拉爆了以英伟达和台积电为代表的AI芯片科技股。
三个没想到,完美构成了一条思维链(Chain of Thoughts,COT)。
我用Deepseek一段时间了,已经深度沉迷在最它的深度思考模式。也就是说,在给出它的回答之前,它会先详细阐述自己的思考过程,类似面试的时候应聘者不仅给出问题的结果,还给考官一步一步的描述自己如何把一个问题拆解成若干小问题、基于怎样的原理、参考了什么内容,最终推动问题的解决。这就是所谓的思维链。
经常跳槽的朋友应该清楚,这样的选手是面试官最喜欢的。即使最后答案不是完美正确,只要中间过程靠谱、逻辑清晰,也能体现选手的能力,也大概率会得到录用。
Deepseek就是这样的选手。
我们都知道传统大模型会一本正经的胡说八道,要命的是我们不知道为什么大模型会一本正经的胡说八道。导致这个痛点的本质原因,就是模型本身思维方式的不可解释性。你可以把AI当成是个薛定谔的黑盒,输入一个指令,输出一个结果,但得到什么结果全凭模型素质和运气。
但有了思维过程,你就能(在某种程度上)理解AI是怎么思考的,就可以根据这个思考过程看出来到底哪里对了、哪里开始胡扯了,然后根据这个观察针对性的调整和AI的互动,引导选手得到更靠谱的答案。很重要的是,它的思维过程说的是人话。
Deepseek的优点还有很多,特别擅长逻辑、编程、数学相关的问题,和我的日常使用场景几乎完美吻合。比如它已经给我想了很多蛮靠谱的科研idea,还给出了实现这些想法的技术路线。我还用它在整一些小活,如果做成了就第一时间分享给大家,如果做不成就当没做过……
有人说,Deepseek的火爆出圈,代表了东大在A国芯片禁运、人才封锁等重重技术封锁下的突破。黑神话悟空制作人冯骥说,Deepseek属于国运级的创新成果。如果我们继续挖掘这个国运级突破背后的本质,可以看到其实是大洋两岸的两国在大模型技术路线上的三个竞争。
1、暴力堆料与极致工程之争。《孟子》说,达则兼济天下,穷则独善其身。这句话在大模型领域也同样适用:卡多则暴力堆料,卡少则工程优化。当OpenAI的Scaling Law向业界释放出强烈明示——即模型性能和算力成正比时,本质上也给不明就里的投资人提出了一个简单粗暴的计算投资回报ROI的公式,只要堆卡、堆算力,就能实现模型性能的不断提升。反过来,这同样也给A国政府提供了绝佳的卡点,即封锁算力就等同于封锁模型性能。但Deepseek从极致工程优化入手,通过纯强化学习方法实现思考和顿悟,仅用十分之一的成本就达到了GPT-o1级别的性能表现。
结果投资人有点慌,之前让我烧钱暴力堆卡的时候,没说还有这种骚操作;搞技术封锁的人也有点慌,没想到这个行业的护城河也太不稳了,这么随意就被绕了,封了半天封了个寂寞。
之前英伟达、博通、台积电这些半导体公司的高估值,以至于美股过去几年超过十万亿美元的市值增长,很大程度都建立在美国技术遥领的基础上,也都建立在暴力堆料的技术路线之上。但Deepseek的出现,打破了这种信仰。
这也是昨晚美国科技股集体扑街的本质原因(之一,其他原因可以在评论区补充)。
但我同样觉得,Deepseek的爆发并不代表算力的落寞,恰恰相反会给芯片端带来全新的机会。一方面,极致工程优化和暴力堆料二者本身并不冲突,只是在特定历史条件下出现了割裂,如果二者能进行结合,或许能创造出新的突破。另一方面,算法的创新降低了门槛,会吸引更多参与者,从而进一步提升对算力的需求。
2、先发优势与后发优势之争。过去几年,A国在AI领域一直保持半年到N年的先发优势。作为引领者的好处,在于方便跑马圈地、制定规则。你入局早,嗓门大,就能制定游戏规则,后来的小弟都得按你的规则跟你混。这方面A国的科技公司很擅长,比如谷歌、Meta、苹果、微软、亚马逊,到芯片行业的英伟达、EDA巨头们等,都是这个套路。经常有人说为什么欧洲和日本没有做社交媒体、电商、搜索引擎、大算力芯片等公司,就是因为被A国占据了先发优势。
但另一方面,一朝引领,就想一直引领。当带头大哥的代价也是很大的,比如前面说的模型推理性能优化的技术路线到底选哪条,引领者很多时候也是懵b的,也只能靠烧钱堆卡去试。试出来一个好用的,还容易形成路径依赖。
这个时候,后发者的最大优势就体现出来了,那就是摸着带头大哥过河,少踩坑、少走很多弯路。另外敌在明我在暗,看清了前人的技术路线,更容易形成自己的差异化。这方面东大的公司有很多经验,比如pdd对淘宝,比如小米汽车的迅速崛起。
不过,从目前的形势来看,Deepseek更多是实现了后发者的追赶,还尚未实现反超。如何从追随者变成引领者,如何将后发优势转换成领先优势、并一直保持下去,或许是他们迟早要(或许很快就要)面对的问题。
3、闭源模式与开源模式之争。OpenAI这个公司的名字已经成了一个绕不过去的梗,与之并列的就是Robin对开源模型的一系列神预言,以及老石对芯片公司股价走势封神的反向预测。当大佬们都认为未来大模型会逐渐走向封闭,Deepseek以它的开源属性强力打破了这个偏见,不仅模型开源、供全球用户无限使用(当然现在由于需求过大,开启了地域保护,仅供+86手机注册,真的过年了),还把模型参数、训练数据、论文文档都开源,API调用还打了骨折,基本免费。
你想给信仰充值,都找不到地方。
开源有两个显而易见的好处,一个是能快速汇聚各种科技力量,另一个就是从根本上打破技术封锁。因为Deepseek的开源属性,已经出现了几百个模型的精调版本,人们也可以把它部署在自己的PC、Mac Mini、Raspberry Pi等等各种设备上,各种整活层出不穷。比如有老外在twitter上立Flag,说誓死也要把Deepseek部署到多个Mac Mini组成的集群上(目前好像已经实现了)。
图灵奖得主、Meta AI首席科学家杨立昆(Yann LeCun)也表达了对开源精神的支持,他说「与其说是中国胜过美国,更该说是开源模型超过了私有模型」。
开源模式对于东大的科技发展来说,有着非常重要的意义,我在之前的文章中也多次介绍过。不仅模型、算法、软件适合开源,其实硬件、芯片也同样适合探索开源模式。孙凝辉院士提出要构建开源开放的「C体系」,本质上就是以引领性的技术成果和开源模式构建广泛技术生态,实现技术的普惠。
最后的问题是,人工智能的「奇点」,真的来了吗?
在纷繁复杂铺天盖地的Deepseek内容中,我看到一篇小红书的帖子,是一个大厂工程师在用Deepseek后感到一种巨大的失落。帖子中写到:
如果创作不如AI、写代码不如AI、报告总结不如AI,那人类在这个世界存在的价值、个人存在的价值到底是什么?
除夕看到这个问题,更有一种特别的感受。我让Deepseek列举了几个和春节相关的诗词,它依然稳定输出了很多我听过或从未听过的诗。但不知AI能否理解「爆竹声中一岁除,春风送暖入屠苏」中万象更新的感觉;能否理解甄嬛除夕夜在梅园说出「逆风如解意,容易莫摧残」的心境;能否理解明明是普通的一次地球自转,人类这个生物为何要给它赋予如此特殊的意义。
我让Deepseek为这篇文章起一个标题,觉得很快AI会在创意上替代我。但至少,我还能喝一杯AI喝不了的酒。
记得点击下面视频号领红包封面。祝大家新春快乐,万事如意~
(注:本文不代表老石任职单位的观点。)
老石谈芯社群组建中!扫码添加小助手进群~