自大模型概念兴起以来,算力一直是其发展的关键要素。
数据显示,截至2023年底,我国在用机架数达到810万标准机架,算力总规模位居全球第二。
然而,这一规模仍难以满足国内大模型公司日益增长的需求。
与海外同行相比,国内大模型公司在算力方面面临更为严峻的挑战,显卡供应限制成为制约其发展的瓶颈。
在这样的背景下,无问芯穹作为一家AI基础设施(AI Infra)企业,打造了一种创新的"M×N"基础设施新范式,旨在连接多种模型与芯片,实现大模型算法在不同芯片上的高效协同部署。
通过混合应用国内外GPU,有效提升了算力的利用率,为解决算力问题提供了新思路。
现在,让我们深入了解这家在AI大模型领域扮演"卖铲人"角色的企业。
成立背景
无问芯穹成立于2023年5月,由清华大学电子工程系推动成立,创始团队主要毕业自清华大学电子工程系,该系也是国内半导体产业的“黄埔军校”,包括燧原科技创始人兼CEO赵立东,前清华大学校长王希勤等人都毕业于该专业。
无问芯穹由清华大学电子工程系系主任汪玉发起。
汪玉从博士毕业留在电子系任教时就选择了定制应用域加速的方向,专注于针对深度学习的软硬件联合优化。汪玉很早提出了“深度学习算法-编译-芯片联合设计”的路线,这也成为软硬件联合优化的一个典型路线。
在此路线基础上,汪玉实验室于2016年孵化出深鉴科技,一家专注深度学习处理器解决方案的人工智能科技公司。
深鉴科技的创业之路
2018年,深鉴科技以3亿美元的价格被赛灵思收购,证明了该技术存在的产业价值,这也为无问芯穹的创立奠定了基础。
在全球大模型产业的快速发展下,算力需求呈爆炸式增长。
英伟达作为GPU芯片的巨头,虽然在市场上占据主导地位,但面对日益增长的算力需求,其产能也显得捉襟见肘。
与此同时,美国对中国的芯片禁售政策,也为国内芯片厂商提供了新的发展空间。
但大量的异构芯片无法混合使用,这成为构建AI基础设施的最大难点,也是当前大模型行业“算力荒”的重要原因之一。
正是在这样的背景下,无问芯穹应运而生。
无问芯穹在大模型和算力拥有方中间打造了一个灵活适配的中间层,实现了不同大模型与不同芯片的统一部署。
无问芯穹作为中间方,对接算力拥有方和大模型公司,为那些缺乏复杂算力运营能力的智算中心提供了灵活的算力配置和兼容解决方案。
目前,无问芯穹的无穹Infini-AI平台,已经能够支持了Llama2、Baichuan2在内的20多个模型,以及AMD、壁仞、寒武纪、燧原、天数智芯、沐曦、摩尔线程、英伟达等10余种计算卡。
团队构成与专业背景
无问芯穹由清华汪玉教授亲自带队,核心团队集齐了清华大学、北京大学、上海交通大学等一众顶尖人才,拥有丰富的产业经验和成功的创业经历,技术积累与学术沉淀丰富,已经在人工智能系统优化领域发表高水平学术论文200余篇。
(1)汪玉——董事长、联合创始人
汪玉,无问芯穹董事长、联合创始人,清华大学电子工程系长聘教授、系主任,清华大学信息科学技术学院副院长,清华大学天津电子信息研究院院长。长期从事智能芯片、高能效电路与系统研究,ACM SIGDA执行委员会成员, ACM FPGA技术委员会亚太地区唯一成员。
(2)夏立雪——CEO、联合创始人
夏立雪,无问芯穹CEO、联合创始人,在清华大学电子工程系获得工学博士学位。
夏立雪,是汪玉教授第一任博士毕业生,长期致力于深度学习系统的设计方法学研究。曾任阿里云用户增长产品技术负责人,曾经负责过阿里云大语言模型的压缩加速、生成式AI模型芯片的等战略项目。
夏立雪的研究内容为深度学习算法的硬件设计优化,关注层次主要包括算法层的模型压缩、软件层的算法编译优化、以及面向新兴存储计算元件RRAM的深度学习计算平台体系结构和容错方法研究等。
(3)戴国浩——首席科学家、联合创始人
戴国浩,无问芯穹联合创始人,上海交通大学长聘教轨副教授。CCC(清源研究院定制计算中心)Co-PI,DAI Group(人工智能设计自动化创新实验室)负责人。
戴国浩同为清华校友,分别于2014年和2019年取得清华电子工程系工学学士和博士学位。汪玉为其博士毕业论文指导老师。戴国浩主要研究方向是大规模稀疏图计算、异构硬件计算、新兴硬件架构等,曾获ASP-DAC19最佳论文奖,以及DAC22/DATE18最佳论文提名。
(4)颜深根——CTO、联合创始人
颜深根,无问芯穹联合创始人、CTO,中科院博士,清华大学电子系副研究员、北京大学科研副教授、商汤原数据与计算平台部执行总监、小红书原AI平台部负责人,曾就职于百度深度学习研究院,任资深研发工程师。
(5)曾书霖——硬件设计负责人、联合创始人
曾书霖,无问芯穹硬件设计负责人、联合创始人。清华大学电子工程系博士研究生,导师为汪玉教授。2018年本科毕业于清华大学电子工程系,继续攻读博士学位,2017年加入汪玉教授团队。
曾书霖主修专业为电子工程,研究方向包括基于FPGA的神经网络加速器设计、软硬件协同优化、云端硬件虚拟化、大规模异构计算等。
产品介绍
无问芯穹致力于提供AGI算力解决方案,以无穹大模型能效优化工具包为基础,旨在解决大模型算法向大算力芯片的高效统一部署问题。
无问芯穹建设面向大模型的M×N算法-芯片联合优化平台,其中M层支撑多种大模型算法、N层连接多种算力芯片,提升大模型到国产芯片平台的部署效率,实现在不同芯片上的高效统一部署,提供包括NVIDIA、AMD、海光、天数等多种加速算力云服务。
Infini-AI云平台共由三部分构成,分别是异构云管平台、一站式AI平台和大模型服务平台。
(1)异构云管平台
异构云管平台提供算力资源的异构纳管、运维和监控能力,提供的丰富的算力运营体系。
从实际千卡混合训练效果可见,无问芯穹千卡异构混合训练集群算力利用率最高达到了97.6%。
2023年,无问芯穹宣布了FlashDecoding++在英伟达GPU和AMD等芯片上取得的优化效果,实现大模型任务2-4倍的推理速度提升。
随后,AMD中国宣布与无问芯穹达成战略合作关系,双方将携手联合提高商用AI应用性能。
(2)一站式AI平台
无问芯穹一站式 AI 平台(AIStudio)是面向机器学习开发者,提供开发机、任务等功能的企业级开发平台,支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。
产品优势:
一站式:涵盖 AI 开发全流程,包含数据管理、模型开发、训练、推理。
高性价比:提供高性价比的预付费计算资源,额外提供辅助功能帮助提升资源利用率。
开发调试工具:平台内置多种主流机器学习框架的镜像,极大提升开发和调试环境一致性。
分布式训练:预置多种分布式框架,可稳定、高效运行超大规模的分布式训练任务。
高性能推理:部署多种框架的模型到异构硬件,提供高吞吐、低延时、实时扩缩容、容错等特性。
(3)大模型服务平台
无问芯穹大模型服务平台(GenStudio)基于无问芯穹的智算云平台,针对生成式大模型的应用落地的多种场景需求,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。
产品优势:
多种大模型:预置多种来源和参数规模的大模型。
微调服务:微调预置大模型,支持全量参数微调(SFT)以及高效参数微调(LoRA)方式,配置简单,更贴合落地需求。
适配异构芯片:针对英伟达、AMD 以及多种国产芯片在训练、推理场景适配和优化。
评测对比工具:提供多种大模型评测对比工具,可随时调试。
多种访问方式:Web UI 支持即来即用;简单易用的 API、SDK 便于快速集成。
(4)主要客户
无问芯穹目前重点服务的客户有三类:大模型厂商,用大模型去升级自身业务的软件厂商,以及基于模型去做AI原生应用的小企业。
公司上游是智算中心,下游是大模型及使用大模型的公司,比如说法律、金融这些行业的客户。
无问芯穹还与智谱AI、月之暗面等大模型公司客户建立了合作关系,这些客户已经在Infini-AI上稳定使用异构算力
估值及融资情况
无问芯穹目前共经历3轮融资,在成立1年4个月内,无问芯穹累计已完成近10亿元融资,投资方阵容豪华,名单已经集齐国资、地方基金和红杉、经纬、真格、顺为以及腾讯、百度、联想、智谱等一系列头部VC机构和互联网大厂。
天使轮融资:2023年8月,无问芯穹完成天使轮融资,融资金额未披露,投资方包括红杉中国、北极光创投、金沙江创投、SEE Fund无限基金、徐汇资本。
Pre-A轮融资:2023年12月,无问芯穹完成Pre-A轮融资,融资金额未披露,投资方包括百度、腾讯投资、红杉中国、智谱AI、歌尔股份、真格基金、启明创投、南山资本、绿洲资本Vitalbridge、七熹投资、光源资本、星连资本、惠隆资本。
A轮融资:2024年8月,无问芯穹完成A轮融资,融资金额为5亿元,估值未披露,本轮融资联合领投方为社保基金中关村自主创新专项基、启明创投和洪泰基金,跟投方包括联想创投、小米、软通高科等战略投资方,国开科创、上海人工智能产业投资基、徐汇科创投等国资基金,以及顺为资本、达晨财智、德同资本、尚势资本、森若玉坤、申万宏源、正景资本等财务机构。
小结
无问芯穹,作为国内领先的AI基础设施企业,凭借其创新的M×N算法,为国产芯片产业开辟了新的出路。该公司的技术使得异构芯片能够共同应用于大模型训练,成功地消除了不同芯片间协作的障碍。
在当前国内资金纷纷涌入大模型和芯片领域的背景下,无问芯穹所提供的中间层解决方案显得尤为重要,其价值在技术与商业两个层面都得到了充分体现。
自大模型概念兴起以来,算力一直是其发展的关键要素。
数据显示,截至2023年底,我国在用机架数达到810万标准机架,算力总规模位居全球第二。
然而,这一规模仍难以满足国内大模型公司日益增长的需求。
与海外同行相比,国内大模型公司在算力方面面临更为严峻的挑战,显卡供应限制成为制约其发展的瓶颈。
在这样的背景下,无问芯穹作为一家AI基础设施(AI Infra)企业,打造了一种创新的"M×N"基础设施新范式,旨在连接多种模型与芯片,实现大模型算法在不同芯片上的高效协同部署。
通过混合应用国内外GPU,有效提升了算力的利用率,为解决算力问题提供了新思路。
现在,让我们深入了解这家在AI大模型领域扮演"卖铲人"角色的企业。
成立背景
无问芯穹成立于2023年5月,由清华大学电子工程系推动成立,创始团队主要毕业自清华大学电子工程系,该系也是国内半导体产业的“黄埔军校”,包括燧原科技创始人兼CEO赵立东,前清华大学校长王希勤等人都毕业于该专业。
无问芯穹由清华大学电子工程系系主任汪玉发起。
汪玉从博士毕业留在电子系任教时就选择了定制应用域加速的方向,专注于针对深度学习的软硬件联合优化。汪玉很早提出了“深度学习算法-编译-芯片联合设计”的路线,这也成为软硬件联合优化的一个典型路线。
在此路线基础上,汪玉实验室于2016年孵化出深鉴科技,一家专注深度学习处理器解决方案的人工智能科技公司。
深鉴科技的创业之路
2018年,深鉴科技以3亿美元的价格被赛灵思收购,证明了该技术存在的产业价值,这也为无问芯穹的创立奠定了基础。
在全球大模型产业的快速发展下,算力需求呈爆炸式增长。
英伟达作为GPU芯片的巨头,虽然在市场上占据主导地位,但面对日益增长的算力需求,其产能也显得捉襟见肘。
与此同时,美国对中国的芯片禁售政策,也为国内芯片厂商提供了新的发展空间。
但大量的异构芯片无法混合使用,这成为构建AI基础设施的最大难点,也是当前大模型行业“算力荒”的重要原因之一。
正是在这样的背景下,无问芯穹应运而生。
无问芯穹在大模型和算力拥有方中间打造了一个灵活适配的中间层,实现了不同大模型与不同芯片的统一部署。
无问芯穹作为中间方,对接算力拥有方和大模型公司,为那些缺乏复杂算力运营能力的智算中心提供了灵活的算力配置和兼容解决方案。
目前,无问芯穹的无穹Infini-AI平台,已经能够支持了Llama2、Baichuan2在内的20多个模型,以及AMD、壁仞、寒武纪、燧原、天数智芯、沐曦、摩尔线程、英伟达等10余种计算卡。
团队构成与专业背景
无问芯穹由清华汪玉教授亲自带队,核心团队集齐了清华大学、北京大学、上海交通大学等一众顶尖人才,拥有丰富的产业经验和成功的创业经历,技术积累与学术沉淀丰富,已经在人工智能系统优化领域发表高水平学术论文200余篇。
(1)汪玉——董事长、联合创始人
汪玉,无问芯穹董事长、联合创始人,清华大学电子工程系长聘教授、系主任,清华大学信息科学技术学院副院长,清华大学天津电子信息研究院院长。长期从事智能芯片、高能效电路与系统研究,ACM SIGDA执行委员会成员, ACM FPGA技术委员会亚太地区唯一成员。
(2)夏立雪——CEO、联合创始人
夏立雪,无问芯穹CEO、联合创始人,在清华大学电子工程系获得工学博士学位。
夏立雪,是汪玉教授第一任博士毕业生,长期致力于深度学习系统的设计方法学研究。曾任阿里云用户增长产品技术负责人,曾经负责过阿里云大语言模型的压缩加速、生成式AI模型芯片的等战略项目。
夏立雪的研究内容为深度学习算法的硬件设计优化,关注层次主要包括算法层的模型压缩、软件层的算法编译优化、以及面向新兴存储计算元件RRAM的深度学习计算平台体系结构和容错方法研究等。
(3)戴国浩——首席科学家、联合创始人
戴国浩,无问芯穹联合创始人,上海交通大学长聘教轨副教授。CCC(清源研究院定制计算中心)Co-PI,DAI Group(人工智能设计自动化创新实验室)负责人。
戴国浩同为清华校友,分别于2014年和2019年取得清华电子工程系工学学士和博士学位。汪玉为其博士毕业论文指导老师。戴国浩主要研究方向是大规模稀疏图计算、异构硬件计算、新兴硬件架构等,曾获ASP-DAC19最佳论文奖,以及DAC22/DATE18最佳论文提名。
(4)颜深根——CTO、联合创始人
颜深根,无问芯穹联合创始人、CTO,中科院博士,清华大学电子系副研究员、北京大学科研副教授、商汤原数据与计算平台部执行总监、小红书原AI平台部负责人,曾就职于百度深度学习研究院,任资深研发工程师。
(5)曾书霖——硬件设计负责人、联合创始人
曾书霖,无问芯穹硬件设计负责人、联合创始人。清华大学电子工程系博士研究生,导师为汪玉教授。2018年本科毕业于清华大学电子工程系,继续攻读博士学位,2017年加入汪玉教授团队。
曾书霖主修专业为电子工程,研究方向包括基于FPGA的神经网络加速器设计、软硬件协同优化、云端硬件虚拟化、大规模异构计算等。
产品介绍
无问芯穹致力于提供AGI算力解决方案,以无穹大模型能效优化工具包为基础,旨在解决大模型算法向大算力芯片的高效统一部署问题。
无问芯穹建设面向大模型的M×N算法-芯片联合优化平台,其中M层支撑多种大模型算法、N层连接多种算力芯片,提升大模型到国产芯片平台的部署效率,实现在不同芯片上的高效统一部署,提供包括NVIDIA、AMD、海光、天数等多种加速算力云服务。
Infini-AI云平台共由三部分构成,分别是异构云管平台、一站式AI平台和大模型服务平台。
(1)异构云管平台
异构云管平台提供算力资源的异构纳管、运维和监控能力,提供的丰富的算力运营体系。
从实际千卡混合训练效果可见,无问芯穹千卡异构混合训练集群算力利用率最高达到了97.6%。
2023年,无问芯穹宣布了FlashDecoding++在英伟达GPU和AMD等芯片上取得的优化效果,实现大模型任务2-4倍的推理速度提升。
随后,AMD中国宣布与无问芯穹达成战略合作关系,双方将携手联合提高商用AI应用性能。
(2)一站式AI平台
无问芯穹一站式 AI 平台(AIStudio)是面向机器学习开发者,提供开发机、任务等功能的企业级开发平台,支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。
产品优势:
一站式:涵盖 AI 开发全流程,包含数据管理、模型开发、训练、推理。
高性价比:提供高性价比的预付费计算资源,额外提供辅助功能帮助提升资源利用率。
开发调试工具:平台内置多种主流机器学习框架的镜像,极大提升开发和调试环境一致性。
分布式训练:预置多种分布式框架,可稳定、高效运行超大规模的分布式训练任务。
高性能推理:部署多种框架的模型到异构硬件,提供高吞吐、低延时、实时扩缩容、容错等特性。
(3)大模型服务平台
无问芯穹大模型服务平台(GenStudio)基于无问芯穹的智算云平台,针对生成式大模型的应用落地的多种场景需求,为应用开发者提供高性能、易上手、安全可靠的大模型服务,覆盖从大模型开发到大模型服务化部署的全流程。
产品优势:
多种大模型:预置多种来源和参数规模的大模型。
微调服务:微调预置大模型,支持全量参数微调(SFT)以及高效参数微调(LoRA)方式,配置简单,更贴合落地需求。
适配异构芯片:针对英伟达、AMD 以及多种国产芯片在训练、推理场景适配和优化。
评测对比工具:提供多种大模型评测对比工具,可随时调试。
多种访问方式:Web UI 支持即来即用;简单易用的 API、SDK 便于快速集成。
(4)主要客户
无问芯穹目前重点服务的客户有三类:大模型厂商,用大模型去升级自身业务的软件厂商,以及基于模型去做AI原生应用的小企业。
公司上游是智算中心,下游是大模型及使用大模型的公司,比如说法律、金融这些行业的客户。
无问芯穹还与智谱AI、月之暗面等大模型公司客户建立了合作关系,这些客户已经在Infini-AI上稳定使用异构算力
估值及融资情况
无问芯穹目前共经历3轮融资,在成立1年4个月内,无问芯穹累计已完成近10亿元融资,投资方阵容豪华,名单已经集齐国资、地方基金和红杉、经纬、真格、顺为以及腾讯、百度、联想、智谱等一系列头部VC机构和互联网大厂。
天使轮融资:2023年8月,无问芯穹完成天使轮融资,融资金额未披露,投资方包括红杉中国、北极光创投、金沙江创投、SEE Fund无限基金、徐汇资本。
Pre-A轮融资:2023年12月,无问芯穹完成Pre-A轮融资,融资金额未披露,投资方包括百度、腾讯投资、红杉中国、智谱AI、歌尔股份、真格基金、启明创投、南山资本、绿洲资本Vitalbridge、七熹投资、光源资本、星连资本、惠隆资本。
A轮融资:2024年8月,无问芯穹完成A轮融资,融资金额为5亿元,估值未披露,本轮融资联合领投方为社保基金中关村自主创新专项基、启明创投和洪泰基金,跟投方包括联想创投、小米、软通高科等战略投资方,国开科创、上海人工智能产业投资基、徐汇科创投等国资基金,以及顺为资本、达晨财智、德同资本、尚势资本、森若玉坤、申万宏源、正景资本等财务机构。
小结
无问芯穹,作为国内领先的AI基础设施企业,凭借其创新的M×N算法,为国产芯片产业开辟了新的出路。该公司的技术使得异构芯片能够共同应用于大模型训练,成功地消除了不同芯片间协作的障碍。
在当前国内资金纷纷涌入大模型和芯片领域的背景下,无问芯穹所提供的中间层解决方案显得尤为重要,其价值在技术与商业两个层面都得到了充分体现。