8月30日，上海市国资委发布2024上海国资国企数字化转型应用场景清单，覆盖了40家企业集团的308个场景。场景清单中对前沿科技、数字技术需求旺盛，其中AI大模型等新技术场景需求金额接近12亿元，占到总需求金额近1/3，308个场景中涉及行业典型应用示范101个，行业级应用场景需求覆盖交通、金融、新消费等多个行业。此外，由上海市国资委、经信委、数据局共同揭牌成立的上海国资国企数字化转型创新基地还大力支持支持企业落地垂类大模型应用。

产业需求旺盛，大模型正在加快重塑诸多行业的应用场景，引发新一轮产业变革。中国信息通信研究院人工智能所主任曹峰说“大模型产业化落地已进入关键阶段，已经在多个通用场景取得了较好的效果，当前正处于从通用场景向专业场景拓展的关键期，专业场景是应用拓展的核心方向，企业“研产供销服”全业务场景均有大量高价值场景待与AI深度融合。”

AI大模型应用场景产学研融通创新对接交流会

大模型产业的发展现状如何，落地应用面临的挑战有哪些，企业落地AI大模型的问题有哪些以及破局之道是什么？针对这些当下大模型产业落地的核心话题，本周二，中国信息通信研究院人工智能所主任曹峰、北京智源人工智能研究院行业应用团队专家于龙斌、首都医科大学科技成果转化部技术转移办公室主任郜文等行业专家代表、AI大模型解决方案单位代表齐聚北京，展开深入的探讨与交流。

01大模型技术快速演进

中国信息通信研究院人工智能所主任曹峰谈道，大模型参数规模从最初的百亿级迅速发展到千亿级甚至万亿级，规模扩张红利仍然持续，模型规模增大能有效提升任务效果；混合架构和多模态为大模型算法演进开辟新方向。

中国信息通信研究院人工智能所主任曹峰

曹峰指出，基础设施作为支撑人工智能实现突破的基座，主要集中在训练、推理及应用开发三个方面。模型虽然作为AI的核心的技术，但是它在落地仍然会遇到一系列的问题，首先要解决如何进行高效低成本的训练，所以在训练侧，分布式框架技术的突破，集群扩张，芯片的优化就是在推动高效低成本训练。推理侧的核心的问题也是降低成本，架构优化、技术优化和芯片优化持续降低了推理成本及兼容性应用成本，今年年中开始大模型厂商都在降价就是得益于推理成本的持续降低。此外围绕模型的全生命周期在创新，大模型的工程落地架构逐渐清晰，分为基础设施层、平台工具层、模型库和数据集层、应用开发平台层，大模型主要创新方向是降低应用门槛，丰富应用场景和模式。

北京科智咨询有限公司研究总监弓瑞峰表示，技术突破让大模型越过夭折线进入成长期，开始产业化。

北京科智咨询有限公司研究总监弓瑞峰

目前AI大模型产业算力及应用两翼迅猛发展，截至2024年8月底有400个智算中心正在建设中，截至今年4月，已上线的大模型超过260个，其中面向行业及业务场景的垂类大模型占比近80%。

02 落地应用面临的挑战有哪些

曹峰指出，大模型在通用场景的落地已取得较好效果，例如表格处理、会议转录等，这些应用能够有效提升办公效率，降低人工成本。然而，在专业场景，例如工业质检、金融风控等，大模型的落地仍然面临着挑战。这些场景往往需要更高的准确性和更强的专业知识，对大模型的泛化能力和鲁棒性提出了更高的要求。

曹峰强调，大模型的落地需要强大的算力、数据和算法支撑，这对许多企业来说是一个巨大的挑战，不同行业和场景对大模型的需求差异很大，需要进行定制化开发，才能满足特定场景的需求。

北京智源人工智能研究院行业应用团队专家于龙斌表示，今年大家都在讲卷应用，如何才能真正让大模型在行业应用落地，需要关注大小模型协同、模型高效化和小型化、数据质量、算力适配与优化、多模态大模型发展以及复合型人才培养等这几方面的关键问题。

展开来说，大模型与小模型协同发展，端侧小模型采集敏感数据，后端大模型进行分析，通过模型量化、压缩、剪枝等技术降低模型参数量级，提升效率并降低资源消耗，让模型高效化，智源和中国卫星的合作就是用来一个0.3B参数的多模态模型。高质量的数据是模型训练的关键，数据的汇聚、清洗、分类等处理至关重要。此外还要积极适配国产GPU，优化网络架构，提升算力利用效率。现在行业都在卷模型卷应用，但针对于又懂业务又懂技术的复合型人才，是比较短缺的，这也是技术方和应用方合作时产生的共识。

针对大模型应用落地在某一特定行业，首都医科大学科技成果转化部技术转移办公室主任郜文从大模型在医疗场景的应用展开了更深入的分享。

郜文谈道，医学具有不确定性，大模型的知识积累并不能代替医生的经验和判断。医疗领域需要明确大模型的定位和应用场景，避免资源浪费。医疗大模型的应用定位应该是大型医院医生的助手，来帮助医生管理病人，提升沟通效率；基层医生的指导老师，为基层医生提供便捷的知识和经验支持。

关于大模型在医疗领域的落地也有许多难题，首先医生是一个谨慎的群体，需要积极沟通并取得他们的信任和合作。其次是医疗数据问题，医疗数据是一个很大的资产，关于数据资产的确权非常难，郜文指出，个体医疗数据看似属于个人，但海量数据的聚合却使得权属变得模糊，究竟是属于病人、医院还是数据处理公司，目前尚无定论，这种权属的不确定性也会导致许多公司在处理医疗数据时面临法律风险。此外，医疗领域的技术产品还面临着严格的行政监管，例如基因编辑技术，虽然是领先的技术，但也必须符合伦理规范和政策管理制度，否则就无法应用。

个体医疗数据

郜文认为，在医疗领域应用大模型或开展相关研究时，必须充分重视数据确权和政策合规性问题，在政策允许的范围内开展工作，才能确保项目的顺利进行并避免潜在的法律和伦理风险。

而针对大模型产业发展的限制因素，北京科智咨询有限公司研究总监弓瑞峰认为，一是场景应用不够丰富，国外大模型应用场景和行业覆盖范围更广，国内应用落地仍需拓展。二是共生生态建设不够完善，高校、科研机构、AI服务商之间缺乏有效协同，产学研合作有待加强。三是智能算力供应受限，高端训练芯片仍受制于国外厂商，国产芯片在训练芯片领域仍需突破。

03企业如何落地AI大模型

曹峰认为，企业落地AI应从工程思维出发，构建体系化的“架构图”和“方法论”。曹峰建议，企业落地大模型需要明确技术指标和评估方法，选择适合自身需求的模型，并构建一整套支撑模型运行和应用的工程架构，包括硬实力建设和软体系建设。

曹峰还总结了企业落地大模型的八大关键技术。

1.构建高可用、高性能、可扩展的智算设施，大模型的训练和推理对算力基础设施提出了更高的要求，企业需要建设高质量的智算中心，具备高能效的算力供给、高性能的存力保障和高可靠的运力承载能力。

2.夯实企业面向人工智能的数据治理和供给体系，企业需要构建面向AI的数据治理体系，解决业务数据“高量低质”、数据管理体系不成熟以及数据和模型流水线匹配度不够等问题，为大模型提供高质量的数据支持。

3.构建人工智能中台，企业需要构建AI中台，打通数据、业务和AI能力，重塑智能化转型能力底座，并与现有IT基础设施和业务平台深度融合。

4.建立大模型评测体系，大模型评测需要贯穿企业智能化全生命周期，从模型选型、上线到持续优化，都需要通过评测体系来保障应用质量。

5.构建模型服务体系，企业需要构建模型服务体系，支撑模型的高效构建、部署、监控和调用，实现模型即服务（MaaS），为业务部门提供便捷的模型服务。

6.开发人工智能原生应用，企业需要开发AI原生应用，例如智能体（AI Agent）、检索增强生成（RAG）等，提升大模型应用的易用性，并解决可信可控等问题。

7.构建企业人工智能管理体系，企业需要构建AI管理体系，对AI资产、流程和团队进行统一管理，提高AI应用的效率、质量和安全性。

8.建立企业人工智能应用成熟度体系，企业需要进行AI应用成熟度评估，客观评价AI应用水平，促进AI产业的健康稳健长久发展。

8月30日，上海市国资委发布2024上海国资国企数字化转型应用场景清单，覆盖了40家企业集团的308个场景。场景清单中对前沿科技、数字技术需求旺盛，其中AI大模型等新技术场景需求金额接近12亿元，占到总需求金额近1/3，308个场景中涉及行业典型应用示范101个，行业级应用场景需求覆盖交通、金融、新消费等多个行业。此外，由上海市国资委、经信委、数据局共同揭牌成立的上海国资国企数字化转型创新基地还大力支持支持企业落地垂类大模型应用。

产业需求旺盛，大模型正在加快重塑诸多行业的应用场景，引发新一轮产业变革。中国信息通信研究院人工智能所主任曹峰说“大模型产业化落地已进入关键阶段，已经在多个通用场景取得了较好的效果，当前正处于从通用场景向专业场景拓展的关键期，专业场景是应用拓展的核心方向，企业“研产供销服”全业务场景均有大量高价值场景待与AI深度融合。”

AI大模型应用场景产学研融通创新对接交流会

大模型产业的发展现状如何，落地应用面临的挑战有哪些，企业落地AI大模型的问题有哪些以及破局之道是什么？针对这些当下大模型产业落地的核心话题，本周二，中国信息通信研究院人工智能所主任曹峰、北京智源人工智能研究院行业应用团队专家于龙斌、首都医科大学科技成果转化部技术转移办公室主任郜文等行业专家代表、AI大模型解决方案单位代表齐聚北京，展开深入的探讨与交流。

01大模型技术快速演进

中国信息通信研究院人工智能所主任曹峰谈道，大模型参数规模从最初的百亿级迅速发展到千亿级甚至万亿级，规模扩张红利仍然持续，模型规模增大能有效提升任务效果；混合架构和多模态为大模型算法演进开辟新方向。

中国信息通信研究院人工智能所主任曹峰

曹峰指出，基础设施作为支撑人工智能实现突破的基座，主要集中在训练、推理及应用开发三个方面。模型虽然作为AI的核心的技术，但是它在落地仍然会遇到一系列的问题，首先要解决如何进行高效低成本的训练，所以在训练侧，分布式框架技术的突破，集群扩张，芯片的优化就是在推动高效低成本训练。推理侧的核心的问题也是降低成本，架构优化、技术优化和芯片优化持续降低了推理成本及兼容性应用成本，今年年中开始大模型厂商都在降价就是得益于推理成本的持续降低。此外围绕模型的全生命周期在创新，大模型的工程落地架构逐渐清晰，分为基础设施层、平台工具层、模型库和数据集层、应用开发平台层，大模型主要创新方向是降低应用门槛，丰富应用场景和模式。

北京科智咨询有限公司研究总监弓瑞峰表示，技术突破让大模型越过夭折线进入成长期，开始产业化。

北京科智咨询有限公司研究总监弓瑞峰

目前AI大模型产业算力及应用两翼迅猛发展，截至2024年8月底有400个智算中心正在建设中，截至今年4月，已上线的大模型超过260个，其中面向行业及业务场景的垂类大模型占比近80%。

02 落地应用面临的挑战有哪些

曹峰指出，大模型在通用场景的落地已取得较好效果，例如表格处理、会议转录等，这些应用能够有效提升办公效率，降低人工成本。然而，在专业场景，例如工业质检、金融风控等，大模型的落地仍然面临着挑战。这些场景往往需要更高的准确性和更强的专业知识，对大模型的泛化能力和鲁棒性提出了更高的要求。

曹峰强调，大模型的落地需要强大的算力、数据和算法支撑，这对许多企业来说是一个巨大的挑战，不同行业和场景对大模型的需求差异很大，需要进行定制化开发，才能满足特定场景的需求。

北京智源人工智能研究院行业应用团队专家于龙斌表示，今年大家都在讲卷应用，如何才能真正让大模型在行业应用落地，需要关注大小模型协同、模型高效化和小型化、数据质量、算力适配与优化、多模态大模型发展以及复合型人才培养等这几方面的关键问题。

展开来说，大模型与小模型协同发展，端侧小模型采集敏感数据，后端大模型进行分析，通过模型量化、压缩、剪枝等技术降低模型参数量级，提升效率并降低资源消耗，让模型高效化，智源和中国卫星的合作就是用来一个0.3B参数的多模态模型。高质量的数据是模型训练的关键，数据的汇聚、清洗、分类等处理至关重要。此外还要积极适配国产GPU，优化网络架构，提升算力利用效率。现在行业都在卷模型卷应用，但针对于又懂业务又懂技术的复合型人才，是比较短缺的，这也是技术方和应用方合作时产生的共识。

针对大模型应用落地在某一特定行业，首都医科大学科技成果转化部技术转移办公室主任郜文从大模型在医疗场景的应用展开了更深入的分享。

郜文谈道，医学具有不确定性，大模型的知识积累并不能代替医生的经验和判断。医疗领域需要明确大模型的定位和应用场景，避免资源浪费。医疗大模型的应用定位应该是大型医院医生的助手，来帮助医生管理病人，提升沟通效率；基层医生的指导老师，为基层医生提供便捷的知识和经验支持。

关于大模型在医疗领域的落地也有许多难题，首先医生是一个谨慎的群体，需要积极沟通并取得他们的信任和合作。其次是医疗数据问题，医疗数据是一个很大的资产，关于数据资产的确权非常难，郜文指出，个体医疗数据看似属于个人，但海量数据的聚合却使得权属变得模糊，究竟是属于病人、医院还是数据处理公司，目前尚无定论，这种权属的不确定性也会导致许多公司在处理医疗数据时面临法律风险。此外，医疗领域的技术产品还面临着严格的行政监管，例如基因编辑技术，虽然是领先的技术，但也必须符合伦理规范和政策管理制度，否则就无法应用。

个体医疗数据

郜文认为，在医疗领域应用大模型或开展相关研究时，必须充分重视数据确权和政策合规性问题，在政策允许的范围内开展工作，才能确保项目的顺利进行并避免潜在的法律和伦理风险。

而针对大模型产业发展的限制因素，北京科智咨询有限公司研究总监弓瑞峰认为，一是场景应用不够丰富，国外大模型应用场景和行业覆盖范围更广，国内应用落地仍需拓展。二是共生生态建设不够完善，高校、科研机构、AI服务商之间缺乏有效协同，产学研合作有待加强。三是智能算力供应受限，高端训练芯片仍受制于国外厂商，国产芯片在训练芯片领域仍需突破。

03企业如何落地AI大模型

曹峰认为，企业落地AI应从工程思维出发，构建体系化的“架构图”和“方法论”。曹峰建议，企业落地大模型需要明确技术指标和评估方法，选择适合自身需求的模型，并构建一整套支撑模型运行和应用的工程架构，包括硬实力建设和软体系建设。

曹峰还总结了企业落地大模型的八大关键技术。

1.构建高可用、高性能、可扩展的智算设施，大模型的训练和推理对算力基础设施提出了更高的要求，企业需要建设高质量的智算中心，具备高能效的算力供给、高性能的存力保障和高可靠的运力承载能力。

2.夯实企业面向人工智能的数据治理和供给体系，企业需要构建面向AI的数据治理体系，解决业务数据“高量低质”、数据管理体系不成熟以及数据和模型流水线匹配度不够等问题，为大模型提供高质量的数据支持。

3.构建人工智能中台，企业需要构建AI中台，打通数据、业务和AI能力，重塑智能化转型能力底座，并与现有IT基础设施和业务平台深度融合。

4.建立大模型评测体系，大模型评测需要贯穿企业智能化全生命周期，从模型选型、上线到持续优化，都需要通过评测体系来保障应用质量。

5.构建模型服务体系，企业需要构建模型服务体系，支撑模型的高效构建、部署、监控和调用，实现模型即服务（MaaS），为业务部门提供便捷的模型服务。

6.开发人工智能原生应用，企业需要开发AI原生应用，例如智能体（AI Agent）、检索增强生成（RAG）等，提升大模型应用的易用性，并解决可信可控等问题。

7.构建企业人工智能管理体系，企业需要构建AI管理体系，对AI资产、流程和团队进行统一管理，提高AI应用的效率、质量和安全性。

8.建立企业人工智能应用成熟度体系，企业需要进行AI应用成熟度评估，客观评价AI应用水平，促进AI产业的健康稳健长久发展。