不同于云计算时代的安全命题，AI时代的安全威胁不仅来自外部，还可能来自内部，且威胁的性质更加复杂和多样化。能看到的是，安全挑战正在扩展到企业AI体系的全生命周期，防护手段急需升级。
作者|斗斗
编辑|皮爷
出品|产业家
在短短10分钟内，一笔高达430万元的巨款被骗走。这仅仅是AI技术普及后，由AI换脸、变声等技术引发的违法犯罪案件冰山一角，直接触及消费者身边的安全问题。
奇安信发布的《2024人工智能安全报告》数据显示，2023年基于AI的深度伪造欺诈案件激增了3000%。
生成式AI不仅为企业带来速度、规模、精度和先进性等益处，也降低了攻击者的技术门槛。过去，黑客生产一个攻击病毒可能需要数月时间，但现在通过AGI（人工智能生成模型）工具，可能几分钟就能生成，黑客攻击的效率和范围因此大大提高。
另一组来自DeepInstinct的第四版报告指出，2024年有75%的安全专业人员目睹了网络攻击的增加，其中85%的攻击由生成式AI驱动。
黑客不仅会利用AI技术威胁企业组织，还会尝试攻击企业的AI模型，即利用企业的AI来对付企业。例如，他们可能让企业的AI对供应链做出错误预测，或者使聊天机器人产生仇恨情绪。他们还可以通过使用基于语言的提示来“破解”企业的LLM，使其泄露机密财务信息、创建易受攻击的软件代码，或为企业的安全分析师提供错误的网络安全响应建议。
此外，黑客还觊觎企业的大模型基础设施。例如，2024年初，美国一个拥有数千台服务器的算力集群就被攻破，并被用于挖掘比特币。
AI，正在全方位“威胁”企业安全，包括网络安全、软件安全、数据安全、主机安全，以及伦理安全和人质安全等多个方面，呈现出复杂性和多元性的特点。这迫使许多企业不得不增加预算，以应对AI时代带来的各种变数。
根据IBM的“生成式AI时代的网络安全研究报告”，高管们表示，他们2023年的AI网络安全预算比2021年增加了51%，并预计到2025年，这些预算将再增加43%。
在AI引导 的新一轮技术革命中，技术服务商既需要利用AI技术提升安全能力和运营效率，又需要助力对抗新技术带来的新风险。而对于企业来说，必须紧跟时代步伐，但如何规避沿途的危险，成为了一个亟待解决的问题。
AI时代，安全这道题如何解？
一、AI技术，发展的“暗面”
“狭义的数据安全是免受篡改和破坏，但是广义的数据安全是包括数据的可靠性、安全性、服务内容的安全性，在人工智能时代，还会扩展数据安全的内涵，当然也会放大数据安全的风险。”中国工程院院士邬贺铨曾说道。
一个事实是，在AI时代，数据安全的定义正在发生变化。AI技术的脆弱性和对数据的强依赖性，使得企业在享受AI带来的便利时，也面临着前所未有的数据安全挑战。
企业想要实现AI赋能，首要步骤便是收集大量、多样且具代表性的训练数据。 然而，这些数据的来源可能并不安全，收集过程中存在 被窃取的风险，甚至可能因未经同意而违反隐私政策和法律。
数据收集之后，还需经过清洗、标注和增强等处理环节。若此过程中有恶意数据注入，将直接导致模型训练偏差，进而影响模型决策的准确性。奇安信数据安全首席科学家刘前伟曾强调：“标注数据的防篡改要求非常高，因为它是确保大模型质量最重要的保障。”
接下来，就是基于底层大模型训练，需要使用专有数据对基础模型进行微调和训练，并保存成新的版本。
如果是合作模式，比如现在很多高校与企业或者企业与企业之间合作开发大模型。这种模式则需要共享数据资源，以增强模型训练效果，并共同进行模型训练和优化。
但无论哪种模式，都会面临一定的数据安全问题。比如基于底层大模型训练模式以及合作模式下，会出现这样一种状况，即双方都想利用对方的数据，但是都不愿意把自身的数据完整的交给对方，如果交给第三方，也不一定相信第三方非常公正和安全。
此外，模型设计、训练、调优、测试和部署等环节同样不容忽视。特别是云部署模式，企业需根据自身业务需求选择私有云、社区云、公共云或混合云。然而，每种部署模式都面临不同的数据安全问题。
对私有云而言，其本地存储的数据如果缺乏有效的加密和访问控制，可能会被未经授权的用户访问。有权访问敏感信息的员工可能会无意中或故意泄露数据。
公有云更是如此，其基于云端的数据更容易受到黑客攻击和数据泄露的风险，公有云服务的用户必须要正确配置身份验证和访问控制，否则可能导致数据泄露。
混合云架构通常涉及不同云计算提供商的基础设施，数据在传输过程中可能被截获。且在混合云环境中，身份验证和授权变得复杂，需要统一的身份和访问管理工具来确保安全。在混合云中，数据如果没有得到适当的冗余和备份，数据丢失的风险会变得很大。
可以说，面对AI时代的复杂性和动态性，传统的数据安全举措已难以应对新的挑战。企业需采取全面的安全策略，并持续进行技术改进，以最大限度地减少数据安全风险。这要求企业在数据收集、处理、存储和传输等各个环节都保持高度警惕，确保数据的安全性和可靠性。
二、AI对抗“AI”
在AI时代背景下，企业数据安全成为了不可忽视的重大课题。为了确保数据的完整性与保密性，一系列策略与技术应运而生。
数据加密作为数据治理的基础防线，如同为数据穿上了一层坚不可摧的防护服，无论是在数据传输还是存储过程中，都能有效抵御外部威胁。此外，同态加密技术的引入，更是为数据的加密防护增添了新的维度。它允许数据分析者在不解密的前提下对数据进行处理，既保障了数据的安全性，又满足了数据分析的需求。
在数据标注与增强环节，访问控制和多因素认证机制扮演着至关重要的角色。它们如同城堡的守卫，严格把控着数据的入口，确保只有经过授权的用户才能访问数据。同时，数据脱敏技术的应用，则为敏感信息披上了一层神秘的面纱，即使在必要的交流过程中，也能有效保护数据的隐私性。
模型安全方面，对抗性攻击的防御机制和模型水印技术为模型的安全保驾护航。它们如同城堡中的陷阱与哨兵，时刻警惕着潜在的威胁，确保模型不受恶意攻击和非法使用的侵害。
针对AI时代数据共享难题，隐私计算和多方同态加密技术提供了有效的解决方案。通过特定的密钥控制，实现数据的加密计算，确保数据在共享过程中既可用又不可见。此外，分布式存储与密钥控制技术的结合，也为数据的按需调用与解密计算提供了便捷的途径。
值得注意的是，在生成式人工智能时代，数据安全所面临的挑战愈发复杂多变。生成式AI以其强大的创造力，不断催生新的数据和内容，同时也为数据安全带来了新的风险。这些风险往往具有动态性和不可预测性，传统的安全检测方法可能难以有效应对。
面对这一挑战，企业不能仅仅依赖人工或固定的检测方法，而应借助AI的力量，以AI对抗AI。
目前，越来越多的企业开始将AI技术应用于数据安全领域，通过机器学习和深度学习技术，实时监测网络流量，识别异常行为，实现快速响应潜在的安全威胁。AI不仅能够自动化安全策略的制定和实施，提高安全防护的效率和准确性，还能通过学习正常的网络行为模式，识别出与众不同的行为，实现早期威胁检测。
IBM商业价值研究院的研究显示，64%的高管已将网络安全确定为生成式AI用例的首要任务，84%的人表示他们计划优先考虑生成式AI网络安全解决方案，而非传统的网络安全解决方案。这一趋势表明，AI在数据安全领域的应用正逐渐成为主 流。
以阿里云发布的实人认证产品为 例，该产品能够有效对抗Deepfake攻击，提供八大Deepfake鉴伪能力，日均拦截攻击量高达25万次，攻击拦截率高达99%。该模型还具备分钟级自我更新能力，能够应对不断迭代的攻防技术，确保数据安全。
总之，在不断变化的风险环境中，技术服务商需要借助AI的力量来应对数据安全的新挑战。通过不断研发和优化AI安全产品和技术，更好地保护企业的数据安全，为AI技术的健康发展提供有力保障。
三、技术高峰中的安全洼地
一组引人深思的数据显示，2023年，国内26家上市网络安全企业中，有3/4处于亏损境地。然而，仅2024年上半年，就已曝出多起影响深远的数据泄露事件，涉及的记录数量惊人，高达十亿条。
这种强烈的反差揭示了一个严峻的现实：尽管企业对安全技术有着迫切的需求，但技术供应商却普遍面临亏损。
背后的原因何在？
《2022年中国企业数据安全现状调查报告》揭示了其中的关键：超过半数的企业认为，市场上的数据安全产品和服务仅能满足其不到60%的需求。这意味着，现有的数据安全解决方案存在明显的不足，导致企业在数据安全方面的投资未能达到预期效果，无法有效抵御数据泄露和网络攻击的风险，进而造成资金损失。
需求和供给严重不匹配。
此外，在日益复杂的安全管理环境下，企业往往面临着诸多碎片化的安全问题。公开数据显示，企业平均部署的安全产品和工具多达76个，而混合云的渗透率也在逐年攀升，这无疑增加了安全管理的复杂度。
因此，一个能够全方面解决AI安全问题的方案显得尤为重要。
一个事实是，不同于云计算时代的安全命题，AI时代的安全威胁不仅来自外部，还可能来自内部，如AI系统的误判、偏见、数据泄露等。且威胁的性质更加复杂和多样化，包括数据隐私、算法偏见、模型安全等多个方面。安全挑战也扩展到AI系统的全生命周期，包括设计、研发、训练、测试、部署、使用、维护等各个环节。
所以，AI安全的防护手段需要进一步的补足。这种补足不仅涉及规范层面的完善，还需要具体的技术和管理措施来支撑。
比如制定严格的数据隐私保护法规，明确数据使用的范围和目的，以防止数据滥用和泄露；制定统一的人工智能安全认证标准和规范，对AI技术和系统进行评估和认证；建立起AI的安全标准体系，确保各种AI系统都能够遵循相应的安全规范。
9月9日，全国网络安全标准化技术委员会正式发布了《人工智能安全治理框架》1.0版（以下简称《框架》），并提出了AI安全治理原则，将AI安全风险分为内生安全风险和应用安全风险两种，并针对两种风险分别提出了技术应对措施。该《框架》的发布将促进AI产业安全有序发展，加速AI技术规范化发展。
在具体的举措方面。目前，市场上已经出现了一些针对AI安全的解决方案。例如，奇安信集团推出的国内首个AI安全整体应对方案，涵盖了AI安全框架、解决方案、评估服务和检测工具等多个方面。
同时，大模型厂商也推出了全栈式的安全防护体系。如阿里云的模型全生命周期安全防护体系和百度智能云的全栈式服务能力等。这些解决方案不仅涵盖了数据的采集、模型设计、训练、评测、部署和使用等各个阶段，还提供了丰富的安全产品和技术支持，帮助企业构建全方位的数据安全防护体系。
未来，数据安全这个命题，随着越来越多的AI应用落地，其定义或将更加广泛，面临的挑战亦越来越大。只有时刻保持警惕，不断创新，加强合作，才能共筑起一道坚不可摧的数据安全长城。
原文标题 : AI时代，我们应该如何看待“安全”新命题？
不同于云计算时代的安全命题，AI时代的安全威胁不仅来自外部，还可能来自内部，且威胁的性质更加复杂和多样化。能看到的是，安全挑战正在扩展到企业AI体系的全生命周期，防护手段急需升级。
作者|斗斗
编辑|皮爷
出品|产业家
在短短10分钟内，一笔高达430万元的巨款被骗走。这仅仅是AI技术普及后，由AI换脸、变声等技术引发的违法犯罪案件冰山一角，直接触及消费者身边的安全问题。
奇安信发布的《2024人工智能安全报告》数据显示，2023年基于AI的深度伪造欺诈案件激增了3000%。
生成式AI不仅为企业带来速度、规模、精度和先进性等益处，也降低了攻击者的技术门槛。过去，黑客生产一个攻击病毒可能需要数月时间，但现在通过AGI（人工智能生成模型）工具，可能几分钟就能生成，黑客攻击的效率和范围因此大大提高。
另一组来自DeepInstinct的第四版报告指出，2024年有75%的安全专业人员目睹了网络攻击的增加，其中85%的攻击由生成式AI驱动。
黑客不仅会利用AI技术威胁企业组织，还会尝试攻击企业的AI模型，即利用企业的AI来对付企业。例如，他们可能让企业的AI对供应链做出错误预测，或者使聊天机器人产生仇恨情绪。他们还可以通过使用基于语言的提示来“破解”企业的LLM，使其泄露机密财务信息、创建易受攻击的软件代码，或为企业的安全分析师提供错误的网络安全响应建议。
此外，黑客还觊觎企业的大模型基础设施。例如，2024年初，美国一个拥有数千台服务器的算力集群就被攻破，并被用于挖掘比特币。
AI，正在全方位“威胁”企业安全，包括网络安全、软件安全、数据安全、主机安全，以及伦理安全和人质安全等多个方面，呈现出复杂性和多元性的特点。这迫使许多企业不得不增加预算，以应对AI时代带来的各种变数。
根据IBM的“生成式AI时代的网络安全研究报告”，高管们表示，他们2023年的AI网络安全预算比2021年增加了51%，并预计到2025年，这些预算将再增加43%。
在AI引导 的新一轮技术革命中，技术服务商既需要利用AI技术提升安全能力和运营效率，又需要助力对抗新技术带来的新风险。而对于企业来说，必须紧跟时代步伐，但如何规避沿途的危险，成为了一个亟待解决的问题。
AI时代，安全这道题如何解？
一、AI技术，发展的“暗面”
“狭义的数据安全是免受篡改和破坏，但是广义的数据安全是包括数据的可靠性、安全性、服务内容的安全性，在人工智能时代，还会扩展数据安全的内涵，当然也会放大数据安全的风险。”中国工程院院士邬贺铨曾说道。
一个事实是，在AI时代，数据安全的定义正在发生变化。AI技术的脆弱性和对数据的强依赖性，使得企业在享受AI带来的便利时，也面临着前所未有的数据安全挑战。
企业想要实现AI赋能，首要步骤便是收集大量、多样且具代表性的训练数据。 然而，这些数据的来源可能并不安全，收集过程中存在 被窃取的风险，甚至可能因未经同意而违反隐私政策和法律。
数据收集之后，还需经过清洗、标注和增强等处理环节。若此过程中有恶意数据注入，将直接导致模型训练偏差，进而影响模型决策的准确性。奇安信数据安全首席科学家刘前伟曾强调：“标注数据的防篡改要求非常高，因为它是确保大模型质量最重要的保障。”
接下来，就是基于底层大模型训练，需要使用专有数据对基础模型进行微调和训练，并保存成新的版本。
如果是合作模式，比如现在很多高校与企业或者企业与企业之间合作开发大模型。这种模式则需要共享数据资源，以增强模型训练效果，并共同进行模型训练和优化。
但无论哪种模式，都会面临一定的数据安全问题。比如基于底层大模型训练模式以及合作模式下，会出现这样一种状况，即双方都想利用对方的数据，但是都不愿意把自身的数据完整的交给对方，如果交给第三方，也不一定相信第三方非常公正和安全。
此外，模型设计、训练、调优、测试和部署等环节同样不容忽视。特别是云部署模式，企业需根据自身业务需求选择私有云、社区云、公共云或混合云。然而，每种部署模式都面临不同的数据安全问题。
对私有云而言，其本地存储的数据如果缺乏有效的加密和访问控制，可能会被未经授权的用户访问。有权访问敏感信息的员工可能会无意中或故意泄露数据。
公有云更是如此，其基于云端的数据更容易受到黑客攻击和数据泄露的风险，公有云服务的用户必须要正确配置身份验证和访问控制，否则可能导致数据泄露。
混合云架构通常涉及不同云计算提供商的基础设施，数据在传输过程中可能被截获。且在混合云环境中，身份验证和授权变得复杂，需要统一的身份和访问管理工具来确保安全。在混合云中，数据如果没有得到适当的冗余和备份，数据丢失的风险会变得很大。
可以说，面对AI时代的复杂性和动态性，传统的数据安全举措已难以应对新的挑战。企业需采取全面的安全策略，并持续进行技术改进，以最大限度地减少数据安全风险。这要求企业在数据收集、处理、存储和传输等各个环节都保持高度警惕，确保数据的安全性和可靠性。
二、AI对抗“AI”
在AI时代背景下，企业数据安全成为了不可忽视的重大课题。为了确保数据的完整性与保密性，一系列策略与技术应运而生。
数据加密作为数据治理的基础防线，如同为数据穿上了一层坚不可摧的防护服，无论是在数据传输还是存储过程中，都能有效抵御外部威胁。此外，同态加密技术的引入，更是为数据的加密防护增添了新的维度。它允许数据分析者在不解密的前提下对数据进行处理，既保障了数据的安全性，又满足了数据分析的需求。
在数据标注与增强环节，访问控制和多因素认证机制扮演着至关重要的角色。它们如同城堡的守卫，严格把控着数据的入口，确保只有经过授权的用户才能访问数据。同时，数据脱敏技术的应用，则为敏感信息披上了一层神秘的面纱，即使在必要的交流过程中，也能有效保护数据的隐私性。
模型安全方面，对抗性攻击的防御机制和模型水印技术为模型的安全保驾护航。它们如同城堡中的陷阱与哨兵，时刻警惕着潜在的威胁，确保模型不受恶意攻击和非法使用的侵害。
针对AI时代数据共享难题，隐私计算和多方同态加密技术提供了有效的解决方案。通过特定的密钥控制，实现数据的加密计算，确保数据在共享过程中既可用又不可见。此外，分布式存储与密钥控制技术的结合，也为数据的按需调用与解密计算提供了便捷的途径。
值得注意的是，在生成式人工智能时代，数据安全所面临的挑战愈发复杂多变。生成式AI以其强大的创造力，不断催生新的数据和内容，同时也为数据安全带来了新的风险。这些风险往往具有动态性和不可预测性，传统的安全检测方法可能难以有效应对。
面对这一挑战，企业不能仅仅依赖人工或固定的检测方法，而应借助AI的力量，以AI对抗AI。
目前，越来越多的企业开始将AI技术应用于数据安全领域，通过机器学习和深度学习技术，实时监测网络流量，识别异常行为，实现快速响应潜在的安全威胁。AI不仅能够自动化安全策略的制定和实施，提高安全防护的效率和准确性，还能通过学习正常的网络行为模式，识别出与众不同的行为，实现早期威胁检测。
IBM商业价值研究院的研究显示，64%的高管已将网络安全确定为生成式AI用例的首要任务，84%的人表示他们计划优先考虑生成式AI网络安全解决方案，而非传统的网络安全解决方案。这一趋势表明，AI在数据安全领域的应用正逐渐成为主 流。
以阿里云发布的实人认证产品为 例，该产品能够有效对抗Deepfake攻击，提供八大Deepfake鉴伪能力，日均拦截攻击量高达25万次，攻击拦截率高达99%。该模型还具备分钟级自我更新能力，能够应对不断迭代的攻防技术，确保数据安全。
总之，在不断变化的风险环境中，技术服务商需要借助AI的力量来应对数据安全的新挑战。通过不断研发和优化AI安全产品和技术，更好地保护企业的数据安全，为AI技术的健康发展提供有力保障。
三、技术高峰中的安全洼地
一组引人深思的数据显示，2023年，国内26家上市网络安全企业中，有3/4处于亏损境地。然而，仅2024年上半年，就已曝出多起影响深远的数据泄露事件，涉及的记录数量惊人，高达十亿条。
这种强烈的反差揭示了一个严峻的现实：尽管企业对安全技术有着迫切的需求，但技术供应商却普遍面临亏损。
背后的原因何在？
《2022年中国企业数据安全现状调查报告》揭示了其中的关键：超过半数的企业认为，市场上的数据安全产品和服务仅能满足其不到60%的需求。这意味着，现有的数据安全解决方案存在明显的不足，导致企业在数据安全方面的投资未能达到预期效果，无法有效抵御数据泄露和网络攻击的风险，进而造成资金损失。
需求和供给严重不匹配。
此外，在日益复杂的安全管理环境下，企业往往面临着诸多碎片化的安全问题。公开数据显示，企业平均部署的安全产品和工具多达76个，而混合云的渗透率也在逐年攀升，这无疑增加了安全管理的复杂度。
因此，一个能够全方面解决AI安全问题的方案显得尤为重要。
一个事实是，不同于云计算时代的安全命题，AI时代的安全威胁不仅来自外部，还可能来自内部，如AI系统的误判、偏见、数据泄露等。且威胁的性质更加复杂和多样化，包括数据隐私、算法偏见、模型安全等多个方面。安全挑战也扩展到AI系统的全生命周期，包括设计、研发、训练、测试、部署、使用、维护等各个环节。
所以，AI安全的防护手段需要进一步的补足。这种补足不仅涉及规范层面的完善，还需要具体的技术和管理措施来支撑。
比如制定严格的数据隐私保护法规，明确数据使用的范围和目的，以防止数据滥用和泄露；制定统一的人工智能安全认证标准和规范，对AI技术和系统进行评估和认证；建立起AI的安全标准体系，确保各种AI系统都能够遵循相应的安全规范。
9月9日，全国网络安全标准化技术委员会正式发布了《人工智能安全治理框架》1.0版（以下简称《框架》），并提出了AI安全治理原则，将AI安全风险分为内生安全风险和应用安全风险两种，并针对两种风险分别提出了技术应对措施。该《框架》的发布将促进AI产业安全有序发展，加速AI技术规范化发展。
在具体的举措方面。目前，市场上已经出现了一些针对AI安全的解决方案。例如，奇安信集团推出的国内首个AI安全整体应对方案，涵盖了AI安全框架、解决方案、评估服务和检测工具等多个方面。
同时，大模型厂商也推出了全栈式的安全防护体系。如阿里云的模型全生命周期安全防护体系和百度智能云的全栈式服务能力等。这些解决方案不仅涵盖了数据的采集、模型设计、训练、评测、部署和使用等各个阶段，还提供了丰富的安全产品和技术支持，帮助企业构建全方位的数据安全防护体系。
未来，数据安全这个命题，随着越来越多的AI应用落地，其定义或将更加广泛，面临的挑战亦越来越大。只有时刻保持警惕，不断创新，加强合作，才能共筑起一道坚不可摧的数据安全长城。
原文标题 : AI时代，我们应该如何看待“安全”新命题？
