Feb 18, 2025
人工智能技术的快速发展和广泛应用给网络安全带来了新的问题。 虽然人工智能系统继承了传统的网络安全漏洞，但由于依赖于大型数据集、复杂的算法和相互关联的组件，它们也带来了新的风险。主要挑战包括对抗性机器学习攻击、数据投毒攻击、模型逆向攻击和后门攻击。
AI特有的漏洞
人工智能系统与传统软件的根本区别在于它们对动态数据和概率结果的依赖。这使得他们容易受到针对他们的学习过程和输出的攻击。常见的漏洞包括：
- 敌对的攻击: 故意操纵输入数据是用来欺骗人工智能模型的。
- 数据中毒: 在训练过程中引入恶意数据会破坏模型。
- 模型窃取和反演：未经授权提取模型架构或训练数据会给模型管理带来问题。
- 嵌入式后门：模型中的隐藏触发器被用来改变行为。
不断发展的标准和法规
欧盟《人工智能法案》2024强调了保护高风险人工智能系统的重要性。法案第15条概述了强制性网络安全要求，将风险评估和强有力的保护措施整合到每一个高风险的人工智能使用中。该法案要求采用一种综合的、基于风险的网络安全方法，将现有实践与人工智能特定控制相结合。
人工智能系统国际标准的制定在构建人工智能网络安全方法中发挥着关键作用。诸如信息安全管理的ISO/IEC 27000系列（参见ISO/IEC 27001、ISO/IEC 27701、ISO/IEC 27563）和新兴的人工智能特定标准，如ISO/IEC CD 27090（网络安全-人工智能），是标准化人工智能安全措施的关键步骤。
综合和持续的方法
为了应对这些挑战，保护人工智能系统需要：
- 整体风险评估：网络安全措施必须考虑人工智能组件与其更广泛系统之间的相互作用。
- 深度安全：分层安全控制应该在从数据预处理到最终输出的系统过程的每个级别保护系统。
- 生命周期安全：在人工智能系统的整个生命周期中，必须持续监控和更新安全措施。
全球合作共创更安全的未来
如前所述，新兴的人工智能技术带来了更多的挑战，因为AI漏洞常常超出了当前的安全实践。例如，大规模深度学习模型所需要的安全防御是当前的法规框架尚未能解决的。《人工智能法案》承认了这些局限性，并强调了持续研究和创新的必要性。
因此，解决人工智能网络安全风险的重要性已经超越了符合监管法规的层面。国际合作、对抗性机器学习的研究以及人工智能特定安全控制的开发对于领先于恶意行为者至关重要。 积极开发AI威胁建模和对抗性稳健性指标相关方案是有前途的发展领域。
采用全球一致的人工智能网络安全方案，以《人工智能法案》和ISO标准作为安全基准，可以为更快发展行业迫切需要的人工智能特定监管准则铺平道路。通过在高风险系统中优先考虑深度安全，人工智能社区可以确保新技术不仅安全，而且值得信赖和面向未来。
Nemko Digital
Nemko Digital 提供有关全球AI 法规发展资讯，风险分类和管理，全球市场准入，AI管理系统、培训等服务。 欢迎关注Nemko Digital 网站，了解AI相关的法规，标准详情以及Nemko的服务。您也可以加入 AI-Trust hub ，随时获取有关AI领域的最新资讯。