12月15日,欧盟网络与信息安全局(ENISA)发布了题为《人工智能的网络安全挑战:人工智能威胁图谱》(Artificial Intelligence Cybersecurity Challenges: Threat Landscape for Artificial Intelligence)的报告,报告对人工智能网络安全生态系统及威胁图谱进行了描述,还强调了人工智能安全的相关挑战。
ENISA发布人工智能网络安全威胁图谱
1.简介
人工智能不断影响着我们的生活,并通过自动化决策能力在数字化转型中起着关键的作用。作为新兴技术,人工智能带来的优势是非常明显的,但同时也带来了潜在的风险。比如,人工智能技术在自动驾驶汽车、智慧医疗等安全关键领域的应用可能会给个人和企业带来新的、有可能不可预测的风险中,也可能会带来新的攻击方法和技术,并创建新的数据保护挑战。
要确保人工智能本身的安全,那么需要:了解要确保什么的安全;了解相关的数据治理模型;在多方参与的生态系统中以一种综合的方式管理威胁;开发特定的控制方式来确保人工智能本身是安全的。
人工智能和网络安全具有多维关系,并且具有一系列的相互依赖性。
2.AI生命周期
人工智能系统的生命周期包括几个相互依赖的阶段,从设计和开发(包括需求分析、数据收集、培训、测试、集成等子阶段)、安装、部署、操作、维护和处置。
图1 人工智能生命周期通用参考模型
2.1 数据
数据是人工智能中最有价值的资产之一,在人工智能生命周期中会不断地进行转化。图2是数据在人工智能生命周期内不同阶段的转化过程:数据引入(Data Ingestion)、数据探索(Data Exploration)、数据预处理(Data Pre-processing)、特征重要性(Feature Importance,类似特征提取)、培训、测试和评估(Training, Testing and Evaluation)。人工智能生命周期中的数据转换涉及其他几种类型的资产,如参与者、计算资源、软件等,甚至包括一些非有形资产,如流程、文化等,参与者的经验和知识可能带来潜在的非故意的威胁。
图2 人工智能生命周期开发阶段的数据转化过程
2.2 人工智能生命周期的参与者
在完整的人工智能生命周期中有不同类型的参与者,其中包括人工智能系统设计和创建工程中的人工智能设计者和人工智能应用开发者。此外,还有开发人工智能系统中所用的软件和算法的人工智能开发者。他们的经验和能力在安全的人工智能系统开发中起着非常重要的作用。
人工智能开发者和设计者的工作与数据科学家联系非常紧密。
人工智能生命周期中其他的主要参与者还包括数据所有者。数据所有者是用于训练或验证人工智能系统的数据集的所有者。数据所有者也可以是数据提供者或数据代理商。
人工智能生命周期的参与者还包括模型提供商,负责提供经过训练或调整的模型。其中一些模型提供商是云提供者,以模型即服务的形式提供模型。也有第三方的提供者向开发者提供用于训练人工智能系统的第三方框架和库。
最后是使用人工智能系统的终端用户,也就是服务的消费者。
3. AI资产
威胁图谱中非常重要的一个元素就是可能暴露给威胁的资产种类。除了数据、软件、硬件、通信网络等与ICT相关的通用资产外,人工智能还有模型、数据等特定的资产,具体包括以下6大类:数据;模型;参与者;过程;环境/工具;相关产物Artefacts。
3.1 数据
数据资产包括原始数据、标记的数据集、公开数据集、训练数据、测试数据集、验证数据集、评估数据、预处理数据集等。
3.2 模型
模型资产包括算法、数据预处理算法、特征选择算法、模型、模型参数、模型性能、训练参数、超参数、训练后的模型、微调过的模型等。
3.3 参与者
参与者资产包括数据所有者、数据科学家、人工智能开发者、数据工程师、终端用户、数据提供者/代理人、云服务提供者、模型提供者、服务消费者/模型用户等。
3.4 过程
过程资产包括数据引入、数据存储、数据探索/预处理、数据理解、数据标记、数据收集、特征选择、模型选择/构建、训练和测试、模型微调、模型适应-迁移学习/模型部署、模型维护等。
3.5 环境/工具
环境/工具资产包括通信网络、通信协议、云、数据引入平台、数据探索平台、DBMS(数据库管理系统)、分布式文件系统、计算平台、集成开发环境、库、监控工具、操作系统/软件、优化技术、机器学习平台、处理器、可视化工具。
3.6 相关产物Artefacts
相关产物资产包括访问控制列表、用例、数据管理、价值主张和商业模型、数据管理策略、描述性统计参数、模型框架、软件、固件和硬件、高级测试用例、模型架构、模型已经按设计、数据和元数据方案、数据索引。
4. AI威胁
根据ENISA威胁分类方法,人工智能安全威胁主要可以分为以下几类:
4.1 恶意活动/滥用(NAA)
4.2 窃听/拦截/劫持(EIH)
4.3 物理攻击(PA)
4.4 非故意损害(UD)
4.5 故障(FM)
4.6 停机(OUT)
4.7 灾害
4.8 法律(LEG)
5.结论
ENISA人工智能威胁图谱是即将发布的网络安全政策倡议和技术指导的基础,还介绍了人工智能相关的挑战。其中一个特别重要的领域是与人工智能相关的供应链。因此,强调包括人工智能供应链的所有要素在内的欧盟生态系统对安全可靠人工智能是非常重要的。欧盟的安全人工智能生态系统应将网络安全和数据保护放在首位,并促进相关的创新、能力建设、提高认识和开展研发活动。
6月3日消息,腾讯乘车码上线实时公交到站查询、出行线路一键规划两大功能,再赖...
人工智能(AI)的发展,让机器替代人工的新闻越来越多: 从2020年双十一开始,淘...
微信似乎偏爱iOS,最新版本都是先更新iOS版,昨天微信iOS版抢先升级8.0,让安卓...
昨天在家和锵宝一起看翻翻书《各种各样的职业》,突发奇想问老公:你小时候想要...
2013 年 9 月,苹果在 iPhone 5s 发布会上,面向全世界介绍了基于指纹识别的 Tou...
全球范围内的主要运营商正在逐渐转向5G技术的使用,但似乎欧洲目前正集中精力向6...
通常情况下,在正式版发布之后 Android Beta Program 就会关闭。不过谷歌今年做...
作者个人研发的在高并发场景下,提供的简单、稳定、可扩展的延迟消息队列框架,...
当前,新一代人工智能技术正在全球范围内蓬勃兴起,与大数据、区块链、5G等新技...
今天,美国专利商标局发布了苹果一项与AR/VR头显相关专利,专利中指出了一种支持...