人工智能-数据与模型安全 (姜育刚马兴军吴祖煊) (Z-Library)

📄 File Format: PDF

💾 File Size: 9.3 MB

📖 Read Online ⬇️ Download

Registered users can read the full content for free

Register as a Gaohf Library member to read the complete e-book online for free and enjoy a better reading experience.

📄 Page 1

(This page has no text content)

📄 Page 2

(This page has no text content)

📄 Page 3

版权信息 COPYRIGHT 书名：人工智能：数据与模型安全 作者：姜育刚；马兴军；吴祖煊 出版社：机械工业出版社 出版时间：2023年8月 ISBN：9787111735021 字数：254千字 本书由机械工业出版社有限公司授权得到APP电子版制作与发行 版权所有·侵权必究

📄 Page 4

FOREWORD 序 很高兴应复旦大学姜育刚教授邀请为《人工智能：数据与模型安 全》一书作序。 近年来，人工智能领域的多元化和爆发式发展令人目不暇接，其影 响深度和广度将使人类生活、生产及社会活动发生前所未有的变革。 从智能安防到智能制造，再到智慧医疗及智慧教育，人工智能的“足 迹”几乎遍布了社会的每一个角落，人类正满怀激情地拥抱正在来临 的智能化发展新时代。然而，随着人工智能技术赋能千行百业，网络 安全问题和隐私侵犯等事件也频频发生，尤其是人工智能算法和模型 不仅存在不可解释性、不可判识性及不可推论性等内生安全个性问 题，而且模型或算法的宿主执行环境还存在难以彻底避免的软硬件漏 洞或后门等网络内生安全共性问题，以及与之密切相关的网络攻击和 破坏造成的影响。人工智能应用系统个性化及共性化安全问题交织叠 加造成诸多的新域新质安全威胁，给智能时代健康可持续发展带来极 其严峻的挑战，已经引起科技界、产业界和国际社会的高度关注。近 期，世界主要国家政府和国际组织纷纷制定法规、政策和标准，强调 要保护人工智能数据与模型的安全，防范各种威胁和风险。与此同 时，学术界和产业界也在积极探索理论与技术方面的网络弹性解决方 案，以期使人工智能应用系统获得高可靠、高可信和高可用三位一体 的稳定鲁棒性。 在这样的背景下，很多高校已经开设了人工智能安全相关课程，旨 在帮助学生了解最前沿的研究与应用进展，加强人工智能安全意识。 然而，当前尚无面向数据与模型安全的教材。因此，本教材的出版意 义重大，在一定程度上可以填补此方面的空白。 本教材的作者是人工智能领域的优秀学者，在数据与模型安全方面 做出了一系列国际前沿的研究成果，率先提出了诸如黑盒视频对抗样 本生成方法、面向视频识别模型的数据投毒和后门攻击方法等。这些 成果在人工智能安全领域已形成国际影响，引发同行大量跟踪研究。 本教材是基于他们多年的一线研究与教学经验凝炼而成的，内容十分 丰富。 本教材紧密围绕人工智能的两大核心要素——数据和模型，对人工 智能安全问题和攻防算法进行了较为深刻的讨论，覆盖的理论方法和

📄 Page 5

攻防策略对构建安全可靠人工智能系统具有重要意义。作者特别注重 内容的体系化，系统梳理了近年来各方面的研究成果，提炼了人工智 能攻防的核心思想，同时介绍了大量的技术细节，为人工智能领域的 学生和研究人员提供了宝贵的参考资料。本教材可以帮助广大读者深 入了解人工智能安全这一重要领域，在全社会大力发展人工智能技术 的背景下，加强人工智能应用系统开发者与使用者的安全防范意识， 平衡数字化、智能化时代网络安全风险与责任，促进人工智能产业的 健康发展。 我相信，通过基于本教材的学习和实践，读者一定能够更好地应对 人工智能时代的数据和模型安全挑战。最后，期待本教材的出版能够 为人工智能领域的发展和进步做出应有的贡献！ 邬江兴 2024年1月20日于上海

📄 Page 6

PREFACE 前言 人工智能是21世纪最重要的科学技术之一。从日常生活到工业制造 再到科学研究，人工智能可以协助人类进行决策，代替耗时费力的重 复性劳动，在大幅提升生产力的同时，加速推进产业结构升级变革。 然而，人工智能的发展并不是一帆风顺的，从1956年达特茅斯会议提 出“人工智能”概念至今，经历了起起伏伏，但人们追求“通用人工 智能”的愿望从未停止。近年来，随着深度神经网络的提出、大规模 数据集的构建和计算硬件的升级，数据、算法、算力三要素齐备，人 工智能进入飞速发展阶段。我们现在可以训练包含十亿、百亿甚至千 亿参数的人工智能大模型，这些大模型已经具备很强的能力，初见通 用人工智能的端倪。如今，人工智能模型已经在交通、医疗、教育、 金融、安防等领域广泛部署应用。 我们在拥抱人工智能的同时，需要充分重视其带来的安全问题。想 要了解人工智能模型的安全问题，则须充分掌握其工作原理。自从深 度神经网络被提出以来，科研人员就针对其工作原理和性质开展了大 量的研究，几乎每发现一个特性就会引发一系列新的安全问题。例 如，2013年发现的“对抗脆弱性”引发了各种各样的针对深度神经网 络模型的对抗攻击；2017年发现的“后门脆弱性”引发了大量的数据 投毒和后门攻击；深度神经网络的“记忆特性”引发了对其隐私的攻 击，包括数据窃取攻击和成员推理攻击等；而其对个别样本的“敏感 性”和功能“可萃取性”则让模型窃取攻击成为可能。研究攻击是为 了更好地防御。我们可以借助不同的攻击算法来对模型进行系统全面 的安全性评测，从不同维度揭示其脆弱性边界，了解其在实际应用中 可能存在的安全问题。基于这些分析，我们可以设计更高效的防御方 法，提升模型在实际应用过程中的鲁棒性和安全性。这对大模型来说 尤其重要，因为大模型所服务的用户群体更广，其安全问题往往会引 发大范围的负面影响。例如，一旦自动驾驶系统存在安全隐患，则可 能会威胁驾驶员、乘客和行人的生命安全。 当前，人工智能发展迅猛，新技术层出不穷，算法与模型日新月 异，其安全问题也是如此。正是在这样的背景下，我们将近年来在研 究过程中所积累的人工智能安全方面的知识归纳整理成此书，系统地

📄 Page 7

呈现给读者。希望此书能够在一定程度上弥补在此方向上国内外教材 的空白，为通用人工智能的到来做好准备，以保障其健康发展。 数据和模型是人工智能的两大核心要素。其中，数据承载了知识的 原始形式，大规模数据集的采集、清洗和标注过程极其烦琐，需要大 量的人力物力；模型则承载了从数据中学习得到的知识，其训练过程 往往耗资巨大。高昂的价值和其背后的经济利益使数据和模型成为攻 击者最为关注的攻击目标。正因如此，领域内大量的研究工作都是围 绕数据和模型展开的。因此，本书聚焦人工智能领域中的数据和模型 安全。人工智能安全的概念是广泛的，包括内生安全、衍生安全和助 力安全等，本书的大部分内容属于内生安全。 本书的章节组织如下。第1章简要回顾了人工智能的发展历程；第2 章介绍了机器学习的基础知识；第3章介绍了人工智能安全相关的基本 概念、威胁模型和攻击与防御类型；第4章聚焦数据安全方面的攻击； 第5章聚焦数据安全方面的防御；第6～10章分别聚焦模型安全方面的 对抗攻击、对抗防御、后门攻击、后门防御以及窃取攻防；第11章展 望了未来攻击和防御的发展趋势并强调了构建系统性防御的紧迫性。 本书适合人工智能、智能科学与技术、计算机科学与技术、软件工 程、信息安全等专业的高年级本科生、研究生以及人工智能从业者阅 读。本书中的部分技术细节需要读者具备一定的机器学习基础。此 外，本书大部分的方法介绍都围绕图像分类任务展开，需要读者具备 一定的计算机视觉基础。本书使用的示例图和框架图在尽量尊重原论 文的基础上进行了一定的优化，如有不当之处，请联系我们更正。 感谢复旦大学的同学在本书的编写和校稿过程中提供的帮助，他们 包括陈绍祥、宋雪、王铮、傅宇倩、魏志鹏、陈凯、赵世豪、吕熠 强、訾柏嘉、钱天文、张星、常明昊、翁泽佳、王君可、翟坤、王 欣、阮子禅、张超、林朝坤等。此外，感谢黄瀚珣博士和李一戈博士 在此书写作过程中参与了讨论。 由于作者水平有限，书中内容难免会存在不足，欢迎各位读者提出 宝贵的意见和建议。 姜育刚 2024年1月1日于复旦大学

📄 Page 8

TABLE OF COMMONLY USED SYMBOLS 常用符号表

📄 Page 9

CHAPTER 1 第1章 人工智能与安全概述

📄 Page 10

1.1 人工智能的定义 人工智能（artificial Intelligence，AI）这个词的出现最早可以 追溯至1956年的达特茅斯会议。1956年8月，在美国汉诺威小镇的达特茅 斯学院，以约翰·麦卡锡（John McCarthy）、马文·明斯基 （Marvin Minsky）、克劳德·香农（Claude Shannon）、艾伦·纽厄 尔（Allen Newell）、赫伯特·西蒙（Herbert Simon）等为首的科学 家们相聚在一起，讨论如何让机器模拟人类的学习能力，并在此次会议中 正式提出了“人工智能”这个概念。图1.1为主要参会者会议合影图。此 次达特茅斯会议在人工智能的发展史上称得上是开天辟地的大事件。此后 不久，人工智能就作为独立的学科方向吸引了一大批研究学者。 图1.1 从左往右：奥利弗·赛尔弗里纪（Oliver Selfridge）、纳 撒尼尔·罗切斯特（Nathaniel Rochester）、雷·索洛莫洛夫 （Ray Solomonoff）、马文·明斯基、特伦查德·摩尔 （Trenchard More）、约翰·麦卡锡、克劳德·香农在参加1956年达特

📄 Page 11

茅斯会议期间的合影[照片来源：玛格丽特·明斯基 （Margaret Minsky）] 事实上，直到现在人工智能都没有一个非常明确且统一的定义。维基 百科中给出的定义是“人工智能就是机器展现出来的智能”；人工智能之 父图灵给出的定义为“人工智能是制造智能机器，尤其是智能计算机程序 的科学技术”；我国《人工智能标准化白皮书（2018版）》中也给出了相 应的定义：人工智能是利用数字计算机或者数字计算机控制的机器模拟、 延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理 论、方法、技术及应用系统。 尽管没有统一的定义，但我们仍然可以知道人工智能的本质是一项研 究如何让机器能够拥有人类智能的科学技术。它致力于研究人类如何思 考、学习、决策，并将研究结果用于构建具有能够模拟、延伸甚至扩展人 类智慧的智能系统。

📄 Page 12

1.2 人工智能的发展 指新型冠状病毒感染。 新冠疫情 出现，人类历史迈入了21世纪20年代。在疫情防控的很多 方面，人工智能技术都发挥着不可忽视的作用，包括辅助诊疗、药物研 发、物资调度、在线课程、远程辅导、全球疫情监控、舆情分析，等等。 如今人工智能像水电一样深入每个人的日常生活之中，聊天机器人、语音 助手、自动驾驶、智慧医疗、智慧城市、金融科技、文化与艺术创作等各 式各样的应用正在逐步实现。人工智能的宏伟蓝图令人振奋，也正是在这 样的背景下，我们更要去回顾人工智能发展的历史，以史为镜，可以知兴 替。 人工智能从诞生至今大约70年，其间经历了多次起伏，很多资料称之 为“三起两落”。图1.2简要展示了人工智能的发展历史，尽管不是一帆 风顺的，但总体仍然呈现波浪式前进的趋势。本节我们将按照一起一落的 发展周期对这段历史进行简要的回顾。 图1.2 人工智能简要发展历史 1.2.1 三起两落

📄 Page 13

从热情高涨的开荒期到首次寒冬。20世纪50年代，在提出图灵测试和 举办达特茅斯会议之后，人工智能这一全新的研究方向开始受到全世界研 究者的关注。在其后大约二十多年的时间里，人们见证了各式各样的人工 智能系统从无到有的开荒过程。在这一时期，大多数研究工作是根据人类 自身的经验和事实基础，进行一定的归纳总结，再基于一系列简单的规则 和逻辑，设计出针对特定任务的计算机程序。因此在后来很多书籍和论文 中，这一时期也被称为“推理期”。1956年，艾伦·纽厄尔和赫伯特·西 蒙编写了被称为“史上首个人工智能程序”的Logic Theorist。在当 年，Logic Theorist证明了罗素的《数学原理》中的38条定理。1963 年，全部52条定理得到证明，其中有一些定理的证明过程甚至比罗素和怀 特黑德的原版证明更加优雅。1966年，世界上首款聊天机器人伊莉莎 （Eliza）横空出世。她可以说是今天我们习以为常的语音助手（如微软 的小冰、苹果的Siri）的鼻祖。伊莉莎可以用英语和测试者进行交谈，甚 至可以给人以夸赞和安慰。由于技术的局限性，她在与人类对话中的回应 只不过是基于脚本库的关键词匹配结果，当人们与她进行长时间的对话 后，很容易发现她的回应技巧。尽管在今天看来这些初步的智能系统不足 为奇，但对于那个年代的人们来说，一个没有任何生命力的机器可以证明 数学定理、翻译不同的语言，甚至用自然语言直接和人交流是令人难以置 信的。 https://web.stanford.edu/～learnest/sail/oldcart.html。 也正是这些惊人的应用让研究人员对人工智能的发展产生了过度乐观 的预期，一些从业人员充满野心地预测20年内人类将实现完全的通用人工 智能。但是随着研究的深入，越来越多的问题被暴露出来。一方面，基于 简单规则的逻辑推理根本无法处理物理世界中纷繁复杂的现实情况；另一 方面，尽管时下火热的人工神经网络的理论在当时就已被提出，但当时的 计算机算力水平十分有限，远远无法支撑其庞大的训练开销。1973年，英 国数学家詹姆斯·赖特希尔（James Lighthill）向英国政府提交了一份 关于人工智能发展近况的报告，指出当时的研究技术根本无法支撑起人工 智能宏伟的目标，对该研究方向提出了严厉的批评。社会上开始有声音质 疑人工智能的研究不过是一场骗局，随之而来的是各国政府经费的急剧缩 减。因此在70年代，人工智能的发展迎来了第一个寒冬。尽管如此，仍然 有科学家在这一时期坚守在探索人工智能的道路上，在寒夜里举着火把前 进。1979年，斯坦福大学发布了历史上第一款自动驾驶车Stanford Cart ，它可以利用视觉传感器在杂乱的室内自主移动，尽管可能需要花费几 个小时才能完成。 https://en.wikipedia.org/wiki/Dendral。 https://en.wikipedia.org/wiki/Xcon。 从重振旗鼓的发展期到二次寒冬。在20世纪70年代末期，专家系统的 出现打破了人工智能领域的第一次寒冬。专家系统通过领域专家给计算机

📄 Page 14

输入一系列的知识以及逻辑推理的规则，从而使之在特定领域能够模拟人 类专家进行推理与判断。世界第一个专家系统DENDRAL 由爱德华·费根 鲍姆（Edward Feigenbaum）、布鲁斯·布坎南 （Bruce G. Buchanan）、乔舒亚·莱德伯格（Joshua Lederberg）等 人在1965年完成。研究人员将化学和质谱仪相关的知识以及一系列的推理 规则输入DENDRAL中，使其能够根据有机化合物的分子式，推断出正确的 分子结构，并且其准确度能够媲美人类化学家。由于专家系统在特定领域 内的出色表现，研究者开始将其应用在某些领域，如医疗、金融领域等中 代替人类专家。1979年，成功开发的地质专家系统Prospector是第一个产 生经济效应的系统，并为公司节省了不菲的开销。1993年，美国DEC公司 与卡内基梅隆大学联合研发的XCON-R1 专家系统更是每年为公司带来近 百万美元的收益。这些专家系统的出现，使之前只在实验室“烧钱”的人 工智能具有了产生部分实际经济效应的能力。 随着专家系统所展示的经济效应能力，资本重新流向人工智能领域， 为人工智能研究注入了新鲜的活力，令其再次蓬勃发展了起来。在此时 期，大量研究者专注于探索知识对于人工智能的影响，取得了许多重要成 就，例如马文·明斯基提出的框架知识表示理论，以及兰德尔·戴维斯 （Randall Davis）提出的大规模知识库构建与维护理论。这些成就为现 代知识图谱理论与推荐搜索技术打下了坚实的基础。此外，其他人工智能 分支领域也硕果颇丰，如1976年提出的启发式搜索算法与计算机视觉理论 体系以及1986年提出的反向传播算法、分布式并行处理等。这些研究都对 后续人工智能领域的发展产生了深远的影响。 遗憾的是此次的繁荣也并不持久，大量资本的涌入在为人工智能领域 提供燃料的同时也产生了大量的泡沫，使得专家系统的缺点更快地被展现 出来。这些专家系统的研发需要投入大量的人力，它们难以升级且只能在 特定的场景使用。这些缺点使得专家系统的研发出现了瓶颈，也导致了人 们对专家系统乃至人工智能的通用性产生了质疑。到了80年代末期，人工 智能领域在美国战略计算促进大会的预算被大幅削减。无独有偶，日本耗 资4亿多美元的第五代计算机研发计划也因达不到预期效果而宣告失败， 该计划的目标是造出能够像人一样处理各种外界信息的通用人工智能机 器。至此，人工智能再次进入寒冬，这场由专家系统带来的人工智能短暂 春天落下帷幕，由于在该时期研究者们普遍崇尚知识在人工智能系统中的 作用，因此后续研究者们常称该时期为“知识期”。 集腋成裘进入百花齐放的新时代。在人工智能第二次的没落之后，由 于缺乏科研经费的支持，只有少数研究者还坚守在人工智能研究领域的前 线。他们的努力最终为人工智能领域带来了第三次的飞跃。人工智能的第 三次繁荣期被称为“学习期”。通过对人工智能前两次发展的尝试，研究 者发现在人类完成通用图像、文本任务，如图像识别、情感分析等方面， 难以找到固定的模式，此时简单的知识与规则已无法满足需求，需要让机

📄 Page 15

器从数据中自主学习。2006年，杰弗里·辛顿（Geoffrey E. Hinton） 在《科学》杂志上发表论文，提出了具有可行性的深层神经网络模型，该 论文被认作第三次人工智能领域崛起的信号。随着互联网产业的崛起，大 规模网络数据（如图像、文本、视频等）的获取成为可能，而计算机硬件 的发展也为深度学习的繁荣奠定了基础。 2012年，由亚历克斯·克里泽夫斯基（Alex Krizhevsky）和杰弗里 ·辛顿等人提出的深度神经网络AlexNet在斯坦福大学举办的百万级别 ImageNet图像分类挑战赛中一战成名，该网络利用图形处理器 （graphics processing unit，GPU）进行快速学习，达到惊人的Top-5 准确率84.6%，大幅领先第二名10个百分点。2015年，何凯明 （Kaiming He）等人提出残差神经网络（residual neural network， ResNet），首次在ImageNet图像分类任务上展示了超过人类的表现（Top- 5识别错误率低于5.1%）。人工智能尤其是深度学习再次吸引了全世界的 目光，各大公司、高校和科研院所纷纷成立人工智能实验室，投入大量经 费支持相关研究。这其中包括由戴密斯·哈撒比斯 （Demis Hassabis）、谢恩·莱格（Shane Legg）等人成立的人工智能 公司DeepMind，以及由萨姆·阿尔特曼（Sam Altman）、伊隆·马斯克 （Elon Musk）等人成立的OpenAI。我国华为、腾讯、阿里等企业也相继 成立了人工智能实验室，力争在人工智能前沿抢占一定的领先优势。深度 神经网络出色的（表征）学习能力并不局限于图像识别任务，而是在各行 各业多点开花。2016年，由DeepMind公司打造的人工智能系统AlphaGo在 曾被断言“人工智能不可能战胜人类”的围棋比赛中以4:1的成绩打败了 人类顶尖棋手李世石。同年，机器人设计师大卫·汉森 （David Hanson）成功研制了类人机器人Sophia，其拥有硅胶制成的皮 肤，能够在智能算法的控制与电机的牵引下做出丰富且自然的面部表情， 与人进行正常的语言对答和眼神交流。 https://openai.com/dall-e-2/。 https://stability.ai/blog/stable-diffusion-v2-release。 https://openai.com/blog/chatgpt/。 自2012年以来的十余年时间里，研究者提出了大量新型的深度神经网 络模型，这些模型在诸多极具挑战性的学习任务上取得了巨大的成功。这 包括具有强大数据生成能力的生成对抗网络 （generative adversarial network，GAN）、具有强大序列表征与关 系学习能力的Transformer模型、具有序列-结构解析能力的 AlphaFold 2、具有文本到图像生成能力的多模态模型DALL-E 2 和 Stable Diffusion 2 ，以及具有类人对话能力的ChatGPT 模型等。 这些模型，如AlphaFold 2，甚至在一些长期困扰人类科学家的基础科学 研究领域都取得了重大突破，正在催生大量新型交叉学科研究范式。如 今，我们正处在人工智能的第三次浪潮之中，在我们的日常生活中，处处

📄 Page 16

都能发现人工智能的影子，例如大数据音乐、视频推荐、机场/火车站安 检口的人脸识别系统等。未来，人工智能技术更新会越来越快，应用也会 更加广泛，有望成为推动各领域产业变革和技术创新的主要原动力。 1.2.2 重大突破 深蓝击败国际象棋冠军。1997年注定是一个将被记录在人工智能史册 的年份，因为在这一年，由IBM制造的超级计算机“深蓝”在标准的国际 象棋比赛中击败了当时的国际象棋世界冠军加里·卡斯帕罗夫 （Carry Kasparov）。“深蓝”最初起源于一个叫许峰雄的中国人在美 国卡内基梅隆大学攻读博士学位的研究，许峰雄在美国卡内基梅隆大学求 学期间疯狂地迷恋上了计算机博弈这个领域，并在此之后几乎把所有的精 力都投入到了对这个领域的研究。1985年，许峰雄研制出第一个计算出棋 路数的“ChipTest”，这个成果让他们在1987年的计算机博弈锦标赛中拔 得头筹，也为他们积累了宝贵的经验以及日后持续投入研发的资金。皇天 不负有心人，1988年许峰雄和他的合作者成功研制出了“深思” （Deep Thought），这是一个配置有2个处理器、200块芯片，每秒能够 执行70万个棋位分析的计算机，在当时战斗力大抵相当于一个级别段位较 低的国际象棋大师。也就是在同一年，美国IBM公司发现了许峰雄以及他 研制的深思，1989年，许峰雄携他的深思加入IBM研究部门，继续着超级 电脑的研究工作。在1992年，IBM委任谭崇仁为超级电脑研究计划主管， 领导研究小组开发专门用以分析国际象棋的“深蓝”（Deep Blue）超级 电脑，名字深蓝取自“深思”和IBM“蓝色巨人”的结合。4年后的1996年 2月，深蓝第一次挑战俄罗斯国际象棋大师卡斯帕罗夫，这场比赛在费城 举行，深蓝最终以2:4落败，尽管卡斯帕罗夫在这场比赛中取得了胜利， 但是赢得并不轻松，其中一些神来之笔的棋路更是令卡斯帕罗夫头疼。虽 然战败，但是对战国际顶尖棋手的战绩仍然使IBM的研究人员兴奋不已， 在接下来的一年时间里，研究人员对深蓝进行了升级改造，甚至邀请了四 位国际象棋大师作为深蓝的陪练。经过长达一年的准备，1997年5月11 日，经过改良的深蓝再度挑战卡斯帕罗夫，并以3.5:2.5战胜卡斯帕罗 夫，成为第一个在标准比赛时间内击败国际象棋世界冠军的计算机系统。 国际象棋曾经一度被认作人工智能永远无法攻克的智力游戏，而彼时人工 智能已可以战胜世界冠军，这给人们带来对人工智能技术的无限期待，以 及从事人工智能研究的兴趣与信心。 深度学习模型在图像识别任务上超越人类。2012年，为了证明深度学 习的潜力，杰弗里·辛顿带领研究团队参加了ImageNet大规模（百万级）

📄 Page 17

图像识别挑战赛，并提出了对深度学习影响深远的AlexNet网络。AlexNet 网络以超过第二名10%以上的Top-5准确率夺得了比赛的冠军，自此深度学 习重新进入人们的视野并一发不可收拾，进入深度学习快速发展的黄金十 年。如前面所述，这十年来，涌现了许许多多的神经网络结构并不断地刷 新着各类纪录。在计算机视觉领域，2014年的VGGNet、Inception-Net以 及2015年的ResNet网络（以及近期提出的ViT模型）最具代表性。而其中 ResNet的影响最为深远，它在将神经网络的深度扩展至数百层的同时还能 保持很好的收敛性，在ImageNet的1000类图像分类任务中达到了4.94%的 Top-5错误率，第一次超越了人类。相关研究估计，人类在1000类的 ImageNet图像分类任务中的Top-5错误率为5.1%左右。虽然从2018年开始 ImageNet比赛已不再举办，后续的研究工作已经将ImageNet图像分类任务 的Top-5准确率逐步提高到了99%（Top-1准确率也达到了91%），但在自然 语言处理领域，深度学习仍以不可抗拒之势席卷各大顶级会议和期刊，从 2013年的word2vec到后来的LSTM、GRU等经典模型，模型性能不断提升。 2017年，谷歌公司发表论文“Attention Is All You Need”，基于 自注意力机制（self-attention）构建了Transformer模型，登上了各大 自然语言处理任务的榜首。到2022年年底，基于Transformer架构的各类 大规模预训练模型刷新了众多自然语言处理任务的最优性能，并开始广泛 应用在计算机视觉领域，呈现出模型结构大一统的趋势，再加上多模态学 习的飞速发展，相信实现通用人工智能并不遥远。 AlphaGo战胜世界围棋冠军李世石。2016年1月27日，DeepMind公司开 发的计算机围棋程序AlphaGo在一项赛事中以5:0的成绩战胜了欧洲围棋冠 军樊麾，这是计算机围棋程序首次在比赛中击败人类围棋专业高手，而这 只是一个开始。2016年3月，AlphaGo以4:1的比分挑战了世界围棋冠军李 世石。一时间引发了全社会的广泛关注，因为这代表着继深蓝拿下国际象 棋18年之后，代表人类高智力水平的围棋游戏也被人工智能攻克。在 AlphaGo之后，DeepMind继续推出能力更加“变态”的AlphaGo Zero，其 在经过三天的自我对战之后便战胜了之前战胜李世石的AlphaGo版本，更 是在40天之后超过此前所有的AlphaGo版本。 自动驾驶汽车上路行驶。实现汽车的自动驾驶是人类由来已久的梦 想。从最初70年代中期每移动1米都要花费20分钟的Stanford Cart（被 普遍当作第一辆自动驾驶汽车）到1995年卡内基梅隆大学穿越美国的庞蒂 克（美国通用公司旗下品牌）Trans Sport——NavLab5，再到美国国防 高级研究计划局（DARPA）在莫哈韦（Mojave）沙漠组织的第一场挑战 赛，自动驾驶已经历经了几十年的发展。很多传统汽车企业（如福特）在 几十年之前就已经开始研究自动驾驶，但是直到2004年的DARPA挑战赛 （DARPA Grand Challenge），自动驾驶才真正进入人们的视野。在 2007年的城市挑战赛中，卡内基梅隆大学与通用汽车合作制造的“Boss” 使用了一种全新的激光雷达扫描系统，这也是当今自动驾驶的一种主流解

📄 Page 18

决方案。正是这些挑战赛的出现极大地促进了自动驾驶这个领域的蓬勃发 展，2009年谷歌建立了一支由塞巴斯蒂安·特伦（Sebastian Thrun）领 导的自动驾驶研发团队，三年后这支团队从谷歌分离出来成立了Waymo公 司。2011年10月，谷歌在内华达州对自动驾驶的汽车进行测试，成为全球 第一个进行无人驾驶汽车公路测试的公司。2012年5月，谷歌获得美国首 个自动驾驶车辆许可证。不仅在美国，自动驾驶在大洋彼岸的中国也在如 火如荼地进行中。2018年12月，百度的Apollo自动驾驶全场景车队在长沙 高速上行驶。2019年6月，长沙人民政府颁发49张自动驾驶测试牌照，其 中百度独得45张。2019年9月，百度自动驾驶出租车队Robotaxi在长沙试 运营正式开启，这也是自动驾驶在中国商业化应用的一个里程碑事件。相 信自动驾驶会在未来十年得到迅速的发展，有望给人们的生活与出行带来 全新的体验。 AlphaFold 2解决了困扰科学家50年之久的蛋白质折叠问题。如果说 以上关于棋类比赛、图像识别以及自动驾驶的例子都是人工智能在实际应 用层面的成功探索，那另外一个不得不提的例子就是2020年11月底 DeepMind提出的AlphaFold算法，其破解了困扰科学家50年之久的蛋白质 折叠问题。这个例子展现了人工智能技术在基础科学领域的巨大进步。蛋 白质是组成人体细胞、组织的重要成分，几乎所有的人类生命活动，如光 亮感知、肌肉伸缩等，都离不开蛋白质的参与。因此，研究蛋白质折叠问 题，即如何根据蛋白质的氨基酸序列来确定它的空间结构，对于生物学具 有极其重要的意义。然而，这一研究问题困扰了生物科学家长达50年之 久。AlphaFold在2020年的国际蛋白质结构预测（CASP）比赛中，击败了 其他的参赛队伍，以明显的优势拿下了比赛冠军。此外，AlphaFold在准 确度方面也可比肩人类实验结果，基本可以认为它在很大程度上解决了蛋 白质的折叠预测问题。DeepMind的这一突破性成果受到了学术界前所未有 的关注和赞誉，CASP组织者、科学家安德烈·克里斯塔福维奇 （Andriy Kryshtafovych）在大会上感叹：我从没想过有生之年能看到 这项技术的诞生。生物学家安德烈·鲁帕斯（Andrei Lupas）评价该技 术：将改变医学，改变研究，改变生物工程，甚至改变一切。这一重大突 破证明了深度学习技术在解决基础科学问题方面的强大能力，展现了人工 智能在基础科学领域的惊人发展潜力。

📄 Page 19

1.3 人工智能安全 1.3.1 数据与模型安全 在上一节中我们看到人工智能在不同领域的成功应用，未来可预见 的是，人工智能技术将不断蓬勃发展，更加深入到我们生产生活的方 方面面。然而，作为一项新技术，我们必须认识到人工智能技术是一 把双刃剑。因此，我们在享受人工智能带来的诸多便利的同时，也不 能忽视随之而来的安全问题。当技术被赋能，一个安全性不足的智能 系统所能带来的伤害是不可估量的。此外，随着技术的发展，人工智 能是否会真正超越人类智能，是否还完全可控，这是永远都不能忽视 的重要问题。 邬江兴.网络空间内生安全——拟态防御与广义鲁棒控制[M].北 京：科学出版社，2020. 方滨兴.人工智能安全[M].北京：电子工业出版社，2020. 对于一个系统来说，往往其结构决定功能，内生决定外在，原理驱 动技术 。根据安全问题所涉及的作用对象以及作用效果的不同，人 工智能安全大致可以分为以下三类 ：人工智能内生安全、人工智能 衍生安全以及人工智能助力安全。人工智能内生安全指的是由于技术 本身的脆弱性所引发的智能系统本身出现的安全问题，其作用对象是 系统本身。理论上，任何一个智能系统的组件，如训练所使用的人工 智能框架、训练数据、模型结构等，都有可能出现安全问题。人工智 能衍生安全指的是由于智能模型的不安全性而给其他领域带来的安全 问题，其作用对象是智能系统以外的其他领域。自动驾驶事故、智能 体脱离控制甚至攻击人类等就属于人工智能给交通和公共安全领域带 来的衍生安全问题。从作用效果来看，不管是内生安全还是衍生安 全，我们一般认为其引发的安全问题都是负面有害的。与之相反，人 工智能助力安全指的是利用人工智能技术为其他领域提升安全性，其 作用是正向有益的。典型的人工智能助力安全的例子包括利用人工智

📄 Page 20

能技术进行计算机病毒检测、虚假视频检测、危险事故预判等。尽管 每一类安全问题都不容小觑，但是一个完全安全可靠的人工智能系统 除了技术之外，还需要依托国家政策、法律法规、行业规范等多方约 束。本书重点关注人工智能内生安全方面的数据安全和模型安全。需 要说明的是，人工智能内生安全不只包括数据和模型安全，还包括框 架安全、依赖库安全、云服务安全等。此外，本书中数据安全和模型 安全的叫法是从攻击目标来说的，有时二者也被称为算法安全。 数据安全。人工智能的核心是机器学习。经过几十年的发展，机 器学习衍生出有监督学习、无监督学习、强化学习、联邦学习、对比 学习、特征学习等不同的学习范式，但不管是哪一种学习范式，要构 建智能系统（模型）都离不开训练数据。可以说，训练数据的特性， 如数据规模、数据均衡性、标注准确性等，在很大程度上直接决定了 智能系统的最终表现。一般来说，数据规模越大，训练得到的模型的 表征能力和泛化能力也就越强。数据均衡性则会直接影响模型所学习 知识的均衡性，即训练数据分布越均衡、不同类别间的分布偏差越 小，人工智能算法的泛化效果往往也就越好。标注准确性同样也是影 响人工智能内生安全的一个重要因素。由于标注工作的繁重性及其对 专业知识的要求，标注过程中难免会产生一些错误，这会对人工智能 算法的执行效果产生不可估量的影响。训练数据对最终模型起着决定 性作用，其也就成为攻击者的重点攻击目标，此外，数据中所包含的 隐私和敏感信息也是攻击者的攻击目标。现有针对训练数据的攻击主 要包括以下四种。 ● 数据投毒：通过操纵数据收集或标注过程来污染（毒化）部 分训练样本，从而大幅降低最终模型的性能。 ● 隐私攻击：利用模型的记忆能力，挖掘模型对特定用户的预 测偏好，从而推理出用户的隐私信息。 ● 数据窃取：从已训练好的模型中逆向工程出训练样本，从而 达到窃取原始训练数据的目的。 ● 数据篡改：利用模型的特征学习和数据生成能力，对已有数 据进行篡改或者合成全新的虚假数据。 模型安全。模型无疑是人工智能系统最核心的部分。高性能的模 型是解决实际问题的关键，无论采用何种训练数据、训练方式、超参 数选择，最终也往往都作用在模型上。因此，模型成为攻击者的首要 攻击目标。现有针对人工智能模型的攻击大致可分为以下三种。 ●对抗攻击：在测试阶段向测试样本中添加对抗噪声，让模型做 出错误预测结果，从而破坏模型在实际应用中的性能。