作者 | 朱敏明

杭州互联网法院副院长

人工智能是人类发展的新领域，人工智能技术是当前备受关注的新兴科技，给人类生产和生活方式带来颠覆性变革的同时，也给社会治理领域带来一系列新挑战。人工智能的治理攸关全人类命运，已成为世界各国面临的共同课题。2023年10月，中央网信办发布的《全球人工智能治理倡议》集中展示了我国在人工智能治理长期实践中所积累的宝贵经验，论述了人工智能的发展、安全和治理问题，为引导人工智能向着人类文明进步的方向发展提供了遵循、指明了方向。

在人工智能领域，“AI换脸”技术是一把典型的“双刃剑”。2023年8月，笔者审理的浙江省杭州市萧山区人民检察院诉虞某某个人信息保护民事公益诉讼案（以下简称虞某某案）中，被告通过互联网学习掌握“AI换脸”软件使用方法后，于2021年至2022年8月间，创建了“女神合成视频图试看群”等6个社交群组并发布大量淫秽视频、图片，所涉成员达2000多人，部分视频、图片系被告在未取得被编辑人同意的情况下，利用“AI换脸”软件，将从互联网等渠道收集到的被编辑人人脸信息与部分淫秽视频中的主体人脸信息进行替换合成，制作生成的伪造视频、图片；部分视频、图片系被告自网络中搜集的他人以相同方式伪造的视频、图片；前述涉及被替换合成的主体约百余人。被告还对外销售其所掌握的“AI换脸”软件、传授使用教程、提供换脸所需个人面部模型素材，并为他人提供换脸视频定制服务，根据客户提供的他人面部视频或照片素材及要求，制作换脸视频，从中收取出售费、服务费等6万余元，侵害不特定人群的个人信息权益。该案是人工智能被负面利用的一个典型缩影。本文拟主要以该案件为例，阐述“AI换脸”技术伴生的风险与治理问题，从处于司法末端的审判者视角探讨“AI换脸”技术的规制和引导。

揭开“AI换脸”技术的神秘面纱

近年来，随着人工智能技术逐渐接近突破技术变革的“奇点”，“AI换脸”技术得到了迅猛进步，“一键换脸”可在一台电脑或一部智能手机中得以实现。

“AI换脸”技术的本质是一种基于人工智能深度学习技术和计算机视觉技术的新应用。“AI换脸”技术建立在基础数据分析和深度学习能力之上，其通过对数据的预处理，将原始图像去除冗余信息，分类标注目标对象的面部特点，以面部数据的形式进行分类划分，再基于面部特征点通过坐标形式计算旋转角度与缩放比例，保障输入素材与输出素材面部位置和角度一致，利用深度学习算法提取素材中的特征向量，最后将特征向量融合后得出输出素材的面部特征向量，加以去噪和锐化等后期处理，最终生成输出素材。

“AI换脸”技术高度依赖人工智能的深度学习技术，技术本身是中立无害的，且也不应当直接受到法律的负面评价。但技术中立并不意味着价值中立，特别是开发者、使用者的价值中立，更不等于AI技术的参与者不应受到来自法律的规制、道德伦理的约束。“AI换脸”技术本质上是对替换者和被替换者面部信息的读取与重塑，在“AI换脸”技术中，向其“投喂”何等素材取决于使用者，使用者的目的和用法决定了“AI换脸”技术是服务生活还是侵蚀权利。

伴随“AI换脸”技术的风险与危害

科学技术的终极目标是服务于人类，改进人类的生活，“AI换脸”技术作为新兴技术，以惠及全人类的宗旨多场景、规模化应用是其理想归宿。目前较认同的是在影视娱乐、电商导购等领域的合理应用。但科学技术都具有两面性，“AI换脸”技术由于具有高度逼真性及泛在普适性的特点，特别是随着人工智能技术的飞速发展以及社交网站上人脸信息的视频、图片资源丰富性与易获取性，深度合成的换脸技术所需人脸信息对象的“源数据”获取越来越便捷，技术应用可能波及的人群范围、领域越来越广泛。如虞某某案反映出受害对象人脸素材易于获取、受害主体广泛且不特定、技术使用成本及门槛低、技术使用产出能力强、侵权主体及手段隐蔽、侵权内容传播速度快、损害后果难以挽回等特点。上述特点决定了使用“AI换脸”技术除了可能引发的法律风险，还会带来社会治理和政治安全等风险。

（一）“AI换脸”技术与人格权益

“AI换脸”技术本质上是对替换者和被替换者面部信息的读取与重塑，未经权利人同意违法应用“AI换脸”技术，将直接侵害相关权利人的肖像权。肖像权的绝对性、专属性、排他性等权利特征，决定面部形象的主人有权拒绝将其面部形象移转至他人身体形象中，身体形象的主人亦有权利拒绝其身体形象被冠以他人之面目。故“AI换脸”技术可能同时存在两种侵权情形，一是对所用模板中面部被替换的权利人的侵害，二是对提取出人脸的权利人的侵害。此外，“AI换脸”技术被违法恶意应用到某些场景时，如传播色情、暴力、邪教异说或丑化权利人形象，还可能侵害权利人的名誉权和荣誉权。

未经权利人同意违法应用“AI换脸”技术，还会侵害相关权利人个人信息权益。在虞某某案中，侵权人使用换脸软件或技术深度合成伪造视频和图片，包含搜集、提取、替换、合成、存储他人人脸敏感信息等个人信息处理行为，且均未获得过相关主体同意，构成对他人个人信息权益的侵害。同时，侵权人将其自制或搜集的含有他人人脸信息的深度合成伪造视频、图片在网络社交软件中发布、提供的处理行为，亦侵害了他人个人信息权益。

（二）“AI换脸”技术与虚假信息

随着算力和大型生成式人工智能的飞速进步，“AI换脸”技术所生成的人脸替换视频及附带音频已足以达到乱真的地步，该技术如果被运用于虚假信息的生成和传播，易造成极大的社会治理成本。有专家认为，人工智能被滥用的最大风险领域之一是深度造假，特别是用于宣传虚假信息。

用于网络电信诈骗。不法分子通过“AI换脸”技术合成视频加以深度伪造技术合成声音完成与受害人的视频通话，当前已经出现诈骗得手的诸多案例。且随着深度伪造技术提升及行骗手段日益翻新，行骗已经从“1对1”升级为“N对1”、从“诈骗视频电话”升级为“诈骗视频会议”，“众假齐上阵”使骗局更逼真，极大地增加了辨假难度，众多受害人“信以为真”导致巨额财产损失。

用于散布网络谣言。整治网络谣言 一直是营造风清气正网络环境的重要环节。对于使用“AI换脸”技术生成且未加以标注明示系AI深度合成的视频，普通网民看起来往往是“有凭有据”“有板有眼”，一旦部分人信以为真并通过各种网络社交APP转发，将迅速扩大传播路径和范围，短时间内造成严重误导的恶劣影响。且网络谣言难以全面删除，真相难以被快速澄清，治理成本高、难度大。

可能引起群体性网络暴力。“AI换脸”技术成本和门槛低，甄别难度大。如果不法分子利用“AI换脸”技术生成的虚假信息，恶意引导舆论针对其他对象进行攻击，容易引发群体性的网络暴力，造成相关主体商业、家庭、个人形象严重污损，有的还会导致引发经济主体遭受重大经济损失和公民社会性死亡，同时也会对诚信社会的建设造成阻碍，提高诚信社会构建的成本。

（三）“AI换脸”技术与色情制品

“AI换脸”技术已经被大量运用于色情淫秽物品的制作。如虞某某案中，虞某某开设多个群组，通过“AI换脸”技术随意制作、合成色情制品以吸引顾客，然后根据购买人的定制需求大量制作、贩卖换脸后的淫秽色情制品，同时出售“AI换脸”软件、传授换脸技术教程，造成了难以估量的负面影响。凭借几张照片和换脸操作，就可以让他人成为色情制品的受害者，挑战和破坏了社会公序良俗，甚至影响未成年人身心健康。

（四）“AI换脸”技术与司法证据

“AI换脸”技术是人工智能深度合成能力的体现，深度合成技术在视频图片、声音合成方面均能实现以假乱真的效果。在司法活动中，证据至关重要。深度合成技术形成的换脸视频图片和合成声音，一旦出现在司法证据审查中，仅凭法官一己之力通常难以准确判定，将对案件审理产生严重干扰。目前具有鉴定此类音视频能力的机构不多，且相关鉴定方法与标准缺乏统一共识，明显增加了司法审查成本。

（五）“AI换脸”技术与政治安全

“AI换脸”技术能够轻易替换视频图片中的面部信息达到制作人想要的效果。对于公众人物，特别是国内外政要等，一旦被“AI换脸”技术恶意编辑并加以舆论引导，容易产生严重的政治负面影响。若利用“AI换脸”技术对历史影像、照片进行恶意替换，加以互联网迅猛的传播速度，将会造成严重的史实偏差与混乱。

“AI换脸”技术的应用需要多层面深度治理

习近平总书记指出，人工智能是引领这一轮科技革命和产业变革的战略性技术，具有溢出带动性很强的“头雁”效应……正在对经济发展、社会进步、国际政治经济格局等方面产生重大而深远的影响。人工智能用之为善可以造福社会，不当滥用则会造成社会风险和损害。创新的本质具有颠覆性，创造的过程难免伴生破环性，人工智能技术革新可能带来的现实和潜在风险亟须高度关注。能否应对AI的“创造性破坏”，是当前国际社会普遍关注的课题。

中央网信办、工业和信息化部、公安部联合下发的《互联网信息服务深度合成管理规定》(以下简称《规定》)于2023年1月施行，该《规定》是我国目前针对“AI换脸”技术等深度合成服务的专门性规章。《规定》对深度合成服务提供者、使用者及应用程序分发平台应当履行的义务等作出了原则性规定，旨在引导技术开发者、服务提供者和应用者遵守法律规定和科技伦理道德，培育积极健康、向上向善的研发、应用环境。如规定“不得制作、复制、发布、传播法律、行政法规禁止的信息”“不得从事危害国家安全和利益、损害国家形象、侵害社会公共利益、扰乱经济和社会秩序、侵犯他人合法权益等法律、行政法规禁止的活动”等，但并未列举“AI换脸”技术的应用范围，也未对其使用者设定资格条件。故哪些具体场景及主体可以利用“AI换脸”技术，尚需进一步细化、解释。且当前对该《规定》的宣传尚未达到“广而告之”“人所应知”的程度，深度合成服务提供者、使用者应当遵守哪些规则并未“深入人心”。这也是当下“AI换脸”技术被违法滥用的原因之一。

应对新的风险和挑战，人工智能技术如何恪守以人为本的理念善智向上，如何消弭风险、除弊兴利，笔者认为可从以下方面着手：

构建人工智能的伦理框架，强化伦理规则。人类发展人工智能技术的根本目的在于促进人类自身的发展，故技术的开发、使用、传播都应符合社会预期，与人类整体的价值观念、伦理原则对齐，建立人工智能伦理准则、科技伦理审查和监管制度等，将道德算法、伦理准则嵌入人工智能技术之中。即始终坚持以人为本、智能向善理念，确保人工智能技术有益、安全、公平。

创新人工智能领域规则供给机制，框定技术红线。目前有关“AI换脸”技术的规定，尚存在效力位阶偏低、内容偏原则等不足，而人工智能技术发展方兴未艾、日新月异，传统的规则供给模式难以快速有效回应社会发展的需求，亟待进一步强化法律制度供给，创新规则供给制度，同时发挥好硬法规则原则性、方向性的稳定权威规制特性及软法规则小而精、快而准的迅捷灵活治理特性，以科学的法律、法规体系为人工智能术框定红线、底线，指明发展应用的主要行业方向。

强化行业自治自律，推动形成人工智能技术协同共治的格局。在可预计的未来，人工智能技术将渗透到社会生活的每一个角落，对人工智能技术引发的风险治理，难以单靠政府部门一己之力或司法部门单打独斗。实际上，技术开发、技术应用、网络平台、传播主体等，都应当是治理责任传导链的重要主体，应激励自治动力、培育共治价值、增强自律规制，进一步压实行业主体责任。

支持开发反深度合成技术，提升技术防范能力。随着AI技术的不断发展和扩大应用，常人难以迅速、准确识别深度合成技术，多种权利面临被侵犯的危险。这就有必要为个人、企业和监管部门提供可靠的鉴别技术，形成较为明确的鉴别标准，创新治理工具，实现“用魔法打败魔法”，正如中央网信办在《全球人工智能治理倡议》中所言：“积极发展用于人工智能治理的相关技术开发与应用，支持以人工智能技术防范人工智能风险，提高人工智能治理的技术能力。”

加大普法宣传广度力度，增强法律底线意识。虽然刑法及民法典、个人信息保护法、信息网络传播权保护条例等，对公民个人信息的保护均有相应规定，还有深度合成人工智能技术进行规制的《规定》，但一般公民往往对专业性较强的法律法规及规章制度缺乏了解。且“AI换脸”技术是对年轻人具有较强吸引力的“新生事物”，故更需要职能部门协力加大“AI换脸”技术的法律边界底线等宣传，帮助公民增强守法意识及“AI换脸”技术警惕性。

人类社会迈向信息化、数字化、智能化是历史的必然，对人工智能领域出现的新问题、新挑战，各界需要秉持开放包容且审慎严谨、主动调适的态度，深入探讨、积极应对，给人工智能应用加赋透明性、准确性、安全性等“保险制度”，警惕和防范负面作用，在维护民主、人权和法治的同时，推动普及值得信赖的人工智能，并将伴生的负面破坏作用控制到最小程度，真正让人工智能技术服务和造福全人类。

来源：人民法院报

编辑：Sharon