中国互联网信息办公室近日发布《互联网信息服务深度合成管理规定》征求意见稿，要求深度合成服务提供者以及应用商店今后要担起责任，确保使用者提供真实身份信息并且不违法。业内分析人士指出，这是为政府进一步监管互联网尤其避免领导人遭恶搞而提供法理依据，但是实施起来恐非易事。
中国政府欲出台新规监管深度合成技术
2022年1月28日，中国国家互联网信息办公室在其网站发布关于《互联网信息服务深度合成管理规定（征求意见稿）》公开征求意见的通知，意见反馈截止日期为2月28日。
“深度合成技术”可能对大部分中国人还是个相对陌生的概念。征求意见稿用三百多字对此技术做了比较笼统的解释：“本规定所称深度合成技术，是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术。”
文字读来依然晦涩，但是2019年在中国网络世界流传的几个视频足以提供解释。在视频里，94年版《射雕英雄传》里扮演黄蓉的香港演员朱茵，面部被人替换成了中国女星杨幂。神奇的是，这并非面部的静态照片替换，而是动态视频的替换。在新的视频里，杨幂有各种面部动作：微笑、皱眉、说话、嘟嘴，各种表情都完全达到了以假乱真的地步，让人难以察觉这并非她本人出演，而完全是一项利用技术人工生成的作品。
视频一出，网友立刻惊呆，微博话题阅读量瞬间飙升到1亿。哔哩哔哩站网友在杨幂换朱茵的视频下留言一千多条，发出各种感慨：“迄今为止看到的最没有违和感的AI 换脸”；“以后这黑科技更完善之后，都不用本人演了......可以随便换了，哈哈。而且谁都可以用刘亦菲，范冰冰他们的脸，想想都可怕，会不会以后连真脸都可以秒换了”；“最恶毒的，用她们的脸拍黄片，解释都解释不清”。
接下来在全世界流行一时的一款名为“Avatarify”的变脸APP，则让普通人感受到了变脸带来的乐趣。手机用户只要在苹果应用商店下载安装，然后上传照片，就可以从APP提供的一些著名歌手唱歌的短视频上，把歌手换成自己。置换后的短视频里，自己的眼神和表情惟妙惟肖，再配上歌手的美妙音乐，让很多普通用户乐在其中，纷纷拿亲朋好友的照片取乐逗趣，Avatarify也成为下载量非常高的一款应用，并且吸引大量付费用户。
最初的AI 换脸发源于海外社区Reddit，一位用户发布了一系列明星换脸小视频，吸引了大量用户关注，后被举报封号。作者后来在软件开发者云集的github公布了技术代码，之后来自全世界的软件开发者对换脸技术进行了优化，直到今天变得越来越成熟和易于使用。
如今，中国互联网信息办公室即将出台的这项管理规定，正是准备约束此类技术开发者和使用者的行为。规定的第六条阐明：“任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动，不得制作、复制、发布、传播含有煽动颠覆国家政权、危害国家安全和社会稳定、淫秽色情、虚假信息，以及侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益等法律法规禁止内容的信息。”
旅居英国的前某跨国互联网公司技术顾问王先生告诉美国之音，换脸技术门槛很低，人人都可以用。
他说：“这里面其实有两个问题。第一个跟人的肖像权有关，比如有公众形象的明星。这种情况其实中国和美国都不太管，但是经常会把这当一个借口来说事儿。在中国，更敏感的是涉政问题。其实恶搞明星是没有人管的，但是这个东西大家一旦玩到习近平头上之后就变得特别敏感。以前江泽民胡锦涛也被人恶搞，无所谓。习这个人不太能容忍别人恶搞他，性格不一样吧。他没有文化，可能不理解这种幽默，这其实拉低了领导和普通群众的距离。（可是）他需要的是把天子和百姓的距离拉远。”
美国和欧洲的前车之鉴
使用AI技术“偷梁换柱”的事件曾在美国掀起数次波澜。最著名的一次发生在2019年5月，当时众议院议长南希·佩洛西的一则讲话视频被人技术处理后，音频和面部表情遭到改变，原本正常的讲话变得语速迟缓甚至看来有点醉酒般神志不清。这个被修改的视频在Facebook发布后引来数百万点击，很多人误以为真。当时川普的私人律师、原纽约市长朱利安尼也在推特嘲笑了佩洛西的古怪形态。事后，这个虚假视频被一些网站撤下，但是已经得到广泛传播。
在此之前，网络世界也发生过类似的事情：有人利用一款名为FakeApp的软件，把前第一夫人米歇尔·奥巴马的脸合成到艳星身上。2018年初这款软件在Reddit被发布后，得到12万下载。Reddit后来关闭了一些关于此软件的兴趣讨论组，引发不少开发者和爱好者的不满，认为这是过分的一刀切政策。
纽约州州立大学布法罗分校计算机系教授吕思伟告诉美国之音，其实南希·佩洛西的这个事情还不算深度合成，只能算是个比较简单的浅度作假，很容易实现。
吕思伟说：“深度合成技术对我们生活的影响还没有很深远。但是媒体的渲染让这个情况听起来更严重，因为这样才会让大家警觉。当然这个是有意义的，美国的一些大众媒体对这个事情有一定的先见之明。技术的发展日新月异，还不到5年，生成的质量和效率已经在几十倍的提高。但是从另外一个角度来讲也确实有点过度强调会造成的危害。”
吕思伟说，现实生活中他所见到的利用深度合成技术确实造成危害的情况，是他曾经帮助一家律师事务所代理的关于“revenge pornography”的案例，也就是罪犯利用变脸技术，把受害人的脸置换到色情影片的女主角身上，造成受害人出演色情片的假象，从而给受害人的名誉和心理造成伤害。
2021年2月，《麻省理工科技评论》杂志报道了在英国发生的一起案件：2019年，英国女诗人海伦·摩特，发现自己的照片被人嫁接之后伪造成色情女星放在网上。这些照片都是从摩特的社交网站所盗取的生活照片，她也不知道何人所为，最后不了了之。总部位于荷兰的致力于追踪深度合成犯罪的Sensity AI发表报告说，自2018年12月以来，他们所追踪到的案例中，90%-95%都是针对女性受害者的伪造色情内容。
吕思伟对美国之音说，他目前还没有看到因为深度合成伪造而影响了选举或者股市这种级别的重大案例。“但是我觉得最可怕的方向实际上有两个”。
他分析说：“第一个就是混淆视听。因为我们知道内容可以被修改之后，我们对所有的网络上的内容都会产生怀疑。所以我们很难区分什么是真什么是假，对一切产生怀疑。而且甚至会有所谓的‘栽赃撒谎者’，也就是，只要我不喜欢的东西，我都可以说它是假的。哪怕它是真的，我也可以说它是伪造的合成的。”
中国一刀切式的未雨绸缪
中国网信办的管理规定，给技术提供者赋加了一些强制性的责任。比如，深度合成服务提供者应当对使用者进行真实身份信息认证，并且要建立健全辟谣机制。对于互联网应用服务商店，要提供安全评估和备案，若遇到违反规定的应当不予上架、暂停上架或者下架产品。
曾是产品工程师的王先生解释说，中国的互联网监管，需要有一个明文规定来保护监管的合法性。拿苹果公司的应用商店来说，政府和苹果打交道的时候，需要这些法律法规。
他告诉美国之音：“中国政府跟苹果的交流是很密切的。十年前差不多是每一两个月，给一个（要求下架的）清单。现在可能随时会拉清单过来。苹果的财报是公开的，比方有一年公布说，这一年苹果下架了差不多一百多款应用，是因为政府的特殊要求而下架，其中八十个来自中国政府。这种信息他需要给国际上一个交代。一旦有人要一个个去挑刺的话，他需要去拿出这些规定，保证他的诉求是合理的，一定要有个说法。”
吕思伟认为，政府在立法方面确实有一定责任，做一些预防措施也有积极意义，但是究竟管到哪一步，就变成一个非常棘手的问题。他说：“比方伪造色情内容，这其实是一种犯罪行为。这对受害者造成很深的伤害，所以从内容上我们要制定一些法规。这其实就是美国立法方面的努力。不过我所了解到的基本是对内容上做限制，而不是在方法上做限制。”
同时，他也认为中国政府现的做法过于严苛，过分强调这个技术负面的一面，而技术本身是无害的。“就像核技术，既可以拿来发电也可以拿来造原子弹。更何况深度合成其实也可以用来造福人类。比方说加拿大有个公司在做这种Deepfake的合成语音，用于那些因为脑血栓或者冠心病说话有障碍的病人，把他们的声音通过算法变得更清晰，这样他们的家人朋友可以了解他们想说什么。”
吕思伟总结说：“如果我们直接从根部把技术禁绝掉，就好像把洗澡水和婴儿一起扔出去了。另外，这个政策也很难实施。技术一旦被发展出来，你再想把它控制住，弄回去，就不太可能。就像潘多拉盒子，打开了就不会再关上。所以这个法律实施起来其实也很困难。”
