最近一段时间，AI在被人类利用制造虚假和错误信息的路上，可谓一骑绝尘。前有AI生成的特朗普入狱图在网络疯传，后有AI生成的假新闻骗倒众人。利用AI生成内容的手法过去就有，但新工具大大提高了虚假和错误信息的生产效率以及逼真程度。AIGC 可能导致哪些虚假信息泛滥的风险？
本期较真联合知识八点档，邀请腾讯较真主笔丁阳对话浙江大学传媒与国际文化学院“百人计划”研究员周睿鸣、中国科学院计算技术研究所博士牛雪松、北京航空航天大学工业和信息化法治研究院研究员周瑞珏，一起探讨。本文为文字上篇，下篇详见AI也能用来对抗谣言，我们不能要求对AI的监管太超前
核心速览：
1.通过人眼辨别图像是否由AI生成，已经非常困难了。一是现在图像生成的质量和准确性已经越来越高，二是普通人在日常生活场景很难对每张图片都保持怀疑意识。
2.技术的发展，可能会让炮制虚假信息的成本降低，但是不能说AIGC的发展一定会导致越来越多的虚假信息，这两者之间的因果关联，很难建立起来。现在的AI，它能贴合人的表达方式和思维方式。虽然信息准确度未必高，但它表达出来的逻辑和方式，至少不会让人觉得这是机器生成的内容。所以虚假信息的治理难度客观上是会大大提升。
3.如今AI对人脸、声音等的模拟已经非常好。在支付扫脸等方面，如果前置检测做得不好，甚至可能通过AI生成的人脸进行诈骗，这是一个较大的风险。一旦发生，对每个人都是一次较大的打击。所以如何把AI生成的人脸、声音检测出来，是一个主要的研究方向。
4.在如今的信息环境下，反应过度、疑神疑鬼可能是一个挺好的状态。未来我们可能需要具备这样一个意识：你看的东西，会有AI参与。但同时我们又离不开互联网，所以说辟谣主体、识别信息真假的主体，也许就是我们每一个人。
在阅读这篇文章前，先邀请大家一起参与一个识图小游戏。请判断以下四张图是真实拍摄、AI 生成、还是 PS 的？在评论区写下你的答案。
这四张图是真实拍摄、AI 生成、还是 PS 的？
丁阳：随着AI技术的不断升级，用户只需提供一个简单的文字提示，就能通过Midjourney、DALL-E等图像生成工具迅速生成图像。AI 生成图像的逼真程度，目前已经发展到哪一步了？通过人眼辨别图像是否由AI生成，是不是已经不太可能了？
周睿鸣：我之前觉得还是有可能的。但是在经过识图环节后，我更倾向于不太可能。因为我发现了自己的一些问题。比如辨认“特朗普被捕图”，我凭的是社会特征，调用的是我的常识，而不是图像特征。
周瑞珏：目前AI成像，还是有一些细节问题，比如刚才所说的AI画不好手指。还有AI画风有时候太过精细，我们拍摄或者画人物图像的话，人脸的毛孔一般是会存在的，但是在AI生图，大多大家的脸都是特别光滑的，一点痕迹、一点毛孔都没有。
但是我觉得如果普通人要在日常生活场景中判断的话，是真的有点太困难了。大家平时刷手机，对某张图片的注意力可能也就几秒钟的时间，在这么短的时间内下意识或者说第一时间去有“这张照片是真是假？这张照片有没有可能是假的”的意识，我觉得是很难的。
牛雪松：按照现在生成的质量和准确性来看，就是我们一打眼去看，其实很难判断出来它是不是AI生成的。从技术本身迭代的角度来看，图像生成肯定是越来越真实，像手指生成这个错误 case，已经在逐渐被解决，一些应用可以直接控制手指生成的数量等信息。
丁阳：技术发展的程度我们已经无法改变。另外一个问题就是人为地恶意去生产虚假信息、虚假图片会不会愈演愈烈？我们注意到国外已经出现了用AIGC生成文章的内容农场网站。最近甘肃平凉市公安局网安大队侦破了一起利用AI炮制假新闻的案件，犯罪嫌疑人洪某弟通过ChatGPT将搜集到的新闻要素修改编辑后发布，“今晨甘肃一火车撞上修路工人致9人死亡”就是他炮制的一条假新闻。
周睿鸣：我觉得这是一种忧思。技术的发展，可能会让炮制虚假新闻的成本降低，但是肯定不能说AIGC的发展一定会导致越来越多的虚假信息，这两者之间的因果关联，我觉得很难建立起来。技术发展往下走，我们的社会是一定会越发无序吗？不尽然是这样。相反可能要思考的就这里面到底有什么社会问题。现在同类型的虚假信息会反复出现，这反映了一些社会心态。所以与其说这是一个技术问题，不如说这就是一个社会问题。
技术的发展让炮制虚假新闻的成本降低是一个挺重要的问题，值得忧虑，但我觉得可能不如我刚才说的社会问题更加致命。
周瑞珏：我跟周老师意见比较相似。虚假信息、网络谣言其实在AI出来之前就已经存在了，但如今全球普遍关注 AI 与虚假信息的关系，原因在于假消息不难判断，最难的是一半是真的，一半是假的。而对于谣言制造者而言，要保证嫁接类虚假信息的逻辑合理性，需要花些时间。但是AI的出现，尤其像我们近些年说的ChatGPT，它最大的一个功能或者说进步的一个特点，就是它能贴合人的表达方式和思维方式。虽然信息准确度未必高，但它表达出来的逻辑和方式，至少不会让人觉得这是机器生成的内容。所以虚假信息的治理难度客观上会大大提升。
牛雪松：这个问题是不是跟技术是不是有罪相关？就是AIGC发展很快，它的使用成本也会越来越低，这是一个正向的事情，只不过是有些人利用了正向的技术发展。我觉得需要做的，一是从技术上对虚假信息做一些判断，二是其实重要的还是人治，技术监管、法律监管这些配套措施到位之后，这个技术本身是不用太过于担心它作恶的。
丁阳：抽象地说技术可能不会造成整体上的问题，但是针对于一个具体的人，可能要被迫面临负面后果。比如说广州一女子在地铁上的照片被AI一键脱衣，被造谣说她在地铁上拍裸照。在时间、地点都对的上的情况下，伪造的谣言对普通人来说百口莫辩，辟谣成本是非常高的，几位老师怎么看这个问题？
周睿鸣：确实是一个很糟糕的事情，我想起《让子弹飞》里的名场面“你到底吃了几碗粉”。我为什么讲这样的一个段子呢？我想说的是，辟谣的主体，是被害人吗？还是应该让公安机关下场来调查？我们假定公安机关注意到了这个“疑似造谣”，不管是从网上关注到舆情，还是当事人自己报案。在这样的情况下，需要由当事人来举证这是谣言吗？这真的是她的责任吗？
再说“百口莫辩”这个事。我最近与同学互动的过程当中，我总是觉得，大家越来越沉入一个信息特别庞杂、特别爆炸的一个环境里面。人们越是成为当下数字时代的原住民，就会越感受到这种良莠不齐的庞杂信息带给他们的各种困扰。在这个情况下，我跟学生们说，你们可能需要一个白名单，这个白名单就是，我从哪里可以接收到相对来说比较靠谱的信息。
所以回到咱们刚才这样的一个话题上，就是辟谣成本，我觉得全民、全社会可能都需要努力，当然相关的职能部门的介入，在法治的层面去实现某种调控可能也是很必要的。但我觉得可能全体网民或者说是大多数用户都要想到，可能我一上网，就面对着这么一个情况这个照片有可能是假的，不是真实的。所以丁老师您前面提到说您反应过度、疑神疑鬼，我觉得这个其实是一个挺好的状态，与其说辟谣成本是不是越来越高了，那反倒有这样的一个契机提醒我们，必须具备这样一个意识：你看的东西，会有AI参与。但同时我们离不开互联网，它会给我们生活很多帮助。所以辟谣主体、识别信息真假的主体，也许就是我们每一个人。
牛雪松：我感觉辟谣成本任何时候都是很高的，比如这个例子，也许一张照片都没有，就一句谣言，说“你在地铁上拍裸照”。就这么一句文字，那其实你也需要去花很大的精力去做证明，证明你当时不是这个状态。而现在这些所谓AIGC的东西，让造谣的成本变得又低了一些。所以说一直以来，辟谣都是一个成本很高的一个事情。
应对这个问题，像周老师刚才说的，需要我们所有人去共同努力。我们首先就要绷紧一根弦，传言到底是不是真的，不要轻易去相信。
从技术侧角度来说的话，以我的感觉，在未来会对图像会有一些检测，比如我们不能去上传一些生成图像。其实现在很多视频网站，对换脸的视频，或者是换脸的一些图像，都会有一些检测，或者会有个标识，说这个图像是换脸的结果，是AI生成的结果。未来随着技术进步，也许它的检测率越来越高。当你这张照片发布出去时候，它会直接标出来，这是一个AI生成的，这样的话，你的辟谣成本可能会相对来说会低一些。
周瑞珏：针对个体的谣言，现状就是个人救济的成本过高。我们的辟谣目的是在短时间内最小化谣言对个人或我们自身的负面影响。举个例子，如果有谣言称可以一键脱衣，而该消息被个人的工作单位领导、同事或家庭好友看到，对于当事人来说，无论真假，都会产生不同程度的精神损害结果。
尽管现行法律提供了救济渠道，但这主要是事后的救济。因此，从技术源头的角度探索或者说从网络平台的角度，可以考虑在信息发布之前进行第一次和第二次内容审核。例如，像AI信息服务提供者可以考虑在第一时间切断涉及一键脱衣这种功能，或者在用户提出此类请求时从技术或服务功能层面阻止该功能。第二层网络平台可以在涉及一键脱衣的信息上进行事前的内容审核，无论真假，此类信息都不应该发布。第三步可能就需要侵权救济来解决。
丁阳：我理解周瑞珏老师的意思，但是对于像一键脱衣这样的功能，我认为它肯定不是合法软件提供的功能，而是违法软件提供的功能。我们可能只能要求相关单位打击这类违法软件的生产和传播。如果它是来自国外的某个东西，我们可能很难应对。另外，关于平台方面，你觉得我们是否可以像治理涉黄信息一样，来解决“一键脱衣”这样的问题呢？
周瑞珏：平台审核通常包括人工审核和机械自动审核。假如我们从机械自动审核的角度来看，如果一键脱衣发布的是裸照，那么全身皮肤的颜色面积可能会较大，这样机器可能更容易识别。而人工审核方面，平台内部的审核员会注意到异常信息，比如某某女士在地铁上拍裸照这样的关键词，审核人员可能会重点审核。因此，我们可以从这两个方面尽可能地进行事前预防。但客观上来说，完全在事前阶段预防这种情况的可能性不大。
另外，AI换脸有时不涉及直接违法犯罪行为，但构成侵权行为。平台不可能准确地对每个信息发布者发布的信息内容进行一对一的审核，因此有时可能依靠事后阶段的用户举报或被侵权人向平台提出申诉来控制损害。但事前阶段完全由平台进行全面控制或大范围控制可能在现有技术下仍然存在一些困难。
丁阳：除了我们刚才提到的例子，AI制造的虚假信息还可能带来哪些危害？
周瑞珏：除了涉及刑事犯罪的信息外，还有一种叫做伪科普的信息。比如，有些老年人可能会相信网络上说的一些关于辐射的谣言，比如靠近移动基站会有辐射，怀孕期间不能玩手机会有辐射。虽然这种信息本身可能并非恶意谣言或虚假信息，但存在伪科普的问题。当这些低质量且没有科学验证的信息大量传播后，人们可能开始难以区分真假。对于一些老年人来说，对于营养品或保健品的欺诈行为，预防就变得困难。另外，就像之前丁阳老师提到的美国五角大楼着火的谣言通过AI生成的图片影响了股市，如果通过伪造的图片和声音让人误以为某支股票可能会有股价波动，从经济角度来看，这可能会对股票的市值产生负面影响。
牛雪松：还有AI诈骗的问题。现在AI对人脸、声音等的模拟已经非常好，比如之前那个AI模拟孙燕姿的音色非常像。还有AI换脸的技术，从各个角度看，生成的人脸几乎与真实的脸没有太大差别。在支付扫脸等方面，如果前置检测做得不好，甚至可能通过AI生成的人脸进行诈骗，这是一个较大的风险。目前，如何AI生成的人脸、声音检测出来，是一个主要的研究方向。这样就能尽量规避一些经济层面的风险，因为这种风险对一般人来说是相当高的，一旦发生，对每个人都是一次较大的打击。
周睿鸣：我认为更紧迫的问题不是AI虚假信息的泛滥风险，而是这种风险是否会被广大网络用户或与网络无关的居民在日常生活中反复体验到。正如雪松刚才提到的，AI仿制的声音在日常生活中已经普遍存在，我们每天都接到各种骚扰电话，包括一些不是骚扰的电话，比如银行或订购业务方面的推销电话。对于这些骚扰或营销信息，我可能因为长期听到，能够分辨出哪些是真人声音，哪些不是。但我的家人则未必能识别。所以更紧迫的问题是，一旦泛滥，我们是否能识别出这些信息的危险性，因为它可能在我们毫不知情的情况下给我们带来一些不良后果。例如假科学信息，特别是与养生有关的信息，不论处于哪个年龄段，人们都想要快捷便利的方法来保持健康。但当这种心态驱使着你时，你是否有足够的意识和素养来抵御风险？这可能是更加紧迫的问题。
