真相来了丨移花接木、制造恐慌 别再被一键式AI造谣文“套路”了
前几天，网上一则“杭州滨江区发生恶性刑事案”的文章引发网友们的关注，发布者是一位名叫“神秘风铃Y4”的网民，这篇文章内容详细，有头有尾，发布者还称“嫌疑人已被刑拘”，而且还配发了相关图片。发生在杭州的恶性事件，还有图片，这则消息迅速就被网友传播开来。4月10日，杭州市滨江区公安分局网络警察大队民警在巡查时，在某资讯网站发现了这篇文章。那么事实真的如此吗？我们一起来揭开真相。
用AI造谣还提示AI
“不要被识别出是AI文”
浙江杭州市滨江区公安分局网络警察大队民警 鲍王杰：其中提及杭州滨江某外卖员在送外卖时，在楼道内发现一张写着救救我的带血纸条，然后外卖员假借送错门发现了被害人，并协助警方破获了一起非法拘禁案件，那么根据我们的核实，发现在4月7日凌晨，杭州滨江并没有发生相关的恶性案件，该则信息是完全虚构的。
民警于是在温州市苍南县找到了账号使用者谢某某，据谢某某交代，他发布这篇虚假警情的文章，主要是为了博取关注和流量，为了顺利通过网站审核，他在给AI生成工具的提示词中还特地强调了“不要被平台识别出是AI文，一定要有人工润色感”。
浙江杭州市滨江区公安分局网络警察大队民警 鲍王杰：嫌疑人是多次优化了AI提示词，要求AI根据近期热点进行编辑，不能让平台识别出该文章是由AI生成的，并要求AI要提供一些人为的润色感，以增强该文章的准确性，该谣言自4月9日晚发布至11日被我们查处，被转发点赞了上百余次。
民警发现，除了这篇文章外，谢某某账号里还有多篇同类型的由AI生成的虚假信息，根据《中华人民共和国治安管理处罚法》第二十五条第一项规定，杭州滨江警方依法对谢某某作出行政处罚，并责令其删除全部不实信息。
浙江杭州市滨江区公安分局网络警察大队民警 鲍王杰：根据《中华人民共和国治安管理处罚法》第二十五条之规定散布谣言扰乱公共秩序的，处五日以上十日以下拘留，可以并处五百元以下罚款，情节较轻的处五日以下拘留或五百元以下罚款。
公安部揭秘AI谣言两大“套路”
AI技术在文本生成、图片创作等方面的应用越来越广泛，输入几个关键词即可快速生成一篇文章或一幅图片。而一些网民为博眼球、蹭热度，却将AI技术用以编造“假消息”，以此来获得网民关注和点赞，进而实现流量变现。公安部网安局日前针对AI谣言进行了梳理。
发现此类谣言通常有两大“套路”
第一种是“移花接木”演大戏，AI技术能把“老照片”“老视频”变成“新事故”，此前就有某网民在地震期间，用AI把之前的AI视频P成“废墟下的戴帽男孩”，骗走网友眼泪。
第二种是“烟雾弹”制造恐慌，不少网民为博眼球，利用AI合成火灾、地震等灾害信息并发布到网络平台，造成不良社会影响。
利用AI快速生成
降低谣言编造门槛
专家表示，随着AI技术的不断普及，编造网络谣言的门槛越来越低，这就让一些人借机获取流量并非法牟利。
北京航空航天大学法学院副教授 赵精武：公安部在2024年通报过一起比较典型的利用AI批量造谣的案例，MCN机构通过运营自媒体账号842个，组织团队利用AI工具，一天可以生成4000-7000篇网络虚假信息。
专家表示：这类短期内利用AI快速生成海量内容不同的虚假信息，降低了谣言编造门槛，可以让机构迅速获取流量并借此牟利。
北京航空航天大学法学院副教授 赵精武：在AI技术加持下，虚假信息的真伪性更加难以辨别，“有图已经未必有真相”；甚至有些人开始利用“社交机器人”实现“一键式”自动发布和传播网络虚假信息。很多MCN机构之所以这样做是为了通过人为制造大量热点事件实现引流并增加关注度，并根据网络虚假信息的发布数量和流量获取经济利益。
专家同时表示，网络虚假信息传播等问题会因为AI等数字技术发展而发生异化，这些虚假信息因为“迎合”了部分受众的情绪，所以会循环反复、持续不断地出现，使得网络虚假信息治理活动成为“持久战”。
AI创作者须牢记三道法律“防火墙”
随着AI的普及，作品发布的门槛大幅度降低，很多网民从“观众”转变为“创作者”。AI不是不能用，而是在于怎么用。公安部网安局也提醒AI创作者，要牢记三道法律“防火墙”：
一是《生成式人工智能服务管理暂行办法》明确禁止发布利用AI生成虚假信息，违规者将面临平台封禁、罚款等处罚。
二是《中华人民共和国治安管理处罚法》规定：散布谣言扰乱公共秩序者，最高可处10日拘留。
三是《中华人民共和国刑法》规定：编造虚假险情、疫情、灾情等信息，严重扰乱社会秩序的，最高可判7年有期徒刑。
需对AI信息服务提供者
施加必要注意义务
专家表示，对于此类信息传播活动，除了需要延续既有的网络虚假信息治理机制之外，还需要重点对AI信息服务提供者施加必要的注意义务，要求其在生成内容阶段针对“诱导生成谣言”“内容明显失真”等情况设置相应的内容屏蔽机制，并以弹窗或其他方式提醒用户合理合法使用AI信息服务。
来源丨央视新闻（版权归原作者所有，如有侵权请联系删除）
