在科技日新月异的今天，人工智能已经渗透到我们生活的方方面面，从智能家居到自动驾驶，从医疗诊断到金融风控，AI的应用场景越来越广泛。然而，却有不法分子将AI技术应用在诈骗上。近年来AI换脸骗局频发，2024年年初，香港警方披露了一起多人 “AI换脸”诈骗案，涉案金额高达2亿港元。

“3·15打假”后，“AI换脸”骗局引发了社会各界的广泛关注和讨论。近期不少逝世明星被AI“复活”，重新出现在屏幕前，也让大众唏嘘，这类“AI原生”背后的Deepfakes技术开始被大众所关注。

生成式AI模型是Deepfakes（深度伪造）的技术基础，而以“AI换脸”为代表的人脸伪造技术是Deepfakes的一个重要分支。在2019年，艺术家Bill Posters和Daniel Howe联手广告公司Canny，创作出了一段引人注目的Deepfakes视频，该视频的主角为Facebook的创始人马克·扎克伯格。

这段视频中，扎克伯格仿佛坐在办公桌前，发表了一场关于Facebook数据掌控权的演讲，其言辞犀利，指出：“想象一下：一个人完全控制了数十亿人被盗的数据、他们所有的秘密、他们的生活、他们的未来。谁控制了数据，谁就控制了未来。”这段演讲的原始视频来源于扎克伯格在2017年的一次公开发言，而经过CannyAI的视频对话替换（VDR）技术的处理后，它呈现出了令人难辨真假的逼真效果。

画面中的AI版“扎克伯格”形象生动，仿佛是一位真实的新闻人物。词条上更是标注着“我们正在提高广告的透明度”，为这段视频增添了几分可信度。然而，这段视频迅速引发了Facebook及社会各界的强烈反响。自此，Deepfakes技术开始以惊人的速度发展，并逐渐演变成为一种新型的诈骗手段。

生成式AI不断进步，眼见不再为实

AI换脸、变声等新型骗局已经发生多起，令人防不胜防，对社会秩序和公众安全造成了严重威胁。今年央视3·15晚会的曝光再次将人们的视线聚焦到了AI技术可能带来的风险上。

在2023年，由大模型掀起的AI热潮汹涌澎湃，各路大厂纷纷下场，从百度率先发布试图对标Chat GPT的“文心一言”，到阿里的“通义千问”大语言模型，再到360集团的“360智脑4.0”、腾讯的混元大模型等等，国内的“百模大战”愈演愈烈。

随着AI技术的快速发展，AI成像、AI仿声、图像生成等各种内容却成为了某些灰色产业的敛财工具。iiMedia Research（艾媒咨询）数据显示，2023年中国AIGC行业核心市场规模为79.3亿元，2028年有望达2767.4亿元。随着生成式AI模型的不断进步，未来将在更多领域得到广泛应用，而技术的提升也会使得Deepfakes等安全问题日益难以被有效检测，这无疑给企业和个人带来了更大的挑战。

央视3·15晚会所曝光的AI换脸骗局只是冰山一角。据新京报报道，前不久，国内多地公布网络谣言典型案例，其中有多起系“AI生谣”。不法分子利用AI“移花接木”拼成假视频，借此博眼球、赚流量、非法获利，以及利用“AI换脸”技术进行各式诈骗，造成恶劣社会影响。

2024年初，文生视频模型Sora的出现，对于这些AI造谣、AI换脸骗局而言，能够实现更逼真的效果。Sora模型能够生成高度逼真的视频内容，使得假视频与真实视频几乎难以区分。这种技术的发展为不法分子提供了更大的操作空间。

除了不法分子利用AI换脸技术进行诈骗外，还有人开始尝试利用AI换声换脸技术来“高效”制作短剧了。短剧概念的爆火，让演员的片酬水涨船高，也直接导致了短剧的成本变高。随着国内监管红线收紧，题材重复饱和、行业加速内卷，不少短剧厂商纷纷将目光转向海外，把短剧中华人演员的面孔替换为外国演员的模样，成为一些短剧公司低成本出海的新思路，对此一些网友表示：难道你小子竟是天才？但也有更多的网友质疑，这难道不也是一种对于消费者的欺诈吗？

随着AI时代的到来，“眼见为实”的观念已经过时。AI生成的假视频、假音频已经日渐泛滥中涂品牌网，因此，对AI技术和工具的监管显得尤为重要。

2023年，中国最高人民法院、最高人民检察院、公安部联合发布的《关于依法惩治网络暴力违法犯罪的指导意见》中规定，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的情形，依法从重处罚。

2024年3月13日，《人工智能法案》在欧洲议会通过，成为全球首个“AI法案”。

除了从政府的角度对AI技术进行监管外，企业和平台也应承担起自身的责任，加强对AI生成内容的审核和管理。通过技术手段和人工审核相结合的方式，及时发现和删除虚假信息，防止其传播和扩散。公众也应提高警惕，增强对AI骗局的识别和防范能力。消费者在面对可疑信息时，要保持冷静和理性，不轻信、不传播未经证实的信息。同时，加强个人信息保护意识，避免个人信息被不法分子利用。

AI“复活”明星，是缅怀还是生意？

如果说AI换脸、变声等视频是基于真视频原有基础上进行“改装”的，那么“复活”明星这类“无中生有”的视频更让人感受到技术的先进了。

最近，一位博主利用AI技术生成视频和声音，将已故明星李玟、张国荣、高以翔、乔任梁等人“复活”在公众视野中，这一举动立刻引发了网友们的广泛讨论和热议。在相关视频的评论区，有些人甚至打着温情的旗号，借机进行AI技术的推广和收费服务。对此，乔任梁的父亲表示无法接受，并希望博主能尽快下架这些视频，因为他认为这种行为未经他们同意，就像是在揭开他们的伤疤。目前，该博主的账号下已经看不到之前发布的这些AI复活明星的视频了。