国家终于出手了!AI造假风波,不仅李梓萌被牵连,全红婵也没逃过
发布时间:2025-10-22 12:44 浏览量:4
编辑:qp
央视主持人李梓萌,直播间叫卖“神药”,声称央视把关,绝对保障!
能改善头晕手麻,能恢复记忆。
李梓萌这到底是被下药了,还是她被做局了?
10月16日,国家出手了。
这一查才发现,遭殃的可不止李梓萌一个人啊。
二十多年央视主播生涯建立的信任,只需一个AI视频就让其崩塌。
“家人们,这个深海多烯鱼油你们得试试,包治百病。”
镜头前,李梓萌皮肤白皙,身穿黑色西服,一本正经推销着一款产品。
并特别强调“有央视给你们把关,绝对有保障”。
面对“李梓萌”的推荐的产品,直播间的人数哗哗地往上涨。
毕竟这可是“央视”,人民心中的权威。
直播间的观众毫不犹豫地下单购买,甚至推荐给亲朋好友。
然而真正的李梓萌对此却毫不知情。
每天忙于节目的筹备,根本没有时间进行直播带货。
而这场骗局直到消费者收到产品后才被揭穿。
所谓的“神药”其实只是普通食品,根本没有保健功能。
至于李梓萌的声音和形象被AI,只有仔细观察才能发现端倪。
直播间的“李梓萌”说话口型不自然,动作神态别扭,脸上的光影没有丝毫违和感。
因为这些造假者只能在网上搜集李梓萌的视频片段。
提取其特征、表情和说话的语调,从而再AI出一个“李梓萌”。
再将背景设计成演播室模样,营造出“央视”的氛围,借助人民对央视的公信力进行牟利。
而类似的命运也降临在奥运冠军全红婵身上。
“大家好,我是你们的婵宝,今天有事请大家帮忙,婵妹就想着帮助妈妈,让家里的生活过得更好一点,同时把老家的土鸡蛋分享给粉丝们尝尝。”
说这话带货的可不是奥运冠军全红婵,而是用AI仿冒全红婵声音的博主。
今年8月,网上出现大量“全红婵推荐土鸡蛋”的视频。
据报道,AI仿冒全红婵声音带货土鸡蛋视频中,有的点赞量高达1.1万,商品链接显示售出4.7万件。
其中不知有多少人是因为相信全红婵才下的单。
全红婵曾声明并未给相关农产品代言或授权,
全进华无奈表示:“哥们儿那不是我们卖的!我妹每天都在训练,她怎么卖鸡蛋?AI声音你们不知道吗?我现在告都告不赢!”
至于为什么要多次强调提醒粉丝们,是因为早在今年 4 月,就已经有过相关案例了。
不少账号利用全红婵的采访片段、家人直播画面为素材。
随后让AI合成声音后开始卖蜂蜜、骆驼奶粉、洗衣粉等多种商品链接,关键商品价格低到离谱。
比如,所谓的土蜂蜜十几块钱一斤。
这就导致流量较好的仿冒账号,诱骗了不少的网友下单购买。
看到这里,你以为这些假冒账号是今天才崛起的吗?
不不不,还真不是。
早之前,上至奥运冠军、演员,下至自媒体网红博主,统统都中过招。
奥运冠军孙颖莎和王楚钦的声音曾被 AI 仿冒过。
在这个网名为“小兔真可爱”的账号中,两位奥运冠军的AI克隆声音同样在为土鸡蛋带货。
网传仿冒孙颖莎带货画面:大家好,我是莎莎,我为婵宝家农家土鸡蛋代言。
网传仿冒王楚钦带货画面:大家好,我是王楚钦。昨天收到婵妹私信,说他们家土鸡蛋大丰收,这么好的土鸡蛋不发出去就可惜了。
是的,你没看错,这个和卖土鸡蛋是一伙的。
另外AI仿冒名人的乱象远不止带货,还有部分自媒体博主克隆名人的声音后进行24小时语音直播。
演员靳东是被仿冒最多的对象。
一位江西女子在短视频平台上结识了一位自称是靳东的用户。
这个“靳东”对她十分热情,告白、求婚等。
随着感情“升温”,“靳东”开始以拍戏需要资金为由,向女子索要钱财。
主打一个只骗钱,给不了真感情。
其实在这看似匪夷所思的操作背后,却隐藏着另一个灰色产业链。
通过仿冒名人进行直播这种方式,不仅可以诱骗粉丝打赏获利,还可以迅速养号为后续牟利铺路。
但对于消费者而言,这些虚假带货视频造成严重误导。
消费者出于对公众人物的信任购买了产品,但收到的产品却与宣传不符,甚至可能存在安全隐患。
在这种情况下,国家多项整治行动同步展开。
面对日益猖獗的AI虚假广告和网络造假行为,国家多部门终于出手整治。
今年2月份,北京海淀区市场监管局接到举报。
北京某公司通过视频账号宣传所销售的“深海多烯鱼油”涉嫌虚假宣传。
经过立案调查发现,实际售卖的就是一种糖丸,属于普通食物。
除了抓人罚款外,相关部门还要求直播平台升级技术,自动识别AI合成内容,同时要求主播必须实名登记,从源头上遏制AI虚假广告的传播。
2025年9月我国正式施行了《人工智能生成合成内容标识办法》。
其中明确要求,所有AI生成的文字、图片、视频等内容必须添加显式标识以“亮明身份”,同时鼓励添加数字水印等隐式标识。
平台企业应当依据《人工智能生成合成内容标识办法》。
从源头嵌入标识机制,为AI生成内容附加不可篡改的数字水印,并确保这些标识在经过剪辑、压缩后仍能被准确识别。
并且今年以来,全国公安机关按照“净网—2025”专项工作部署。
聚焦人民群众反映强烈的网络谣言突出网络违法犯罪,持续加大打击整治力度,及时发现查处借热点舆情事件进行造谣传谣线索。
10月20日,公安部公布10起打击整治网络谣言典型案例。
严厉打击AI谣言,有必要尽快明确针对AI应用的行业规范,为维护公共利益构筑起强大防火墙。
对于AI生成软件来说,应对内容和关键词进行审核,把好生成式内容的第一关,避免哗众取宠的虚假内容混淆视听。
参考资料:
央视新闻——北京查处首例AI虚假广告案
红网·红视频——奥运冠军全红婵卖土鸡蛋?系博主假冒!大量粉丝以为是本人纷纷下单......央视曝光真相