国家终于出手了!AI造假风波,不仅李梓萌被牵连,全红婵也没逃过

发布时间:2025-10-22 12:44  浏览量:4

编辑:qp

央视主持人李梓萌,直播间叫卖“神药”,声称央视把关,绝对保障!

能改善头晕手麻,能恢复记忆。

李梓萌这到底是被下药了,还是她被做局了?

10月16日,国家出手了。

这一查才发现,遭殃的可不止李梓萌一个人啊。

二十多年央视主播生涯建立的信任,只需一个AI视频就让其崩塌。

“家人们,这个深海多烯鱼油你们得试试,包治百病。”

镜头前,李梓萌皮肤白皙,身穿黑色西服,一本正经推销着一款产品。

并特别强调“有央视给你们把关,绝对有保障”。

面对“李梓萌”的推荐的产品,直播间的人数哗哗地往上涨。

毕竟这可是“央视”,人民心中的权威。

直播间的观众毫不犹豫地下单购买,甚至推荐给亲朋好友。

然而真正的李梓萌对此却毫不知情。

每天忙于节目的筹备,根本没有时间进行直播带货。

而这场骗局直到消费者收到产品后才被揭穿。

所谓的“神药”其实只是普通食品,根本没有保健功能。

至于李梓萌的声音和形象被AI,只有仔细观察才能发现端倪。

直播间的“李梓萌”说话口型不自然,动作神态别扭,脸上的光影没有丝毫违和感。

因为这些造假者只能在网上搜集李梓萌的视频片段。

提取其特征、表情和说话的语调,从而再AI出一个“李梓萌”。

再将背景设计成演播室模样,营造出“央视”的氛围,借助人民对央视的公信力进行牟利。

而类似的命运也降临在奥运冠军全红婵身上。

全红婵卖土鸡蛋

“大家好,我是你们的婵宝,今天有事请大家帮忙,婵妹就想着帮助妈妈,让家里的生活过得更好一点,同时把老家的土鸡蛋分享给粉丝们尝尝。”

说这话带货的可不是奥运冠军全红婵,而是用AI仿冒全红婵声音的博主。

今年8月,网上出现大量“全红婵推荐土鸡蛋”的视频。

据报道,AI仿冒全红婵声音带货土鸡蛋视频中,有的点赞量高达1.1万,商品链接显示售出4.7万件。

其中不知有多少人是因为相信全红婵才下的单。

全红婵曾声明并未给相关农产品代言或授权,

全进华无奈表示:“哥们儿那不是我们卖的!我妹每天都在训练,她怎么卖鸡蛋?AI声音你们不知道吗?我现在告都告不赢!”

至于为什么要多次强调提醒粉丝们,是因为早在今年 4 月,就已经有过相关案例了。

不少账号利用全红婵的采访片段、家人直播画面为素材。

随后让AI合成声音后开始卖蜂蜜、骆驼奶粉、洗衣粉等多种商品链接,关键商品价格低到离谱。

比如,所谓的土蜂蜜十几块钱一斤。

这就导致流量较好的仿冒账号,诱骗了不少的网友下单购买。

那真叫一个绝啊

看到这里,你以为这些假冒账号是今天才崛起的吗?

不不不,还真不是。

早之前,上至奥运冠军、演员,下至自媒体网红博主,统统都中过招。

奥运冠军孙颖莎和王楚钦的声音曾被 AI 仿冒过。

在这个网名为“小兔真可爱”的账号中,两位奥运冠军的AI克隆声音同样在为土鸡蛋带货。

网传仿冒孙颖莎带货画面:大家好,我是莎莎,我为婵宝家农家土鸡蛋代言。

网传仿冒王楚钦带货画面:大家好,我是王楚钦。昨天收到婵妹私信,说他们家土鸡蛋大丰收,这么好的土鸡蛋不发出去就可惜了。

是的,你没看错,这个和卖土鸡蛋是一伙的。

另外AI仿冒名人的乱象远不止带货,还有部分自媒体博主克隆名人的声音后进行24小时语音直播。

演员靳东是被仿冒最多的对象。

一位江西女子在短视频平台上结识了一位自称是靳东的用户。

这个“靳东”对她十分热情,告白、求婚等。

随着感情“升温”,“靳东”开始以拍戏需要资金为由,向女子索要钱财。

主打一个只骗钱,给不了真感情。

其实在这看似匪夷所思的操作背后,却隐藏着另一个灰色产业链。

通过仿冒名人进行直播这种方式,不仅可以诱骗粉丝打赏获利,还可以迅速养号为后续牟利铺路。

但对于消费者而言,这些虚假带货视频造成严重误导。

消费者出于对公众人物的信任购买了产品,但收到的产品却与宣传不符,甚至可能存在安全隐患。

在这种情况下,国家多项整治行动同步展开。

国家重拳出击

面对日益猖獗的AI虚假广告和网络造假行为,国家多部门终于出手整治。

今年2月份,北京海淀区市场监管局接到举报。

北京某公司通过视频账号宣传所销售的“深海多烯鱼油”涉嫌虚假宣传。

经过立案调查发现,实际售卖的就是一种糖丸,属于普通食物。

除了抓人罚款外,相关部门还要求直播平台升级技术,自动识别AI合成内容,同时要求主播必须实名登记,从源头上遏制AI虚假广告的传播。

2025年9月我国正式施行了《人工智能生成合成内容标识办法》。

其中明确要求,所有AI生成的文字、图片、视频等内容必须添加显式标识以“亮明身份”,同时鼓励添加数字水印等隐式标识。

平台企业应当依据《人工智能生成合成内容标识办法》。

从源头嵌入标识机制,为AI生成内容附加不可篡改的数字水印,并确保这些标识在经过剪辑、压缩后仍能被准确识别。

并且今年以来,全国公安机关按照“净网—2025”专项工作部署。

聚焦人民群众反映强烈的网络谣言突出网络违法犯罪,持续加大打击整治力度,及时发现查处借热点舆情事件进行造谣传谣线索。

10月20日,公安部公布10起打击整治网络谣言典型案例。

结语

严厉打击AI谣言,有必要尽快明确针对AI应用的行业规范,为维护公共利益构筑起强大防火墙。

对于AI生成软件来说,应对内容和关键词进行审核,把好生成式内容的第一关,避免哗众取宠的虚假内容混淆视听。

参考资料:

央视新闻——北京查处首例AI虚假广告案

红网·红视频——奥运冠军全红婵卖土鸡蛋?系博主假冒!大量粉丝以为是本人纷纷下单......央视曝光真相