现在,很多人通过短视频平台或直播平台进行购物。观看视频时,常常会看到熟悉的明星,他们用亲切的方言推销农产品,有时还会进行直播销售。这些所谓的明星可能是假冒的。最近,一些网络商家借助人工智能技术进行仿冒带货。部分利用名人影响力,伪造知名学者、运动员、演员身份;还有利用地域优势,假冒著名企业。购买者、追随者无法分辨真伪,盲目下单,却不知已被欺骗。这些处于模糊界限的“假AI”,正考验着我们的网络管理水准。
直播间卖“樟树港辣椒种子”
画面中辣椒成串、产量奇高
最近期间,部分手机应用上的网络直播场所,一些以樟树港辣椒为卖点的苗木,被主播们当作促销商品的热点来介绍。报道人员观察到,这些直播间的关注者数量众多,经常有观众提问或提交购买请求。
湖南岳阳樟树港辣椒是国家地理标志农产品,已有四百多年栽培历史,因产量稀少品质上乘,顶级品能售得每斤三百元。
在那些网络直播平台上,记者观察到,镜头里呈现的辣椒一串串向下悬垂,收成十分丰富。当记者在直播过程中咨询辣椒种子的真实性,以及种植后能否达到如此规模时?主播们均表示,展示的情况完全属实。
令人费解的是,当主播正在回应提问时,屏幕背景却切换到农民站在深水田里,水深几乎没过小腿部位,正在摘取辣椒的画面,这样的情景实在不合常理,而且类似的影像在其他直播平台上也能看到。
当记者追问这些场景是不是AI生成的时,主播并没有正面回应。
为了一探究竟,记者找到了相关技术专家了解情况。
奇安信集团副总裁刘浩表示,画面里一位女性手持辣椒向后移动,她的腿部下半部分以及辣椒丛仿佛合为一体,这种情况显然不符合现实世界的法则,业内对此有特定称谓,称之为“穿模”。数字领域内容的构建目前主要依赖语言,但对于现实中的物理规则,它无法进行感知和预判。
记者了解到,“穿模”是典型的AI生成视频中容易出现的纰漏。
技术权威明确表示,直播间无人机喷洒农药的画面中,水雾的形状呈现为规整的三角形,而非天然雾化的样子,这些是技术上的缺陷。
随后,记者来到湖南岳阳樟树港辣椒的产地,进一步求证。
黄源说明,樟树港的辣椒长势很低,而视频里展示的辣椒植株却高过成人,其开花景象与辣椒本来的花型相去甚远,并非同一种植物。其次,视频中的叶片形态,也异于辣椒树苗常见的叶形。从收成角度分析,该视频所呈现的辣椒,每公顷产量或可达到六千斤以上,但樟树港辣椒的常规收成每公顷仅两千斤至三千斤。
权威人士表明,借助人工智能生成与实际不符或纯属虚构的商品信息,乃至盗用商标来获取不正当利益,这种行为可能触犯民事责任,严重者甚至构成刑事犯罪。
教授采访
被AI篡改为推销视频
实际上,除了借助人工智能技术模仿知名商品、著名商标进行销售;不法的商贩还运用人工智能技术冒充名人非法赚钱,一些学者专家、奥运选手、电影演员等公众人物都成了被虚假代言的目标。
这种行为损害了个人尊严,同时削弱了名人影响力,并且对购买者造成了错误引导。
一段涉及北京大学国家发展研究院李玲教授的采访录像,遭非法分子借助人工智能手段恶意修改,变成了一段伪造的商业宣传影片,并在互联网上广泛扩散。
李玲教授公开发布文告,称网络上涌现许多冒用其名义推销医药书籍和医疗方法的虚假影像,这些大多是人工智能技术制作的,本人从未在任何渠道宣传过相关书籍和药品,提醒公众不要轻信受骗。
不过,对寻常百姓而言,要辨别宣传信息是否为机器智能伪造的相当困难,许多人在不知不觉中,还是慕名购入了这些商品。
媒体在用户留言区发现,部分购入者对产品品质表示担忧,其中一些人指出商品并非名人亲自推荐,更有甚者称自己被欺骗了。
中国政法大学副教授朱巍表示,当前一些编辑处理的人脸及声音,依据《中华人民共和国民法典》的条款,均属于当事人或权利人的人格权益,非经许可任何人不得侵犯。这些内容既不能直接使用,也不得利用当事人的人脸信息、声音信息实施深度合成,此类行为属于信息伪造,依照《中华人民共和国网络安全法》的条款,属于违法信息。
今年9月1日,国家网信办等四个机构共同公布的《人工智能生成合成内容标识办法》开始执行,这项规定要求所有由人工智能制作的文字、图片、视频等内容都必须表明来源,需要同时包含明显的标记和隐藏的标记。
规定平台在内容发布或上线时必须实施检查,确认合成内容的标记,对未标记或疑似合成内容需附加警示,旨在传播环节阻止错误信息的传播。
调查中记者了解到,现在,众多网络平台纷纷强化了人工智能内容审查机制,规定必须对机器创作成果进行标记,不过依然存在部分人使用各种方法规避检查。例如,他们通过修改数据、改变字符编码等方式进行操作,再提交上去,平台就很难识别出是人工智能生成的作品。
实际情形是,人工智能技术的误用导致的问题纷繁复杂,相关法规的健全仅是基本准则。
现场拍摄照片
直接用AI生成带货视频
目前,国内运用生成式人工智能工具的人数已经达到2.3亿。由于人工智能技术进步神速,以及生成式人工智能不断更新换代,导致各类人工智能制造的内容五花八门,有时真假难分,这也给管理机构和平台管理带来了新的难题。
令人不安的是,科技上的持续更新,让仿冒物品的防制变得更加棘手。
以前,制作深度伪造作品需要掌握专门技能并花费较多资金,但现在借助人工智能大模型的帮助,人们无需经过长时间的深度学习以及数据训练,便能在几分钟内制作出仿冒内容,其逼真程度令人咋舌。
在那间属于科技企业的场所里,工作人员当面向媒体人员照了一张相片,仅仅花了几分钟,就借助人工智能的强大功能,把这张相片转化成了连续播放的线上销售影像资料。
此时此刻,记者手上的普通水变成了高级红酒;他身上的休闲T恤换成了正式西装,并且成功运用地道的英语进行商品宣传推广。
识别并清除AI的仿制品,将伪造品还原本质,必须构建起多方位联动的防护体系。平台需承担起相应职责,持续优化AI鉴别机制,借助数字标记、区块链验证等方式提升辨别和追踪效力,防止AI生成的虚假内容流入公开渠道。
法律法规也需细化,进一步明晰标识规范、回溯机制,追责机制。
对于技术创造者和应用者,更需坚守“科技向善”的准则,不使经济收益超越社会义务。
AI模仿带货不仅损害了被模仿者与品牌的合法权益,也带有欺骗性质,并且危害了数字社会生存所依赖的信任基础。人工智能“赝品”愈发逼真,顾客们必须格外小心加以分辨,对于那些声称“倾心付出”的“名人背书”,要冷静分析,以免落入购物圈套,然而仅凭普通买家的辨识本领来对抗仿冒品远远不够,平台和相关机构更需承担审查职责,借助技术进步和管理优化,运用整体性措施,确保“真品”不被侵犯。只有全社会齐心协力共同反对AI诈骗,才能用科技这把画笔,描绘出充满善意的美好前景。