2026.03.17


本文字数:2051,阅读时长大约4分钟

作者 |第一财经 秦新安

题图 |AI生成

央视今年的3·15晚会曝光了一条给AI大模型“投毒”并操控其输出结果的黑色产业链。报道揭示了GEO(生成式引擎优化)技术如何被滥用,成为恶意影响人工智能信息输出的工具。这一不法操作并非简单的虚假广告,而是对人工智能价值根基的侵蚀。鉴于其危害之深远,必须立即予以打击、遏止。

所谓“AI投毒”,是指通过技术手段,在互联网上投放大量经过特定优化或伪造的内容,干预AI大模型的信息抓取、学习与输出过程,从而将商业广告、虚假信息甚至有害内容,伪装成AI生成的“客观答案”或“可靠信息”推荐给用户。央视报道中,业内人士购买了一个“力擎GEO系统”软件,虚构了一款名为Apollo-9的智能手环,输入“量子纠缠传感”“黑洞级续航”等荒谬设定,系统便自动生成虚假软文并发布到多个自媒体账号。两小时后,主流AI大模型就开始推荐这款根本不存在的产品,三天后更有两个AI服务将其作为智能手环的优选推荐给用户。这一过程清晰展示了AI“投毒”如何快速污染AI知识库,就像非法排出的污水快速污染水库河流。

报道称,GEO滥用已经催生出一批专门从事此类业务的公司和平台。它们形成了完整的黑色产业链:上游是开发或提供“GEO优化”软件的技术服务商,下游是大量承接发稿任务、拥有自媒体账号矩阵的推广公司。这些公司每天可以自动生成并发布数百篇由机器炮制的低质、虚假文章,每篇获利数十元。这种模式成本低、效率高、覆盖面广,使得海量的“毒信息”能够持续不断地注入互联网,成为AI模型难以分辨的语料。可见,这不再是个别商家的欺诈行为,而是一种系统性的信息污染。任由其发展,我们赖以学习、工作、研究、生活的“AI水库”,必将变成充满有害物质的“毒水库”,而且会越来越“毒”。

AI“投毒”的危害不难理解。对消费者而言,AI输出的虚假信息会误导消费决策,消费者基于对AI的信任,很可能购买到与宣传严重不符的产品,不仅造成经济损失,还可能因虚假宣传背后的产品质量问题,威胁身体健康与生命安全。对企业来说,不法分子通过AI“投毒”进行不正当竞争,会挤压合规企业的生存空间,破坏公平的市场环境,让诚信经营的企业陷入被动,打击企业创新与合规经营的积极性。更严重的是,AI作为重要的信息传播与服务工具,其输出结果的可信度是公众信任的基础。一旦AI被“投毒”操控,输出大量虚假内容,会严重损害公众对AI技术的信任,进而动摇整个数字生态的公信力,阻碍AI技术在各领域的健康发展,甚至可能引发信息混乱,影响社会稳定。

因此,必须对AI“投毒”行为进行严厉打击。要像对待非法排污那样实行“零容忍”,坚决消灭各种隐秘的“排污口”,净化“AI水库”的“水质”。这是一项需要多方协同、持续努力的重大工程。

在这项工程中,网络平台须肩负起主体责任,自觉加强内容审核。作为信息发布和传播的第一道关口,各类内容平台、自媒体平台、电商平台不能对机器生成的垃圾文章视而不见,更不能为了流量和“内容活跃度”而放任自流。平台应升级审核机制,例如积极运用AI技术来识别和对抗AI“投毒”。平台需要认识到,清理这些“毒内容”不仅是履行社会责任,更是维护自身平台生态健康、保障用户体验的必然要求。令人欣慰的是,今年3月14日,国内首个《生成式引擎优化行业自律公约》在北京签署,16家单位共同承诺抵制“AI投毒”。这为行业规范发展开了一个好头。

监管部门需要主动介入,加强全链条监管。AI“投毒”涉及技术提供、内容生产、渠道发布等多个环节,监管必须覆盖整个产业链。网信、市场监管、工信等相关部门应形成监管合力,开展专项治理行动。要重点监测和打击提供“GEO投毒”软件和技术服务的公司,斩断技术黑产的上游。要对从事批量发布虚假软文的公司和平台进行查处,追究其法律责任。同时,应督促和指导AI模型研发企业,加强数据源的治理,建立更加严格、透明的信息抓取和过滤机制,提升模型对可疑信息的辨别和抵御能力,增强对“毒信息”的“免疫力”。

此外,还应进一步完善相关法律法规,为强化监管提供坚实的法制基础。现有法律对于传统互联网虚假宣传、不正当竞争虽有规定,但对于这种利用AI技术特性、以污染AI模型为手段的新型不法行为,可能存在界定不清、处罚依据不足的问题。应加快立法研究,在《网络安全法》《数据安全法》《反不正当竞争法》《广告法》以及未来可能出台的专门人工智能法规中,明确将故意污染AI训练数据、操纵AI输出以进行欺诈或获取不正当利益的行为界定为违法,并设定清晰、严厉的法律责任。只有让法律长出“牙齿”,才能对铤而走险的不法分子形成有效震慑。

人工智能是能给生产生活带来巨大好处的重大创新,绝不能让这一前景远大的好技术毁在不法分子手里。打击AI“投毒”刻不容缓!

(作者系第一财经编辑)

微信编辑| 苏小

:bianjibu@yicai.com

:business@yicai.com