开源平台已发现多达 100 个恶意人工智能 (AI)/机器学习 (ML) 模型

高级安全研究员 David Cohen表示：“该模型的有效负载为攻击者在受感染的机器上提供了一个外壳，使他们能够通过通常所说的‘后门’来完全控制受害者的机器。”

“这种无声渗透可能会授予对关键内部系统的访问权限，并为大规模数据泄露甚至企业间谍活动铺平道路，不仅影响个人用户，还可能影响全球的整个组织，同时让受害者完全不知道自己的受损状态”。

具体来说，流氓模型会启动到 210.117.212[.]93 的反向 shell 连接，该 IP 地址属于韩国研究环境开放网络 (KREONET)。已观察到具有相同负载的其他存储库连接到其他 IP 地址。

在一个案例中，该模型的作者敦促用户不要下载它，这增加了该出版物可能是研究人员或人工智能从业者的作品的可能性。

“然而，安全研究的一个基本原则是避免发布真正有效的漏洞或恶意代码，”JFrog 说。“当恶意代码试图连接回真实的 IP 地址时，这一原则就被违反了。”

研究结果再次强调了开源存储库中潜伏的威胁，这些威胁可能因恶意活动而受到毒害。

从供应链风险到零点击蠕虫#

与此同时，研究人员设计了有效的方法来生成提示，这些提示可用于使用基于波束搜索的对抗性攻击 (BEAST) 技术从大语言模型 (LLM) 中引发有害响应。

在相关开发中，安全研究人员开发了一种名为 Morris II 的生成式人工智能蠕虫，它能够窃取数据并通过多个系统传播恶意软件。

Morris II 是最古老的计算机蠕虫之一的变体，它利用编码到图像和文本等输入中的对抗性自我复制提示，当 GenAI 模型处理这些提示时，可以触发它们“将输入复制为输出（复制）并参与攻击”。恶意活动（有效负载）”，安全研究人员 Stav Cohen、Ron Bitton 和 Ben Nassi 说道。

更令人不安的是，这些模型可以被武器化，通过利用生成人工智能生态系统内的连接向新应用程序提供恶意输入。

这种被称为ComPromptMized 的攻击技术与缓冲区溢出和 SQL 注入等传统方法有相似之处，因为它将查询中的代码和数据嵌入到已知保存可执行代码的区域中。

ComPromptMized 影响执行流程依赖于生成式 AI 服务输出的应用程序以及使用检索增强生成 ( RAG ) 的应用程序，RAG 将文本生成模型与信息检索组件相结合以丰富查询响应。

这项研究不是第一个，也不会是最后一个，探索将即时注入作为攻击法学硕士并诱骗他们执行意外操作的方法。

此前，学者们已经演示了使用图像和音频记录向多模态 LLM 注入不可见的“对抗性扰动”的攻击，导致模型输出攻击者选择的文本或指令。

Nassi 与 Eugene Bagdasaryan、Tsung-Yin Hsieh 和 Vitaly Shmatikov在去年年底发表的一篇论文中表示：“攻击者可能会引诱受害者访问带有有趣图像的网页，或者发送带有音频剪辑的电子邮件。”

“当受害者直接将图像或剪辑输入到孤立的法学硕士并提出相关问题时，该模型将受到攻击者注入的提示的引导。”

去年年初，德国萨尔大学 CISPA 亥姆霍兹信息安全中心和 Sequire Technology 的一组研究人员也发现了攻击者如何通过策略性地将隐藏提示注入到模型可能会出现的数据中（即间接提示注入）来利用 LLM 模型。响应用户输入时检索。