Bis zu 100 bösartige Modelle für künstliche Intelligenz (KI) und maschinelles Lernen (ML) wurden von Open-Source-Plattformen entdeckt

David Cohen, leitender Sicherheitsforscher, sagte: "Die Nutzlast des Modells verschafft einem Angreifer eine Shell über den infizierten Rechner, die es ihm ermöglicht, die volle Kontrolle über den Rechner des Opfers zu übernehmen, und zwar durch eine so genannte 'Backdoor'."

"Diese stille Infiltration könnte Zugang zu kritischen internen Systemen gewähren und den Weg für groß angelegte Datenschutzverletzungen und sogar Unternehmensspionage ebnen, die nicht nur einzelne Nutzer, sondern ganze Organisationen auf der ganzen Welt betreffen, während die Opfer nichts von ihrem kompromittierten Status mitbekommen.

Konkret initiiert das Schurkenmodell eine Reverse-Shell-Verbindung zu 210.117.212[.] 93, einer IP-Adresse, die zum Korea Research Environment Open Network (KREONET) gehört. Andere Repositories mit der gleichen Last wurden bei Verbindungen zu anderen IP-Adressen beobachtet.

In einem Fall forderte der Autor des Modells die Nutzer auf, es nicht herunterzuladen, was die Wahrscheinlichkeit erhöht, dass es sich bei der Veröffentlichung um die Arbeit eines Forschers oder KI-Praktikers handeln könnte.

"Ein grundlegendes Prinzip der Sicherheitsforschung ist es jedoch, die Veröffentlichung von Exploits oder bösartigem Code, der tatsächlich funktioniert, zu vermeiden", so JFrog. "Dieses Prinzip wird verletzt, wenn bösartiger Code versucht, sich mit einer echten IP-Adresse zu verbinden.

Die Ergebnisse verdeutlichen erneut die Gefahren, die in Open-Source-Repositories lauern, die durch böswillige Aktivitäten verseucht werden können.

Vom Risiko in der Lieferkette bis zur Bekämpfung des Wurms #

Gleichzeitig haben die Forscher wirksame Methoden entwickelt, um Hinweise zu generieren, die verwendet werden können, um Large Language Models (LLMs) mit Hilfe von BEAST-Techniken (Beam Search-based Adversarial Attack) schädliche Antworten zu entlocken.

In diesem Zusammenhang haben Sicherheitsforscher einen generativen KI-Wurm namens Morris II entwickelt, der in der Lage ist, Daten zu stehlen und sie über mehrere Systeme zu verbreitenMalware.

Morris II ist eine Variante eines der ältesten Computerwürmer, der gegnerische, selbstreplizierende Hinweise verwendet, die in Eingaben wie Bilder und Text kodiert sind, wenn GenAI Wenn Modelle diese Hinweise verarbeiten, können sie veranlasst werden, "Eingaben als Ausgaben zu kopieren (Replikation) und Angriffe auszuführen. Bösartige Aktivitäten (Nutzlast)", so die Sicherheitsforscher Stav Cohen, Ron Bitton und Ben Nassi.

Noch beunruhigender ist, dass diese Modelle als Waffe eingesetzt werden können, um bösartigen Input für neue Anwendungen zu liefern, indem Verbindungen innerhalb des generativen KI-Ökosystems ausgenutzt werden.

Diese als ComPromptMized bezeichnete Angriffstechnik ähnelt herkömmlichen Methoden wie Pufferüberläufen und SQL-Injektionen, da sie Code und Daten aus einer Abfrage in einen Bereich einbettet, der bekanntermaßen ausführbaren Code enthält.

ComPromptMized betrifft Anwendungen, deren Ausführungsprozess sich auf die Ausgabe generativer KI-Dienste stützt, sowie Anwendungen, die Retrieval Augmented Generation ("RAG") verwenden, das ein Textgenerierungsmodell mit einer Information Retrieval-Komponente kombiniert, um Abfrageantworten anzureichern.

Diese Studie ist nicht die erste und wird auch nicht die letzte sein, die sich mit der Verwendung von Instant Injection als Angriffsmethode für LLMs befasst und sie zu unerwarteten Aktionen verleitet.

In der Vergangenheit haben Wissenschaftler Angriffe demonstriert, bei denen Bild- und Tonaufnahmen verwendet werden, um unsichtbare "Störfaktoren" in ein multimodales LLM einzubringen, die das Modell veranlassen, Text oder Befehle nach Wahl des Angreifers auszugeben.

In einer Ende letzten Jahres veröffentlichten Arbeit stellte Nassi zusammen mit Eugene Bagdasaryan, Tsung-Yin Hsieh und Vitaly Shmatikov fest: "Angreifer können Opfer dazu verleiten, Webseiten mit interessanten Bildern zu besuchen oder E-Mails mit Audioclips zu versenden. "

"Wenn das Opfer Bilder oder Clips direkt in das isolierte LLM einspeist und relevante Fragen stellt, wird das Modell durch die vom Angreifer eingespeisten Eingabeaufforderungen geleitet.

去年年初，德国萨尔大学 CISPA 亥姆霍兹信息安全中心和 Sequire Technology 的一组研究人员也发现了攻击者如何通过策略性地将隐藏提示注入到模型可能会出现的数据中（即间接提示注入）来利用 LLM 模型。响应用户输入时检索。