Платформы с открытым исходным кодом обнаружили до 100 вредоносных моделей искусственного интеллекта (ИИ)/машинного обучения (МЛ)

В платформе Hugging Face было обнаружено до 100 вредоносных моделей искусственного интеллекта (AI)/машинного обучения (ML).

Дэвид Коэн (David Cohen), старший исследователь безопасности, сказал: "Полезная нагрузка модели предоставляет злоумышленнику оболочку над зараженной машиной, что позволяет ему получить полный контроль над машиной жертвы через то, что обычно называют "бэкдором"".

"Такое бесшумное проникновение может предоставить доступ к критически важным внутренним системам и открыть путь к масштабным утечкам данных и даже корпоративному шпионажу, затрагивая не только отдельных пользователей, но и целые организации по всему миру, при этом жертвы остаются в полном неведении относительно своего скомпрометированного статуса".

В частности, неавторизованная модель инициирует обратное shell-соединение с 210.117.212[.] 93, IP-адресу, принадлежащему Открытой сети исследовательской среды Кореи (KREONET). Другие хранилища с такой же нагрузкой были замечены подключающимися к другим IP-адресам.

В одном случае автор модели призвал пользователей не скачивать ее, что увеличивает вероятность того, что публикация может быть работой исследователя или практикующего специалиста по ИИ.

"Однако фундаментальный принцип исследований в области безопасности заключается в том, чтобы не публиковать эксплойты или вредоносный код, который действительно работает", - говорит JFrog. "Этот принцип нарушается, когда вредоносный код пытается подключиться обратно к реальному IP-адресу".

Платформы с открытым исходным кодом обнаружили до 100 вредоносных моделей искусственного интеллекта (ИИ)/машинного обучения (МЛ)

Полученные результаты еще раз подчеркивают угрозы, таящиеся в открытых репозиториях, которые могут быть отравлены вредоносными действиями.

От риска для цепочки поставок до "нулевой точки" на червя #

В то же время исследователи разработали эффективные методы генерации сигналов, которые могут быть использованы для вызова вредоносных реакций у больших языковых моделей (LLM) с помощью техники Beam Search-based Adversarial Attack (BEAST).

Исследователи безопасности разработали генеративного ИИ-червя под названием Morris II, способного похищать данные и распространять их через множество систем.вредоносное программное обеспечение.

Morris II - это разновидность одного из старейших компьютерных червей, который использует враждебные самовоспроизводящиеся сигналы, закодированные во входных данных, таких как изображения и текст, когда GenИИ Когда модели обрабатывают эти сигналы, они могут быть запущены, чтобы "копировать входы в качестве выходов (репликация) и участвовать в атаках. Вредоносная активность (полезная нагрузка)", - говорят исследователи безопасности Став Коэн, Рон Биттон и Бен Насси.

Что еще более тревожно, эти модели могут быть использованы для создания вредоносных материалов для новых приложений путем использования связей в экосистеме генеративного ИИ.

Платформы с открытым исходным кодом обнаружили до 100 вредоносных моделей искусственного интеллекта (ИИ)/машинного обучения (МЛ)

Эта техника атаки, известная как ComPromptMized, имеет сходство с традиционными методами, такими как переполнение буфера и SQL-инъекции, поскольку она внедряет код и данные из запроса в область, которая, как известно, содержит исполняемый код.

ComPromptMized затрагивает приложения, процесс выполнения которых опирается на результаты работы генеративных сервисов ИИ, а также приложения, использующие Retrieval Augmented Generation ("RAG"), в которых модель генерации текста сочетается с компонентом поиска информации для обогащения ответов на запросы.

Это исследование не первое и не последнее, в котором изучается использование мгновенных инъекций в качестве метода атаки на LLM и обмана их для выполнения неожиданных действий.

Ранее ученые продемонстрировали атаки, использующие изображения и аудиозаписи для внесения невидимых "враждебных возмущений" в мультимодальную LLM, заставляя модель выводить текст или команды по выбору злоумышленника.

В работе, опубликованной в конце прошлого года, Насси вместе с Евгением Багдасаряном, Цунг-Ин Хсиехом и Виталием Шматиковым заявил: "Злоумышленники могут заманивать жертв на веб-страницы с интересными изображениями или отправлять электронные письма с аудиоклипами. "

"Когда жертва подает изображения или ролики непосредственно в изолированный LLM и задает соответствующие вопросы, модель будет руководствоваться подсказками, введенными злоумышленником."

В начале прошлого года CISPA Helmholtz, Саарский университет, Германияинформационная безопасностьГруппа исследователей из Центра и компании Sequire Technology также обнаружила, как злоумышленник может использовать модель LLM, стратегически внедряя скрытые подсказки в данные, в которых модель, скорее всего, появится (т. е. косвенное внедрение подсказок). В результате, в ответ на пользовательский ввод, извлекается информация.

Оригинальная статья написана Chief Security Officer, при воспроизведении просьба указывать: https://cncso.com/ru/модели-ai-ml-найдены-на-платформе-hugging-face-html.

Нравиться (0)
Предыдущий 2 марта 2024 г. пп7:37
Следующий Пятница, 5 марта 2024 года пп6:15

связанное предложение