오픈 소스 플랫폼에서 최대 100개의 악성 인공지능(AI)/머신 러닝(ML) 모델이 발견되었습니다.

수석 보안 연구원 데이비드 코헨은 "이 모델의 페이로드는 공격자에게 감염된 컴퓨터에 대한 셸을 제공하여 일반적으로 '백도어'라고 불리는 것을 통해 피해자의 컴퓨터를 완전히 제어할 수 있게 해줍니다."라고 말합니다.

"이러한 조용한 침입은 중요한 내부 시스템에 대한 액세스 권한을 부여하고 대규모 데이터 유출 및 기업 스파이 활동의 길을 열어 개인 사용자뿐만 아니라 전 세계 조직 전체에 영향을 미칠 수 있으며, 피해자는 자신의 감염 상태를 전혀 인지하지 못합니다."

구체적으로, 이 악성 모델은 210.117.212[.] 93, 즉 한국 연구 환경 개방 네트워크(KREONET)에 속한 IP 주소로 역셸 연결을 시작합니다. 동일한 부하를 가진 다른 리포지토리가 다른 IP 주소로 연결되는 것이 관찰되었습니다.

한 사례에서는 모델 작성자가 사용자에게 다운로드하지 말 것을 촉구하여 해당 게시물이 연구자나 AI 실무자의 작품일 가능성이 높아졌습니다.

"하지만 보안 연구의 기본 원칙은 실제로 작동하는 익스플로잇이나 악성 코드를 공개하지 않는 것입니다."라고 JFrog는 말합니다. "악성 코드가 실제 IP 주소로 다시 연결을 시도하면 이 원칙을 위반하게 됩니다."

이번 조사 결과는 오픈소스 리포지토리에 숨어 있는 위협이 악의적인 활동에 의해 악용될 수 있다는 점을 다시 한 번 강조합니다.

공급망 위험에서 웜 # 제로화까지

동시에 연구진은 빔 검색 기반 적대적 공격(BEAST) 기법을 사용하여 대규모 언어 모델(LLM)에서 유해한 반응을 이끌어내는 데 사용할 수 있는 단서를 생성하는 효과적인 방법을 고안했습니다.

이와 관련하여 보안 연구원들은 데이터를 훔쳐 여러 시스템에 퍼뜨릴 수 있는 Morris II라는 생성형 AI 웜을 개발했습니다.악성 소프트웨어.

Morris II는 가장 오래된 컴퓨터 웜 중 하나의 변종으로, 이미지와 텍스트 등의 입력에 인코딩된 적대적인 자기 복제 신호를 Gen.일체 포함 모델이 이러한 단서를 처리하면 "입력을 출력으로 복사(복제)하고 공격에 참여하도록 트리거될 수 있습니다. 악의적인 활동(페이로드)에 참여하게 됩니다."라고 보안 연구원인 Stav Cohen, Ron Bitton, Ben Nassi는 말합니다.

더욱 우려스러운 점은 이러한 모델이 생성형 AI 생태계 내의 연결을 악용하여 새로운 애플리케이션에 악의적인 입력을 제공하는 데 무기화될 수 있다는 점입니다.

ComPromptMized로 알려진 이 공격 기법은 쿼리의 코드와 데이터를 실행 가능한 코드가 있는 것으로 알려진 영역에 삽입하기 때문에 버퍼 오버플로 및 SQL 인젝션과 같은 기존 방법과 유사합니다.

컴프롬프트마이즈드는 실행 프로세스가 생성 AI 서비스의 출력에 의존하는 애플리케이션과 텍스트 생성 모델과 정보 검색 구성 요소를 결합하여 쿼리 응답을 강화하는 검색 증강 생성("RAG")을 사용하는 애플리케이션에 영향을 미칩니다.

이 연구는 인스턴트 인젝션을 LLM을 공격하고 예기치 않은 작업을 수행하도록 속이는 방법으로 사용하는 것을 탐구한 최초의 연구도 아니고 마지막 연구도 아닙니다.

이전에 학자들은 이미지와 오디오 녹음을 사용하여 보이지 않는 '적대적 교란'을 멀티모달 LLM에 주입하여 모델이 공격자가 선택한 텍스트나 명령을 출력하도록 하는 공격을 시연했습니다.

작년 말에 발표된 논문에서 나시는 유진 바그다사리안, 청인 시에, 비탈리 슈마토코프와 함께 "공격자들은 흥미로운 이미지로 피해자를 유인해 웹 페이지를 방문하게 하거나 오디오 클립이 포함된 이메일을 보낼 수 있다"고 말했습니다. "

"피해자가 격리된 LLM에 이미지나 클립을 직접 입력하고 관련 질문을 하면 공격자가 주입한 프롬프트에 따라 모델이 안내를 받게 됩니다."

작년 초, 독일 자를란트 대학교의 CISPA 헬름홀츠는 다음과 같이 말했습니다.정보 보안센터와 Sequire Technology의 연구원 그룹은 공격자가 모델이 나타날 가능성이 있는 데이터에 숨겨진 힌트를 전략적으로 주입(즉, 간접 힌트 주입)하여 LLM 모델을 악용하는 방법도 발견했습니다. 사용자 입력에 대한 응답으로 검색됩니다.