Google 오픈 소스 인공 지능(AI) 지원 퍼지 테스트 프레임워크

머리말

최근 몇 년 동안사이버 보안취약점은 빈번하게 발생하여 개인과 기업에 막대한 손실을 초래합니다. 개발자와 연구자가 취약점을 더 빨리 찾을 수 있도록 Google은 취약점을 찾기 위한AI 지원퍼지 테스트프레임워크. 이 프레임워크는 LLM(대규모 언어 모델)을 사용하여 실제 C 및 C++ 프로젝트에 대한 퍼지 테스트 사례를 생성하고 오픈 소스 소프트웨어의 취약점을 자동으로 발견하는 데 오랫동안 선도적인 역할을 해온 Google의 OSS-Fuzz 서비스를 사용하여 벤치마킹합니다.

AI 기반 퍼즈 테스트로 취약점 발견 효율성 대폭 향상

수동 퍼즈 테스트의 일부 측면을 자동화하기 위해 Google은 2023년 8월부터 "퍼즈 테스트 커버리지를 개선하고 더 많은 취약점을 찾기 위해 프로젝트별 코드를 작성"하기 위해 LLM을 사용하기 시작했으며, 그 결과 300개가 넘는 OSS-Fuzz C/C++ 프로젝트의 코드 커버리지가 30% 증가했습니다.

Google은 "지금까지 LLM에서 생성된 개선 사항으로 인해 확장된 퍼즈 테스트 커버리지를 통해 OSS-Fuzz는 수년간 퍼즈 테스트를 받아온 널리 사용되는 두 가지 프로젝트인 cJSON과 libplist에서 두 가지 새로운 취약점을 발견할 수 있었습니다."라고 말합니다.

오픈 소스 프레임워크는 다양한 애플리케이션을 제공합니다.

이 오픈 소스 도구는 Vertex AI 코드-바이슨, Vertex AI 코드-바이슨-32k, Gemini Pro, OpenAI GPT-3.5-turbo 및 OpenAI GPT-4를 지원합니다. 또한 구글은 이 도구가 프로덕션 환경의 최신 데이터를 사용하여 생성된 퍼지 테스트를 네 가지 메트릭에 따라 평가한다고 밝혔습니다. 컴파일 가능성, 런타임 크래시, 런타임 커버리지, 런타임 라인 커버리지 등 네 가지 메트릭을 기반으로 생성된 퍼지 테스트를 평가하며, 이는 OSS-Fuzz에서 수동으로 작성된 기존 퍼지 테스트 대상과의 차이점을 포함합니다.

Google은 "전반적으로 이 프레임워크는 LLM을 사용하여 160개의 C/C++ 프로젝트에 대해 효과적인 퍼지 테스트 타겟(0이 아닌 커버리지 증가)을 생성하는 데 성공했습니다."라고 말합니다. 최대 라인 커버리지 증가율은 기존의 수동으로 작성된 타깃보다 291 TP3T 더 높았습니다."

오픈 소스 프레임워크를 통해 연구자와 개발자는 자체 프롬프트를 사용하여 생성된 퍼지 테스트 목표의 유효성을 테스트하고 그 결과를 OSS-Fuzz C/C++ 프로젝트와 비교하여 측정할 수 있습니다.

취약점 발견을 넘어 취약점 개선을 위한 AI의 힘

Google은 취약점 발견을 위한 퍼징 테스트 외에도 LLM을 취약점 패치에 사용할 수 있는 방법을 검토하고 있으며, LLM 생성 및 수정 사항 테스트를 위한 자동화된 파이프라인을 구축하는 프로젝트를 제안했습니다.

Google은 "이 AI 기반 패치 접근 방식은 15% 표적 취약점을 해결하고 엔지니어의 시간을 크게 절약할 수 있습니다. 이 기술의 잠재력은 소프트웨어 개발 프로세스의 대부분 또는 모든 범주에 적용될 수 있을 것"이라고 말했습니다.

전통적인 퍼지 테스트 도구인 OSS-Fuzz.

Google에서 오픈소스로 제공하는 또 다른 유명한 퍼지 테스트 도구인 OSS-Fuzz를 소개합니다. OSS-Fuzz는 오픈 소스 소프트웨어 프로젝트의 개발 프로세스에 퍼지 테스트를 자동화하는 지속적 통합/지속 배포(CI/CD) 파이프라인으로, 퍼지 테스트의 통합을 자동화합니다. 다양한 퍼즈 테스트 엔진과 메모리 오류 감지 도구를 활용하여 보안 취약점과 안정성 문제를 찾아냅니다.

2023년 8월 현재, OSS-Fuzz는 1,000개 프로젝트에서 10,000개 이상의 취약점과 36,000개 이상의 버그를 식별하고 수정하는 데 도움을 주었습니다.

요약 및 참조

구글의 오픈 소스 AI 지원 퍼징 프레임워크는 소프트웨어 개발 보안 분야의 주요 혁신으로, 퍼즈 테스트의 최신 발전을 대표하며 오픈 소스 소프트웨어의 보안을 개선하는 강력한 도구를 제공합니다. 이는 기존 퍼징 방법의 효율성을 개선할 뿐만 아니라 자동으로 생성된 퍼즈 타깃을 통해 취약점 발견 및 수정 프로세스를 가속화합니다. 이를 통해 기존 퍼징 방식의 효율성을 개선할 뿐만 아니라 자동으로 생성된 퍼즈 타깃을 통해 취약점 발견 및 수정 프로세스를 가속화할 수 있습니다. 소프트웨어 개발 프로세스에서 AI 기술의 적용이 계속 심화됨에 따라 퍼지 테스트는 더욱 스마트하고 효율적으로 발전하여 더욱 안전한 사이버 공간을 구축하는 데 도움이 될 것입니다.

프로젝트: https://github.com/google/oss-fuzz