AIGC AI 안전 보고서 2024

01 일체 포함GC 배경

자연어 처리(NLP)는 AI가 이해하고 생성할 수 있도록 지원하며, 대규모 사전 학습 모델은 NLP의 발전 추세입니다. NLP의 두 가지 핵심 작업은 자연어 이해(NLU)와 자연어 생성(NLG)이며, ChatGPT는 NLP 개발의 이정표 모델 중 하나입니다. chatGPT는 OpenAI가 GPT-3.5 시리즈의 모델을 미세 조정하여 생성한 챗봇 모델로, 인간의 언어를 학습하고 이해하여 대화를 수행할 수 있으며 채팅 맥락에 따라 상호작용하여 인간처럼 진정한 채팅과 커뮤니케이션이 가능하고 이메일 작성까지 할 수 있는 챗봇입니다. ChatGPT는 OpenAI가 GPT-3.5 시리즈에서 미세 조정한 챗봇 모델로, 인간의 언어를 학습하고 이해하여 대화를 진행할 수 있으며 채팅의 맥락에 따라 상호 작용하여 진정으로 인간처럼 채팅하고 소통하며 이메일, 비디오 스크립트, 카피라이팅, 번역, 코딩 등의 작업까지 완료할 수 있습니다. ChatGPT의 갑작스러운 폭발적인 성장으로 인공지능은 하룻밤 사이에 0.1세 아이에서 3세 아이로 변했습니다. 미래는 인간 아이들의 성장기처럼 시간이 지남에 따라 슈퍼 딥 모델의 학습 능력이 더 강해지고 똑똑해질 것으로 예상 할 수 있습니다. AI 딥러닝은 알고리즘, 데이터에서 기본 연산 능력의 지원에 이르기까지 본질적으로 모든 기술적 문제가 해결되어 성장의 병목 현상을 돌파했습니다. 앞으로 AI 분야는 급속한 발전과 성장기에 접어들어 3살짜리 아이부터 8살, 심지어 18살까지 빠르게 학습할 수 있는 AI가 등장할 것입니다. 더 똑똑해진 기술의 이면에 있는 보안 문제가 점점 더 우려되고 있으며, 기술에 대한 통제력을 상실할 경우 그 결과는 파괴적이고 파괴적일 것입니다. 따라서 딥러닝 모델에 기반한 AI 기술과 애플리케이션을 개발할 때는 전체 체인에서 발생하는 새로운 보안 문제를 미리 고려해야 합니다. 과거의 연구 경험에 따르면 AI가 가져올 새로운 보안 문제는 주로 다음과 같은 방향을 포함합니다.

1.1 AI 기술 프레임워크보증인

AIGC에서 생성되는 모든 애플리케이션은 단일 혁신이 아니라 다양한 딥러닝 모델, 오픈소스 프레임워크, 알고리즘의 최적화를 기반으로 전체적인 조합을 이뤄낸 결과물입니다. 전체 조립 과정에는 다양한 오픈 소스 프레임워크, 미들웨어, 알고리즘 등이 포함됩니다. 이러한 프레임워크와 미들웨어에는 다양한 보안 문제가 있을 수 있습니다. 예를 들어, 최근 문제가 된 랭체인 프레임워크 프롬프트 인젝션 보안 문제가 있습니다. 이러한 프레임워크와 알고리즘을 연구하여 기술의 밑바닥에서부터 보안 문제를 최대한 피하는 것이 AIGC 링크의 보안 문제를 해결하기 위한 중요한 방향 중 하나입니다.

1.2 AIGC 콘텐츠 보안

AIGC는 대규모 언어 모델을 통해 다양한 콘텐츠를 출력하는 방법을 학습합니다. 이러한 콘텐츠의 규정 준수는 주요 보안 규정 준수 문제입니다. 크게 두 가지 연구 방향이 있습니다. 이른바 콘텐츠 컴플라이언스 문제는 AIGC가 콘텐츠를 생성할 때 현지 국가의 다양한 규제 요건을 충족해야 한다는 것입니다. 예를 들어 명예를 훼손하는 정치인이 포함된 이미지, 종교적 색채가 있는 콘텐츠, 음란물이 포함된 그래픽 등은 출력할 수 없습니다. 생성되는 모든 콘텐츠와 최종 출력물은 해당 국가의 요구 사항을 준수해야 합니다. 모든 콘텐츠 생성 및 최종 출력물은 엄격하게 필터링되어야 합니다. 현재 ChatGPT-4와 같은 강력한 애플리케이션도 출력 프로세스에서 약 85%의 콘텐츠 보안 필터링만 달성할 수 있습니다. 그러나 보안은 0과 1의 게임입니다. AIGC 애플리케이션이 해당 국가의 규제 정책에서 규정 준수 문제에 직면하면 천문학적 벌금을 물거나 심지어 오프라인으로 전환되어 서비스가 중단될 수도 있습니다. 윤리적 안전 문제 윤리적 보안 문제는 AI의 초기부터 논의되어 온 주제입니다. 과거에는 AI가 아직 초기 단계에 있었고 대부분의 사람들이 AI의 성장에 대해 거의 알지 못했을 때 이 문제에 대한 논의는 이론과 컨퍼런스에만 국한되어 있었습니다. 이제 ChatGPT의 하룻밤 사이에 이룬 성공으로 모두가 AI가 이제 3년이 되었다는 사실을 깨닫게 되었습니다. 윤리적 보안은 더 이상 선택의 문제가 아니라 시급히 해결해야 할 과제입니다.

1.3  데이터 보안

AI의 빠른 성장은 대량의 데이터 말뭉치 없이는 달성할 수 없으며, LLM의 학습에는 매개변수 조정의 기초가 되는 대량의 데이터가 필요합니다. 현재 알려진 몇몇 대형 모델의 데이터는 수천억 개의 파라미터에 달하며 관련 데이터의 양은 50TB가 넘습니다. 일상적으로 많은 기업과 정부가 이러한 대형 모델을 사용하면서 의도적 또는 비의도적으로 민감한 데이터를 전송할 수 있습니다. 또한 이러한 AIGC 자체의 보안 문제로 인해 기업의 핵심 데이터가 유출되지 않도록 보장하기 어려운 위험도 있습니다. 이 정도 규모의 데이터 유출은 조직에 치명적일 수 있습니다. 전문 공격자이든 정치적 동기를 가진 이해관계자이든, 이 정도 규모의 데이터 유출은 데이터 제공자에게 심각한 재정적 피해는 물론 신체적 피해까지 초래할 수 있습니다.

1.4 국내 규제 정책

국가는 항상 다음을 매우 중요하게 생각합니다.사이버 보안최근에는 중화인민공화국 네트워크 정보 콘텐츠의 생태적 거버넌스에 관한 규정 등 관련 규제 정책이 도입되었습니다.사이버 보안법률, 중화인민공화국 데이터 보안법또한 중국 공산당 중앙위원회와 국무원은 '디지털 중국 건설을 위한 전체 배치 계획', '인터넷 정보 서비스 알고리즘 추천에 관한 행정 규정', '네트워크 보안 검토 조치', '인터넷 정보 서비스 알고리즘 추천에 관한 행정 규정', '인터넷 정보 서비스 심층 합성에 관한 행정 규정'을 발표했습니다. 최근 중국공산당 중앙위원회와 국무원이 발표한 '디지털 중국 건설을 위한 전면 배치 계획'에서는 신뢰할 수 있고 통제 가능한 디지털 보안 장벽 구축을 강화할 필요성을 다시 한 번 강조하고 있습니다. 효과적인 사이버 보안 보호 및 사이버 보안 개선법률 및 규정AIGC의 급속한 발전은 또한 심화되는 도전을 가져올 것입니다. 첫째, 민감한 변형 단어 변이를 통해 콘텐츠 규제를 우회하고 사진 및 오디오/비디오의 동적 변화를 통해 콘텐츠 감지를 회피하는 등 정보 변이의 복잡성이 더욱 증가하고 있으며, 둘째, 멀티모달 콘텐츠의 상호 변환 문제가 점점 더 심각해지고 있어 콘텐츠 보안에 더욱 높은 수준의 도전이 될 것이며, 셋째, 콘텐츠 생산의 급증으로 콘텐츠 보안에 대한 감사, 리콜 및 정확도 요구 사항이 점차 증가함에 따라 점차 심화되는 과제를 가져다 줄 것입니다. 셋째, 콘텐츠 제작의 급증으로 인해 감사 워크로드, 리콜률, 정확도 측면에서 콘텐츠 보안에 대한 요구 사항이 점차 증가하고 있습니다. 4월 11일, 국가인터넷정보판공실은 '콘텐츠의 보안 및 안전'에 관한 보고서를 발표했습니다.생성 인공 지능(이하 "관리 조치"라 함). 관리 조치에 따르면, 생성형 콘텐츠의 사용은 다음과 같이 명시적으로 제안합니다.일체 포함생성된 콘텐츠는 진실하고 정확해야 하며, 허위 정보 생성을 방지하기 위한 조치를 취해야 합니다. 위에서 언급한 행정 조치에 따라 생성형 AI 제품 또는 서비스의 제공은 법률 및 규정의 요구 사항을 준수하고 사회 도덕, 공공 질서 및 선량한 풍속을 존중하며 다음 요구 사항을 충족해야 합니다.

• 생성형 AI가 생성하는 콘텐츠는 사회주의 핵심 가치를 구현해야 하며, 국가 권력 전복, 사회주의 체제 전복, 분리 선동, 국가 통합 훼손, 테러, 극단주의, 민족 증오, 민족 차별, 폭력, 음란 및 포르노 정보, 허위 정보, 경제 질서 및 사회 질서를 혼란시킬 수 있는 내용을 포함하지 않아야 합니다.
• 알고리즘 설계, 학습 데이터 선택, 모델 생성 및 최적화, 서비스 제공에 있어 인종, 민족, 신앙, 국가, 지역, 성별, 연령, 직업 등에 따른 차별을 방지하기 위한 조치입니다.
• 지적 재산권과 비즈니스 윤리를 존중하고 알고리즘, 데이터, 플랫폼 또는 기타 이점을 이용하여 불공정한 경쟁을 실행하지 않습니다.
• 생성형 AI를 사용하여 생성되는 콘텐츠는 진실하고 정확해야 하며, 허위 정보가 생성되지 않도록 조치를 취해야 합니다.
• 타인의 정당한 이익을 존중하고 타인의 신체적, 정신적 건강에 대한 피해, 초상권, 명예 및 개인 사생활에 대한 권리 침해, 지적 재산권 침해를 방지합니다. 개인 정보, 사생활 및 영업 비밀의 불법적인 취득, 공개 및 사용을 금지합니다.

한편, 행정조치는 프로그래밍 가능한 인터페이스 등을 제공하여 다른 사람이 직접 텍스트, 이미지, 소리를 생성할 수 있도록 지원하는 것을 포함하여 생성형 인공지능 제품을 사용하여 채팅 및 텍스트, 이미지, 소리 생성 서비스를 제공하는 조직 및 개인(이하 "제공자")은 해당 제품에 의해 생성된 콘텐츠의 생산자의 책임을 지고, 개인정보가 관련된 경우 개인정보 처리자의 법적 책임을 지고 개인정보 보호 의무를 이행해야 한다고 명시하고 있습니다. 개인정보가 관련된 경우 제공자는 개인정보 처리자로서의 법적 책임을 지고 개인정보 보호 의무를 이행해야 합니다. 또한 행정 조치에 따르면 제공자는 생성형 인공지능 제품을 대중에게 서비스하기 전에 '여론 속성 또는 사회 동원 능력을 가진 인터넷 정보 서비스의 안전성 평가에 관한 규정'에 따라 국가 인터넷 정보 부서에 안전성 평가를 신고하고 '인터넷 정보 서비스 알고리즘 추천 관리 규정'에 따라 알고리즘 신고 및 신고 변경 및 취소 절차를 이행해야 한다. 사업자는 생성형 인공지능이 생성한 콘텐츠를 이용자가 과학적으로 이해하고 합리적으로 이용할 수 있도록 안내해야 하며, 생성된 콘텐츠를 이용하여 타인의 이미지, 명예 및 기타 정당한 권익을 훼손하거나 상업적 투기 또는 부당한 마케팅을 해서는 안 됩니다. 사용자는 생성된 콘텐츠가 행정 조치의 요구 사항을 충족하지 않는다고 판단되는 경우 인터넷 정보 부서 또는 관련 관할 부서에 신고할 권리가 있습니다.

1.5 해외 규제 정책

전 세계AI 규제관련 법률, 규정 및 지침이 점진적으로 발전하고 있는 탐색 단계에 있습니다. EU는 AI 시스템을 효과적으로 규제하기 위해 노력하고 있습니다. EU 관할권 내에서는 (1) AI법 (2) AI 책임 지침 (3) 제조물 책임 지침(소프트웨어 규제) (4) 디지털 서비스법(DSA) (5) 디지털 시장법(DMA) 이 중 (4)와 (5)는 플랫폼별이지만 AI를 포괄하는 포괄적인 규제 법적 도구가 확립되어 있습니다. 또한 EU의 차별 금지법 및 데이터 보호법은 AI 시스템에도 계속 적용됩니다. 그러나 EU의 AI 규정은 ChatGPT나 Stable Diffusion과 같이 우리가 소통하고, 설명하고, 창작하는 방식을 빠르게 변화시키고 있는 차세대 '대규모 생성 AI 모델'보다는 주로 전통적인 AI 모델에 중점을 두고 있습니다. 디지털 서비스법(DSA)은 유해한 표현에 대응하기 위한 EU의 주요 수단입니다. EU의 유해한 발언을 막기 위한 주요 도구인 디지털 서비스법(DSA)은 대규모 생성 AI 모델(LGAIM)에는 적용되지 않아 위험한 규제 허점이 존재합니다. 2023년 2월 3일 EU 산업 책임자인 티에리 브르통은 ChatGPT와 AI 시스템으로 인한 위험은 작년에 제기했던 규칙 제정의 긴급한 필요성을 강조하며, 유럽 위원회는 AI 법안에서 범용 AI 시스템에 대한 규칙을 더욱 명확히 하기 위해 이사회 및 유럽 의회와 긴밀히 협력하고 있다고 말했습니다. 이 문제에 정통한 소식통에 따르면 2023년 2월 7일 EU 의원들은 올해 3월에 AI 법안 초안에 합의하고 연말까지 EU 회원국들과 합의에 도달하는 것을 목표로 하고 있다고 합니다. 그러나 이 법안은 의원과 소비자 단체 모두로부터 비판을 받아왔으며, ChatGPT의 문제와 맞물려 당초 예상보다 시간이 조금 더 걸리고 있습니다. 현재까지의 연구에 따르면, EU 법안이 ChatGPT가 제기한 문제를 해결하기 위해서는 (1) 투명성 문제 규제 (2) 위험 관리('리스크 관리') (3) '대규모 생성 AI 모델'에 적용되는 비차별 조항 (4) '대규모 생성 AI 모델' 사용에 대한 규제 (5) '대규모 생성 AI 모델' 배포자와 사용자에 대한 직접 규제 등 일부 정의와 규제 유형을 수정하는 데 시간이 걸릴 것으로 보입니다. (3) '대규모 생성 AI 모델' 개발자에게 적용되는 차별 금지 조항 (4) 콘텐츠별 검토 규칙. 3월 29일에는 영국 정부의 과학혁신기술부가 AI 산업을 위한 백서를 발간하여 규제 당국에 AI의 실제 적용에 대한 상황에 맞는 맞춤형 접근 방식을 제안할 것을 촉구했고, 3월 30일에는 미국 연방거래위원회가 인공지능 및 디지털 정책 센터로부터 OpenAI와 그 제품에 대한 조사를 요청하는 새로운 보고서를 받았으며, 3월 31일에는 미국 연방거래위원회(FTC)가 AI에 대한 새로운 보고서를 발표했습니다. 이탈리아의 DPA는 ChatGPT가 GDPR 위반이 확인되면 데이터 처리업체의 전 세계 연간 매출액의 최대 41%에 해당하는 과징금을 부과하는 범유럽연합 규정인 EU의 일반 데이터 보호 규정을 위반했을 가능성이 있다고 밝혔으며, 4월 1일 OpenAI는 이탈리아 사용자들의 접속을 금지했습니다. 미국 상무부는 4월 11일에 새로운 AI 모델이 출시 전에 인증 절차를 거쳐야 하는지 여부를 포함하여 대규모 AI 모델과 관련된 책임 조치에 대해 60일간의 공식적인 공개 의견 수렴 기간을 발표했습니다. 이는 이탈리아, 독일 및 기타 국가에서 ChatGPT에 대한 규제를 강화하려는 계획과 함께 ChatGPT의 잠재적 위험성에 대한 전 세계적인 우려가 제기된 지 일주일 만에 나온 조치입니다.

2.1 AIGC

AIGC는 인공지능 기술을 사용하여 콘텐츠를 생성하는 것을 말합니다. 이전 웹 1.0 및 웹 2.0 시대의 UGC(사용자 제작 콘텐츠)와 PGC(전문가 제작 콘텐츠)에 비해 AI에 의한 콘텐츠 개념화를 대표하는 AIGC는 콘텐츠 제작 방식의 새로운 변화이며, 웹 3.0 시대에는 AIGC 콘텐츠도 기하급수적으로 성장할 것입니다.

2.2 프롬프트

AIGC 애플리케이션의 백엔드에서 모델이 원하는 결과를 출력하도록 AI에 지시를 내리는 데 사용되는 다양한 키워드 또는 문구를 프롬프트라고 합니다. 다음은 프롬프트에서 때때로 볼 수 있는 몇 가지 구성 요소입니다:

• 캐릭터
• 지침/작업
• 이슈
• (텍스트) 컨텍스트
• 예시 (몇 샷)

2.3 채팅 스크립트

사전 학습된 생성형 트랜스포머의 약어입니다. ChatGPT는 대규모 언어 모델(LLM)이라는 기계 학습 자연어 처리 모델의 확장입니다. LLM은 대량의 텍스트 데이터를 읽고 학습하여 텍스트 내 단어 간의 관계를 추론할 수 있습니다. LLM은 지난 몇 년 동안 계산 능력이 발전함에 따라 진화해 왔습니다. 입력 데이터 세트와 매개변수 공간이 증가함에 따라 LLM의 기능도 향상되었습니다. GPT 제품군과 BERT 모델은 트랜스포머 기술을 기반으로 하는 잘 알려진 NLP 모델로, GPT-1에는 트랜스포머 레이어가 12개에 불과했지만 GPT-3에서는 96개로 늘어났습니다. ChatGPT의 전신인 InstructGPT/GPT3.5와 GPT-3의 가장 큰 차이점은 RLHF(인간 피드백을 통한 강화 학습)라는 새로운 패러다임이 추가되었다는 점입니다. 이 훈련 패러다임은 모델 출력에 대한 사람의 조정을 향상시키고 보다 이해하기 쉬운 결과 순서를 제공합니다.

2.4 ChatGPT 기술 아키텍처