AIGC AI Safety Report 2024

01 ИИИстория GC

Обработка естественного языка (NLP) позволяет ИИ понимать и генерировать, а крупномасштабное предварительное обучение моделей является тенденцией развития NLP. Две основные задачи NLP - понимание естественного языка (NLU) и генерация естественного языка (NLG), и ChatGPT - одна из знаковых моделей в развитии NLP. chatGPT - это модель чатбота, созданная OpenAI на основе тонкой настройки моделей серии GPT-3.5, которая может изучать и понимать человеческий язык для ведения диалога, а также взаимодействовать в соответствии с контекстом чата, чтобы действительно общаться как люди, и даже может писать электронные письма. ChatGPT - это модель чатбота, доработанная OpenAI на основе серии GPT-3.5, которая может изучать и понимать человеческий язык для ведения диалога, а также взаимодействовать в соответствии с контекстом чата, действительно общаться как человек, и даже выполнять задачи по написанию электронных писем, видеосценариев, копирайтинга, перевода, кодирования и так далее. Внезапный взрыв ChatGPT показал, что ИИ за одну ночь превратился из ребенка 0,1 года в ребенка 3 лет. Будущее можно ожидать точно так же, как период роста человеческих детей: с течением времени способность к обучению сверхглубокой модели будет становиться все сильнее и умнее. Глубокое обучение ИИ преодолело узкое место роста, начиная с алгоритмов, данных и заканчивая поддержкой базовой арифметической мощности, по сути, все технические проблемы были решены. В будущем область ИИ вступит в период бурного развития и роста, что позволит ИИ быстро пройти путь от 3-летнего ребенка до 8-летнего или даже 18-летнего. Вопросы безопасности, стоящие за "умными" технологиями, вызывают все большее беспокойство, а последствия потери контроля над технологиями будут разрушительными и деструктивными. Поэтому при разработке технологий и приложений ИИ, основанных на моделях глубокого обучения, необходимо заранее продумать новые вопросы безопасности, возникающие во всей цепочке. Согласно опыту прошлых исследований, новые проблемы безопасности, порождаемые ИИ, в основном включают следующие направления.

1.1 Технологическая база ИИпоручительство

Мы знаем, что все приложения, созданные AIGC, не являются единичными инновациями, а основаны на оптимизации различных моделей глубокого обучения, фреймворков с открытым исходным кодом и алгоритмов в прошлом для создания общей комбинации. Весь процесс сборки включает в себя множество фреймворков с открытым исходным кодом, промежуточного программного обеспечения, алгоритмов и так далее. Эти фреймворки и промежуточное ПО могут иметь различные проблемы с безопасностью. Например, недавно возникли проблемы с безопасностью фреймворка Langchain Prompt Injection. Изучение этих фреймворков и алгоритмов с целью максимально избежать проблем с безопасностью, начиная с самых основ технологии, является одним из важных направлений решения проблем безопасности на канале AIGC.

1.2 Безопасность содержания AIGC

AIGC учится выдавать широкий спектр контента с помощью большой языковой модели. Соответствие этого контента требованиям безопасности является одной из основных проблем. Существует два основных направления исследований. Так называемая проблема соответствия контента заключается в том, что AIGC при генерации контента должен соответствовать различным нормативным требованиям страны. Например, она не может выводить изображения с клеветническими политическими фигурами, контент с религиозными цветами, графику с порнографией и т. д. Весь генерируемый контент и конечный вывод должны соответствовать требованиям страны. Весь генерируемый контент и конечный результат должны строго фильтроваться. В настоящее время даже такое сильное приложение, как ChatGPT-4, может обеспечить лишь около 85% фильтрации безопасности контента в процессе вывода. Однако безопасность - это игра 0 и 1. Любое приложение AIGC, столкнувшееся с проблемами соответствия нормативной политике своей страны, может столкнуться с астрономическими штрафами или даже быть отключено от сети, чтобы остановить работу сервиса. Этические вопросы безопасности Вопрос этической безопасности является предметом обсуждения с самого начала развития ИИ. В прошлом, когда ИИ находился в зачаточном состоянии и большинство людей еще мало что знали о его развитии, обсуждение этого вопроса ограничивалось теориями и конференциями. Теперь же успех ChatGPT в одночасье заставил всех осознать, что ИИ уже три года. Этическая безопасность больше не является чем-то необязательным, это тема, которую необходимо решать в срочном порядке.

1.3  Безопасность данных

Быстрый рост ИИ невозможен без большого количества данных в качестве корпуса, а обучение LLM требует большого количества данных в качестве основы для настройки параметров. В настоящее время данные нескольких известных крупных моделей исчисляются сотнями миллиардов параметров, а объем данных составляет более 50 ТБ. В повседневном использовании большое количество предприятий и правительств могут намеренно или ненамеренно передавать свои конфиденциальные данные в эти крупные модели. Кроме того, проблемы с безопасностью самих AIGC несут в себе риски, которые затрудняют гарантию того, что основные данные предприятия не будут утечены. Утечка данных такого масштаба может стать фатальной для организации. Будь то профессиональный злоумышленник или политически мотивированная заинтересованная сторона, утечка данных такого масштаба может нанести серьезный финансовый и даже физический ущерб поставщику данных.

1.4 Внутренняя регуляторная политика

Государство всегда придавало большое значениеинформационная безопасностьВ последние годы были приняты соответствующие нормативные акты, такие как Положения об экологическом управлении информационным содержанием сети, Китайская Народная Республикаинформационная безопасностьПраво, Китайская Народная Республика закон о безопасности данныхКроме того, ЦК КПК и Госсовет издали "Общий план строительства цифрового Китая", "Административные положения об алгоритмических рекомендациях для информационных услуг Интернета", "Меры по обзору сетевой безопасности", "Административные положения об алгоритмических рекомендациях для информационных услуг Интернета" и "Административные положения об углубленном синтезе для информационных услуг Интернета". В "Общем плане строительства цифрового Китая", недавно опубликованном Центральным комитетом КПК и Государственным советом, вновь делается акцент на необходимости усиления строительства надежного и контролируемого барьера цифровой безопасности. Эффективная защита кибербезопасности и повышение уровня кибербезопасностиЗаконы и нормативные актыБыстрое развитие AIGC также приведет к углублению проблем. В то же время быстрое развитие AIGC также приведет к углублению проблем: во-первых, сложность мутации информации продолжает расти, например, обход регулирования контента путем мутации чувствительных вариантов слов и уклонение от обнаружения контента путем динамических изменений изображений и аудио/видео; во-вторых, проблема взаимной трансформации мультимодального контента становится все более серьезной, что еще больше повышает уровень проблемы безопасности контента; в-третьих, резкий рост производства контента постепенно увеличивает объем работы по аудиту, отзыву и точности требований по безопасности контента. В-третьих, резкое увеличение объемов производства контента постепенно повышает требования к безопасности контента с точки зрения объема аудиторской работы, частоты отзыва и точности. 11 апреля Государственное управление интернет-информации опубликовало доклад "Безопасность и сохранность контента".генеративный искусственный интеллект(далее именуемые "Меры по управлению"). Меры по управлению прямо предполагают, что использование генеративныхИИГенерируемый контент должен быть правдивым и точным, и должны быть приняты меры по предотвращению создания ложной информации. Согласно вышеупомянутым административным мерам, предоставление продуктов или услуг генеративного ИИ должно соответствовать требованиям законов и нормативных актов, уважать общественную мораль, общественный порядок и добрые нравы, а также отвечать следующим требованиям.

• Контент, создаваемый генеративным ИИ, должен воплощать основные социалистические ценности и не должен содержать контент, подрывающий государственную власть, свергающий социалистическую систему, подстрекающий к отделению, подрывающий национальное единство, пропагандирующий терроризм, экстремизм, этническую ненависть, этническую дискриминацию, насилие, непристойную и порнографическую информацию, ложную информацию, а также контент, который может нарушить экономический и социальный порядок.
• Меры по предотвращению дискриминации по признаку расы, этнической принадлежности, веры, страны, региона, пола, возраста, профессии и т. д. при разработке алгоритмов, выборе обучающих данных, создании и оптимизации моделей, а также при предоставлении услуг.
• Соблюдайте права интеллектуальной собственности и деловую этику, не используйте алгоритмы, данные, платформы или другие преимущества для осуществления недобросовестной конкуренции.
• Контент, созданный с помощью генеративного ИИ, должен быть правдивым и точным, а также должны быть приняты меры для предотвращения создания ложной информации.
• Уважать законные интересы других лиц и не допускать нанесения вреда физическому и психическому здоровью других лиц, ущерба праву на портрет, честь и личную жизнь, а также нарушения прав интеллектуальной собственности. Запрещать незаконное получение, разглашение и использование личной информации, конфиденциальности и коммерческой тайны.

Между тем, Административные меры указывают, что организации и физические лица, предоставляющие услуги по созданию чатов и текстов, изображений и звуков с использованием продуктов генеративного ИИ (далее - "провайдеры"), включая тех, кто поддерживает других в создании собственных текстов, изображений и звуков путем предоставления программируемых интерфейсов и т.д., должны взять на себя ответственность производителей контента, создаваемого такими продуктами; если речь идет о персональных данных, они должны взять на себя юридическую ответственность обработчиков персональных данных и выполнить свои обязательства по защите персональных данных. Если речь идет о персональной информации, провайдер берет на себя юридическую ответственность как обработчик персональной информации и выполняет обязательства по защите персональной информации. Кроме того, в Административных мерах указывается, что перед предоставлением услуг населению с помощью генеративных продуктов ИИ провайдер должен заявить об оценке безопасности в национальный отдел сетевой информации в соответствии с Положением об оценке безопасности информационных интернет-услуг с атрибутами общественного мнения или способностью к социальной мобилизации, а также выполнить процедуры алгоритмической подачи, изменения и отмены подачи в соответствии с Положением об управлении алгоритмическими рекомендациями информационных интернет-услуг. Провайдеры должны направлять пользователей на научное понимание и рациональное использование контента, созданного генеративным искусственным интеллектом, и не должны использовать созданный контент для нанесения ущерба имиджу, репутации и другим законным правам и интересам других лиц, а также заниматься коммерческими спекуляциями или ненадлежащим маркетингом. Если пользователи обнаружат, что сгенерированный контент не соответствует требованиям Административных мер, они имеют право сообщить об этом в отдел сетевой информации или в соответствующий компетентный департамент.

1.5 Зарубежная регуляторная политика

глобальноРегулирование искусственного интеллектаОн находится на стадии исследования, и соответствующие законы, нормативные акты и руководства постепенно разрабатываются. ЕС предпринимает усилия по эффективному регулированию систем ИИ. В юрисдикциях ЕС созданы комплексные нормативно-правовые инструменты: (1) Закон об ИИ (2) Директива об ответственности за ИИ (3) Директива об ответственности за продукцию (регулирование программного обеспечения) (4) Закон о цифровых услугах (DSA) (5) Закон о цифровых рынках (DMA) Из них (4) и (5) зависят от конкретной платформы, но охватывают ИИ. Кроме того, законы ЕС о недискриминации и защите данных по-прежнему применяются к системам ИИ. Однако регулирование ЕС в области ИИ направлено в первую очередь на традиционные модели ИИ, а не на новое поколение "крупномасштабных генеративных моделей ИИ", которые быстро меняют способы общения, иллюстрации и творчества, такие как ChatGPT или Stable Diffusion. Закон о цифровых услугах (DSA) является основным инструментом ЕС для борьбы с вредоносными высказываниями. Закон о цифровых услугах (DSA), основной инструмент ЕС по борьбе с вредоносными высказываниями, не распространяется на большие генеративные модели искусственного интеллекта (LGAIM), создавая опасную лазейку в регулировании. 3 февраля 2023 года глава промышленности ЕС Тьерри Бретон заявил, что риски, связанные с ChatGPT и системами искусственного интеллекта, подчеркивают настоятельную необходимость принятия правил, о которых он говорил в прошлом году, и что Европейская комиссия тесно сотрудничает с Советом и Европейским парламентом для дальнейшего уточнения правил для систем искусственного интеллекта общего назначения в законопроекте об искусственном интеллекте. 7 февраля 2023 г. Законодатели ЕС надеются согласовать законопроект об искусственном интеллекте в марте этого года, а к концу года достичь соглашения со странами-членами ЕС, сообщают источники, знакомые с этим вопросом. Однако предложенный законопроект подвергся критике как со стороны законодателей, так и со стороны групп потребителей, а в сочетании с проблемами с ChatGPT его разработка заняла несколько больше времени, чем предполагалось изначально. Исходя из текущих исследований, вероятно, потребуется некоторое время для пересмотра некоторых определений и типов регулирования, чтобы законодательство ЕС справилось с проблемами, возникшими в связи с ChatGPT: добавление прямого регулирования деятельности разработчиков и пользователей "крупномасштабных генеративных моделей ИИ", включая: (1) регулирование вопросов прозрачности (2) управление рисками ("управление рисками") (3) положения о недискриминации, применяемые к "крупномасштабным генеративным моделям ИИ"); (4) регулирование использования "крупномасштабных генеративных моделей ИИ"; и (5) регулирование "крупномасштабных генеративных моделей ИИ". (3) положения о недискриминации, применяемые к разработчикам "крупномасштабных генеративных моделей ИИ" (4) правила рассмотрения конкретного контента. 29 марта Министерство науки, инноваций и технологий правительства Великобритании опубликовало "белую книгу" для индустрии ИИ, в которой призвало регулирующие органы предложить индивидуальный, учитывающий конкретные условия подход к практическому применению ИИ; 30 марта Федеральная торговая комиссия США получила новый отчет от Центра искусственного интеллекта и цифровой политики с просьбой провести расследование в отношении OpenAI и ее продуктов; а 31 марта. DPA Италии заявило, что компания ChatGPT, возможно, нарушила Общий регламент ЕС по защите данных, который предусматривает штрафы в размере до 4% от глобального годового оборота обработчика данных за подтвержденные нарушения GDPR; 1 апреля OpenAI запретила доступ для итальянских пользователей. 11 апреля Министерство торговли США объявило официальный 60-дневный период публичных комментариев по мерам подотчетности, связанным с крупными моделями ИИ, в том числе по вопросу о том, должны ли новые модели ИИ проходить процесс сертификации перед выпуском. После недели глобальной обеспокоенности потенциальными рисками ChatGPT в Италии, Германии и других странах планируется ужесточить регулирование ChatGPT.

2.1 AIGC

AIGC - это использование технологии искусственного интеллекта для создания контента. По сравнению с UGC (User Generated Content) и PGC (Professional Generated Content) в предыдущие эпохи Web 1.0 и Web 2.0, AIGC, представляющий собой концептуализацию контента с помощью искусственного интеллекта, - это новый виток изменений в способах создания контента, и в эпоху Web 3.0 контент AIGC также будет расти по экспоненте.

2.2 Подсказка

Различные ключевые слова или фразы, которые используются для передачи инструкций искусственному интеллекту, чтобы направить модель в бэкенде приложения AIGC на вывод нужных нам результатов, называются подсказками. Вот некоторые компоненты, которые вы можете время от времени видеть в подсказке:

• персонаж
• Инструкции/задачи
• вопросы
• (текстовый) контекст
• Пример (несколько снимков)

2.3 chatgpt

Сокращение от Generative Pre-trained Transformer. ChatGPT - это расширение модели машинного обучения обработке естественного языка, называемой Large Language Models (LLMs). LLM способны читать и изучать большие объемы текстовых данных и делать выводы о связях между словами в тексте. LLM развивались в течение последних нескольких лет по мере роста вычислительных мощностей. По мере увеличения набора входных данных и пространства параметров расширяются и возможности LLM. Семейство GPT и модель BERT - хорошо известные модели НЛП, основанные на технологии Transformer; в GPT-1 было всего 12 слоев Transformer, в то время как в GPT-3 их количество увеличилось до 96. Основное отличие InstructGPT/GPT3.5 (предшественника ChatGPT) от GPT-3 заключается в добавлении новой парадигмы под названием RLHF (Reinforcement Learning from Human Feedback). Эта парадигма обучения улучшает человеческую модерацию результатов моделирования и обеспечивает более понятное упорядочивание результатов.

2.4 Техническая архитектура ChatGPT