Влияние волны искусственного интеллекта на безопасность предприятий

В современном цифровом мире,ИИБыстрое развитие технологий (ИИ) ведет к инновациям и развитию предприятий. В частности, волна генеративных продуктов искусственного интеллекта, таких как системы генерации естественного языка (NLG), синтез изображений и синтез видео, меняет бизнес-операции и пользовательский опыт предприятий. Однако эта волна также несет в себе некоторые риски и проблемы безопасности. Мы изучим влияние волны генеративных продуктов искусственного интеллекта на безопасность предприятий и предложим соответствующие стратегии реагирования.

1. Угроза кибератак усиливается

ИИ был уменьшенхакербарьеры входа. Хакеры могут использовать генеративный искусственный интеллект для быстрой интеграции различных методов сетевых атак, удобного «вооружения» методов атак и потенциально создания инновационных методов атак. ПрайсуотерхаусКуперсинформационная безопасностьКоманда четко заметила, что атаки социальной инженерии, такие как фишинговые электронные письма, полученные клиентами, значительно увеличились в последние месяцы, что совпало с широким использованием ChatGPT; было также обнаружено, что ChatGPT используется для пакетного создания более запутанных фишинговых веб-сайтов.

2. Утечка конфиденциальных корпоративных данных

эксперт по безопасностиМы обеспокоены возможной утечкой корпоративных конфиденциальных данных. Неправильное поведение сотрудников при вводе данных может привести к сохранению конфиденциальных данных в базе данных продуктов генеративного искусственного интеллекта. Политика конфиденциальности OpenAI показывает, что контент, введенный пользователями при использовании ChatGPT, будет использоваться для обучения модели алгоритма искусственного интеллекта. Кроме того, ChatGPT подвергался серьезным проблемам с безопасностью: из-за уязвимостей в библиотеке с открытым исходным кодом некоторые пользователи могли видеть заголовки истории разговоров других пользователей. В настоящее время многие технологические гиганты, такие как Amazon и Microsoft, напомнили сотрудникам не передавать конфиденциальные данные в ChatGPT.

3. Риск отравления ИИ

Обучающие данные и отравление модели — распространенные угрозы безопасности, с которыми сталкивается ИИ. Вредоносные данные окажут негативное влияние на результаты работы алгоритма ИИ. Если управление операциями в значительной степени зависит от ИИ, по ключевым вопросам могут быть приняты неправильные решения. С другой стороны, генеративный ИИ также имеет потенциальные проблемы «предвзятости». Подобно кампании «100 бутылок яда для ИИ», в которой приняли участие многие известные эксперты и ученые, компании должны активно и стратегически реагировать на угрозу отравления ИИ при разработке или использовании ИИ.

4. Вопросы защиты конфиденциальности

Фаза предварительного обучения ИИ требует сбора и анализа большого объема данных, которые могут включать в себя много личной информации клиентов и сотрудников. Если ИИ не сможет должным образом защитить и анонимизировать эту личную информацию, это может привести к утечке конфиденциальной информации, и эта личная информация может даже использоваться для анализа и спекуляций о поведении пользователей. Например, рынок мобильных приложений наводнен программным обеспечением для создания изображений.Пользователям нужно только загрузить несколько своих аватаров, и программное обеспечение может создавать составные фотографии различных сцен и тем. Однако то, как компании-разработчики программного обеспечения используют аватары, загруженные этими пользователями, и приведет ли это к защите конфиденциальности и другим угрозам безопасности, заслуживает внимания и ответа.

5. Риски соблюдения требований безопасности предприятия

В отсутствие эффективных мер управления массовое внедрение продуктов искусственного интеллекта может привести к проблемам с соблюдением требований безопасности, что, несомненно, является огромной проблемой для менеджеров по безопасности предприятия. Он был рассмотрен и одобрен Администрацией киберпространства Китая и одобрен шестью департаментами, включая Национальную комиссию по развитию и реформам и Министерство образования.генеративный искусственный интеллектВременные меры по управлению услугами были официально реализованы 15 августа 2023 года12. Они выдвинули основные требования с точки зрения развития технологий и управления, спецификаций услуг, надзора и проверки, а также юридических обязанностей, а также установили базовые требования для принятия генеративных мер. ИИ: нормативно-правовая база.

Сценарии угроз безопасности ИИ

После понимания рисков безопасности, связанных с генеративным ИИ, ниже будет проанализировано, как возникают проблемы в более конкретных сценариях угроз безопасности, и исследовано тонкое влияние генеративного ИИ на безопасность предприятия.

1. Атаки социальной инженерии

Всемирно известный хакер Кевин Митник однажды сказал: «Самое слабое звено в цепи безопасности — это человеческий фактор». Распространенная тактика хакеров социальной инженерии — использовать приятные слова, чтобы обмануть корпоративных сотрудников, а появление генеративного искусственного интеллекта значительно облегчило атаки социальной инженерии. Генеративный ИИ может генерировать очень реалистичный фейковый контент, включая фейковые новости, фейковые публикации в социальных сетях, мошеннические электронные письма и т. д. Этот фейковый контент может вводить пользователей в заблуждение, распространять ложную информацию или заставлять сотрудников компаний принимать неверные решения. Генеративный ИИ может даже использоваться для синтеза звуков или видео, чтобы они выглядели реальными, что может быть использовано для совершения мошенничества или фальсификации доказательств. Бюро по расследованию киберпреступлений в сфере телекоммуникаций Бюро общественной безопасности города Баотоу объявило о случае мошенничества в сфере телекоммуникаций с использованием интеллектуальных технологий искусственного интеллекта.

2. Неумышленные нарушения со стороны сотрудников

Многие производители технологий начали активно продвигать направление генеративного ИИ и интегрировать большое количество функций генеративного ИИ в продукты и услуги. Сотрудники могли случайно использовать продукты генеративного искусственного интеллекта, не внимательно прочитав условия использования перед их использованием. Когда сотрудники предприятия используют генеративный искусственный интеллект, они могут вводить контент, содержащий конфиденциальную информацию, например финансовые данные, материалы проекта, секреты компании и т. д., что может привести к утечке конфиденциальной информации предприятия. Чтобы предотвратить утечку конфиденциальной корпоративной информации с помощью генеративного ИИ, компаниям необходимо принять комплексные меры безопасности: в том числе усовершенствовать технологию защиты от утечки данных и ограничить поведение сотрудников в Интернете; в то же время им необходимо провести обучение сотрудников по безопасности для улучшенияБезопасность данныхбдительность и конфиденциальность и т. д. Как только нарушение сотрудника обнаружено, компании необходимо немедленно оценить последствия и принять своевременные меры.

3. Неизбежная дискриминация и предрассудки

Причина, по которой ИИ может иметь дискриминацию и предвзятость, в основном связана с характеристиками его обучающих данных и конструкции модели. Данные обучения из Интернета отражают реальные предубеждения, включая расу, пол, культуру, религию и социальный статус. Во время обработки данных обучения могут отсутствовать адекватные меры проверки и очистки для исключения предвзятых данных. Аналогичным образом, недостаточное внимание может уделяться снижению предвзятости при разработке моделей и выборе алгоритмов для генеративного ИИ. Алгоритмические модели фиксируют отклонения в обучающих данных во время процесса обучения, в результате чего сгенерированный текст оказывается таким же предвзятым. Хотя устранение предвзятости и предвзятости в генеративном искусственном интеллекте является сложной задачей, компании могут предпринять шаги, чтобы смягчить ее последствия3.

4. Компромисс в вопросах защиты конфиденциальности

В процессе использования продуктов ИИ, чтобы обеспечить эффективную автоматизацию и персонализированные услуги, компании и частные лица могут пойти на некоторые компромиссы в вопросах защиты конфиденциальности и позволить ИИ собирать некоторые личные данные. Помимо того, что пользователи раскрывают ИИ контент личной конфиденциальности во время использования, ИИ может также анализировать вводимые пользователем данные и использовать алгоритмы для определения личной информации, предпочтений или поведения пользователя, что еще больше нарушает конфиденциальность пользователя. Десенсибилизация и анонимизация данных являются распространенными мерами защиты конфиденциальности, но они могут привести к потере части информации о данных, тем самым снижая точность сгенерированной модели.Необходимо найти баланс между защитой личной конфиденциальности и качеством создаваемого контента. Как поставщик ИИ, вы должны предоставить пользователям прозрачное заявление о политике конфиденциальности, чтобы информировать их о сборе, использовании и обмене данными, чтобы пользователи могли принимать обоснованные решения.

5. Мегатенденции в соблюдении нормативных требований

В настоящее время риски соблюдения законодательства, с которыми сталкивается ИИ, в основном связаны с такими аспектами, как «незаконный контент» и «нарушение прав интеллектуальной собственности». При отсутствии контроля ИИ может генерировать незаконный или неприемлемый контент, который может включать в себя оскорбления, клевету, порнографию, насилие и другие незаконные или незаконные элементы; с другой стороны, генеративный ИИ может основываться на существующем контенте, защищенном авторским правом. может привести к нарушению прав интеллектуальной собственности. Предприятия, использующие генеративный ИИ, должны проводить проверки соответствия, чтобы гарантировать, что их приложения соответствуют соответствующим нормам и стандартам, и избежать ненужных юридических рисков. Предприятия должны сначала оценить, соответствуют ли используемые ими продукты положениям «Временных мер по управлению услугами генеративного искусственного интеллекта». В то же время им необходимо уделять пристальное внимание обновлениям и изменениям в соответствующих нормативных актах и своевременно вносить коррективы. для обеспечения соблюдения. Когда компании используют генеративный ИИ с поставщиками или партнерами, им необходимо уточнить права и обязанности каждой стороны и оговорить соответствующие обязательства и ограничения в контракте.

Как бороться с рисками и проблемами ИИ

Пользователи или корпоративные сотрудники должны понимать, что, пользуясь различными удобствами, предоставляемыми ИИ, им все равно необходимо усилить защиту конфиденциальной информации, такой как их личная конфиденциальность.

1. Избегайте утечки личной информации.

Прежде чем использовать продукты искусственного интеллекта, сотрудники должны убедиться, что поставщик услуг будет разумно защищать конфиденциальность и безопасность пользователей, внимательно прочитать политику конфиденциальности и условия пользователя и выбрать надежного поставщика, который был максимально проверен общественностью. Старайтесь избегать ввода личных данных о конфиденциальности во время использования. Используйте виртуальные идентификаторы или анонимную информацию в сценариях, где реальная идентификационная информация не требуется. Любые возможные конфиденциальные данные должны быть нечеткими перед вводом. В Интернете, особенно в социальных сетях и на общественных форумах, сотрудникам следует избегать чрезмерного раскрытия личной информации, такой как имена, адреса, номера телефонов и т. д., а также не допускать легкого раскрытия информации на общедоступных веб-сайтах и в их контенте.

2. Избегайте вводящего в заблуждение контента.

Эксперты отрасли также постоянно изучают, как избежать риска отравления данных. Важную информацию сотрудники должны проверять из нескольких независимых и заслуживающих доверия источников. Если одна и та же информация появляется только в одном месте, может потребоваться дополнительное расследование для подтверждения ее подлинности. Следите за тем, чтобы информация, указанная в результатах, была подкреплена вескими доказательствами. Если ей не хватает существенной основы, вам, возможно, придется относиться к этой информации со скептицизмом. Выявление дезинформации и предвзятости ИИ требует от пользователей поддерживать критическое мышление, постоянно повышать свою цифровую грамотность и понимать, как безопасно использовать его продукты и услуги.

Внедрение ИИ — это одновременно и возможность, и вызов для предприятий. Предприятиям необходимо учитывать общие риски и заранее принять некоторые стратегические меры реагирования.

1. Предприятиеинформационная безопасностьОцените или улучшите обороноспособность

Основной проблемой, стоящей перед предприятиями, остается защита от кибератак нового поколения, вызванных искусственным интеллектом. Главным приоритетом для предприятий является оценка текущего состояния сетевой безопасности, выяснение того, обладает ли предприятие достаточными возможностями обнаружения и защиты для борьбы с этими атаками, выявление потенциальных уязвимостей защиты сетевой безопасности и принятие соответствующих мер по усилению для активного реагирования. Для достижения вышеуказанных целей предприятиям рекомендуется проводить наступательные и оборонительные учения по противодействию, основанные на реальных сценариях угроз сетевых атак, то есть «красное и синее противостояние» сетевой безопасности. Заранее выявляйте возможные недостатки защиты сети от различных сценариев атак, а также комплексно и систематически устраняйте недостатки защиты, чтобы защитить ИТ-активы предприятия и безопасность данных.

2. Развертывание внутренней среды тестирования ИИ на предприятии.

Если вы хотите понять технические принципы ИИ и лучше контролировать результаты, полученные с помощью модели ИИ, компании могут рассмотреть возможность создания собственной среды тестирования ИИ внутри компании, чтобы предотвратить влияние неконтролируемых генеративных продуктов ИИ на корпоративные данные и потенциальную угрозу. Проводя тестирование в изолированной среде, компании могут гарантировать, что точные и объективные данные могут использоваться для разработки ИИ, а также более уверенно исследовать и оценивать производительность модели, не беспокоясь о риске утечки конфиденциальных данных. Изолированная среда тестирования также позволяет избежать отравления данных и других внешних атак на ИИ, сохраняя стабильность модели ИИ.

3. Разработать стратегию управления рисками для ИИ.

Предприятиям следует как можно раньше включить ИИ в целевую сферу управления рисками, а также соответствующим образом дополнять и модифицировать структуры и стратегии управления рисками. Проводить оценку рисков бизнес-сценариев с использованием ИИ, выявлять потенциальные риски и уязвимости безопасности, формулировать соответствующие планы рисков, а также уточнять меры реагирования и распределение ответственности. Создайте строгую систему управления доступом, чтобы только авторизованный персонал мог получить доступ и использовать продукты искусственного интеллекта, одобренные предприятием. В то же время поведение пользователей при использовании должно регулироваться, а корпоративные сотрудники должны быть обучены управлению рисками ИИ, чтобы повысить их осведомленность о безопасности и возможности реагирования. Предпринимателям также следует применять подход к обеспечению конфиденциальности при разработке приложений ИИ, чтобы дать понять конечным пользователям, как предоставляемые ими данные будут использоваться и какие данные будут сохраняться.

4. Сформировать специальную рабочую группу по исследованию ИИ.

Предприятия могут накапливать профессиональные знания и навыки внутри организации для совместного изучения потенциальных возможностей и рисков, связанных с технологией искусственного интеллекта, и приглашать к участию в рабочей группе членов, которые разбираются в смежных областях, включая экспертов по управлению данными, экспертов по моделям искусственного интеллекта, экспертов в области бизнеса, юристов. эксперты по комплаенсу и т.д. Руководство предприятия должно обеспечить, чтобы члены рабочей группы имели доступ к данным и ресурсам, которые им необходимы для изучения и экспериментирования, одновременно поощряя членов рабочей группы экспериментировать и проверять их в тестовых средах, чтобы лучше понять потенциальные возможности и бизнес-приложения ИИ. преимущества применения передовых технологий при балансировании рисков.

Заключение

Развитие и применение ИИ оказывают серьезное влияние на технологии, что может спровоцировать новую революцию в производительности. Искусственный интеллект — это мощная технология, которая сочетает в себе достижения в области глубокого обучения, обработки естественного языка и больших данных, позволяя компьютерным системам генерировать контент на человеческом языке. Предприятия и сотрудники должны контролировать эту мощную технологию и обеспечивать, чтобы ее разработка и применение осуществлялись в рамках правовой, этической и социальной ответственности. Это будет важным вопросом в будущем.