Институт безопасности искусственного интеллекта (ИИ) при правительстве Великобритании запускает новую платформу оценки безопасности ИИ

В пятницу британский Институт безопасности искусственного интеллекта выпустил Inspect - новую тестовую платформу, призванную улучшить мониторинг рисков безопасности продвинутых моделей искусственного интеллекта.

Профиль инспектора

Inspect - это инструмент тестирования с открытым исходным кодом, который можно использовать для оценки возможностей широкого спектра моделей ИИ, включая базовые знания, рассуждения и автономность. Будучи проектом с открытым исходным кодом, Inspect находится в свободном доступе для глобальногоСообщество ИИИспользуйте для содействия широкому сотрудничеству и применению.

Предпосылки и развитие

В октябре прошлого года Великобритания объявила о создании Института безопасности ИИ, который будет заниматься исследованием и тестированием новых моделей ИИ. В феврале этого года Великобритания выделила более 100 миллионов фунтов стерлингов на открытие девяти новых исследовательских центров и техническую подготовку специалистов по регулированию ИИ для решения проблем, возникающих в связи с быстро развивающимися технологиями ИИ.

Функция осмотра

В пресс-релизе британский Институт безопасности искусственного интеллекта рассказал о специфических возможностях Inspect. Представляя собой программную библиотеку, Inspect позволяет тестировщикам оценивать конкретные возможности отдельных моделей ИИ и генерировать оценки на основе полученных результатов. Платформа призвана решить существующую проблему "черного ящика" сложных моделей ИИ благодаря своей масштабируемости, позволяющей адаптировать и использовать новые методы тестирования.

Осмотр состоит из трех основных частей:

1. набор данных: Коллекция образцов, используемая для проведения оценочного теста.
2. решатель: Компоненты, выполняющие фактическую работу по тестированию.
3. устройство для подсчёта очков: Оцените результаты работы решателя, чтобы получить комплексную оценку производительности модели искусственного интеллекта.

Модульная конструкция обеспечивает гибкость Inspect, позволяя реагировать на различные потребности в тестировании и критерии оценки. Встроенные компоненты Inspect могут быть усовершенствованы и расширены за счет использования пакетов сторонних разработчиков, написанных на языке Python.

Значение и будущее развитие

По мере экспоненциального роста технологий ИИ в этом году на рынке появится все больше и больше моделей ИИ, что делает необходимость обеспечения безопасности ИИ как никогда актуальной. В настоящее время сравнительный анализ моделей ИИ остается сложной задачей, поскольку инфраструктура, данные для обучения и другие ключевые детали большинства сложных моделей ИИ часто держатся в секрете компаниями, которые их создают.

Выпуск Inspect с открытым исходным кодом демонстрирует уникальный талант Великобритании к инновациям и технологическим разработкам и закрепляет лидерство Соединенного Королевства в области безопасности ИИ, по словам министра науки Великобритании Мишель Донелан. Ян Хогарт, председатель Института безопасности искусственного интеллекта, добавил, что успехТестирование безопасности с помощью искусственного интеллектаСуществует потребность в общих, доступных методах оценки, и он надеется, что Inspect станет краеугольным камнем для институтов безопасности ИИ, исследовательских организаций и научных кругов.

Запустив Inspect, британский Институт безопасности ИИ продемонстрировал свое лидерство и инновации в области безопасности ИИ и рассчитывает, что эта платформа обеспечит мощную поддержку глобальным исследованиям в области безопасности ИИ.

Проверьте инструменты с открытым исходным кодом

https://ukgovernmentbeis.github.io/inspect_ai/

https://github.com/UKGovernmentBEIS/inspect_ai

Чтобы разработать Inspect, клонируйте репозиторий и установите его, используя дополнительные зависимости flag-e и [dev]:

$ git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
$ cd inspect_ai
$ pip install -e ". [dev]"

Если вы используете VS Code, вам следует убедиться, что установлены рекомендуемые расширения (Python, Ruff и MyPy). Обратите внимание, что вам будет предложено установить эти файлы, когда вы откроете свой проект в VS Code.