英国政府の人工知能（AI）安全研究所が新しいAI安全評価プラットフォームを発表

金曜日、英国の人工知能セキュリティ研究所（Institute for Artificial Intelligence Security）は、高度なAIモデルのセキュリティリスク監視を改善するために設計された新しいテストプラットフォーム「Inspect」を発表した。

プロフィールを見る

Inspectは、コア知識、推論、自律性など、幅広いAIモデルの能力を評価するために使用できるオープンソースのテストツールです。オープンソースプロジェクトとして、Inspectはグローバルで自由に利用できます。AIコミュニティ広範な協力と応用を促進するために使用する。

背景と展開

英国は昨年10月、新しいAIモデルの研究とテストに焦点を当てた「AI安全研究所」の設立を発表した。今年2月、英国はさらに、急速に進化するAI技術がもたらす課題に対処するため、9つの新しい研究センターの立ち上げとAI規制当局の技術トレーニングに1億ポンド以上を拠出することを決定した。

検査機能

英国人工知能安全研究所はプレスリリースの中で、Inspectの具体的な機能について説明している。ソフトウェア・ライブラリとして、Inspectはテスターが個々のAIモデルの特定の能力を評価し、その結果に基づいてスコアを生成することを可能にする。このプラットフォームは、新しいテスト技法に適応し、それを受け入れる拡張性によって、複雑なAIモデルの現在の「ブラックボックス」問題に対処するように設計されている。

インスペクトは3つの基本部分から構成されている：

1. データセット評価テストに使用されるサンプルコレクション。
2. ソルバー実際の試験作業を行うコンポーネント。
3. 得点装置AIモデルの性能に関する包括的な評価を生成するために、ソルバーの作業成果を評価する。

このモジュール設計により、Inspectはさまざまなテストニーズや評価基準に柔軟に対応することができます。Inspectの組み込みコンポーネントは、Pythonで記述されたサードパーティのパッケージを使用することで、さらに強化・拡張することができます。

重要性と今後の展開

AI技術の飛躍的な発展に伴い、今年はますます多くのAIモデルが市場に出回ることになり、AIセキュリティの強化がこれまで以上に急務となっている。ほとんどの複雑なAIモデルのインフラ、学習データ、その他の重要な詳細は、AIモデルを作成する企業によって秘密にされていることが多いため、現在、AIモデルのベンチマークは依然として困難である。

ミシェル・ドネラン英国科学大臣は、インスペクトのオープンソースリリースは、革新と技術開発における英国のユニークな才能を実証し、AIの安全性における英国のリーダーシップを確固たるものにすると述べた。人工知能セキュリティ研究所のイアン・ホガース会長は、インスペクトの成功について次のように付け加えた。AIセキュリティテスト彼は、インスペクトがAIセキュリティ研究機関、研究組織、学界の礎石になることを望んでいる。

インスペクトの立ち上げにより、英国AI安全研究所はAI安全分野におけるリーダーシップと革新性を実証し、このプラットフォームが世界のAI安全研究を強力にサポートすることを期待している。

オープンソースツールの検査

https://ukgovernmentbeis.github.io/inspect_ai/

https://github.com/UKGovernmentBEIS/inspect_ai

Inspectを開発するには、リポジトリをクローンし、flag-eと[dev]オプションの依存関係を使用してインストールします：

$ git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
$ cd inspect_ai
$ pip install -e ".[dev]"

VS Codeを使用している場合は、推奨される拡張機能（Python、Ruff、MyPy）がインストールされていることを確認してください。VS Codeでプロジェクトを開くと、これらのファイルをインストールするよう促されますので注意してください。