AIGC AIセーフティ・レポート2024

01 AIGCの背景

自然言語処理(NLP)はAIに理解と生成の権限を与え、大規模な事前学習モデルはNLPの開発トレンドです。NLPの2つのコアタスクは自然言語理解(NLU)と自然言語生成(NLG)であり、ChatGPTはNLPの開発におけるマイルストーンモデルの1つです。ChatGPTはGPT-3.5シリーズのモデルを微調整してOpenAIが生成したチャットボットモデルで、人間の言葉を学習・理解して対話を行うことができ、チャットのコンテキストに応じて対話することで、本当に人間のようにチャットやコミュニケーションを行うことができ、メールを書くこともできます。ChatGPTはGPT-3.5シリーズをOpenAIがファインチューニングしたチャットボットモデルで、人間の言葉を学習・理解して対話を行うことができ、さらにチャットの文脈に応じて対話し、真に人間のようにチャットやコミュニケーションを行い、メールやビデオスクリプト、コピーライティング、翻訳、コーディングなどのタスクまでこなすことができる。 ChatGPTの突然の爆発は、AIが一夜にして0.1歳の子供から3歳の子供になったことを示している。将来は、人間の子供の成長期と同じように、時間の経過とともに、超ディープモデルの学習能力がより強く、より賢くなることが予想される。 AIディープラーニングは、アルゴリズム、データから基礎となる演算能力のサポートに至るまで、成長のボトルネックを突破しており、要するに、技術的な問題はすべて解決されている。今後、AI分野は急速な発生・成長期を迎え、AIは3歳の子どもから8歳、さらには18歳まで急速に学習できるようになるだろう。 よりスマートな技術の背後にあるセキュリティー問題はますます憂慮すべきものとなっており、技術の制御を失った場合の結果は破壊的で破壊的なものとなるだろう。したがって、ディープラーニングモデルに基づくAI技術やアプリケーションを開発する際には、チェーン全体から生じる新たなセキュリティ問題を事前に考慮する必要がある。 過去の研究経験によると、AIがもたらす新たなセキュリティ問題には、主に以下の方向性が含まれる。

1.1 AI技術のフレームワーク確実性

AIGCによって生成されたすべてのアプリケーションは、単一のイノベーションではなく、過去に様々なディープラーニングモデル、オープンソースフレームワーク、アルゴリズムの最適化に基づいて、全体的な組み合わせを行っていることが分かっている。全体の組み立てプロセスには、さまざまなオープンソースのフレームワーク、ミドルウェア、アルゴリズムなどが関わっている。これらのフレームワークやミドルウェアは、様々なセキュリティ問題を抱えている可能性がある。例えば、最近懸念されているLangchainフレームワークのプロンプト・インジェクションのセキュリティ問題などです。 これらのフレームワークやアルゴリズムを研究し、技術の根底からセキュリティ問題をできるだけ回避することは、AIGCリンクのセキュリティ問題を解決するための重要な方向性の一つです。

1.2 AIGCコンテンツ・セキュリティ

AIGCは、大規模な言語モデルを通じて多種多様なコンテンツを出力するように学習する。このコンテンツのコンプライアンスは、セキュリティ・コンプライアンスの大きな課題である。研究の方向性は主に2つある。 いわゆるコンテンツ・コンプライアンス問題とは、AIGCがコンテンツを生成する際に、その国の様々な規制要件を満たす必要があるというものである。例えば、中傷的な政治的人物の画像、宗教的な色彩のあるコンテンツ、ポルノグラフィのグラフィックなどは出力できない。 すべてのコンテンツ生成と最終出力は厳密にフィルタリングされなければならない。現在、ChatGPT-4のような強力なアプリケーションでさえ、出力プロセスにおいて85%程度のコンテンツセキュリティフィルタリングしか実現できません。しかし、セキュリティは0か1のゲームであり、自国の規制方針におけるコンプライアンス上の問題に直面したAIGCアプリケーションは、天文学的な罰金に直面するか、サービスを停止するためにオフラインにされる可能性さえある。 倫理的安全問題 倫理的セキュリティの問題は、AIが誕生した当初から議論されてきた。かつてAIがまだ黎明期にあり、ほとんどの人がその成長についてほとんど知らなかった頃、この問題に関する議論は理論や会議の中だけに限られていた。 ChatGPTが一夜にして成功を収めたことで、AIが誕生して3年が経過したことを誰もが認識するようになった。倫理的セキュリティはもはやオプションの問題ではなく、緊急に向き合わなければならないテーマなのだ。

1.3  データセキュリティ

AIの急速な発展はコーパスとなる大量のデータなしには達成できず、LLMの学習にはパラメータ調整の基礎となる大量のデータが必要である。いくつかの既知のAIGCモデルのデータは数千億のパラメータであり、そのデータ量は50TB以上である。 日常的な使用において、多数の企業や政府が意図的または非意図的に機密データをこれらのAIGCモデルに転送する可能性がある。加えて、これらのAIGC自身のセキュリティ上の問題は、企業の中核データが流出しないことを保証することを困難にするリスクをもたらす。 このような規模のデータ漏洩は、組織にとって致命的となりうる。プロの攻撃者であろうと、政治的な動機に基づく利害関係者であろうと、この規模のデータ漏洩は、データ提供者に深刻な金銭的・物理的被害さえもたらす可能性がある。

1.4 国内規制政策

国家は常に次のことを重要視してきた。サイバーセキュリティ近年、関連する規制政策が導入されている。サイバーセキュリティ中華人民共和国法 データセキュリティ法さらに、中国共産党中央委員会と国務院は、「中国デジタル建設全体配置計画」、「インターネット情報サービスのアルゴリズム勧告に関する管理規定」、「ネットワークセキュリティ審査弁法」、「インターネット情報サービスのアルゴリズム勧告に関する管理規定」、「インターネット情報サービスの綿密な総合に関する管理規定」を発表した。中国共産党中央委員会と国務院が最近発表した「中国デジタル化建設の全体配置計画」では、信頼性が高くコントロール可能なデジタルセキュリティバリアの構築を強化する必要性が再び強調されている。サイバーセキュリティを効果的に保護し、サイバーセキュリティを向上させる法規制AIGCの急速な発展は、同時に深化する課題ももたらす。 第一に、情報変異の複雑さがさらに増している。例えば、敏感な変化語の変異を通じてコンテンツ規制を回避したり、画像や音声・映像のダイナミックな変化を通じてコンテンツ検出を回避したりする。第二に、マルチモーダルコンテンツの相互変換の挑戦がますます深刻になっており、コンテンツセキュリティにさらに高いレベルの挑戦をもたらす。第三に、コンテンツ制作の急増により、コンテンツセキュリティに対する監査作業量、想起率、正確さの要求が徐々に増加している。第三に、コンテンツ制作の急増により、コンテンツセキュリティの監査作業量、想起率、正確さの要求が徐々に高まっている。 4月11日、国家インターネット情報弁公室は、「コンテンツのセキュリティと安全性」に関する報告書を発表した。生成人工知能(以下「管理策」という。）管理措置は、生成的な魚種を使用することを明確に提案している。AI生成されるコンテンツは真実かつ正確であるべきであり、虚偽情報の生成を防止する措置を講じるべきである。 上述の行政弁法によると、ジェネレーティブAI製品またはサービスの提供は、法律法規の要求を遵守し、社会道徳、公序良俗を尊重し、以下の要件を満たさなければならない。

• 生成AIが生成するコンテンツは、社会主義の中核的価値観を体現するものでなければならず、国家権力を転覆させるもの、社会主義体制を転覆させるもの、分離独立を扇動するもの、国民の団結を損なうもの、テロリズムを助長するもの、過激主義、民族憎悪、民族差別、暴力、わいせつ・ポルノ情報、虚偽情報、経済秩序や社会秩序を混乱させるようなコンテンツを含んではならない。
• アルゴリズムの設計、学習データの選択、モデルの生成と最適化、サービスの提供において、人種、民族、信仰、国、地域、性別、年齢、職業などによる差別を防止するための措置。
• 知的財産権とビジネス倫理を尊重し、アルゴリズム、データ、プラット フォーム、その他の利点を利用して不正競争を行わない。
• ジェネレーティブAIを用いて生成されたコンテンツは真実かつ正確であるべきであり、虚偽の情報が生成されないような対策を講じるべきである。
• 他者の正当な利益を尊重し、他者の心身の健康被害、肖像権・名誉権・プライバシー権の毀損、知的財産権の侵害を防止する。個人情報、プライバシー、企業秘密の不正な取得、開示、利用を禁止する。

一方、行政措置は、プログラマブルインタフェースを提供する等して、他者による独自のテキスト、画像及び音声の生成を支援するものを含め、生成AI製品を用いてチャット及びテキスト、画像及び音声の生成サービスを提供する組織及び個人（以下「提供者」という）は、当該製品によって生成されるコンテンツの制作者としての責任を負い、個人情報が関係する場合には、個人情報の処理者としての法的責任を負い、個人情報保護義務を履行しなければならないと指摘している。個人情報が含まれる場合、提供者は個人情報の処理者として法的責任を負い、個人情報保護義務を履行しなければならない。 また、行政措置は、生成AI製品で公衆にサービスを提供する前に、提供者は「世論属性または社会動員能力を有するインターネット情報サービスの安全性評価に関する規定」に基づき、国家ネット情報部門に安全性評価を申告し、「インターネット情報サービスのアルゴリズム推薦管理に関する規定」に基づき、アルゴリズム推薦および申請変更・取消手続きを行わなければならないと指摘している。 プロバイダは、生成人工知能によって生成されたコンテンツを科学的に理解し、合理的に利用できるよう利用者を指導するものとし、生成されたコンテンツを利用して、他人のイメージ、名誉、その他の正当な権利や利益を毀損したり、商業的な投機や不適切なマーケティングを行ってはならない。利用者は、生成されたコンテンツが行政措置の要求を満たしていないことを発見した場合、ネット情報部門または関連主管部門に通報する権利を有する。

1.5 海外の規制政策

グローバルAI規制AIはまだ試行段階であり、関連する法律、規制、指針は徐々に進展している。 EUは、AIシステムを効果的に規制する努力を行っている。EU域内では、（1）AI法（2）AI責任指令（3）製造物責任指令（ソフトウェア規制）（4）デジタルサービス法（DSA）（5）デジタル市場法（DMA）、といった包括的な規制法的手段が確立されている。また、EUの無差別法とデータ保護法は、引き続きAIシステムに適用される。 しかし、EUのAI規制は、ChatGPTやStable Diffusionのような、コミュニケーション、イラストレーション、創作の方法を急速に変えつつある新世代の「大規模生成AIモデル」ではなく、主に従来のAIモデルに焦点を当てている。 デジタルサービス法（DSA）は、有害な言論に対抗するためのEUの主要な手段である。有害な言論に対抗するためのEUの主要な手段であるデジタルサービス法（DSA）は、大規模生成AIモデル（LGAIM）には適用されず、危険な規制の抜け穴を作っている。 EUの業界責任者であるティエリー・ブルトン氏は2023年2月3日、ChatGPTとAIシステムがもたらすリスクは、同氏が昨年提起したルール作りの緊急の必要性を浮き彫りにするものであり、欧州委員会は理事会および欧州議会と緊密に協力し、AI法案における汎用AIシステムに関する規則をさらに明確にしていくと述べた。 2023.2.7 この問題に詳しい情報筋によると、EUの議員たちは今年3月中にAI法案の草案に合意し、年内にEU加盟国との合意に達することを目標としている。しかし、この法案には議員からも消費者団体からも批判の声が上がっており、ChatGPTの問題も相まって、当初考えられていたよりも少し時間がかかっている。 現在の調査によると、EUの法律がChatGPTが提起した問題に立ち向かうには、定義や規制の種類の一部を修正するのに時間がかかると思われる。「大規模生成AIモデル」の導入者や利用者に対する直接的な規制を追加し、（1）透明性に関する問題の規制（2）リスク管理（「リスク管理」）（3）「大規模生成AIモデル」に適用される無差別条項）（4）「大規模生成AIモデル」の利用に関する規制。(3)「大規模生成AIモデル」の開発者に適用される無差別条項 (4)コンテンツ別の審査規則。 3月29日、英国政府の科学技術革新省はAI業界向けの白書を発表し、規制当局に対し、AIの実用化に向けて状況に応じたアプローチを提案するよう求めた。3月30日、米国連邦取引委員会は、人工知能・デジタル政策センターからOpenAIとその製品に関する調査を要請する新たな報告書を受領。イタリアのDPAは、ChatGPTがEUの一般データ保護規則（GDPR違反が確認された場合、データ処理業者の全世界の年間売上高の最大4%の罰則を課す汎EU規制）に違反した可能性があると発表。 米商務省は4月11日、新しいAIモデルがリリース前に認証プロセスを受けるべきかどうかを含め、大規模なAIモデルに関する説明責任措置について60日間の正式なパブリックコメント期間を設けた。これは、ChatGPTの潜在的なリスクに対する世界的な懸念がイタリアやドイツなどでChatGPTの規制強化が計画されていることを受けたものである。

2.1 AIGC

AIGCとは、人工知能技術を使ってコンテンツを生成することである。これまでのWeb1.0やWeb2.0時代のUGC（User Generated Content）やPGC（Professional Generated Content）に比べ、AIによるコンテンツの概念化を表すAIGCは、コンテンツ制作のあり方に新たな変化をもたらすものであり、AIGCコンテンツはWeb3.0時代にも飛躍的な成長を遂げるだろう。

2.2 プロンプト

AIGCアプリケーションのバックエンドにあるモデルに、私たちが望む結果を出力させるために、AIに指示を与えるために使われる様々なキーワードやフレーズをプロンプトと呼びます。以下は、プロンプトの構成要素の一部です：

• 性格
• 指示/タスク
• 課題
• (ぶんみゃく
• 例（数ショット）

2.3 chatgpt

Generative Pre-trained Transformerの略。 ChatGPTはLarge Language Models (LLMs)と呼ばれる機械学習の自然言語処理モデルを拡張したものである。 LLMは大量のテキストデータを読み込んで学習し、テキスト内の単語間の関係を推測することができる。LLMは、計算能力の進歩に伴い、ここ数年で進化してきた。 入力データセットとパラメータ空間が増えるにつれて、LLMの能力も向上している。 GPTファミリーとBERTモデルは、Transformer技術に基づくよく知られたNLPモデルである。GPT-1のTransformer層は12層しかなかったが、GPT-3では96層に増えた。 InstructGPT/GPT3.5（ChatGPTの前身）とGPT-3の主な違いは、RLHF（Reinforcement Learning from Human Feedback）と呼ばれる新しいパラダイムが追加されたことです。このトレーニングパラダイムは、モデルの出力に対する人間のモデレーションを強化し、より理解しやすい結果の順序付けを提供します。

2.4 ChatGPTテクニカル・アーキテクチャ