AIの波が企業セキュリティに与える影響

今日のデジタル世界では、AI(AI) テクノロジーの急速な発展は、企業の革新と発展をリードしています。特に、自然言語生成 (NLG) システム、画像合成、ビデオ合成などの生成 AI 製品の波は、企業の業務運営とユーザー エクスペリエンスを変えています。ただし、この波はセキュリティ上のリスクや課題ももたらします。私たちは、生成型 AI 製品の波が企業のセキュリティに及ぼす影響を調査し、対応する対応戦略を提供します。

1. サイバー攻撃の脅威が激化

AIが削減されましたハッカー参入障壁。ハッカーは生成 AI を使用して、さまざまなネットワーク攻撃手法を迅速に統合し、攻撃手法を便利に「武器化」し、革新的な攻撃手法を実現できる可能性があります。プライスウォーターハウスクーパースサイバーセキュリティチームは、ChatGPT の普及と一致して、顧客が受信するフィッシングメールなどのソーシャル エンジニアリング攻撃がここ数カ月で大幅に増加していることを明らかに観察しており、ChatGPT は、よりわかりにくいフィッシング Web サイトのバッチ生成にも使用されていることが判明しました。

2. 企業の機密データの漏洩

セキュリティの専門家企業の機密データの漏洩の可能性を懸念しており、従業員の不適切な入力行為により、生成 AI 製品のデータベースに機密データが保持される可能性があります。 OpenAI のプライバシー ポリシーには、ChatGPT の使用時にユーザーが入力したコンテンツが AI アルゴリズム モデルのトレーニングに使用されることが示されています。さらに、ChatGPT はオープンソース ライブラリの脆弱性により、一部のユーザーが他のユーザーの会話履歴のタイトルを閲覧できるなど、深刻なセキュリティ問題にさらされています。現在、Amazon や Microsoft などの多くのテクノロジー大手は、ChatGPT で機密データを共有しないよう従業員に注意を喚起しています。

3. AI中毒のリスク

AI が直面する一般的なセキュリティ脅威は、トレーニング データとモデルのポイズニングであり、悪意のあるデータは AI アルゴリズムの結果に悪影響を及ぼします。運用管理が AI に大きく依存している場合、重要な問題に関して誤った決定が下される可能性があります。一方で、生成 AI には潜在的な「バイアス」の問題もあります。多くの著名な専門家や学者が参加した「AI に毒を 100 本」キャンペーンと同様に、企業は AI を開発または使用する際に、AI ポイズニングの脅威に積極的かつ戦略的に対応する必要があります。

4. プライバシー保護の問題

AI の事前トレーニング段階では大量のデータ収集とマイニングが必要ですが、これには顧客や従業員の多くの個人情報が含まれる可能性があります。 AI がこの個人情報を適切に保護および匿名化できない場合、プライバシーの漏洩につながる可能性があり、この個人情報はユーザーの行動の分析や推測に悪用される可能性もあります。たとえば、モバイル アプリケーション市場には画像生成ソフトウェアが氾濫しており、ユーザーは自分の複数のアバターをアップロードするだけで、さまざまなシーンやテーマの合成写真を生成できます。しかし、これらのユーザーがアップロードしたアバターをソフトウェア会社がどのように使用するのか、またそれがプライバシー保護やその他のセキュリティ上のリスクをもたらすのかどうかについては、注目と対応に値します。

5. エンタープライズセキュリティコンプライアンスのリスク

効果的な管理手段がなければ、AI 製品の大量導入はセキュリティ コンプライアンスの問題につながる可能性があり、これは企業のセキュリティ管理者にとって間違いなく大きな課題です。これは中国サイバースペース局によって審査および承認され、国家発展改革委員会や教育省を含む6つの部門によって承認されました。生成人工知能サービス管理に関する暫定措置は、2023 年 8 月 15 日に正式に施行されました12。この措置では、技術開発とガバナンス、サービス仕様、監督と検査、および法的責任の観点から基本的な要件が提示され、生成的なサービスの導入に関する基本的なコンプライアンスが確立されました。 AI の規制枠組み。

AI セキュリティ脅威シナリオ

生成 AI によってもたらされるセキュリティ リスクを理解した後、以下では、より具体的なセキュリティ脅威シナリオで問題がどのように発生するかを分析し、生成 AI が企業のセキュリティに与える微妙な影響を検討します。

1. ソーシャルエンジニアリング攻撃

世界的に有名なハッカー、ケビン・ミトニックはかつてこう言いました。「セキュリティチェーンの最も弱い部分は人材要素です。」ソーシャル エンジニアリング ハッカーの一般的な戦術は、甘い言葉を使って企業従業員を騙すことですが、生成 AI の出現により、ソーシャル エンジニアリング攻撃が大幅に促進されました。生成 AI は、フェイク ニュース、偽のソーシャル メディア投稿、詐欺メールなどを含む、非常に現実的な偽のコンテンツを生成できます。これらの偽のコンテンツは、ユーザーを誤解させたり、誤った情報を広めたり、企業従業員をだまして誤った意思決定をさせたりする可能性があります。生成 AI は、音やビデオを合成して本物のように見せかけることにも使用でき、詐欺や証拠の改ざんに使用される可能性があります。包頭市公安局電気通信サイバー犯罪捜査局は、知能型AI技術を利用した通信詐欺事件を発表、犯人はAI顔変更技術を利用し、10分間で430万元をだまし取った。

2.従業員の故意でない違反行為

多くのテクノロジー メーカーは、生成 AI トラックを積極的にレイアウトし、多数の生成 AI 機能を製品やサービスに統合し始めています。従業員が生成 AI 製品を使用する前にユーザー利用規約をよく読まずに、誤って使用した可能性があります。企業の従業員が生成 AI を使用する場合、財務データ、プロジェクト資料、企業秘密などの機密情報を含むコンテンツを入力する可能性があり、企業の機密情報の漏洩につながる可能性があります。企業は、生成型 AI による企業の機密情報の漏洩を防ぐために、情報漏洩防止技術の強化や従業員のオンライン行動の制限など、総合的なセキュリティ対策を講じるとともに、従業員向けのセキュリティ研修を実施して改善を図る必要があります。データセキュリティ秘密厳守など。従業員の違反が発見されたら、企業は直ちに影響を評価し、タイムリーな措置を講じる必要があります。

3. 避けられない差別や偏見

AI が差別や偏見を持つ理由は、主にその学習データとモデル設計の特性によるものです。インターネットからのトレーニング データには、人種、性別、文化、宗教、社会的地位などの現実世界のバイアスが反映されています。トレーニング データの処理中に、偏ったデータを除外するための適切なスクリーニングおよびクリーニング手段が講じられていない可能性があります。同様に、生成 AI のモデル設計とアルゴリズム選択におけるバイアスを減らすことにも十分な注意が払われていない可能性があります。アルゴリズム モデルは学習プロセス中にトレーニング データのバイアスを捕捉し、生成されたテキストにも同様のバイアスが生じます。生成 AI におけるバイアスとバイアスを排除することは複雑な課題ですが、それを軽減するために企業が講じることができる手順があります3。

4. プライバシー保護の侵害

AI 製品を使用する過程で、効率的な自動化とパーソナライズされたサービスを追求するために、企業や個人はプライバシー保護にある程度の妥協をし、AI による一部の個人データの収集を許可する場合があります。ユーザーが使用中に個人のプライバシー コンテンツを AI に開示することに加えて、AI はユーザー入力を分析し、アルゴリズムを使用してユーザーの個人情報、好み、または行動を推測し、ユーザーのプライバシーをさらに侵害する可能性があります。データの感度解除と匿名化は一般的なプライバシー保護手段ですが、データ情報の一部が失われる可能性があり、生成されたモデルの精度が低下するため、個人のプライバシー保護と生成されたコンテンツの品質との間のバランスを見つける必要があります。 AI プロバイダーとして、ユーザーが情報に基づいた意思決定を行えるように、データの収集、使用、共有について透明性の高いプライバシー ポリシー ステートメントをユーザーに提供する必要があります。

5. 規制遵守におけるメガトレンド

現時点でAIが直面する法令順守リスクは、主に「違法コンテンツ」や「知的財産侵害」などの側面に起因する。監督がない場合、AI は、侮辱、中傷、ポルノ、暴力、その他の違法または違法な要素を含む違法または不適切なコンテンツを生成する可能性がありますが、一方で、生成 AI は既存の著作権で保護されたコンテンツに基づいている可能性があります。知的財産権の侵害につながる可能性があります。生成 AI を使用する企業は、アプリケーションが関連する規制や標準に準拠していることを確認し、不必要な法的リスクを回避するために、コンプライアンス レビューを実施する必要があります。企業は、自社が使用する製品が「生成型人工知能サービスの管理に関する暫定措置」の規定に準拠しているかどうかをまず評価するとともに、関連法規の更新や変更に細心の注意を払い、適時に調整する必要があります。コンプライアンスを確保するため。企業がサプライヤーやパートナーと生成 AI を使用する場合、各当事者の権利と責任を明確にし、対応する義務と制限を契約で規定する必要があります。

AIのリスクと課題にどう対処するか

ユーザーや企業従業員は、AIによってもたらされるさまざまな利便性を享受しながらも、個人のプライバシーなどの機密情報の保護を強化する必要があることを認識する必要があります。

1.個人のプライバシーの漏洩を避ける

AI 製品を使用する前に、従業員はサービス プロバイダーがユーザーのプライバシーとセキュリティを合理的に保護していることを確認し、プライバシー ポリシーとユーザー規約を注意深く読み、可能な限り公衆によって検証された信頼できるプロバイダーを選択する必要があります。使用中に個人のプライバシー データを入力しないようにしてください。実際の ID 情報が必要ないシナリオでは、仮想 ID または匿名情報を使用してください。機密データの可能性がある場合は、入力前にあいまい化する必要があります。インターネット、特にソーシャル メディアや公共のフォーラム上では、従業員は名前、住所、電話番号などの個人情報を過度に共有することを避け、一般にアクセス可能な Web サイトやコンテンツに情報を簡単に公開しないようにする必要があります。

2. 誤解を招く生成コンテンツを避ける

AI の技術原理には限界があるため、その結果には誤解を招くものや偏ったものは避けられず、業界の専門家もデータポイズニングのリスクを回避する方法を常に研究しています。重要な情報については、従業員は複数の独立した信頼できる情報源から情報を確認する必要があります。同じ情報が 1 か所のみに表示される場合は、その信頼性を確認するためにさらに調査が必要になる場合があります。結果に記載されている情報が確固たる証拠によって裏付けられているかどうかを確認し、実質的な根拠が欠如している場合は、その情報を懐疑的に扱う必要があるかもしれません。 AI の誤った情報と偏見を特定するには、ユーザーが批判的思考を維持し、デジタル リテラシーを継続的に向上させ、その製品とサービスを安全に使用する方法を理解する必要があります。

個人ユーザーのオープンな姿勢に比べ、企業は依然として AI の登場を待ち望んでおり、AI の導入は企業にとってチャンスであると同時に課題でもあります。企業は全体的なリスクを考慮し、事前に対応戦略を講じる必要があります。その提案は次のとおりです。

1. エンタープライズサイバーセキュリティ防御能力を評価または改善する

企業が直面している主な課題は、AI によってもたらされる次世代サイバー攻撃をどのように防御するかということです。企業にとっての最優先事項は、現在のネットワーク セキュリティの状態を評価し、企業がこれらの攻撃に対処するのに十分なセキュリティ検出および防御能力を備えているかどうかを明らかにし、潜在的なネットワーク セキュリティ防御の脆弱性を特定し、対応する強化措置を講じて積極的に対応することです。上記の目標を達成するために、企業は、これらの実際のネットワーク攻撃脅威シナリオ、つまりネットワーク セキュリティの「赤と青の対決」に基づいて攻撃的および防御的な対決訓練を実施することが推奨されます。さまざまな攻撃シナリオから潜在的なネットワーク セキュリティ防御の欠陥を事前に発見し、包括的かつ体系的に防御の欠陥を修復して、企業の IT 資産とデータ セキュリティを保護します。

2. 企業内に社内 AI テスト環境を導入する

AI の技術原理を理解し、AI モデルによって生成される結果をより適切に制御したい場合、企業は、制御不能な生成 AI 製品が企業データに影響を与えることを防ぐために、社内に独自の AI サンドボックス テスト環境を確立することを検討できます。隔離された環境でテストすることにより、企業は正確で偏りのないデータを AI 開発に使用できることを保証でき、機密データ漏洩のリスクを心配することなく、モデルのパフォーマンスをより自信を持って調査および評価できるようになります。隔離されたテスト環境は、AI に対するデータポイズニングやその他の外部攻撃を回避し、AI モデルの安定性を維持することもできます。

3. AI のリスク管理戦略を確立する

企業は、できるだけ早くリスク管理の対象範囲に AI を組み込み、それに応じてリスク管理のフレームワークと戦略を補足および変更する必要があります。 AIを活用してビジネスシナリオのリスク評価を実施し、潜在的なリスクやセキュリティ脆弱性を特定し、対応するリスク計画を策定し、対応策や責任分担を明確にします。厳格なアクセス管理システムを確立し、企業が承認した AI 製品には許可された担当者のみがアクセスして使用できるようにします。同時に、ユーザーの使用行動を規制し、従業員のセキュリティ意識と対応能力を高めるために、企業従業員に AI リスク管理に関するトレーニングを実施する必要があります。また、起業家は、AI アプリケーションを開発する際にプライバシー バイ デザインのアプローチを採用し、提供するデータがどのように使用され、どのデータが保持されるかをエンド ユーザーに明確にする必要があります。

4. 専門の AI 研究ワーキンググループを結成する

企業は、組織内で専門的な知識とスキルを結集して、AI テクノロジーの潜在的な機会とリスクを共同で調査し、データ ガバナンスの専門家、AI モデルの専門家、ビジネス ドメインの専門家、法律専門家など、関連分野を理解するメンバーをワーキング グループに参加するよう招待できます。コンプライアンスの専門家など企業経営者は、作業グループのメンバーが探索や実験に必要なデータやリソースに確実にアクセスできるようにするとともに、AI の潜在的な機会やビジネス アプリケーションをより深く理解するために、テスト環境での実験や検証を作業グループのメンバーに奨励する必要があります。リスクとのバランスをとりながら、先進テクノロジーを適用することで得られるメリット。

結論

AI の開発と応用はテクノロジーに大きな影響を与えており、新たな生産性革命を引き起こす可能性があります。 AI は、ディープラーニング、自然言語処理、ビッグデータの進歩を組み合わせた強力なテクノロジーであり、コンピューター システムが人間の言語でコンテンツを生成できるようにします。企業と従業員はこの強力なテクノロジーを管理し、その開発と適用が法的、倫理的、社会的責任の枠組みの中で確実に行われるようにすることが、今後の重要な課題となるでしょう。