IT & Information security Journal
令和6年4月19日に開催された内閣府のAI戦略会議において、「AI事業者ガイドライン1.0版（案）」が、原案のとおり決定されました（以下、決定後のガイドラインを「AI事業者ガイドライン」といいます）。
この記事では、AIに関する取組みの指針や具体的なアプローチについて多岐にわたる内容をまとめている「AI事業者ガイドライン」のうち、AI開発者、AI提供者、AI利用者によるセキュリティ確保について言及している箇所を抜粋して紹介します。
柴野 相雄
TMI総合法律事務所 弁護士
この記事のポイント
「AI事業者ガイドライン」は本編と別添で構成されており、本編では対象者を「AI開発者」「AI提供者」「AI利用者」の3つに大別して念頭に置くべき基本理念や取組みの指針を、別添は指針を実現するにあたり参考となる実践例を扱っている。
「AI事業者ガイドライン」の本編では、「AIシステム・サービスに影響するセキュリティ対策」「最新動向への留意」によりセキュリティ確保するよう示している。また別添では、セキュリティ確保に関連して、AIによるリスクとしてデータ汚染攻撃を、生成AIにより顕在化したリスクとして機密情報の流出をあげたあと、3つの対象者ごとにセキュリティ確保の対策を詳述している。
「AI事業者ガイドライン」は、あくまで行政が示す将来の指針であり、裁判における取扱いには、ほかのガイドライン同様に注意を要する。特定の紛争解決のための裁判において、「AI事業者ガイドライン」が参考とされる場合には、事案に応じた柔軟な運用と納得感のある妥当な結論が導かれることが期待される。
「AI事業者ガイドライン」は、本編 1 と別添 2 で構成され、「AIの安全安心な活用が促進されるよう、我が国におけるAIガバナンスの統一的な指針を示す」3 ものであり、リスクベースアプローチ（※）にもとづいて作成されています。
（※）「予め事前に当該利用分野における利用形態に伴って生じうるリスクの大きさ（危害の大きさ及びその蓋然性）を把握したうえで、その対策の程度をリスクの大きさに対応させる」アプローチ（本編3頁）
本編は、第2部「AIにより目指すべき社会及び各主体が取り組む事項」において、AIにより目指す社会としての「基本理念」を掲げ、その実現に向けて各主体が取り組むことが期待される「原則」とともに、そこから導き出される「共通の指針」を記載しています。
「共通の指針」は、①人間中心、②安全性、③公平性、④プライバシー保護、⑤セキュリティ確保、⑥透明性、⑦アカウンタビリティ、⑧教育・リテラシー、⑨公正競争確保、⑩イノベーションという10の指針から構成されています 4。
「AI事業者ガイドライン」の対象者は「様々な事業活動においてAIの開発・提供・利用を担う全ての者（政府・自治体等の公的機関を含む）」5 とされています。
特に本編では、その対象者を「AI開発者」「AI提供者」「AI利用者」の3つに大別し、それらが念頭に置くべき基本理念（= why）、および、その理念を踏まえてAIに関して行うべき取組みの指針（= what）を示しています6。
一方、別添は、本編において示された3つの対象者が「AI事業者ガイドライン」の指針を実現するにあたり、参考となる実践（= how）について扱っており、「本編で示された方向性を達成する手段の一例」（具体的な取組みについてのリファレンス）と位置づけられています 7。
本編の「共通の指針」は、前述のとおり10の指針からなりますが、そのうち、セキュリティの確保については、本編16頁において以下のとおり記載されています。
セキュリティ確保
各主体は、AIシステム・サービスの開発・提供・利用において、不正操作によってAIの振る舞いに意図せぬ変更又は停止が生じることのないように、セキュリティを確保することが重要である。
AIシステム・サービスに影響するセキュリティ対策
・AIシステム・サービスの機密性・完全性・可用性を維持し、常時、AIの安全安心な活用を確保するため、その時点での技術水準に照らして合理的な対策を講じる
・AIシステム・サービスの特性を理解し、正常な稼働に必要なシステム間の接続が適切に行われているかを検討する
・推論対象データに微細な情報を混入させることで関連するステークホルダーの意図しない判断が行われる可能性を踏まえて、AIシステム・サービスの脆弱性を完全に排除することはできないことを認識する
最新動向への留意
・AIシステム・サービスに対する外部からの攻撃は日々新たな手法が生まれており、これらのリスクに対応するための留意事項を確認する
また別添では、「AIによる便益/リスク」について解説しており 8、セキュリティ確保に関連するところでは、AIによるリスクとしてデータ汚染攻撃をあげるほか、生成AIにより顕在化したリスクとして、機密情報の流出をあげています。
データ汚染攻撃については、AIの学習実施時には「性能劣化及び誤分類につながるような学習データへの不正データ混入」が起こり得るとともに、サービス運用時には「アプリケーション自体を狙ったサイバー攻撃」や「AIの推論結果又はAIへの指示であるプロンプトを通した攻撃」等が想定されるとしています。別添ではデータ汚染攻撃の例として、「悪意のある集団による人種差別的な質問の組織的な学習により、ヘイトスピーチを繰り返し発言するようになった」チャットボットをあげています 9。
機密情報の流出については、「AIの利用においては、個人情報及び機密情報がプロンプトとして入力され、そのAIからの出力等を通じて流出してしまうリスクがある」と説明されています 10。
こうしたリスクに対応すべく、「AI事業者ガイドライン」の対象者ごとに期待されるセキュリティ確保に関して、以下では別添で紹介されている具体的な方法などを取り上げます。
AI開発者が講じておくべき、各開発フェーズにおけるセキュリティ確保のための対策としては、以下の説明がなされています。
適切なデータの学習 12
プライバシー・バイ・デザイン等を通じて、学習時のデータについて、適正に収集するとともに、第三者の個人情報、知的財産権に留意が必要なもの等が含まれている場合には、法令に従って適切に扱うことを、AIのライフサイクル全体を通じて確保する
学習前・学習全体を通じて、データのアクセスを管理するデータ管理・制限機能の導入検討を行う等、適切な保護措置を実施する
データ前処理・学習時についてあげられているのは、「AI事業者ガイドライン」の対象者のうちAI開発者のみに求められる対策です。別添では、適切なデータ学習のポイントとともに、具体的な手法として、以下が紹介されています。
データに個人情報、機密情報、著作権等の権利又は法律上保護される利益に関係するものが含まれていないか、確認を実施
権利又は法律上保護される利益に関係するものが含まれる場合には、個人情報・機密情報・著作権等の適切な取扱いを実施
データが適切（正確性及び完全性等の品質が確保されている）かつ安全であることを保証するための対策を実施
技術的に可能で合理的な範囲で、データの出所を把握するための手段の実施
セキュリティ対策のための仕組みの導入 13
AIシステムの開発の過程を通じて、採用する技術の特性に照らし適切にセキュリティ対策を講ずる（セキュリティ・バイ・デザイン）
別添では、当該仕組みの導入のポイントとともに、具体的な手法として、①セキュリティ・バイ・デザインに基づくセキュリティ対策の実施、②セキュリティ対策の強化について、詳細な解説がされています 14。
また、「機械学習利用システムの被害と脅威の例」という図表において、被害の内容ごとに、それを引き起こす脅威が掲載されており参考になります。
| 被害の内容 | 被害を引き起こす脅威 | |||
|---|---|---|---|---|
| 機械学習特有の脅威 | その他の脅威 | |||
| 完全性又は可用性の侵害 | システムの誤作動 | 意図に反する機械学習要素の動作による | データポイズニング攻撃 | 機械学習要素を実装するソフトウェア・ハードウェアに対する従来型の攻撃 |
| モデルポイズニング攻撃 | ||||
| 汚染モデルの悪用 | ||||
| 回避攻撃 | ||||
| その他の要 因による |
システムに対する従来型の攻撃 | |||
| 計算資源の浪費 | 機械学習要素による | データポイズニング攻撃 （資源枯渇型） |
機械学習要素を実装するソフトウェア・ハードウェアに対する従来型の攻撃 | |
| モデルポイズニング攻撃 （資源枯渇型） |
||||
| 汚染モデルの悪用 | ||||
| スポンジ攻撃 | ||||
| その他の要 因による |
システムに対する従来型の攻撃 | |||
| 機密性の侵害 | AI モデルについての情報の漏洩 | モデル抽出攻撃 | AI モデルを窃取する従来型の攻撃 | |
| 訓練用データに含まれるセンシティブ情報の漏洩 | 訓練用データに関する情報漏洩攻撃 | データを窃取する従来型の攻撃 | ||
| データポイズニング攻撃（情報埋込型） | ||||
| その他の機密情報の漏洩 | モデルポイズニング攻撃（情報埋込型） | |||
加えて、「セキュリティ対策のための仕組みの導入」については、後述のとおり、AI提供者によるAIシステム実装時にも期待されています。
最新動向への留意 15
AIシステムに対する攻撃手法は日々新たなものが生まれており、これらのリスクに対応するため、開発の各工程で留意すべき点を確認する。
関連するステークホルダーへの情報提供 16
自らの開発するAIシステムについて、例えば以下の事項を適時かつ適切に関連するステークホルダーに（AI提供者を通じて行う場合を含む）情報を提供する
なお、高度なAIシステムの開発者には、遵守事項について、プラスアルファの記載がなされている点に留意が必要です。具体的には、別添106頁において、「最先端の基盤モデル及び生成AIシステムを含む、高度なAIシステムを開発するAI開発者については、以下の「高度なAIシステムを開発する組織向けの広島プロセス国際行動規範」を遵守すべきである」と記載されています 17。セキュリティの確保に関する事項も載っており、高度なAIシステムの開発者は一読すべきといえます。
「AI事業者ガイドライン」では、AI提供者について、AIシステムをアプリケーション、製品、既存のシステム、ビジネスプロセス等に組み込んだサービスとしてAI利用者等に提供する事業者と定義しています。
AI提供者が講じておくべき、各フェーズにおける「セキュリティ確保」のための対策としては、以下の説明がなされています。
セキュリティ対策のための仕組みの導入
AIシステム・サービスの提供の過程を通じて、採用する技術の特性に照らし適切にセキュリティ対策を講ずる（セキュリティ・バイ・デザイン）。
別添では、当該仕組みの導入のポイントとともに、具体的な手法として、以下が解説されています。
脆弱性への対応 20
AIシステム・サービスに対する攻撃手法も数多く生まれているため、最新のリスク及びそれに対応するために提供の各工程で気を付けるべき点の動向を確認する。また、脆弱性に対応することを検討する。
「関連するステークホルダーへの情報提供」21
提供するAIシステム・サービスについて、例えば以下の事項を平易かつアクセスしやすい形で、適時かつ適切に情報を提供する。
なお、脆弱性への対応について、別添ではそのポイントとともに具体的な手法として、以下をあげて解説しています 22。
AI利用者については、「セキュリティ確保」のための事項として、AIシステム・サービス利用時のセキュリティ対策の実施があげられており、具体的には、以下の行動が期待されています 24。
セキュリティ対策の実施
AIに関連するステークホルダーのうち、AI利用者が相対的に多いと思われることから、以下、当該対策実施の際のポイントおよび具体的手法を、別添から引用します。
AI利用者は、セキュリティが侵害された場合に講ずるべき措置について、AI提供者から情報提供（AI開発者の情報も含む）があった場合には、AIシステム・サービスの利用にあたり留意することが望ましい。また、AIシステム・サービスを利用するにあたり、セキュリティ上の疑問を感じた場合は、AI提供者（又はAI提供者を通じてAI開発者）にその旨を報告することが期待される。
AI利用者は、業務外利用者側でセキュリティ対策を実施することが想定されている場合には、AI提供者からの情報提供（AI開発者の情報も含む）を踏まえ、AIシステムのセキュリティに留意し、業務外利用者と連携して必要なセキュリティ対策を講ずることが期待される。
脆弱性に関するリスクの認識
学習が不十分であること等の結果、AIモデルが正確に判断することができるデータに、人間には判別できない程度の微少な変動を加え、そのデータを入力すること等により、作為的にAIモデルが誤動作するリスク（例：Adversarial example攻撃）
本稿では、「セキュリティの確保」に関する記載を中心に、「AI事業者ガイドライン」について紹介しました。他方で、セキュリティの観点からは、共通の指針のうち「プライバシー保護」や「教育・リテラシー」の項目も重要だといえます。
そのほか、AIガバナンスに取り組むにあたっては、社内の各部署の横の連携が必要であり、また、グローバルサービスを展開するには、他国の規制にも目を配る等、ステークホルダーの課題によって留意すべき事項は異なります。このような細かな事柄についても、「AI事業者ガイドライン」の随所で解説が行われており、大変参考になるでしょう。
もっとも、「AI事業者ガイドライン」は、あくまで行政が示す将来の指針であり、裁判における取扱いには、ほかのガイドライン同様に注意を要します。仮に、セキュリティの確保がされていないまたは不十分という理由で何らかの損害が発生した場合、AIの開発者、提供者、利用者は、その損害の被害者から、債務不履行または不法行為に基づく損害賠償請求等の訴えを提起される可能性がありますが、そうした訴訟における被告側の責任を検討・判断するにあたり、「AI事業者ガイドライン」が金科玉条のごとく扱われるべきではありません 27。
ステークホルダーである企業の規模、人員のリソース等は一様ではなく、AIサービスの種類・内容、利用者の利用態様、加害者による具体的な侵害態様は事案によって異なり、権利侵害という結果の予見可能性、回避可能性も一様ではなく、その事案における具体的な事情に鑑みて判断されるべきであることは言うまでもありません。
近時、実に多くのガイドラインが作成・公表されていますが、特定の紛争解決のための裁判において、「AI事業者ガイドライン」が参考とされる場合には、事案に応じた柔軟な運用と納得感のある妥当な結論が導かれることを期待します。
柴野 相雄
TMI総合法律事務所 弁護士
TMI総合法律事務所 パートナー弁護士、慶應義塾大学法科大学院 非常勤教員（知的財産法務ワークショップ・プログラム）。知的財産法、情報の保護に関する法分野、Eコマースに関する法分野を専門としており、IT、インターネットビジネス、エンタテインメント、広告、メディアに関する裁判、法律相談等を多く扱う。一般社団法人外国映画輸入配給協会理事、デジタル庁技術検討会議ガバメントソリューションサービス タスクフォース専門委員、慶應義塾大学大学院政策・メディア研究科特任教授等も務める。近時の主な著書として、「AIDCプラットフォームにおけるデータ提供契約に関する報告書」（2022年一般社団法人AIデータ活用コンソーシアム）、「ヘルスケアビジネスの法律相談」（2022年青林書院）、 「個人情報管理ハンドブック（第5版）」（2023年商事法務）等がある。
UNITISは、IT・セキュリティ担当者へ、実務家・専門家による解説や他社事例等を伝えるメディアです。セキュリティ・法律の専門家による実務解説や分析、第一線の実務家による事例・ノウハウをお届けします。
この記事をシェアする
最新情報をフォローする