AIが不審な通信やシステムの弱点を見つけ、人が対応を判断する。そんな使い方が、公共サービスや企業の現場で少しずつ現実になっています。一方で、AIが外部のサービスに接続し、複数の作業を連続して進める「AIエージェント」が広がれば、想定外の行動が短時間で影響を広げるおそれもあります。
2026年10月12日、英国政府は、AIをサイバー防御に活用する取り組みを拡大しつつ、自律型AIに関わる重大事故やニアミスへの備えを進める方針を公表しました。発表の中心は、AIを怖がって止めることではなく、使うならば検知、評価、報告、復旧を含む仕組みを整えるという点です。
日本の制度を変える発表ではありません。しかし、私たちが仕事や暮らしでAIを使う際にも役立つ視点があります。それは「AIができるか」だけでなく、「誰が確認するか」「止める権限はあるか」「困った人が相談できるか」を最初から決めておくことです。発表内容を整理しながら、個人と組織が考えたい備えを解説します。
英国が公表したAIサイバー防御の方針とは
今回の発表は、英国の内閣府、AI Security Institute、国家サイバーセキュリティセンター（NCSC）などが連名で出したものです。大きく分けると、AIで防御を支援する実務、より強い保護策の検討、自律型AIに関する事故対応の準備、最新モデルの評価という四つの方向が示されました。
まず、政府はフロンティアAIをサイバー防御の強化に使うとしています。公表文によれば、先行する二つのパイロットでは、政府システムにおいて1,000件を超える潜在的な脆弱性の特定と修正を支援し、サイバー上の脅威の検知にも役立てたと説明されています。ここで大切なのは、AIが自動で安全を保証した、あるいはすべての問題を解決したという意味ではないことです。AIは大量の情報から疑わしい箇所を探す支援をし、修正や優先順位付け、実際の対処には人と組織の判断が必要になります。
次に、英国政府は「Cyber Security and Resilience Bill」の枠組みや広い制度の中で、AIに関わる新しいリスクへの保護を強める可能性を検討すると述べています。重大事故やニアミスをどう特定し、どう報告し、どう学びに変えるかも論点です。これは、この時点で具体的な義務や完成したルールが公表されたという意味ではありません。詳細は議会、技術専門家、実装する事業者と詰める段階だと明記されています。
また、AIエージェントが関与する重大な事故への対応も、NCSCとAI Security Instituteが検討を進める分野です。AIエージェントとは、質問に文章で答えるだけでなく、指示に従って情報を探し、ソフトウェアを操作し、複数の手順をつなげて実行できるAIのことです。監督が少ない状態で複雑な作業を進められるからこそ、問題が起きた際には従来より速く、広く影響が及ぶ可能性があると発表は指摘しています。
なぜ「防ぐ」だけでなく「備える」が重要なのか
サイバーセキュリティというと、攻撃を一件も通さないための壁を厚くするイメージを持つかもしれません。もちろん、基本的な対策は欠かせません。ソフトウェアを更新する、多要素認証を使う、権限を必要最小限にする、バックアップを確認するといった取り組みは、AIを導入したから不要になるものではありません。
ただし、現実のシステムは人、端末、クラウドサービス、外部委託先、データ連携などが重なっています。どれほど慎重に設計しても、設定ミスや未知の弱点、偽の指示、外部サービス側の障害まで完全にゼロにはできません。そこで必要になるのが、異常を早く見つけ、影響を小さくし、止め、原因を確かめ、関係者に知らせ、次の改善に生かすという一連の備えです。
英国政府がニアミスにも触れたことは、この考え方をよく表しています。ニアミスとは、実害には至らなかったものの、条件が少し違えば問題になったかもしれない出来事です。たとえば、AIが本来アクセスしてはいけないデータを取得しようとしたが権限設定で止まった、誤った宛先への送信案を作ったが担当者が気づいて送信しなかった、といった事例が考えられます。失敗だけを責める文化では、こうした重要な兆候は共有されにくくなります。
一方で、ニアミスを集めれば自動的に安全になるわけでもありません。誰が何を記録するのか、個人情報や営業秘密をどう扱うのか、どの程度の出来事を誰へ報告するのか、再発防止策を誰が決めるのかを事前に設計して初めて役に立ちます。報告の量だけを増やし、読む人も改善する人もいない状態では、現場の負担になるだけです。
AIは防御のどこを手伝えるのか
AIをサイバー防御に使う場面は、一つではありません。第一に、ログや通知の整理です。組織のネットワークやクラウドには、毎日非常に多くの記録が残ります。AIは似た事象をまとめたり、普段と異なる傾向を候補として示したり、担当者向けの要約を作ったりできます。人が画面を見続けるだけでは見落としやすい変化に、早く気づく助けになります。
第二に、弱点を探す補助です。ソースコード、設定、公開されている機器情報、脆弱性情報を照合し、「確認したほうがよい箇所」を候補化する用途が考えられます。英国のパイロットに関する説明も、このような発見と修正の支援に位置づけられています。ただし、候補が出たからといって、必ず脆弱性とは限りません。誤検知であれば業務を止めるおそれがあり、逆に検知されなかったから安全とも言えません。専門知識を持つ担当者の検証と、変更前のテストが必要です。
第三に、初動支援です。AIは、関係する手順書を探して要約し、連絡先や影響範囲の確認項目を示し、担当者が取るべき作業を整理できます。ここでも、AIにシステム停止や外部への公表まで任せるかどうかは別問題です。停止は業務や利用者に大きな影響を与えますし、公表には法的・契約上の確認が伴う場合があります。AIの提案は、権限を持つ人が根拠と影響を確認して決める形が望ましいでしょう。
第四に、学習と訓練です。過去のインシデント記録をもとに、想定問答や訓練シナリオを作ることもできます。ただし、本物の顧客情報や攻撃の詳細を外部AIにそのまま入力してよいとは限りません。利用するサービスの規約、データの保管場所、学習利用の設定、社内規程を確認し、必要なら匿名化や閉じた環境を選ぶ必要があります。
自律型AIで変わる「人の確認」の意味
対話型AIなら、利用者が質問し、回答を読んで、次の指示を出すという区切りがあります。AIエージェントでは、一度の依頼から検索、ファイル操作、予約、コード実行、外部サービスへの入力などが連続することがあります。便利さは増しますが、確認の機会が減る設計では、小さな誤解が連鎖する危険も増えます。
たとえば「取引先に最新資料を送って」と指示した場合を考えてみましょう。AIがフォルダから資料を選び、宛先を候補にし、メールの下書きを作るところまでは、作業の短縮につながるかもしれません。しかし、古い資料や社外秘の添付を選んだ、同姓の別の相手を宛先にした、本文の数字を誤って要約した、といった可能性は残ります。送信という外部への不可逆な行為の前に、担当者が確認する境界を置く意味は大きいのです。
確認は、毎回すべてを目視することだけを指すわけではありません。金額が一定額を超える場合、個人情報を含む場合、外部システムの設定を変える場合、採用・融資・医療・福祉など人の権利や生活に強く関わる場合は、承認者を追加する。普段と異なる宛先や大量のデータ送信があれば自動停止する。実行履歴を保存し、後から再現できるようにする。こうした「条件付きの境界」を決めることも、人が確認できる設計です。
英国の発表で言及された「AI loss of control risk」は、特定の製品がすでに制御不能になったと断定するものではありません。自律性の高いシステムが人の監督を逃れる状況を、重要サービスの保護を考える上でリスクとして検討するという文脈です。日常の利用者にとっても、これは「AIは勝手に暴走する」と不安をあおる材料ではなく、権限の範囲と停止方法を先に確認する必要があるという教訓として受け取るのが適切です。
導入前に決めたい三つの境界
AIを仕事に取り入れるとき、まず整理したいのは「できること」より「してよいこと」です。次の三つの境界を、利用目的に合わせて決めておくと判断しやすくなります。
1. データの境界
どのデータをAIに渡してよいかを分けます。公開済みの一般情報、社内限定の資料、個人情報、取引先との秘密情報、認証情報は、同じ扱いにできません。とくに、健康情報、口座情報、本人確認書類、従業員の評価、子どもの情報などは、誤った共有が大きな影響につながりえます。AIに入力する前に、削除・要約・匿名化で目的を満たせないかを考え、必要な場合は組織が認めた環境と手順を使いましょう。
個人が無料サービスを試す場合も、画面に貼り付けた内容がどのように扱われるかを利用規約と設定で確かめる姿勢が重要です。わからない情報は入力しない、パスワードやワンタイムコードは渡さない、本人確認に使う画像を安易にアップロードしない、といった基本を守ることが第一歩になります。
2. 実行の境界
AIにどこまで操作を任せるかを決めます。要約や下書き作成のように、結果を人が読んでから使える作業と、メール送信、発注、設定変更、支払い、顧客への通知のように実行後の影響が大きい作業は分けて考える必要があります。
外部への送信、金銭の移動、権限の付与・削除、データの削除、契約や人事に関わる判断は、原則として人の承認を必須にするのが安全です。緊急停止の手段、権限の取り消し、作業を元に戻す方法も確認しましょう。「便利なのでとりあえず最大権限を渡す」という設計は、事故が起きたときの範囲を不必要に広げます。
3. 説明と相談の境界
AIが使われていることを、誰にどこまで伝えるかも重要です。顧客や利用者に影響する場面では、AIが補助に使われていること、最終的に誰が責任を持つか、疑問や訂正を申し出る窓口がどこかを分かりやすく示す必要があります。AIの出力が不正確だったり、不公平に感じられたりしたときに、利用者が人へ相談できない仕組みは信頼を損ねます。
健康、法律、税金、投資、保険、雇用、教育、福祉、行政手続きなどでは、AIの答えや自動分類だけで個別の結論を確定しないでください。事情により適切な対応が変わるため、公式情報、担当窓口、資格を持つ専門職に確認し、必要なら訂正や不服申立ての手段を利用することが大切です。この記事も個別の助言ではなく、AIの安全な利用を考えるための一般的な情報です。
ニアミスを改善につなげる小さな仕組み
大規模な組織でなくても、AIを使うチームなら簡単な振り返りの場を持てます。たとえば、週に一度、「AIが出した回答で確認に時間がかかった例」「送信前に気づいた誤り」「入力しそうになったがやめた情報」を匿名でも共有します。目的は誰かを責めることではなく、次の人が同じ落とし穴にはまらないようにすることです。
記録には、日時、使ったAIや機能、依頼の種類、何が起きかけたか、止まった理由、実害の有無、次に変える設定や手順を短く残します。個人情報や秘密情報を記録に再掲しないことも忘れてはいけません。少ない項目でも、後から傾向を見られる形にすると、教育や権限設定の改善につながります。
「AIが間違えた」という一言だけでは、対策を決めにくいものです。入力が曖昧だったのか、参照した資料が古かったのか、権限が広すぎたのか、確認画面が見にくかったのか、相談先が不明だったのかを分けて考えると、改善の選択肢が見えてきます。技術の性能だけに原因を集めず、業務手順や画面設計、教育、連絡体制も一緒に見直すことが実用的です。
個人と組織が今日から確認できるチェックポイント
最後に、AIの導入や利用を始める前後に確認したい点をまとめます。すべてを一度に完璧に整える必要はありません。影響が大きい用途から順に、使い方を見直していくことが現実的です。
- AIに渡すデータを、公開情報・社内情報・個人情報などに分けているか。
- AIができる操作と、必ず人が承認する操作を分けているか。
- 外部送信、支払い、削除、権限変更を行う前に止まれるか。
- 誰が緊急停止・権限取消・復旧の判断をするか決まっているか。
- 利用履歴や承認記録を、必要な範囲で後から確認できるか。
- 異常やニアミスを報告する窓口が、利用者に分かるか。
- AIの回答を重要な判断の唯一の根拠にしていないか。
- 本人が困ったときに、人へ相談・訂正・異議申立てをできるか。
NISTのAI Risk Management Frameworkは、AIに伴うリスクを個人、組織、社会の観点から扱い、設計・開発・利用・評価に信頼性を組み込むための任意の枠組みです。特定の国の発表をそのまま真似するのではなく、自分たちの目的、データ、利用者、影響の大きさに合わせて考えることが求められます。
「AIに任せない」ではなく、任せ方を分ける
安全を考えると、「AIを使わなければよい」という結論に傾きがちです。しかし、すでに多くのサービスでAIによる検索補助、迷惑行為の検知、問い合わせの振り分け、翻訳、要約が使われています。利用を一律に禁止するだけでは、現場が個人の判断で見えない形の利用へ流れ、かえって管理しにくくなることもあります。
有効なのは、目的ごとに任せ方を分けることです。たとえば、公開済み資料の要約や会議メモのたたき台は、人が読む前提なら試しやすい用途です。これに対し、顧客の評価、医療や法律に関する案内、料金や契約条件の確定、採用や支援対象の選定などは、誤りや偏りが本人の権利・生活に直結しえます。こうした場面では、AIを補助にとどめ、根拠を確認できる担当者と、修正を求めるための窓口を置く必要があります。
試行の段階では、対象業務を小さく限定し、入力データを必要最小限にし、実行権限を付けずに結果だけを評価する方法もあります。期待した時間短縮が得られるか、誤りはどの種類に偏るか、担当者が確認しやすい出力になっているか、利用者への説明に無理がないかを確かめてから、範囲を広げます。導入の判断を急がず、撤回できる形で試すことは、利便性と安全の両方に役立ちます。
また、AIの利用状況は変化します。モデルの更新、外部サービスとの連携追加、利用者数の増加、扱うデータの変更によって、当初は小さかったリスクが大きくなることがあります。年に一度だけ規程を作るのではなく、重要な変更の前後に、権限、ログ、連絡先、停止手順を見直す習慣をつくるとよいでしょう。英国の発表が示す「評価し、学び、備える」という姿勢は、この継続的な見直しにも通じます。
まとめ：AIの価値は「速さ」だけで決まらない
英国の10月12日の発表は、AIをサイバー防御に役立てながら、自律性が高まる将来を見据えて、評価、事故対応、ニアミスからの学習を準備する動きです。現時点で検討段階の施策も含まれており、日本の利用者や企業に新しい義務が生じたわけではありません。それでも、「問題が起きないこと」だけではなく、「問題が起きかけたときに止め、記録し、相談し、改善できること」を重視する視点は広く参考になります。
AIは作業を速くし、見落としを減らす助けになりえます。しかし、速さがそのまま正しさや公平さ、責任の明確さを保証するものではありません。権限を絞る、人が確認する地点を置く、異常を共有する、利用者が相談できるようにする。こうした地道な設計があってこそ、AIの便利さを安心して生かしやすくなります。
まずは、身近な一つのAI利用について「この操作を止められるのは誰か」「間違いに気づいた人はどこへ知らせるか」「影響を受ける人は説明を受け、相談できるか」を確認してみてください。その問いを繰り返すことが、AIを任せきりにしない安全な活用につながります。
小さな確認を積み重ねることが、変化の速い技術を暮らしと仕事に無理なく取り入れる土台になります。
