AIに文章の下書きや検索を頼む段階から、AIが複数のツールを使って仕事を進める段階へ。いま注目されているのが、一定の目的を受け取ると、ファイル、業務システム、外部サービスなどを組み合わせて作業する「AIエージェント」です。便利になる一方で、「どのデータまで見せてよいのか」「予定外の操作をしたら止められるのか」という不安も大きくなります。
2026年9月28日、NVIDIAはAIエージェントをテストから導入後まで管理するための「NVIDIA Open Agent Safety Platform」を発表しました。発表によれば、実行範囲を技術的に区切るオープンソースの実行環境「OpenShell」と、別系統で挙動を監視する参照設計「Sentry」を組み合わせる構想です。NVIDIAは、境界を越えようとするエージェントを隔離・停止できると説明しています。NVIDIAの発表
これは、ある製品を導入すればAIが必ず安全になる、というニュースではありません。むしろ重要なのは、AIに「ルールを守って」と指示するだけでは足りず、守れなかったときにも被害を広げない仕組みを外側に用意する、という考え方です。本記事では発表の中身を整理しながら、個人や企業がAIエージェントを安心して使うために確認したいポイントを、難しい専門用語をできるだけ避けて解説します。
NVIDIAが発表した「Open Agent Safety Platform」とは
NVIDIAが9月28日に公表したOpen Agent Safety Platformは、AIエージェントの行動をソフトウェアだけでなく、実行環境やインフラの層でも管理しようとする仕組みです。発表資料では、エージェントを動かすソフトウェア、計算資源、ハードウェア、ロボットまでを含めた「フルスタック」の統制を掲げています。エージェントが画面上の会話だけで終わらず、実際にツールを呼び出し、データを読み書きし、外部のサービスに依頼するようになるほど、こうした層ごとの対策が意味を持ちます。
ここでいうAIエージェントは、人の代わりに何でも判断する存在ではありません。たとえば「今週届いた問い合わせを分類して、担当者へ下書きを作る」「在庫表を読み、補充候補を一覧にする」といった仕事を、複数の手順に分けて進めるプログラムです。メール、共有フォルダ、表計算、社内システム、ウェブ検索などの道具に接続する場合があります。接続先が増えるほど業務の幅は広がりますが、同時にアクセス権限、個人情報、記録、誤操作への備えも欠かせません。
NVIDIAの説明では、中心となる要素は二つです。OpenShellは、エージェントが動く場所に「ここまでなら作業してよい」という実行時の境界を置く仕組みです。ファイル、ネットワーク、プロセス、外部サービスへの要求を、事前に決めた方針に従って制限・記録することを目指します。もう一つのSentryは、エージェントの実行環境とは別側から挙動を見張る監視役です。NVIDIAはBlueField-4 DPU上で動く参照設計として説明し、ソフトウェア上の境界を越えようとしたときに隔離・停止する機能を掲げています。
重要なのは、Sentryが「AIに自分で反省させる」ための道具ではない点です。人間でも、作業者本人だけに安全確認を任せるより、入退室管理、監査、非常停止装置を別に置くほうが事故に強くなります。AIエージェントも同じように、実行する本人とは独立した場所で、許可・記録・停止を扱うほうが、確認しやすくなります。これは製品固有の機能を超えて、これからのAI活用で参考になる設計原則です。
なぜ「指示」だけでは安全対策にならないのか
生成AIを使う場面では、プロンプトや利用ルールが安全策として語られがちです。もちろん「顧客情報を外部へ送らない」「このフォルダ以外は使わない」と明示することは必要です。しかし、指示だけに依存すると、予期しない入力、接続先の仕様変更、曖昧な依頼、プログラムの不具合などで、意図と違う処理に進むおそれがあります。長時間動くエージェントほど、途中で状況が変わる可能性もあります。
たとえば、会議資料の要約を頼むために共有フォルダへの閲覧権限を渡したとします。もしそのエージェントが、更新済みの資料を保存する役割まで持つなら、読む権限と書く権限は本来分けて考えるべきです。さらに、メール送信まで許可するなら、宛先、添付、送信のタイミングを誰が確認するかも設計しなければなりません。「資料をまとめて」という一つの依頼の中にも、閲覧、抽出、作成、保存、送信という異なる危険度の操作が混ざっています。
NVIDIAの今回の発表は、この問題に対して、エージェントの外側に強制力のある境界を置く方向を示しました。同社はOpenShellについて、エージェントの行動を追跡し、方針を適用する安全な実行時境界だと説明しています。またSentryについては、エージェントとは別のハードウェア層で継続監視し、境界外への動きを止める参照設計だとしています。こうした機能の実効性や利用条件は各環境で検証が必要ですが、「守るべきルールを、エージェントの自己申告だけに任せない」という問題提起は明確です。
人に仕事を頼むときも、信頼だけで重要データへの無制限の権限を渡すことは通常ありません。権限を分け、操作を記録し、一定額以上の支払いには承認を置き、異常時には止める手順を決めます。AIエージェントも同じです。性能評価で高い点を取ったからといって、あらゆる業務を無監督で任せられるとは限りません。能力と権限を切り分けて考えることが、導入を急ぎすぎないための第一歩になります。
OpenShellとSentryを身近な例で理解する
技術名を覚える必要はありません。役割を、会社や家庭の「通行証」「見張り」「責任者」に置き換えると分かりやすくなります。
OpenShellに近い役割は、通行証と作業エリアの線引きです。AIエージェントに渡すのは、全社共有の万能鍵ではなく、特定の仕事に必要な範囲だけを開ける通行証です。請求書の一覧を作る仕事なら、必要なフォルダを読むことは許可しても、給与データや人事評価の場所まで見せる理由はありません。出力の保存先も、指定の下書きフォルダに限定できます。外部サイトへ送信する操作を許可しない、あるいは読み取り専用にする、といった線引きもできます。
Sentryに近い役割は、作業者の外にいる見張りと非常停止です。AIエージェントが作業中に何を開き、どの道具を使い、どこへ要求を送ろうとしたかを、後から確認できる形で残す。許可外の動きや不自然な量の処理を検知したら、止めるか、担当者へ確認を求める。NVIDIAはこうした独立監視をハードウェア層で行う構想を示しました。すべての組織が同じ構成を採る必要はありませんが、監視役を作業主体から切り離す発想は、クラウド上のエージェント運用でも応用できます。
そして、通行証と見張りだけでは完結しません。最終的な責任者が必要です。エージェントが追加の権限を求めたとき、誰が何を根拠に承認するのか。止めたあと、誰がログを読み、影響範囲を確認し、再開を決めるのか。NVIDIAの発表でも、Salesforceとの連携例として、チームがエージェントの活動や監査イベントを確認し、追加権限の要求を承認または拒否できることが紹介されています。人の判断を後付けにせず、普段の画面と業務フローに組み込むことが大切です。
導入前に確認したい5つの安全ポイント
ここからは、特定の製品を使うかどうかにかかわらず、AIエージェントを導入する際に確認したい項目です。NISTのAI Risk Management Frameworkも、AIのリスクを一度だけ点検するのではなく、状況を把握し、測定し、管理し続ける考え方を示しています。NISTのAI Risk Management Frameworkを参考にしながら、自社や自分の仕事に合わせた運用に落とし込む必要があります。
1. 任せる目的を一文で説明できるか
最初に決めるべきなのは、使う製品名ではなく、エージェントに何を任せるかです。「営業を効率化する」のように広すぎる目的は、必要な権限も評価基準も曖昧にします。「問い合わせのうち、定型質問を分類し、担当者が確認する返信下書きを作る」のように、入力、処理、出力、人の確認を一文で説明できるところまで小さく分けると、危険な操作を見つけやすくなります。
目的が明確なら、成功の基準も決められます。作成時間が短くなったか、見落としが減ったか、担当者が修正しやすいか、誤送信が起きていないか。単に「動いた」ではなく、業務にとって安全で役立ったかを見ます。うまくいかないときに、AIの性能、データの品質、依頼文、権限設定、業務手順のどこを見直すかも整理できます。
2. 権限を「読む・書く・送る・実行する」に分けたか
AIエージェントに必要な権限は、ひとまとめにしないことが重要です。読むこと、ファイルを書き換えること、メールやチャットで送ること、外部サービスで処理を実行することは、失敗した場合の影響が異なります。まずは読み取り専用で試し、次に下書き作成だけを許可し、外部への送信や確定処理は人が承認する、と段階を分けると安全です。
アクセス先も、業務ごとに限定します。全社員が見られる情報であっても、AIに常時渡す必要があるとは限りません。認証情報やAPIキーをエージェントが直接扱わなくてよい構成にできるか、期限付きの権限にできるか、使わなくなった接続を外せるかを確認してください。権限の設定は一度作って終わりではなく、担当変更や業務変更に合わせて定期的に見直します。
3. 操作の記録を、人が読める形で残せるか
問題が起きたとき、「AIがやりました」では原因をたどれません。いつ、どの依頼を受け、何のデータを参照し、どのツールを呼び、どんな出力を作り、誰が承認したか。これを追える記録が必要です。ただし、ログを無制限に保存すればよいわけでもありません。ログ自体に個人情報や機密情報が含まれる可能性があるため、保存期間、閲覧者、保護方法も決める必要があります。
記録は、監査のためだけのものではありません。現場の担当者が「なぜこの回答になったのか」「どこで止まったのか」を理解し、作業をやり直すためにも役立ちます。専門の管理画面しか読めない運用では、異常の発見が遅れます。日常の業務で確認できる通知、要約、承認履歴を用意すると、人が実際に監督できる仕組みに近づきます。
4. 止める基準と、止めた後の手順を決めたか
「異常なら停止する」と言っても、異常の定義がなければ実行できません。たとえば、未登録の外部サービスへの接続、通常より大量のファイル操作、想定外の送信先、重要情報を含む出力、権限追加の要求などは、停止または人の確認に回す候補になります。業務内容によって基準は異なるため、現場、情報システム、セキュリティ、法務・個人情報の担当者が一緒に決めることが望ましいでしょう。
停止後の動きも事前に練習します。誰が停止を判断するか、連絡先はどこか、どのログを保全するか、利用者への案内はどうするか、再開前に何を確認するか。特に顧客対応、決済、採用、教育、福祉、行政サービスなど、生活に影響する業務では、代替手段と問い合わせ窓口を残すことが重要です。AIが止まったことで、利用者が不利益を受けたまま放置される設計は避けなければなりません。
5. 人が判断すべき境目を残しているか
AIエージェントは、定型作業、情報整理、候補作成、異常の通知で力を発揮します。一方で、医療の診断や治療、法律判断、税務申告、投資判断、融資、保険、採用、解雇、学習評価など、個人の権利・健康・資産・機会に大きく関わる判断は、AIの出力だけで確定してはいけません。根拠を確認できる担当者や専門職が関与し、説明、相談、訂正、異議申立ての道を確保する必要があります。
ここで大切なのは、AIを使わないことではなく、使い方を分けることです。たとえば採用では、日程調整や応募書類の形式確認を補助に使う余地はありますが、合否を自動的に決めることとは別問題です。医療や金融でも、情報整理や事務の補助と、個別の診断・助言・契約判断を混同しないことが必要です。利用者が「AIが関与している」ことを理解し、必要なときに人へ相談できる状態を保ちます。
小さく始め、検証してから範囲を広げる
AIエージェントの導入で失敗を減らす現実的な方法は、最初から大きな権限を渡さないことです。第一段階では、公開情報やダミーデータだけを使い、読み取りと下書き作成に限ります。第二段階では、限られたチームの実データを対象に、作業記録と人の確認を必須にします。第三段階で初めて、低リスクで元に戻せる操作だけを自動化します。外部送信、金銭が絡む処理、個人への不利益につながる処理は、さらに慎重な評価が必要です。
この進め方は、導入を遅らせるためのものではありません。早い段階で誤り方を知り、必要な権限と不要な権限を見極めるための方法です。試験では、正しい結果だけでなく、曖昧な指示、欠けたデータ、権限のない要求、急な停止、担当者不在なども想定します。運用中に起きた軽微なミスを隠さず、設定や手順の改善に使える文化も重要です。
NVIDIAの発表は、100を超える組織が同プラットフォームの技術に取り組むとしています。またOpenShellはオープンソースとして、第三者の計算基盤にも拡張できると説明されています。ただし、採用企業の名前や互換性の情報だけで、自社で直ちに使える、あるいは自社のリスクをすべて解消できる、と判断するのは早計です。対応ハードウェア、クラウド環境、既存の認証や監査の仕組み、運用者の体制、費用、サポート範囲を個別に確認してください。
技術を比較するときは、「何を止められるか」だけでなく、「何を止められないか」を質問すると実用的です。誤ったデータをもっともらしく要約する問題、曖昧な業務指示の解釈違い、権限を与えた人による設定ミス、生成物の著作権・個人情報の問題、判断の公平性といった課題は、実行環境の境界だけでは解決しません。安全な導入には、データ管理、教育、レビュー、契約、事故対応を含めた全体の設計が必要です。
「止められるAI」が、任せられるAIをつくる
今回のNVIDIAの発表が示す最も大きな変化は、AIの安全性をモデルの性格や利用規約だけに委ねず、実際の行動を制御できる仕組みとして捉えている点です。エージェントの仕事が広がるほど、善意の指示や一回限りのテストでは足りません。必要な範囲に閉じ込め、外側から観察し、異常時には止め、人が再開を判断する。この一連の設計があってこそ、自動化を安心して広げられます。
個人がAIを使う場合も、考え方は共通です。連携するアプリを増やす前に、アクセス許可を見直す。必要のない連携は外す。送信や公開の前には人が確認する。履歴や設定を時々確認する。こうした小さな習慣が、便利さと安心を両立させます。企業ではさらに、責任者、権限、ログ、相談窓口、停止・復旧手順を文書化し、関係者が実際に使える形にすることが求められます。
NVIDIAのOpen Agent Safety Platformは、AIエージェントの安全をめぐる一つの技術提案です。その有効性は、今後の実装、独立した評価、利用環境ごとの検証を待つ必要があります。一方で、「AIに任せるか、任せないか」という二択から、「どこまでを、どんな根拠で、誰が確認しながら任せるか」へ議論を進めるきっかけにはなります。AIを仕事の相棒にするなら、性能表だけでなく、止める仕組みまで一緒に選ぶ。9月28日の発表は、その当たり前を改めて教えてくれるニュースでした。
まとめ：導入前に確認したいこと
- AIエージェントの目的、対象データ、出力先を小さく具体的に定める
- 権限は「読む・書く・送る・実行する」に分け、必要最小限から始める
- 操作履歴を確認できる形で残し、ログの個人情報も適切に守る
- 想定外の動きを止める基準、連絡先、復旧手順を事前に決める
- 医療・法律・税務・金融・採用などの重要判断はAIだけで確定せず、人が根拠を確認する
AIエージェントの価値は、作業を速くすることだけではありません。人が見失わずに任せられる範囲を増やすことにあります。安全性を後から付け足すのではなく、最初の設計から組み込むことが、長く使えるAI活用への近道です。
