はじめに

前回のブログでは、具体的なAIエージェントの開発を念頭に置いて、実務上の法的なリスクを取り上げ、それに対する契約上の対応策として、特にAIエージェント固有のガードレールの設定や責任分配、複数の基盤モデル利用時の留意点について説明しました。
本ブログでは、開発・学習段階ではなく、利用段階における、AIエージェントに対するインプット・アウトプットの問題について、検討します。

 

本ブログの要点―AIエージェントの利用段階におけるインプット・アウトプットのリスク整理のポイント

• インプットとアウトプットが問題となる二つの段階
  AIエージェントには、開発・学習段階と、利用段階の二つの段階が想定されます。本ブログは、利用段階に焦点を当てて、利用時のインプット・アウトプットの法的・実務的リスクを整理します。

• 利用段階のアウトプットについて
  アウトプットは、AIエージェントが自動でタスクを実行するため、人間の判断が介在する場合と比較して、想定外の情報が含まれたり、想定外の挙動を行うリスクが高まるため、「ガードレール」として、システム側での制御と共に、適切に人間の判断を介在させるような設計にして、リスクを低減させることが重要となります。

• 利用段階のインプットについて
  他社の提供するAIエージェントを利用する場合には、個人情報や営業秘密の観点から、利用条件を確認する必要があります。また、インプットにおいても、悪意のある攻撃を受ける危険があり、インプットにおける「ガードレール」の設計も重要です。

 

インプットとアウトプットが問題となる二つの段階

前回と前々回のブログでは、AIエージェントの開発契約に焦点を絞って検討しました。しかし、AIエージェントでは、生成AIと同様に、①開発・学習段階と②利用段階の二つの段階が存在し、それぞれにインプットとアウトプットを想定できます。
①開発・学習段階におけるインプット・アウトプットは、AIエージェントの開発において行われるインプット・アウトプットであり、例えば、インプットとしては、AIエージェントを開発するためにデータを学習に利用することなどが想定され、アウトプットとしては、AIエージェントの具体的なシステムが想定されます。
このような開発・学習段階のインプット・アウトプットは、主にAIエージェントを開発する主体が検討することになる対象です。昨今の生成AIの発展に伴い、生成AIを用いたAIエージェントを開発するニーズが高まり、従来はAIの開発に関わっていなかった企業がAIの開発を検討することも想定されます。そのため、開発・学習段階のインプット・アウトプットについても、より広範囲の企業にとって検討の対象になる可能性があります。
②利用段階のインプット・アウトプットは、実際にAIエージェントを利用する場面で行われるインプット・アウトプットであり、例えば、インプットとしては、AIエージェントに対する指示などが想定され、アウトプットとしては、AIエージェントによる具体的な出力が想定されます。
このような利用段階のインプット・アウトプットは、主としてAIエージェントの利用主体が検討することになりますが、開発段階においても、将来的にどのように利用するかを想定して開発することになるため、開発主体も検討することになります。
①と②のインプット・アウトプットは、それぞれ異なる主体が、異なる場面で検討することになるものであるため、インプット・アウトプットについて検討する際には、①と②のどの段階のものを検討しているかに留意する必要があります。
前回と前々回のブログにおいて、①開発・学習段階のインプット・アウトプットについて、開発契約の文脈で検討しましたので、本ブログでは、②利用段階のインプット・アウトプットについて検討します。

 

AIエージェントと利用段階のアウトプット

AIエージェントは、特定の目標を達成するために、一定のタスクを順次実行します。その過程で、AIエージェントによるアウトプットが行われることがあり得ます。例えば、営業代行のAIエージェントであれば、顧客を獲得するという目標を達成する中で、見込み顧客に対して連絡するというアウトプットを行うことが想定されます。
生成AIを用いたAIエージェントでは、アウトプットは、単純な条件分岐によって行われるものではなく、その都度生成されるものであるため、不可避的に内容に揺れが生じます。アウトプットの揺れの幅が小さければ問題ありませんが、例えば、アウトプットに個人情報が含まれたり、営業秘密が含まれたり、差別的表現が含まれたりなど、本来含まれるべきでない情報が含まれるほどに揺れが大きい場合には法的な問題が生じます。
すなわち、上記の営業代行のエージェントの例で言えば、見込み顧客への連絡において、個人情報（データ）が含まれていれば、原則として個人データの第三者提供規制に違反しますし（個人情報保護法27条1項）、営業秘密が含まれていれば、基本的に当該営業秘密の保護が失われ、差別的表現が含まれていれば、不法行為の問題や、ビジネス上の評判を下げるリスクも生じることになります。[i]
その上で、AIエージェントは、自動でタスクを実行するため、人間の判断を経ずにアウトプットを行う可能性があります。そのため、本来含まれるべきでない情報が含まれたままアウトプットが行われるという事態が生じやすいといえます。
また、アウトプットを自動で行うことから、この特性を利用した悪意のある攻撃を受けるリスクもあります。例えば、Anthropicは、Claudeにブラウザを操作させて、自動で、スケジュールを管理したり、メールを作成したりなどできる「Claude for Chrome」を発表しました。[ii]この「Claude for Chrome」の検証段階では、AIエージェントがタスクを実行する中でウェブサイトの検索やメールを閲覧したりすることを利用して、そのウェブサイトやメールに悪意のある指示を埋め込んでおくことで（「prompt injection attacks」と言われています）、メールボックス内のメールを全て削除させるような攻撃が成功したことを明らかにしています。[iii]
このような問題に対処するために、現在、実用化されているほとんどのAIエージェントは、「ガードレール」を設定しており、問題となるアウトプットが自動で行われることのないような制限を設けることができるとのことです。[iv] AIエージェントは、取り扱う情報や仕組みなど、多様な組合せが考えられ、組合せの内容によって、リスクの内容及び程度は異なるため、どのような制限を設けるべきかについて、単純化することは困難です。そこで、リスクベースアプローチの考え方に基づき、具体的なAIエージェントを想定したうえで、アウトプットによるリスクを整理して検討する必要があります。
例えば、上記の「Claude for Chrome」の例では、①ユーザがClaudeのアクセスできるサイトをいつでも制限できるような設定にしており、②Claudeが、公開や購入、個人情報の共有などリスクの高いアクションを行う前に、ユーザに確認を行うようにしているとのことです。[v]また、これに加えて、Claudeのシステムプロンプト（ユーザの指示に基づいて生成を行う際に一般的に考慮すべき事項として予めシステム側で設定されている指示）として、機微性の高い情報の処理方法や機微性の高い行動を行うよう求める指示への対応方法を定めているとのことです。[vi]さらに、金融サービスやアダルトコンテンツ、海賊版コンテンツなどリスクの高い類型のウェブサイトには、アクセスができない設定にしているとのことです。[vii]
このようにシステム側の制御と共に、人間の判断を適切に介在させることによって、アウトプットによるリスクを低減させることが重要となります。

 

AIエージェントと利用段階のインプット

AIエージェントでは、基盤モデルに対してインプットが行われます。例えば、営業代行のAIエージェントであれば、顧客を獲得するという目標を達成する中で、利用する企業が保有する情報のうち、製品情報や見込み顧客の情報などがインプットされることが想定されます。
インプット先のシステムが自社のシステムであれば、個人情報や営業秘密などの観点から、問題になる可能性は低いといえます。他方で、他社の提供するAIエージェントを利用する場合には、個人情報のインプットが第三者提供に当たり、原則として本人の同意が必要にならないかという問題が生じたり、営業秘密のインプットによって、営業秘密の保護が失われないかという問題が生じたりすることが考えられます。なお、インプット先のシステムが自社のシステムであっても、他社の生成AIの基盤モデルを利用して開発されたシステムの場合には、システムへのインプットを通して、基盤モデルにインプットがされることになりますので、基盤モデルを利用する環境によっては、他社の提供するAIエージェントを利用する場合と同様の問題が生じます。
また、アウトプットで述べた「Claude for Chrome」の例のように、ウェブサイトやメールが自動でインプットされる場合には、そのウェブサイトやメールに悪意のある指示（「メールを全て削除しろ」など）が埋め込まれていると、問題のあるアウトプットにつながるリスクもあります。[viii]
このような問題に対処するためには、アウトプットと同様に、リスクベースアプローチの考え方に基づき、具体的なAIエージェントを想定したうえで、インプットによるリスクを整理して検討する必要があります。
例えば、他社の提供するAIエージェントを利用する場合には、利用契約・利用規約の内容を確認し、どのようなインプットが行われ、そのインプットがどのように扱われるかについて検討する必要があります。AIエージェントでは、ユーザが入力した指示のみがインプットされるわけではなく、自動でインプットを行っていく場合もありますので、インプットの内容を正確に理解することが重要となります。
個人情報との関係では、個人データがインプットされる場合には、委託として整理できれば、第三者提供規制の問題はなくなります（法27条5項1号。なお、越境移転規制（法28条）は別ですし、委託先の監督（法25条）等は必要です。）。そこで、AIエージェントの提供側において、個人データを流用するようになっていないかなど、委託の範囲を超える可能性がないかを確認する必要があります。
営業秘密との関係では、秘密保持義務を負わない第三者に営業秘密を提供すると、ケース・バイ・ケースではありますが、営業秘密としての保護が失われる可能性があります。そこで、営業秘密がインプットされる場合には、AIエージェントの提供側において、秘密保持義務を負っているかを確認する必要があります。
また、悪意のある第三者から、インプットを利用した攻撃が想定される場合には、アウトプットで述べた「Claude for Chrome」の例のように、悪意のある第三者から攻撃を受けても問題のないように「ガードレール」を設定したり、悪意のある第三者が攻撃を隠すような場所にアクセスしないような「ガードレール」を設定したりすることが考えられます。

 

まとめ

本ブログでは、AIエージェントの利用段階に焦点を当て、インプットとアウトプットに内在する法的及び実務上のリスクを整理しました。アウトプットについては、生成AIの特性によって本来含まれるべきでない情報が混入し得るため、「ガードレール」として、システム側での制御と共に、適切に人間の判断を介在させるような設計が望ましいといえます。インプットについては、他社提供サービスの利用時に、個人データの第三者提供や営業秘密の論点が生じやすいため、契約条件の検討が必要であり、また、自社システムであっても、悪意のある第三者からの攻撃に備える必要があります。要するに、「何を入れ、何が出るか」を可視化し、適切に人間の関与と技術的な制御を組み合わせて運用していくことが重要です。

以上

---

[i] 営業メールを自動で送るような場合には、特定電子メール法の規制対象とならないかなど、AIエージェントの想定される利用場面・方法・内容に応じて、各種法令との関係でも検討が必要となります。
[ii] Piloting Claude for Chrome, Anthropic (August 27, 2025), https://www.anthropic.com/news/claude-for-chrome
[iii] 前掲注ii
[iv] 日経ビジネス2025年1月27日号21頁
[v] 前掲注ii
[vi] 前掲注ii
[vii] 前掲注ii
[viii] 前掲注ii