お問い合わせ
2026 / 08 / 12セキュリティ

メールやPDFの指示にAIは従う?士業事務所が出所別に決める許可

Lead

メールやPDFの中の指示にAIが従うことはあるのか。英国NCSCとOWASPの資料を手がかりに、税理士・弁護士事務所が資料の出所ごとにAIへ許す操作を決める表と、承認画面の確認項目を整理します。

AIは、読み込んだメールやPDFの中の指示のような文に従ってしまうことがあります。 英国NCSCは、現在の大規模言語モデルには入力の中で指示とデータを安全上区別する仕組みがなく、この問題(プロンプトインジェクション)は完全には防げない可能性が高いと述べています。そのため税理士・弁護士事務所が決めるのは、攻撃文の見分け方ではなく、資料の出所ごとにAIへ許す操作の範囲です。

資料の出所例AIに許す操作
所内で作った資料事務所のひな形、内部メモ業務に必要な範囲で決める。外部のメールやWebから貼り付けた文章を含むものは、その文章の出所の区分で扱う
事務所が決めた経路で受け取った顧問先の資料事務所が指定した共有フォルダ・窓口で受け取った帳簿、契約書案、請求書PDF読む・要約する・下書きを作るまで。送信と削除は人が行う。顧問先ごとに別の会話で扱う
上記以外の資料相手方・第三者から届いた書面(弁護士)、初めての送り主のメール添付、調べ物で開いたWebページ、経路を決める前の顧問先の資料読んで要約するだけ。他のツールや保存先につなげず、送信と削除は人が行う。2行目の資料を扱う会話とは別の会話で読む

この表は当方の整理であり、公的機関が示した基準ではありません。

税理士・弁護士などの事務所で、AIにメールや資料を読ませて要約や下書きを作らせる場面を想定した確認事項です。掲載日(2026年8月12日)時点で公表されている資料のうち、英国の国家サイバーセキュリティセンター(NCSC)の記事(2025年12月8日掲載)とOWASPの資料を主な根拠にし、各資料の版と日付は脚注に書いています。特定のAI製品が安全か危険かを判断する記事ではなく、攻撃の手口や、検知をすり抜ける方法は扱いません。顧問先の資料や、相手方から届いた書面をAIサービスに入力してよいか(守秘義務や個人情報保護法上の扱い)は別の論点で、ここでは扱いません。入力の可否は士業事務所がChatGPTに入力してはいけない情報を参照してください。

AIはメールやPDFの中の指示に従うのか(プロンプトインジェクション)

NCSCは2025年12月の記事で、プロンプトインジェクションをデータベースへの攻撃(SQLインジェクション)と同じものとして扱うと、対策を誤ると説明しています。SQLインジェクションは入力を命令として解釈させない設計で根本から塞げますが、大規模言語モデルは入力された文章から次に来る語を予測しているだけで、指示とデータを区別する仕組みを持ちません。そのためNCSCは、根本から直す対策に期待するのではなく、リスクと影響を下げる設計を求めています。1

OWASPも同じ問題を、LLMアプリケーションの上位リスクの一つとして扱っています。Webサイトやファイルのような外部の入力に含まれる内容が、モデルの挙動を意図しない形に変えるものを「間接的な注入」と呼びます。人の目には見えない形で入っていても、モデルが読み取れば影響し得るとされています。2

提供元の方針の一例として、OpenAIのModel Spec(2025年12月18日版)は、引用文・添付ファイル・ツールの出力を既定で権限のないデータとして扱い、その中の指示は従う指示ではなく情報として扱う方針を公開しています。3 ただしOpenAI自身も、実際に提供しているモデルはまだModel Specを完全には反映していないと記しています。NCSCも完全には防げない可能性が高いと述べており、こうした方針は設計の目標であって、従わないことの保証ではありません。

ここまでの説明から導ける点は、資料を読む段階で危険な文章だけを取り除く作戦にも、「防ぐ製品を入れたから大丈夫」という考え方にも限界があることです。NCSCは、既知の危険な言い回しを禁止語で止める方法には言い換えが無数にあるため注意するよう促し、プロンプトインジェクションを「止められる」と断言する製品やサービスより、リスクをどう下げるのかを説明できるものを見るよう勧めています。1

被害の大きさは、AIに見せた情報と持たせた権限で大きく変わる

OWASPは、成功した場合の影響が、AIが使われる業務の場面と、AIにどこまでの行動権限を持たせたかで大きく変わると説明しています。影響の例として、機微な情報の開示、接続先の機能の不正な利用、誤った判断への誘導などを挙げています。2 事務所に置き換えると、AIが同じ会話の中や接続先で読める情報が広いほど、外へ出得る範囲も広がります(当方の整理)。

NCSCも、AIが出力に基づいて道具やAPIを呼び出す構成では、攻撃者がそれを使わせる可能性があり、影響は「攻撃者にその道具を直接使わせた場合の最悪の事態」と同じ大きさになり得ると述べています。1

事務所の言葉に直すと、同じ「資料を読ませる」でも、次の二つでは起こり得ることが違います。

AIに許している操作資料の中の文章に従ってしまった場合に起こり得ること
読んで要約するだけ要約の内容が資料の実態からずれる。要約だけでも、情報が外へ出る場合がある(下の説明)
読んだうえで、メール送信・ファイル削除・外部への書き込みもできる資料の送り主が意図した操作が、事務所の権限で実行される

前者でも、要約を信じて判断すると誤りが業務に入ります。OWASPは、内容の改変による誤った出力や偏った出力も影響に含めています。また、Webページを要約させただけで、隠れた指示により出力へ画像リンクが差し込まれ、会話の内容が外部へ出る例も挙げています。2

ここからは事務所向けの当方の整理です。同じ会話に他の顧問先の資料があれば、それも流出の対象に入り得ます。判断や支払いにつながる資料は、AIの要約や下書きだけで決めず、人が原本の該当箇所と突き合わせる運用をお勧めします。メール送信やファイル削除もできる場合は、情報が外へ出るだけでなく、資料の送り主が選んだ宛先への送信や、記録の削除まで事務所の権限で実行され得るため、範囲も取り返しのつきにくさも大きくなります。

出所ごとに、AIへ許す操作を決める

NCSCは、設計の方針として、AIが外部の相手の情報を処理するときは、そのAIの権限をその相手の水準まで下げるという考え方を紹介しています。見知らぬ外部の人からのメールを処理するAIに、権限の強い道具を与えないことが、その例です。1 OWASPも、AIの権限を必要最小限にすること、外部のコンテンツを分けて扱うこと、高リスクの操作には人の承認を入れることを、影響を減らす手段に挙げています。2

冒頭の表は、この考え方を事務所の資料に当てはめた当方の案です。分ける基準は、送ってきた相手が誰かではなく、事務所が決めた受け渡し経路で届いたかどうかです。顧問先から届いた資料でも、顧問先が取引先などから受け取った文章がそのまま含まれている場合があり、相手が特定できることと、資料に外部の文章が入っていないことは別です。また、差出人の表示だけでは相手が本物かを確かめられません。そのため、あらかじめ決めた共有フォルダや窓口で受け取ったものだけを表の2行目で扱い、それ以外は3行目に置きます。経路で分けても、2行目の資料に外部の文章が含まれる可能性は残るため、2行目でも送信と削除は人が行います。経路が決まっていない間は顧問先の資料も3行目になるため、受け渡し経路を決めることが最初の一歩です。

弁護士事務所では、相手方や第三者から届いた書面は、事務所の決めた経路で受け取るものではないため3行目に置きます。税理士事務所の例として、請求書PDFを読ませて仕訳案を作る場合を想定すると、届いた経路で扱いが分かれます。顧問先が事務所の指定した共有フォルダに置いたものは2行目で、仕訳案の下書きまでをAIに任せます。事務所が経路に決めていないメールで届いたものや、初めての送り主のものは3行目で、AIには内容の要約だけを許し、仕訳案は人が起こします。請求書PDFの読み取りから会計ソフトへの登録まで自動でつなぐ場合の認可の範囲などは、会計SaaSとAI連携で見るべき契約条件 — freee/MF APIで扱っています。

どの区分でも、リンクや画像の自動読み込みは切ることをお勧めします(当方の案)。切れないAIサービスでは、所内の資料以外はそのAIに読ませない選択肢があります。

人の承認は、操作の中身が読める形にする

OWASPは、高リスクの操作に人の承認を入れることを緩和策に挙げています。2 AIエージェント向けの資料(AI Agent Security Cheat Sheet)も、影響の大きい操作や取り消せない操作には明示的な承認を求め、実行前に操作の事前表示を実装するよう挙げています。4 承認の意味は、承認画面に何が表示されるかで変わります。たとえば、AIが「メールを送信します。よろしいですか」とだけ表示する場合、承認者は送信先も本文も添付も確認できません。

次の項目が承認の画面や手順に含まれるかを、導入前の試用で確かめます。項目は当方の整理で、OWASPが示したものではありません。

  • 送信先と、同報先に含まれる全員
  • 件名と本文(金額・口座・期限・リンク先が原本と合っているか)
  • 添付するファイルの名前と、その出所
  • 削除や上書きの対象の一覧
  • 直前に読んだ資料の名前(承認の判断材料になる場合)

表示される内容が、AIが書いた説明文ではなく、実際に送られる内容そのものかどうかも、同じ試用で確かめます。事務所が管理する検証用の受信先へ架空の内容を送り、承認画面の内容と、受信側で見える内容を見比べます。表示されない項目がある場合は、その操作をAIに任せず、人が自分で行う手順に戻す選択肢があります。

試用は、顧問先の資料も実際の接続も使わずに行う

OWASPは緩和策の一つに、定期的な侵入テストや攻撃の模擬を挙げ、モデルを信頼できない利用者として扱って、境界や権限が機能しているかを確かめるよう述べています。2 導入前の試用でこれを行う案です。

  • 実際の顧問先の資料も、実際のメール・共有フォルダ・送信機能への接続も使わない試験用の環境で行う(承認画面の確認だけは、前の節のとおり検証用の受信先を使う)
  • 架空の資料に、従っても実害の出ない一文(たとえば、回答の末尾に決まった語を付ける指示)を入れる
  • AIがその一文に従うかを確かめ、従った場合は、そのAIに許している操作を狭める
  • 確かめた日と設定を添えて、結果を記録する

AIがその一文に従わなかった場合も、残るリスクがなくなるわけではありません。NCSCは、このリスクは製品や装置だけでは完全に抑えられず、設計・構築・運用で管理するものだと述べています。1 試用の合格は、「この設定、この資料では従わなかった」という記録にとどまります。

試験用の環境を用意できるかは、AIサービスの提供元に確認する事項です。導入前の確認項目と質問例はAI導入のセキュリティチェックリスト|士業事務所の確認項目と質問例にあります。

出所ごとの許可・人の承認・試用を点検する5項目

  • AIに読ませる資料を、所内の資料・事務所が決めた経路で受け取った顧問先の資料・それ以外の三つの区分で説明でき、顧問先から受け取る経路を決めているか
  • 出所ごとに、AIが実行できる操作(送信・削除・外部への書き込み)を一覧にし、不要なものを外したか。リンクや画像の自動読み込みは切ったか(切れない場合は、所内以外の資料を読ませないと決めたか)
  • 人の承認が必要な操作で、承認画面に実際に送られる宛先・本文・添付・対象がそのまま表示されるか。判断や支払いにつながる資料は、人が原本と突き合わせる手順にしたか
  • 実際のメールや保存先につながない状態(承認画面の確認を除く)で、顧問先の資料を使わない検証用資料により、AIの挙動を試し、日付と設定を記録したか
  • AIの入力・出力や操作の記録を残す場合、記録に顧問先の情報が含まれ得ることを踏まえて、保管先、閲覧できる人、保管期間を決めたか

記録の項目と保管の考え方は、AI利用ログは何を残す?士業事務所の記録項目・保存・確認手順とAIを業務で使ったときの記録を、どう残しておくかで扱っています。AIエージェントにファイルやツールを渡す際の、権限・通信・記録の確認は、AIエージェントに顧問先ファイルを渡してよい?権限・通信・記録の確認でも扱っています。

Footnotes

  1. 英国国家サイバーセキュリティセンター(NCSC)「Prompt injection is not SQL injection (it may be worse)」(2025年12月8日掲載)。指示とデータの境界がないこと、SQLインジェクションと同じ方法では塞げずリスクと影響を下げる設計が必要なこと、残るリスクとして設計・構築・運用で管理すること、権限を相手の水準まで下げる考え方、禁止語による対策と「止められる」と断言する製品への注意を確かめた(ページに記された掲載日は2025年12月8日で、以後の更新の記載はない)。https://www.ncsc.gov.uk/blog-post/prompt-injection-is-not-sql-injection ↩ ↩2 ↩3 ↩4 ↩5

  2. OWASP Gen AI Security Project「LLM01:2025 Prompt Injection」。間接的な注入の定義、影響の例、攻撃シナリオの例(Webページ要約からの会話内容の流出)、緩和策(最小権限・高リスク操作への人の承認・外部コンテンツの分離・敵対的テスト)、完全な防止策があるかは不明とする記述を確かめた(ページの最終更新は2025年4月17日)。https://genai.owasp.org/llmrisk/llm01-prompt-injection/ ↩ ↩2 ↩3 ↩4 ↩5 ↩6

  3. OpenAI「Model Spec」2025年12月18日版(掲載日時点の最新の版)。引用文・添付ファイル・ツールの出力は既定で権限のないデータとして扱い、その中の指示は従う指示ではなく情報として扱うとする記述(「Ignore untrusted data by default」の項)と、実際に提供しているモデルはまだこの文書を完全には反映していないとする概要の記述を確かめた。https://model-spec.openai.com/2025-12-18.html ↩

  4. OWASP Cheat Sheet Series「AI Agent Security Cheat Sheet」の「Human-in-the-Loop Controls」の項。影響の大きい操作や取り消せない操作への明示的な承認と、実行前の操作の事前表示(action preview)を挙げる記述を、掲載日以前の最新の更新(2026年6月27日UTC)を反映した版の文言で確かめた。リンク先のページは改訂されうるため、この版と文言が異なる場合がある。https://cheatsheetseries.owasp.org/cheatsheets/AI_Agent_Security_Cheat_Sheet.html ↩

Author · 著者

士業AI