ある士業事務所で、こんな話を伺ったことがあります。担当者の方が顧問先からの照会への回答ドラフトをAIで下書きし、引用していた条文番号が古いまま顧問先に送信してしまったそうです。別の事務所では、AI出力にあった通達名で官公庁サイトを検索しても該当通達が出てこなかった、というお話もありました。共通しているのは、担当者の方が一人で確認した時点では止められなかった、という場面です。
これは仮想ケースですが、特定の事務所の実話ではなく、守秘の観点も踏まえて再構成した典型的な状況です。
事務所の代表・管理者の方から伺うお話には、いくつかの共通点があります。担当者の方は「AIが出していたので大丈夫だと思った」と仰るが、出典までは確認していなかった。事務所として「AI出力は二重チェック」とは決めているが、何をどう確認するかは現場の判断に委ねられていた。シニアの方がレビューしても、AI出力に特有のもっともらしい誤りが見抜けず納品物に載ってしまった、というお話です。
担当者の方の注意力に依存した確認は、件数が増えるほど抜けが出やすくなります。引用の確認を業務の流れに組み込んでおくと、属人差が減りやすくなることがあります。本記事は別記事「弁護士業務でAIリサーチを使うときの注意点」「架空判例の引用が起きる場面で何を確認するか」と対をなす位置付けで、確認の手順を業務の中に置く運用例をご紹介します。
担当者一人の確認では抜けが出やすい場面
「シニアの方が確認しているから大丈夫」では止めにくい場面があります。AI出力の特徴を、現場で伺うお話から並べておきます。
- もっともらしさの度合いが高い場面: 判例番号・条文番号・通達名・学者名・統計値の体裁が揃っていて、形式的な確認では違和感が出にくいことが多いです
- 確認対象が増えている場面: 1件の納品物に含まれる引用ポイント (事実・引用元・結論・数字) が手書きの時代より多くなっていて、集中力が続きにくくなっています
- AI起源かどうかが見えにくい場面: AIが下書きした段落と人が書いた段落が混在していて、どこを重点的に裏取りすべきかが確認する側に伝わりにくい流れになっています
- レビューが軽くなりやすい場面: 「ここまで整えてあるのだから」と感じる場面では、確認が軽くなる流れが出てきます
これらは「もっと丁寧に」では対応しにくい場面で、業務の流れに確認を置くことで対応しやすくなる、という見方もあります。海外では、AIが出した架空の判例を準備書面にそのまま引用し、シニア弁護士の方の確認が機能しなかったために制裁を受けた事案が報告されています (Mata v. Avianca, Inc., 米国ニューヨーク南部地区連邦地裁、Castel判事2023年6月22日付制裁決定)。AI出力を最終納品物に載せる場面では、確認の手順が問われる、という整理になります。詳しくは 架空判例の引用が起きる場面で何を確認するか を参照してください。
確認を3段階に分けて業務に置く運用例
確認の手順を業務の中に置くとき、一次レビュー・二次レビュー・スポット監査の3段階に分ける運用を取っている事務所もあります。
一次レビューは、下書きを作った担当者の方ご自身が行う確認です。AI出力に含まれる事実・引用元・結論・数字を原典で照合し、「AIが出した」箇所に出典のメモを残しておきます。事務所で用意したチェックリストを自己点検として通す流れになります。
二次レビューは、上長の方や別の担当者の方が、別の目で確認する役割です。判例番号・条文番号・通達名・学者名・統計値・固有名詞をサンプルで抽出し、原典で確認します。AIが下書きした段落かどうかを明示する運用にしておくと、重点的に確認すべき箇所が見えやすくなります。
スポット監査は、月次や四半期で納品済みの成果物の一部をランダムに抽出し、誤引用が無かったかを後から確認する役割です。監査の結果はチェックリストや教育内容に反映されます。監査する方は案件の担当から独立した立場の方、あるいは外部の方が望ましい、という整理を取っている事務所もあります。
3段階に分けておくことで、担当者の方一人の集中力に頼らない流れ、異なる目を通す流れ、後から振り返れる流れ、という形を取りやすくなります。すべての成果物を3段階通すのが難しい場面もあるので、案件の種別・依頼者の種別・金額の規模で適用ラインを決めておく、という運用も見ます。
業務の中で使えるチェックリストの形
「ダブルチェックをする」だけでは現場に降りにくい場面が多いようです。AI出力の確認用のチェックリストを事務所で1枚定義しておくと、確認の漏れが減りやすくなることがあります。最低限の観点を、4つに分けて並べておきます。
| 観点 | 確認すること | 確認の手段の例 |
|---|---|---|
| 事実 | AIが述べた事実関係は原典・DBで確認できるか | 公的DB / 公式サイト / 一次資料 |
| 引用元 | 示された出典 (判例番号・通達名・学者名 等) は実在するか | 判例検索DB / 官公庁サイト / 学術DB |
| 結論 | AIの結論は原典本文と齟齬がないか | 原典全文を読み、論旨が同じか確認 |
| 数字 | 統計値・金額・期日・人数 等は最新版か | 公表機関の最新版を確認 |
このチェックリストは「AIが出した箇所だけ」ではなく「AIが触った可能性のある箇所すべて」に当てるほうが、後から振り返ったときに楽になることが多いようです。紙のチェックリストではなく、運用に組み込めるフォーマット (成果物テンプレート内のチェックボックス、PRレビューフォーム、Notion / Confluenceのテンプレート 等) にしておくと、サインオフの記録が残る形になります。
出典の扱いを業務の流れに置く
事務所で取られている運用の一つに、「出典が書けない情報はAI出力でも納品物に載せない」というラインを置く形があります。誤引用が出やすい経路を、入口でいくつか塞ぐ流れになります。
- 出典付きで扱う対象: 判例番号・条文番号・通達名・統計値・金額・期日・人数・学者名・固有名詞
- 出典の形: 公式・一次情報・公開日付きを原則にする
- 一般論・概念整理 等で出典の特定が難しい箇所: 「一般的な整理として」と明示する流れにしておく
- 後で困りやすい運用: 「AIがそう出していた」を根拠として残す、公開日が確認できないソースやまとめサイトを出典として扱う
出典の扱いを担当者の方一人の判断に委ねない流れを作っておくと、確認の品質が揃いやすくなることがあります。テンプレート・チェックリスト・レビュー基準に落とし込んで、日々の業務に乗せておく、という形を取っている事務所もあります。
確認の責任者を置く運用例
確認の手順が形だけにならないために、確認の責任者の方を明示しておく運用を取っている事務所もあります。役割の分け方の一例です。
- レビュー責任者: 事務所全体の確認基準を策定・更新し、スポット監査を主導する役割です。代表・パートナー・管理担当の方が兼任する形を取っている事務所もあります
- 案件レビュアー: 案件ごとに二次レビューを担当する役割です。案件の担当者の方とは別の方を割り当てる流れになります
- 作成者: AI出力の一次レビューを担当し、出典のメモを残す役割を担います
入所時や年次研修の中で、過去に起きた誤引用のお話 (匿名化したもの) や、架空判例の事案を教材として共有している事務所もあります。「担当者個人の注意力を高める」 だけでなく、「業務の流れの中で確認を回せるようになる」 という形で設計されている例が多いように見受けられます。
守秘義務・個人情報の論点も同じ場面で出てきます
確認の手順を業務の中に置くとき、情報漏えい・守秘義務・個人情報保護法の論点も同じ場面でつながってきます。確認基準に組み込んでおくと、後から振り返りやすくなる項目を並べておきます。
- 入力前の確認: AIに何を入力したか (顧客情報・案件情報・社内秘) を記録しておき、二次レビューを行う方が後から確認できる流れにしておく
- プラン・契約条項の確認: 利用しているAIのプラン (個人 / 法人 / API)、学習利用の可否、保管場所、DPAの有無を案件着手前に確認しておく
- アカウントの管理: 案件担当者の方ごとのアカウント分離、退職時のオフボーディング、MFA、ログの保存期間を決めておく
- 万一の場面の対応: 誤入力・漏えいが起きた場面での顧問先への報告フロー、所属会・監督官庁への報告基準を決めておく
個人情報保護委員会は2023年6月2日付で「生成AIサービスの利用に関する注意喚起等について」を公表していて、入力データの取扱い・第三者提供該当性・利用目的の特定 等、個人情報取扱事業者として確認すべき論点が示されています。士業事務所もこの射程に含まれてくる、という整理が現場では取られています。
確認を業務に置くための起点
AI出力の誤引用を担当者の方一人の注意力で防ぐのは難しい場面が増えています。業務の中に確認の手順を置く流れを作るとき、押さえておきたい観点を簡潔に並べておきます。
確認を3段階に分けて業務に置いておくこと。一次・二次・スポット監査のそれぞれに役割を持たせる流れになります。すべての成果物を3段階通すのが難しい場面もあるので、案件種別・依頼者種別・金額規模で適用ラインを決めておく、という運用も見ます。
事実・引用元・結論・数字の4観点をカバーするチェックリストを事務所で1枚定義しておくこと。「AIが触った可能性のある箇所すべて」に当てる設計にしておくと、後から振り返りやすくなります。
出典の扱いを成果物テンプレート・レビュー基準に落とし込んでおくこと。出典の書けない情報はAI出力でも載せない、というラインを業務の流れに置く形です。
確認の責任者を明示し、サインオフの記録が残る形にしておくこと。形骸化しにくくする運用の一つです。
確認の手順を業務に置く流れは、守秘義務・個人情報・セキュリティを業務の中で守る流れにも重なります。入力ログ・プラン種別・契約条項の確認も同じレイヤーに置いておくと、振り返るときに楽になる場面が出てきます。
参考
- 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」（2023年6月2日）
https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/ - Mata v. Avianca, Inc. — 米国ニューヨーク南部地区連邦地裁、P. Kevin Castel判事による制裁決定（2023年6月22日）
https://www.courtlistener.com/docket/63107798/mata-v-avianca-inc/ - 経済産業省・総務省「AI事業者ガイドライン」（Ver1.2、2026年3月31日公表。最新版は経産省・総務省の公式ページで確認）
https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html - NIST AI Risk Management Framework (AI RMF 1.0)（参考リンク。公開日・版数は公式サイトで確認）
https://www.nist.gov/itl/ai-risk-management-framework - ISO/IEC 42001（AIマネジメントシステム規格、参考リンク）
https://www.iso.org/standard/81230.html - 個人情報保護委員会「個人情報の保護に関する法律についてのガイドライン（通則編）」
https://www.ppc.go.jp/personalinfo/legal/guidelines_tsusoku/