2026年9月1日訂正: 初版には、複数の事務所が三段階レビューや定期監査を実施しているように読める記述と、それによって確認漏れが減るという効果表現がありました。対応する導入記録・測定記録を確認できないため撤回します。以下は、引用の実在性と内容を原典で確かめ、採否の根拠を残すための設計案です。
AIが示した判例番号、条文、通達名、統計値は、文章が自然であっても原典とは限りません。確認では、単に検索結果が見つかるかだけでなく、次の四点を分けます。
- その資料は実在するか
- 現在も有効な版か
- AIの要約が原文の条件・例外を保っているか
- 作成中の文書で、その資料を根拠として使えるか
本記事は、引用確認の手順を検討するための一般情報です。特定の事務所で事故が起きたという報告でも、この手順で誤引用率が下がることをShigyoAIが検証した結果でもありません。
公開事例が示すのは「実在確認を省かない」こと
米国のMata v. Avianca事件では、実在しない判例を含む書面が裁判所へ提出され、2023年6月22日に制裁決定が出ました。事案の詳細は裁判記録で確認できます 1。
この一件から直接言えるのは、少なくとも当該事件では、引用された判例の実在性を提出前に確認できなかったということです。日本の士業事務所で同種事故がどの頻度で起きているか、どのレビュー方式なら防止できるかまでは、この一件から推計できません。
したがって、事故件数を想像する代わりに、自所の成果物に含まれる検証対象を列挙します。
- 判例名、事件番号、裁判所、裁判年月日
- 法令名、条番号、施行日、改正履歴
- 通達、告示、ガイドライン、様式の名称と版
- 統計の公表主体、調査対象、期間、母数
- 人名、組織名、製品名、資格名
- 引用文と、その前後にある条件・例外
検証台帳に残す最小項目
引用を採用する場合は、後から同じ確認を再現できる情報を残します。次は記録形式の一例です。
| 項目 | 記録する内容 |
|---|---|
| 主張 | 成果物に書く事実・結論・数字 |
| 原典 | 公的データベース、官公庁、裁判所、発行主体のURLや文書番号 |
| 確認箇所 | ページ、条番号、段落、表番号 |
| 版・時点 | 公表日、改正日、確認日 |
| 照合結果 | 一致、条件付き一致、不一致、確認不能 |
| 処理 | 採用、限定して採用、原典から書き直し、不採用 |
| 確認者 | 誰がいつ確認したか |
URLだけでは、後日更新されたときに確認時点の内容を再現できないことがあります。許諾と所内ルールの範囲で、文書番号、版、確認箇所、確認日を併記します。
原典へ戻る順序
AIの回答、検索結果の要約、解説記事は、原典を探す入口には使えます。しかし、それ自体を最終根拠とは扱いません。確認順序を決めるなら、次のように情報源を近づけます。
- AI出力に書かれた資料名・番号を検索する
- 発行主体、裁判所、官公庁、公的データベースで実在を確認する
- 原文を開き、該当箇所と前後の条件・例外を読む
- 改正、廃止、上訴、差替え、新版の有無を確認する
- AIの文章ではなく、確認した原文から成果物を書き直す
原典を確認できない場合は、「AIがそう答えた」を根拠に採用せず、確認不能として止めます。有料データベースや非公開資料が必要な場合は、アクセス権を持つ担当者へ確認を移します。
全件確認と抽出確認を混同しない
固有名詞、条文、判例、通達、金額、期限など、誤りが成果物の結論を変える項目は全件確認の候補です。一方、定期的な品質点検で一部を抽出する方法は、全件確認の代替ではなく、運用全体の傾向を見る別の目的です。
どこまで全件確認するかは、誤りの影響、件数、原典へのアクセス、提出先の要件に応じて決めます。「二人で見れば安全」「月次監査なら十分」といった固定の正解は、本記事では示しません。
入力情報の確認は別の記録に分ける
引用の正しさと、AIへ入力してよい情報かは別の問題です。引用が正しくても、入力経路が契約・守秘・個人情報の要件を満たしているとは限りません。
個人情報保護委員会は、個人データを生成AIサービスへ入力する場合、提供事業者が当該データを機械学習に利用しないこと等を十分に確認するよう注意喚起しています 2。
入力側では、少なくとも次を別に記録します。
- 入力した情報の分類と利用目的
- 使用したサービス、プラン、機能
- 学習利用、保存、削除、第三者提供に関する確認結果
- アクセス権と共有範囲
- 誤入力が判明した場合の連絡・停止手順
自所で効果を測る
この設計を採用する場合は、「確認したから安心」とせず、実際の記録から評価します。
- 検証対象となった主張の件数
- 不一致・確認不能として止めた件数
- 原典確認にかかった時間
- 採用後に訂正が必要になった件数
- 台帳の必須項目が欠けていた件数
測定期間、対象業務、確認者を記録しなければ、別の事務所や別の業務へ効果を一般化できません。結果が悪ければ、対象業務を狭める、原典へのアクセスを先に整える、AIを使わず原典から作成する方法へ戻します。
まとめ
引用確認の中心は、レビュー人数ではなく、主張と原典を対応付け、採否の理由を再現できる状態にすることです。
- 実在、版、文脈、適用可否を分けて確認する
- 原典の該当箇所と確認日を残す
- 確認不能な引用は採用しない
- 引用の正しさと入力情報の適法・適切性を分ける
- 効果は自所の訂正件数と確認時間で測る
顧問先や行政庁へ出す最終成果物の責任と承認工程は、関連記事「顧問先に出す書面の前に、もう一度確認しておくこと」で扱います。本記事は、その前段にある「根拠を検証できる状態にする」工程へ範囲を限定しています。