お問い合わせ
2026 / 05 / 26 事例

公開事例から見るAIハルシネーション検証フロー

Lead

Mata v. Avianca 以降に公開報道された AI 架空判例事案から共通の運用パターンを抽出し、日本の士業が導入前に置くべき検証フローとセキュリティ設計の最低ラインをご紹介します。

事務所からよくお伺いするお話の一つに、「海外で AI が架空の判例を引用した書面が問題になっている、というニュースを所内で取り上げたいのですが、自分たちの業務にどう接続したらいいか迷っています」というものがあります。Mata v. Avianca(2023 年 6 月決定)を皮切りに、米国・英国・カナダ等で AI 生成の架空判例・誤引用を含む書面提出に対し、裁判所が制裁を科したと報じられる事例は、単発の珍事件ではなく繰り返し起きている形として観測されているようです。

本記事では、公開されている一次情報をもとに、Mata v. Avianca 以降に報告された主要な制裁事例を時系列で並べ、複数事例から見えてくる共通の流れをまとめます。そのうえで、同じような事故が日本の士業・企業法務で起きた場合の論点と、現場で取り組みやすい検証フロー・セキュリティ設計の最低ラインをご紹介します。関連記事として「海外法律事務所の AI 導入から学ぶこと」(Big Law の導入事例と失敗事例の対比)も公開しており、本記事は切り口を変え、制裁事例の網羅と共通の流れの抽出に重心を置いています。

Mata v. Avianca が起点になった経緯

最初に位置づけを揃えておきます。本記事では Thomson Reuters Institute・Reuters・裁判所が公開する判決要旨などの一次・準一次情報を優先的に参照し、Wikipedia 等の二次情報は補助的な位置づけに留めています。事件のあらましは、公開資料からおおよそ次のような流れとして読めます。

  • 裁判所: 米国ニューヨーク南部地区連邦地裁(SDNY)
  • 裁判官: P. Kevin Castel 判事
  • 決定日: 2023 年 6 月 22 日
  • 引用例: 678 F. Supp. 3d 443
  • 経緯: 原告 Roberto Mata 氏が Avianca 航空を相手取り人身傷害で提訴。原告代理人が ChatGPT を使って準備書面のドラフトを作成し、架空の判例引用を含んだまま提出
  • 代理人の対応: 対抗側が引用判例の実在性を問い質した際、代理人は「ChatGPT に確認したら『LexisNexis や Westlaw から取得可能』との回答だった」とする文書を追加提出
  • 判事の評価: 判決要旨に「多数の不整合(inconsistencies)」と「意味不明(gibberish)」と評される分析が含まれていると指摘し、主観的悪意(subjective bad faith)を認定
  • 制裁: 連邦民事訴訟規則 11 条違反として、原告代理人らに合計 5,000 ドルの罰金を科す決定

ここで一つお伝えしたいのは、Mata v. Avianca で制裁の対象になったのは「AI を使ったこと」ではなく、「AI 出力を裏取りせずに提出し、さらに AI 自身に出力の真偽を確認するという循環参照で『裏取りした』と主張した」運用の部分であった、という点です。この形は本記事で後述する後続事例にも繰り返し現れています。

米国法曹界への波及として、米国弁護士会(American Bar Association)が 2024 年 7 月に生成 AI 利用に関する初の正式な倫理ガイダンスを公表したと報じられており、Mata v. Avianca はその直接的な契機の一つとして引かれていると伝えられています。

その後に報じられた主要な制裁事例

Mata v. Avianca 以降、公開ベースで確認できる主な事例を時系列でまとめます。Thomson Reuters Institute の追跡記事・Reuters の報道・裁判所が公開する命令書/判決要旨を優先参照し、Wikipedia 等の二次情報は補助に留めています。個別の事案詳細・固有名詞・金額は時点により更新され得るため、参考リンクから一次情報に当たることをお勧めします。

Powhatan County School Board v. Skinger(米バージニア州東部地区連邦地裁)

  • 自己代理(pro se)の当事者が、42 件の存在しない判例引用を含む書面を提出したと報じられています
  • 裁判所は提出を取り消す(strike)動議を却下せず、修正の試みも認めなかったとされ、結果的に提出書面を否定する判断に至ったとされています
  • 流れとしては、「AI 出力を信用したまま、訂正のタイミングを逃した」事例として参照されています

Deghani v. Castro(米ニューメキシコ州連邦地裁)

  • 外部委託のフリーランス弁護士(Felipe Millan 氏とされる)が、複数の架空判例を含む書面を検証せずに提出したと報じられています
  • 州弁護士会への照会・制裁措置に至ったとされ、「善意であっても客観的な合理性基準で評価される」と整理されています
  • 流れとしては、「外部委託の介在で検証責任の所在が曖昧になった」事例です

Kaur v. Desso(米ニューヨーク州北部地区連邦地裁)

  • 架空判例引用と捏造された引用文を含む書面提出に対し、1,000 ドルの罰金と、AI に関する継続法学教育(CLE)の受講義務が科されたと報じられています
  • 担当弁護士は「期限切迫で焦り、ハルシネーションのリスクは認識していたが裏取りを省いた」と認めたとされています
  • 流れとしては、「期限プレッシャー下で検証を意図的にスキップ」した事例です

In re Marriage of Haibt(米コロラド州控訴裁判所)/ In re Martin(米イリノイ州北部地区連邦破産裁判所)

  • 2025 年中盤以降に Thomson Reuters Institute の追跡で言及された事案として整理されており、家事事件・破産事件など「連邦地裁の民事訴訟」以外の領域にも広がっている様子が示されています
  • 流れとしては、「複雑訴訟だけでなく、定型的な手続にも AI ハルシネーションをきっかけにした事故が広がっている」場面です

大手法律事務所への波及

2025 年に入り、米国の Am Law 100 級(売上規模で全米上位 100 社に入る大手)に分類される法律事務所でも、AI 由来のハルシネーションを含む書面提出が報じられ、五桁ドル規模の制裁・費用負担に至った事例が複数公開ベースで確認できると Thomson Reuters Institute は整理しています。具体名・金額は時系列・公開精度の都合から本文では特定せず、参考リンクから一次情報に当たることをお勧めします。なお、本記事は 2026-05-14 時点で公開されている情報に基づくものであり、それ以降の追加事例・裁判所ガイダンスは反映していません。

共通して見えてくる形と、日本で起こりうる場面

複数の事例を並べると、制裁に至る運用の共通する流れが浮かび上がってきます。個別事例の固有名詞よりも、この形のほうが再発防止には参照しやすいようです。

  • AI 出力の真偽を、AI 自身に確認している場面 — Mata v. Avianca で典型的に現れた循環参照です。ChatGPT に「これらの判例は実在しますか」と聞いて「実在します」と返ってきた、というやり取りを「裏取り」と扱ってしまう形です
  • 期限プレッシャー下で検証ステップを意図的にスキップしている場面 — Kaur v. Desso のように、ハルシネーション・リスクを認識していても、提出期限を優先して検証を省く場面が見られます
  • 外部委託・補助者経由で検証責任が曖昧になっている場面 — Deghani v. Castro のように、書面ドラフトを外部弁護士・補助者に委ねた場合、シニア側の最終チェックが形だけになりやすいようです
  • AI 出力の体裁が完璧で、人間が「中身も合っているだろう」と仮定してしまう場面 — 判決体裁・引用フォーマット・判旨要約が整っているほど、目視レビューで違和感を検出しにくくなる傾向があります
  • 指摘後の対応が遅れたり、取り繕おうとして悪化した場面 — Mata v. Avianca で「主観的悪意」と評価された一因は、初動の指摘後の対応の遅延・不誠実さだったとされています
  • pro se(自己代理)・小規模事務所・大手 Big Law のいずれでも発生している場面 — 「規模が大きい・有名なら検証フローを省ける」ということはないようです。案件数 × 利用者数で発生する頻度は積み上がっていきます

このうち、最初の三つは運用フローの設計で対応しやすい領域、四つ目はツール選定と二段階レビューで緩和する領域、五つ目はインシデント対応プレイブックで備える領域、最後の一つは規模に依存しない普遍的なリスク認識として位置づけられるようです。

米国 Rule 11 のような直接的な金銭制裁の枠組みが日本にそのまま存在するわけではなく、海外事案の制裁内容が日本で同様にそのまま生じると主張するものではありません。日本で参照する場合は、検証フロー上の教訓を日本の制度に照らした際の検討材料として扱うのが落ち着くようです。

  • 弁護士の場合: 弁護士法上の懲戒事由(品位を失うべき非行)との関係や、民事訴訟法上の真実義務との関係が、検討の論点として挙がる場面があります
  • 税理士・社労士・行政書士等の場合: 各士業法の懲戒・登録取消し事由、所属会の倫理規程との照合が論点になる場面があります。「もっともらしいが実在しない法令解釈・通達・裁決」を AI が生成するリスク自体は、士業をまたいで共通する話題です
  • 企業法務(インハウス)の場合: 直接の懲戒制度はありませんが、社内コンプライアンス・善管注意義務(会社法・民法上の整理)の枠で議論される場面があります
  • 依頼者・取引先との関係: 架空判例・誤引用に基づく書面で不利益が生じた場合、債務不履行・損害賠償(民法上の枠組み)で議論される場面が出てきうるところです
  • 裁判所からの心証: 制裁の枠組みは異なりますが、虚偽の判例引用が心証や訴訟戦略上の不利益につながりうる、という運用上の留意点は共通していそうです
  • 守秘義務との関係: 弁護士の守秘義務との関係で、AI への入力経路(プラン種別・保管場所・学習利用の有無)が論点になる場面があります

「米国の話だから」と読み流すのではなく、検証フロー上の参考材料として日本でも見ておく価値はあるようです。

検証フローと入力経路の二段階で設計する

複数の制裁事例から逆算して、最低限通過させたい検証フローをご紹介します。いずれかのステップで「NO」が出た時点で、AI 出力を納品物に組み込むのを止める判断に倒している事務所もあります。

出典の実在を正規データベースで確認する

AI が引用した判例番号・事件番号・通達番号・条文は、正規データベース(Westlaw / LexisNexis / LEX/DB / TKC / 第一法規 / e-Gov 法令検索 等)で実際に引いてみる場面を、業務の流れの中に置いておく運用です。

原典と AI 要約を照合する

判旨・通達本文を AI 要約と突き合わせます。要旨が原典と齟齬している場合、その時点で AI 出力は破棄、という流れにしている事務所もあるそうです。

AI 自身に真偽を聞かない

Mata v. Avianca の根本の場面でした。AI に「これは実在しますか」と聞いて返ってきた回答を、裏取りとして扱わない、というルールにしておく運用です。

学説・論文を別経路で照合する

学者名・論文タイトル・巻号ページの実在と、引用箇所の一致を確認します。

シニア有資格者のサインオフを残す

若手・パラリーガル・補助者・外部委託先が使った場合、シニア弁護士・パートナー(士業の場合は有資格者)のレビュー・サインオフを残しておくと、後から経緯を辿りやすくなります。

AI 利用の記録を案件ファイルに残す

「誰が・いつ・どの案件で・どの AI に・どのプロンプトで・どの出力を採用したか」を案件ファイルに記録しておくと、事後の説明にそのまま使えます。

期限切迫時の運用ルールを先に決めておく

「期限が迫っていたら検証を省いてよい」という暗黙のルールが現場に残らないように、逆に期限切迫時こそ二人体制でレビューする、という設計に倒している事務所もあります。

ここまでの流れは、本記事で挙げた各制裁事例で「実行されていなかった項目」を裏返したものでもあります。

AI 出力の真贋検証とは別の話として、入力経路のセキュリティも併せて設計に組み込んでおきたい場面です。ハルシネーションをきっかけにした制裁は「AI 出力の品質」の話ですが、依頼者情報の漏えいは「入力」の話で、論点が分かれます。

  • プラン種別の確認: 無料・個人プランは、入力データが学習に使われる可能性が契約上残っている場合があります。法人プラン・API・DPA 締結プランで、学習に使わない契約・ログ保管・データ所在が明示されているものを選ぶ運用が見られます
  • データレジデンシー: 海外サーバ保管の場合、所在国の法執行・準拠法によって本人(依頼者)の権利行使が難しくなる場面があります
  • アカウント管理: 個人 ID/共有 ID の使い分け、退職時のオフボーディング、MFA の有無
  • ログ・監査証跡: 入力プロンプトの保存ポリシー、保存期間、誰がアクセスできるか
  • 権限管理: 案件ごと・依頼者ごとのアクセス制御、利益相反のチェックポイント
  • インシデント対応: 誤入力・漏えい時の依頼者報告フロー、所属会への報告基準
  • 再委託管理: AI ベンダーから第三者(クラウド事業者等)へのデータ移転の有無・契約条項

個人情報保護委員会の 2023 年 6 月 2 日付「生成 AI サービスの利用に関する注意喚起等について」では、生成 AI への入力データの取り扱い、第三者提供該当性、学習データへの取り込み等が論点として挙げられており、士業も「個人情報取扱事業者」として、この注意喚起の射程に入ると読めます。「AI を使うかどうか」ではなく、「どの AI を、どの契約で、どこに保管され、誰がレビューする運用で使うか」を、案件単位で設計しておくと迷いが減りやすくなります。

このケースから持ち帰れること

Mata v. Avianca 以降に公開されている AI ハルシネーション事案を並べてみると、事案ごとの固有名詞は異なっても、問題化に至る運用の流れには共通点がある、という様子が見えてきます。複数事例から見えてきたところをまとめておきます。

  • 「AI を使ったこと」自体が制裁理由になっていない場面が多いようです。米国の制裁事例で繰り返し問題視されているのは「裏取りを省いた運用」「AI 自身に真偽を聞いた循環参照」「指摘後の対応の不誠実さ」であり、AI 利用の禁止ではないようです。日本で参照する際も、「AI 禁止」ではなく「裏取りプロセスの設計」を起点に話したほうが、現場の納得感が得られやすいというお話を伺います
  • 期限プレッシャー × 外部委託 × AI 出力の体裁の良さ、の三点が揃うと事故が起きやすい場面のようです。単独要因では検出余地が残るのですが、三点が揃うとレビューが形だけになりやすいようです。事務所ごとに、この三点が同時に発生しうるワークフローを棚卸ししてみる、という選択肢があります
  • 規模・国・士業種別を問わない場面のようです。pro se・小規模事務所・Am Law 100 級のいずれでも発生している以上、「うちの規模なら関係ない」という前提を置かない事務所もあります
  • AI 出力の検証フローと、入力経路のセキュリティは別の話として整理しておくと混乱が減るようです。検証フローは「出力の品質」、入力経路は「依頼者情報の保護」を扱うので、それぞれに対応するルール・運用を持っておく形です
  • 「出典の実在確認」「原典との照合」「AI 自身に真偽を聞かない」「シニア有資格者のサインオフ」の四点を、運用の最低ラインとして所内ルールに置いている事務所もあります。どれか一つが欠けても、制裁事例で観測された経路を辿りうる、という整理です

海外の制裁事例を「他国の出来事」として読むのではなく、検証フローと入力経路のセキュリティを設計する材料として読んでおく、というところが、本稿でいちばんお伝えしたい場面です。

関連記事

参考

Author · 著者

三方 浩允

Tags · タグ

AI 導入の論点を相談する

業務課題を 60 分で整理することから始められます。

お問い合わせ
ブログ一覧
Related · 関連記事

この記事を読んだ方は、次の記事も読まれています