業務に AI を取り入れる場面で、「ChatGPT を入れるか、RAG を入れるか」という相談を受けることがあります。事務所内で検討を進めていくと、契約・運用・予算の話が噛み合わないまま時間が過ぎてしまう、という場面も耳にします。両者が別の役割を担う道具だと整理されていないと、議論がすれ違いやすいようです。
本稿では、汎用 LLM と RAG の仕組みを分けて見たうえで、士業業務のどの場面でどちらが向くか、運用例をご紹介します。「どちらを選ぶか」というより、「業務のどこで何を使うか」を考えるための材料としてお読みください。
汎用 LLM (ChatGPT 等) は学習データから文章を組み立てます
ChatGPT・Claude・Gemini といった汎用 LLM は、インターネット上の公開情報や提携先データを大規模に学習し、「次に来そうな単語」を確率的に予測して文章を生成する仕組みになっています。回答は原則として「学習時点までのデータ」から組み立てられます。
ここから自然に導かれる性質として、汎用 LLM は次のような情報には答えられない構造になっています。
- 学習に含まれない情報
- 学習以降に発生した情報
- 公開されていない自社固有の情報
「ChatGPT に事務所の過去案件を聞いたら『該当する情報はありません』と返ってきた」「自分の事務所の名前を入れたら違う事務所の話を返してきた」という相談を伺うことがありますが、これは欠陥というより仕様の側面が強いようです。学習データの外側の質問に、汎用 LLM 単体が答える経路を持っていない、という構造です。
得意とされるのは、「一般的な知識・文章作成・要約・翻訳・ブレスト相手」など、外部固有データに依存しないタスクです。一方、「事務所の去年の議事録を引いて」「最新の通達に基づいた回答を作って」など、外部固有データや最新情報を前提とする質問では、もっともらしい架空の内容 (= ハルシネーション) が混ざる場面が出てきます。
RAG は、検索した文書を毎回コンテキストに渡す仕組みです
RAG (Retrieval Augmented Generation: 検索拡張生成) は、LLM 単体では答えられない「外部固有データに基づく質問」に答えさせるための仕組みです。Microsoft の解説ページでは、ユーザーのデータソース上でモデルを動作させ、データ上で動く強力なチャットアシスタントを構築できる、と説明されています。仕組みを大きく見ると、次のような流れになっています。
- 検索 (Retrieval): 質問文をもとに、事前準備した文書群から関連箇所を取り出す
- コンテキスト挿入 (Augmented): 取り出した該当箇所を LLM に渡すプロンプトに添える
- 生成 (Generation): LLM が添えられた文書を根拠に回答を組み立てる
ポイントとして挙げられるのは、LLM 自体は再学習されないという点です。「学習済みの汎用 LLM」に毎回「今回参照すべき文書」を一時的に渡す構造で、文書の追加・更新・削除が即時反映される形になっています。逆に検索ステップでミスがあれば、LLM は誤った前提で自信を持って回答を組み立てます。
できること・できないことの違い
両者の違いを、士業実務でよく出てくる用途で並べてみます。
| 用途 | 汎用 LLM 単体 | RAG (自社データ連携) |
|---|---|---|
| 法令・制度の一般的な解説 | 得意 (最新性は要確認) | 得意 (根拠化しやすい) |
| 文章作成・要約・翻訳 | 得意 | 過剰 |
| 所内マニュアル・ひな形参照 | 不可 | 得意 |
| 顧問先別の案件・議事録参照 | 不可 | 得意 (権限設計が前提) |
| 最新の通達・判例 | 不可 / 古い情報 | データ更新前提で対応可 |
| 個別事案の最終判断 | 非推奨 | 非推奨 (有資格者判断必須) |
両者は対立する技術というより、役割が違う道具に近いように見えます。汎用 LLM で済むタスクに RAG を入れると過剰な投資になりやすく、自社固有データが必要なタスクを汎用 LLM 単体で済ませようとすると作話のリスクが上がります。
士業業務での切り分け方
士業業務に当てはめると、次のような切り分けが現実的なように見えます。
汎用 LLM 単体で足りる場面としては、顧問先向け説明文の下書き (一般論ベース) ・法令や通達の一般解説の要約・ブログや SNS の原稿・議事録の文体整え (顧問先固有情報のマスキングが前提) などが挙げられます。
RAG が活きる場面としては、所内マニュアル・ひな形の検索・過去議事録や案件メモの横断検索・顧問先別の対応履歴や引継ぎ情報の参照・引用付きで判断根拠を返す業務支援などがあります。
RAG は「自社データ参照が明確に必要なタスク」で効果が出やすい仕組みです。一般論で済む業務に RAG を組むと、コストに見合いにくい場面も出てきます。「自社業務のどこから固有データが必要になるか」を先に棚卸ししておくほうが、投資判断としては扱いやすいようです。
RAG を組むときに見えてくる論点
RAG を業務に組み込もうとすると、いくつかの論点が見えてきます。
データ整理
RAG の回答品質は、「検索ステップで適切な文書が拾えるか」に強く影響を受けます。古い情報・矛盾するひな形・退職者の下書き・改正前の資料が同じフォルダに混ざっていると、検索結果も同じ確度で混ざってしまいます。RAG 導入前に対象文書を整理し、作成日・最終更新日・改正前後を区別できる状態にしておくこと、そして顧問先固有情報の有無で文書を分類しておくことが、検索品質の前提になります。
引用元 (出典) の明示
RAG の特徴として、「どの文書を根拠に答えたか」を引用できる点が挙げられます。引用元を表示しない運用では、利用者が LLM 単体と同じ感覚で回答を受け取り、誤回答に気づきにくくなる場面が出てきます。製品選定の段階で、引用元表示機能の有無を確認しておく事務所もあります。
権限 (アクセスコントロール)
フォルダ権限を整理せずに Drive 全体を RAG に渡すと、見えてはいけない顧問先データが別担当者の検索結果に出てくる構造ができてしまいます。Microsoft の Microsoft 365 Copilot 関連ドキュメントでは、Copilot は利用者の元のアクセス権限を継承する設計と記述されていて、元の権限が雑であれば AI 経由でもそのまま露出する形になります。
守秘義務・契約の論点が一段増えます
RAG は「事務所のドライブ全体を AI に渡す」性質を持つので、汎用 LLM を個人で使う場合よりも、契約・規約・守秘義務の論点が一段増える場面が出てきます。
個人情報保護委員会は 2023 年 6 月 2 日付で「生成 AI サービスの利用に関する注意喚起等」を公表していて、利用者側が「入力する情報の範囲」と「サービス提供者側でのデータ取り扱い」を理解した上で利用することを促しています。RAG では「入力する情報」の範囲が「ドライブの中身全体」に広がるため、何を渡して何を渡さないかを導入前に決めておく流れになりやすいです。
整理しておきたい観点を並べておきます。
- 顧問先データの扱い: 第三者 (クラウドベンダーを含む) にデータを渡す前に明示同意・通知が必要かを確認する
- 特定個人情報 (マイナンバー): 番号法上、利用目的に必要な範囲を超えた取り扱いは制限されるため、RAG 検索対象に入れるかは個別判断になる
- 守秘義務: 弁護士法・税理士法・社労士法などの守秘義務条項との整合性を確認する
- ベンダー側のデータ取り扱い: 学習除外・データ保持期間・テナント分離・暗号化・監査ログの仕様を契約前に確認する
「機能があること」と「自所の運用に組み込まれていること」は別の話になりやすく、設定の責任は基本的に利用者側に残る形になります。
自所への当てはめ方
RAG か ChatGPT かの判断は、技術選定の前に業務棚卸しから始めるほうが、結局のところ早く進む場面が多いようです。
- AI 利用のニーズを「一般論で済む」「自社データ参照が必要」に分けて書き出す
- 「自社データ参照が必要」な業務の対象文書の置き場所を確認する
- 文書の作成日・最終更新日・有効期限が分かる状態になっているかを確認する
- 顧問先別にフォルダ・権限が分離されているかを確認する
- 利用予定の AI のプランで「学習除外」「データ保持期間」を確認する
- 顧問先データを AI に渡すことについて、契約・利用規約上の整合性を確認する
- RAG を検討する場合、引用元表示機能の有無を確認する
3 つ以上「No」または「未整備」がある状態で技術選定に入ると、後段の設計コストが膨らみやすくなる場面も見ます。整理のフェーズを一段置いておく余地は十分ありそうです。
つまずきやすい場面
両者の混同が背景にあるとき、似たような場面で似たような困りごとが出てきます。
- 「ChatGPT が自社の過去案件に答えてくれない」と感じて RAG 導入を急ぐが、業務の大半は一般論で済んでいる場面
- 「RAG を入れれば全部解決」と考えて文書整理を後回しにし、回答品質が安定しない場面
- フォルダ権限を整理しないまま RAG に Drive を渡し、別担当者の検索結果に顧問先データが出てくる場面
- 引用元を表示しないまま運用し、利用者が LLM 単体と同じ感覚で誤回答を受け取る場面
「とりあえず ChatGPT」「とりあえず RAG」のどちらに振っても、本来分けるべき論点が混ざってしまい、後段の設計コストが膨らみやすくなります。業務単位で「一般論で済むか / 自社固有データを引く必要があるか」を一度棚卸ししておくと、技術選定と契約・権限設計の順番が見えてきやすくなるようです。
参考
- 個人情報保護委員会「生成 AI サービスの利用に関する注意喚起等について」(2023 年 6 月 2 日): https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/
- Microsoft Learn「Using your data with Azure OpenAI in Microsoft Foundry Models」: https://learn.microsoft.com/en-us/azure/ai-services/openai/concepts/use-your-data
- Microsoft Learn「Enterprise data protection in Microsoft 365 Copilot」: https://learn.microsoft.com/en-us/microsoft-365/copilot/enterprise-data-protection