AI導入の投資判断では、処理時間だけでなく、レビュー時間、差し戻し、誤り、利用者の負担、顧客対応への影響も測ります。時間が減っても修正が増える仮想ケースと、時間は変わらなくても負担が下がる仮想ケースでは、評価が異なります。
本稿は特定事務所の測定結果ではなく、評価項目を決めるための設計例です。ROIの分母にあたる費用構造については、関連記事「士業事務所のAI導入費用は何にかかるのか」で扱っています。
時間の数字だけでは見えにくい場面
業務時間は計測しやすい指標ですが、議事録作成を例にすると、網羅性、提出までのリードタイム、修正回数、担当者の負担も評価候補になります。どの指標が改善するかは、実際に導入前後を測らなければ分かりません。
時間の数字だけを追うと、品質が下がっていることに気付くまでに時間がかかります。逆に、品質の向上や担当者の負担軽減を反映できず、AIの貢献を過小評価してしまう場面もあります。
経産省・総務省「AI事業者ガイドライン」では、AIを利用する事業者に対して、便益とリスクの両面を継続的にモニタリングすることが示されています。便益側を時間削減だけで見るのは、ガイドラインが想定する見方からはやや狭い枠組みになりやすいです。
人材面の動きを含める発想も外せないように見ます。IPA「DX動向2024」でも、DXを進める人材の確保・育成が論点として挙げられています。AIを業務に入れる場面はこの文脈に連なるので、担当者の方の負担感や定着も、効果を見る視野に入れておきたい要素です。
4つの動きを並べて見ていく
時間以外の動きを含めて見るため、時間・品質・顧問先との関係・人材の4軸を設計例として置きます。
時間の動きでは、対象業務の月間総工数、1件あたりの処理時間、担当者ごとのAI利用時間と非利用時間の比率を追います。
品質の動きでは、成果物の差し戻し率や修正回数、顧問先からの誤り指摘の件数、レビュー担当の方が修正に要する時間を見ます。AI出力をそのまま採用しない場面での補正コストが、ここに現れます。
顧問先との関係では、一次回答までのリードタイム、顧問先NPSや満足度アンケートの推移、追加依頼や継続率を並べます。顧問料そのものへの跳ね返り方は事務所の方針で分かれる論点で、関連記事「AI導入で顧問料は変わるのか」で扱っています。
人材定着の動きでは、担当者の方のAI利用に関する負担感アンケート、残業時間の推移、退職や休職の発生時期とAI導入時期の重なり方、採用面接で「AI活用度」を理由に選んでくれた候補者の数、といった指標があります。
測定周期は業務量と意思決定の時期に合わせて決めます。「時間は短くなったが差し戻しが増えた」など、複数指標を一緒に見るためのダッシュボードを用意します。
計測でつまずきやすい場面
時間の計測は分かりやすい一方で、いくつかの場面でつまずきやすい傾向があります。
一つ目は、導入前の数字を取っていない場面です。AI導入後の処理時間だけを測っても、比較対象がありません。導入の1〜2か月前から、対象業務の所要時間を測っておくと、後から振り返りやすくなります。
二つ目は、自己申告だけに頼ることです。「AIを使ったら30分で終わった」という申告だけでなく、許可された範囲でタスク管理や業務システムのタイムスタンプと照合します。
三つ目は、レビュー時間を計上しない場面です。士業実務でAI出力をそのまま使う運用はほとんど成り立ちにくく、人間によるレビューが入る流れが一般的です。生成にかかった時間だけを「削減効果」として計上し、レビュー時間を入れないと、効果が実態より大きく見えます。時間の指標は「AI生成時間 + レビュー時間」と「従来の作業時間」を並べる形が、振り返りやすいです。
時間以外の3つは、計測の仕組みを最初に組まないと、後から振り返れません。
品質では、AI出力に対するレビュー結果を「修正なし／軽微修正／大幅修正／不採用」など、自所で定義した区分で記録します。区分の妥当性と記録負荷も試験します。
顧問先との関係では、アンケート、問い合わせへの返信リードタイム、差し戻し件数などを候補にできます。AIで下書きを作れば返信が必ず速くなるとは限らないため、レビュー時間まで含めて測ります。
人材面では、任意の業務負担感アンケート、残業時間、教育時間などを候補にします。収集目的、匿名性、アクセス権を決め、AI導入との因果関係を安易に断定しません。
計測の流れを業務に組み込む
4つの軸を継続的に見るには、計測の流れを業務に組み込みます。以下の周期は効果検証済みの標準ではなく、設計例です。
- 週次では、対象業務の処理件数、AIの利用回数、例外発生件数を集計します
- 月次では、時間と品質（差し戻し率・修正率）を集計し、導入前の数字と比較します
- 四半期では、顧問先との関係（NPS・継続率）と人材定着（負担感・残業）を集計し、4つの動きを1枚のダッシュボードで並べます
- 半期では、4つの推移を踏まえ、AIを入れる範囲の拡大・縮小・継続を判断します
判断者、利用者、レビュー担当者を会議に含め、数値と記録された例外を確認します。必要に応じて法務・セキュリティ等の専門家へ確認します。予算配分は関連記事「AI導入で失敗しやすい予算配分」で扱っています。
計測自体が情報の論点を生む
効果を測る過程では、計測そのものが情報の論点を生む場面があります。利用ログ・顧問先アンケート・担当者の方の負担感データは、いずれも個人情報や守秘義務に関わるデータを含むことがあります。
個人情報保護委員会は2023年6月2日付で「生成AIサービスの利用に関する注意喚起等」を公表しています。利用者が個人情報の取り扱いに関して留意すべき事項が示されていて、効果測定の場面で押さえておきたい論点をいくつか挙げます。
- AI入出力ログの保管範囲（誰が・いつ・何を入力したかの記録に、顧問先の個人情報や財務情報が含まれていないか）
- アンケートデータの匿名化（担当者の方の負担感アンケートや顧問先NPSが、個人特定可能な形で長期保管されていないか）
- 計測担当者の権限（ダッシュボードを閲覧できる方の範囲が、業務上の必要性に基づいて限定されているか）
- 外部ツールへの送信（BIツール・スプレッドシートサービスに集約する場合、顧問先名や個人名がそのまま含まれていないか）
- 保管期間（計測データの保管期間と廃棄ルールが定められているか）
「効果測定のため」を理由に必要以上のデータを集めて長期保管すると、士業事務所としての守秘義務・倫理規定との整合が問われる場面が出てきます。計測を始める前に「何を測るために、どのデータを、どこまでの期間保管するか」を文書化しておく事務所もあります。
事務所内で回せる範囲と、外に振りやすい範囲
効果測定の設計と運用は、事務所内で回しやすい範囲と、外部の専門家に振った方が落ち着く範囲で性質が分かれてきます。
事務所内で回しやすいのは、4つの動きの指標を選ぶこと（事務所として何を成果と呼ぶかを決める）、導入前の計測（時間・件数・差し戻し率の記録）、月次の数値集計（既存業務システムやタイムシートからの抽出）、担当者・顧問先アンケートの設計と実施、判断会議の運営、といった部分です。
外部の専門家に振った方が落ち着きやすいのは、ダッシュボードの設計と実装（4つの動きを1枚で並べる仕組み）、既存業務システムからのデータ抽出パイプライン、個人情報・守秘義務に配慮したログ設計と匿名化処理、計測データのアクセス権限分離と監査ログ、計測サイクルが回り始めた後のモデル劣化監視と指標の見直し、といった部分です。
自所だけで設計するか外部専門家へ依頼するかは、必要な技術、個人情報の取扱い、監査要件、費用で判断します。外部へ依頼しても適法性や計測品質が保証されるわけではなく、委託先管理と受入確認が必要です。
視点の置きどころ
効果測定では、評価軸を定義し、導入前の基準値を取り、入力・出力・レビューを含めて測ります。測定周期と継続・縮小・停止の条件は、自所の業務量と意思決定に合わせて決めます。本記事の4軸がすべての事務所で有効だという検証結果はありません。
関連記事
参考
- 経済産業省・総務省「AI事業者ガイドライン」関連ページ: https://www.soumu.go.jp/main_sosiki/kenkyu/ai_network/02ryutsu20_04000019.html
- 情報処理推進機構（IPA）「DX動向2024」: https://www.ipa.go.jp/digital/chousa/dx-trend/index.html
- 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」（令和5年6月2日）: https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/