AI を業務の一部に入れている事務所の方とお話ししていると、「結局、何時間削減できたのですか」という問いをいただくことがあります。投資判断としては自然な問いですが、時間削減の数字だけを判断材料に据えると、後から振り返って違和感が残る場面が出てきます。
ある税理士事務所では、議事録作成を AI に任せ始めた半年後に、所要時間は半分になっていたものの、顧問先からの修正依頼が増えていたそうです。時間の指標だけ追っていた間は気付きにくかった、という話を伺いました。逆に、別の事務所では、時間そのものはほとんど変わらなかったものの、担当者の方の負担感が下がり、繁忙期の残業が減っていたという例もあります。
本稿は、AI を業務に入れた後の効果を、時間以外の動きも含めて見ていく運用例をご紹介します。ROI の分母にあたる費用構造については、関連記事「士業事務所のAI導入費用は何にかかるのか」で扱っています。
時間の数字だけでは見えにくい場面
業務時間は計測しやすい指標ですが、AI を入れた後の現場で動いているのは時間だけではないようです。議事録作成を AI に任せた事例で見えてくる動きを並べると、所要時間の短縮と同時に、議事録の網羅性、顧問先への提出までのリードタイム、担当者の方の心理的負担、といった要素が同時に変化していました。
時間の数字だけを追うと、品質が下がっていることに気付くまでに時間がかかります。逆に、品質の向上や担当者の負担軽減を反映できず、AI の貢献を過小評価してしまう場面もあります。
経産省・総務省「AI 事業者ガイドライン」では、AI を利用する事業者に対して、便益とリスクの両面を継続的にモニタリングすることが示されています。便益側を時間削減だけで見るのは、ガイドラインが想定する見方からはやや狭い枠組みになりやすいです。
人材面の動きを含める発想も外せないように見ます。IPA「DX動向2024」でも、DX を進める人材の確保・育成が論点として挙げられています。AI を業務に入れる場面はこの文脈に連なるので、担当者の方の負担感や定着も、効果を見る視野に入れておきたい要素です。
4 つの動きを並べて見ていく
時間以外の動きを含めて見るとき、現場で並べやすいのは時間・品質・顧問先との関係・人材定着の 4 つです。それぞれで使われやすい指標を並べます。
時間の動きでは、対象業務の月間総工数、1 件あたりの処理時間、担当者ごとの AI 利用時間と非利用時間の比率を追います。
品質の動きでは、成果物の差し戻し率や修正回数、顧問先からの誤り指摘の件数、レビュー担当の方が修正に要する時間を見ます。AI 出力をそのまま採用しない場面での補正コストが、ここに現れます。
顧問先との関係では、一次回答までのリードタイム、顧問先 NPS や満足度アンケートの推移、追加依頼や継続率を並べます。顧問料そのものへの跳ね返り方は事務所の方針で分かれる論点で、関連記事「AI導入で顧問料は変わるのか」で扱っています。
人材定着の動きでは、担当者の方の AI 利用に関する負担感アンケート、残業時間の推移、退職や休職の発生時期と AI 導入時期の重なり方、採用面接で「AI 活用度」を理由に選んでくれた候補者の数、といった指標があります。
この 4 つを四半期ごとに並べて見ると、「時間は短くなったが、品質が落ちて差し戻しが増えている」「時間は変わらないが、担当者の負担感が下がっている」というような、単一指標だけでは見えにくい動きが浮かんできます。
計測でつまずきやすい場面
時間の計測は分かりやすい一方で、いくつかの場面でつまずきやすい傾向があります。
一つ目は、導入前の数字を取っていない場面です。AI 導入後の処理時間だけを測っても、比較対象がありません。導入の 1〜2 か月前から、対象業務の所要時間を測っておくと、後から振り返りやすくなります。
二つ目は、自己申告だけに頼る場面です。「AI を使ったら 30 分で終わった」という主観の申告には、無意識のバイアスが入りやすいです。タスク管理ツールや業務システムのタイムスタンプと組み合わせている事務所もあります。
三つ目は、レビュー時間を計上しない場面です。士業実務で AI 出力をそのまま使う運用はほとんど成り立ちにくく、人間によるレビューが入る流れが一般的です。生成にかかった時間だけを「削減効果」として計上し、レビュー時間を入れないと、効果が実態より大きく見えます。時間の指標は「AI 生成時間 + レビュー時間」と「従来の作業時間」を並べる形が、振り返りやすいです。
時間以外の 3 つは、計測の仕組みを最初に組まないと、後から振り返れません。
品質では、AI 出力に対するレビューの記録を残すことが起点になります。レビュー担当の方が「修正なし／軽微修正／大幅修正／不採用」の 4 段階で記録するだけでも、傾向が見えやすくなります。月次で「不採用率」「大幅修正率」を集計し、推移を追っている事務所もあります。
顧問先との関係では、四半期に一度のアンケートを取っている事務所が多いように見ます。数値化が難しい場面では、顧問先からの問い合わせメールの返信リードタイムを代理指標にする方法もあります。AI で一次回答の下書きを準備できるようになれば、レスポンスは速くなりやすいです。
人材定着では、年次の離職率だけでは粒度が粗くなりやすいので、月次の「業務負担感アンケート（5 段階）」と「残業時間」を並べている事務所もあります。AI を入れた直後は学習コストで一時的に負担感が上がる場面もあるため、3〜6 か月の移動平均で見るとぶれにくくなります。採用面では、求人応募者の方に「事務所選びで AI 活用度を見たか」を任意で聞いておくと、採用への寄与が見えやすくなります。
計測の流れを業務に組み込む
4 つの動きを継続的に見ていくには、計測の流れを業務に組み込んでおく必要があります。実務的に扱いやすいリズムの一例を並べます。
- 週次では、対象業務の処理件数、AI の利用回数、例外発生件数を集計します
- 月次では、時間と品質（差し戻し率・修正率）を集計し、導入前の数字と比較します
- 四半期では、顧問先との関係（NPS・継続率）と人材定着（負担感・残業）を集計し、4 つの動きを 1 枚のダッシュボードで並べます
- 半期では、4 つの推移を踏まえ、AI を入れる範囲の拡大・縮小・継続を判断します
判断会議には、所長の方・現場担当の方・必要に応じて外部の専門家を入れ、数字の背景にある現場の声を一緒に並べて議論している事務所もあります。半期での判断は翌期の予算配分にも直結します。配分そのものでつまずく場面は、関連記事「AI導入で失敗しやすい予算配分」で扱っています。
計測自体が情報の論点を生む
効果を測る過程では、計測そのものが情報の論点を生む場面があります。利用ログ・顧問先アンケート・担当者の方の負担感データは、いずれも個人情報や守秘義務に関わるデータを含むことがあります。
個人情報保護委員会は 2023 年 6 月 2 日付で「生成 AI サービスの利用に関する注意喚起等」を公表しています。利用者が個人情報の取り扱いに関して留意すべき事項が示されていて、効果測定の場面で押さえておきたい論点をいくつか挙げます。
- AI 入出力ログの保管範囲（誰が・いつ・何を入力したかの記録に、顧問先の個人情報や財務情報が含まれていないか）
- アンケートデータの匿名化（担当者の方の負担感アンケートや顧問先 NPS が、個人特定可能な形で長期保管されていないか）
- 計測担当者の権限（ダッシュボードを閲覧できる方の範囲が、業務上の必要性に基づいて限定されているか）
- 外部ツールへの送信（BI ツール・スプレッドシートサービスに集約する場合、顧問先名や個人名がそのまま含まれていないか）
- 保管期間（計測データの保管期間と廃棄ルールが定められているか）
「効果測定のため」を理由に必要以上のデータを集めて長期保管すると、士業事務所としての守秘義務・倫理規定との整合が問われる場面が出てきます。計測を始める前に「何を測るために、どのデータを、どこまでの期間保管するか」を文書化しておく事務所もあります。
事務所内で回せる範囲と、外に振りやすい範囲
効果測定の設計と運用は、事務所内で回しやすい範囲と、外部の専門家に振った方が落ち着く範囲で性質が分かれてきます。
事務所内で回しやすいのは、4 つの動きの指標を選ぶこと（事務所として何を成果と呼ぶかを決める）、導入前の計測（時間・件数・差し戻し率の記録）、月次の数値集計（既存業務システムやタイムシートからの抽出）、担当者・顧問先アンケートの設計と実施、判断会議の運営、といった部分です。
外部の専門家に振った方が落ち着きやすいのは、ダッシュボードの設計と実装（4 つの動きを 1 枚で並べる仕組み）、既存業務システムからのデータ抽出パイプライン、個人情報・守秘義務に配慮したログ設計と匿名化処理、計測データのアクセス権限分離と監査ログ、計測サイクルが回り始めた後のモデル劣化監視と指標の見直し、といった部分です。
「効果測定の仕組みは事務所内で全部組む」という分担にすると、計測自体が形だけになる場面や、計測データが個人情報の論点に変わる場面が出てきやすいようです。最初の設計と仕組み化は専門家に振り、運用は事務所内で回す、という分担を取っている事務所もあります。
視点の置きどころ
効果測定は「測ったら終わり」ではなく、4 つの動きの数字を月次・四半期で見ながら、AI を入れる範囲を出し入れし続ける運用そのものです。時間削減という分かりやすい指標から入ると判断がぶれやすい場面があるので、最初に 4 つを定義し、導入前の数字を取り、計測自体が情報の論点を生まないように設計する、という順序が取られやすいです。指標を決める段階で「何を成果と呼ぶか」を事務所内で合意できるかどうかが、その後の計測サイクルが回るかどうかに効いてきます。
関連記事
参考
- 経済産業省・総務省「AI 事業者ガイドライン」関連ページ: https://www.meti.go.jp/policy/mono_info_service/connected_industries/sharing_and_using_data/aiguideline.html
- 情報処理推進機構（IPA）「DX動向2024」: https://www.ipa.go.jp/digital/chousa/dx-trend/index.html
- 個人情報保護委員会「生成 AI サービスの利用に関する注意喚起等」（令和 5 年 6 月 2 日）: https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/