結論: PoC は技術検証で止まり、本番は業務検証から始まります。 課題定義・データ経路・KPI が同じ言語で接続されていない限り、 精度数値は本番の評価指標として機能しません。
データから見える PoC 停滞の輪郭
公開されている国内 DX 動向調査では、 生成 AI 活用について「実証は進むものの本格利用に至っていない」という傾向が継続的に報告されています。 PoC を一定数こなした事業者の側にも、 そのまま停滞局面に入る層が観察される構造です。 ここでは士業事務所に絞り、 停滞の輪郭を分解してみたいところです。
「精度 95%」という数値は、 PoC の合格判定としては機能します。 一方で、 同じ事務所で本番運用の評価軸を聞くと「顧問先からの一次回答時間」「月次の手戻り件数」「申告期の残業時間」といった業務指標が出てきます。 PoC の合格と本番の合格は、 別の言語で記述されていると言えます。 PoC で出した数値が本番の数値に翻訳されないまま終わると、 関係者全員が「動いた、 しかし採用されなかった」状態のまま次の検討に進めなくなります。
段差が観察される3つの局面
PoC から本番に移行する局面では、 3 つの段差が繰り返し観察されます。
課題定義の段差
PoC は「所長または IT 主担当が定義した課題」を起点に設計される傾向があります。 たとえば「請求書 OCR の認識率改善」がスコープに置かれたとしても、 実際に現場で時間を食っているのは OCR 後の科目仕訳判断である、 というずれが残ったまま検証が終わるケースが見受けられます。 検証対象として OCR 精度は上がります。 しかし業務側の体感工数は変わらないままです。
データ経路の段差
PoC はサンプルデータで進めます。 本番には会計システム、 税務システム、 紙資料、 顧問先からの個別メモ、 例外的な口頭依頼が混在します。 この「最後の一手」を誰が結線するかが曖昧なまま PoC を完了させると、 結線作業そのものが宙に浮いてしまいます。 ベンダーは PoC 終了で契約が切れ、 事務所側には結線できる人材がいない、 という構図が残ります。
成功指標の段差
PoC は精度・処理時間といった技術側の数値で合格を判定します。 本番運用は業務 KPI で評価されます。 この二つを最初から接続せずに進めると、 本番移行後に「効果があったかどうか測定できない」 という状態になってしまいます。 効果が測れなければ、 経営判断としての継続も停止も難しくなります。
本番化に進む前の自己点検
PoC を本番に乗せる前に、 現場担当者の手元で点検しておきたい観点は次のあたりに集約されます。
業務統合 PoC で使ったデータが、 本番で同じ経路から取得できるかを確認したいところです。 既存システムとの連携方式が決まっているか、 取得タイミング (リアルタイム / バッチ) の要件が言語化されているかも見ておきたい点です。
例外処理 PoC で対象外とした入力パターンを、 本番でも対象外として運用するかどうかを整理しておきます。 例外発生時に人間が引き取る経路が設計されているか、 例外パターンが頻出して人間側がボトルネックになる可能性は検討されているかも論点になります。
承認フロー AI 出力をそのまま顧問先に提示してよいか、 人間レビューを必須とするかを決めておく必要があります。 レビュー担当者の工数は事前に確保されているか、 承認履歴・修正履歴の保管場所が決まっているかも合わせて確認したいところです。
KPI 設計 業務 KPI を月次で測れる仕組みがあるかどうかが鍵になります。 ベースライン (AI 導入前の数値) が計測されているか、 効果が出なかった場合の撤退・再設計の判断基準が決まっているかも見ておきたい論点です。
これらのいずれかが「未定」のまま本番に進むと、 運用開始後に手戻りが発生します。 手戻りは一度では終わらず、 二度三度と起きるうちに現場の信頼が失われていきます。 そこに到達する前に、 PoC 完了の場で点検しておきたいところです。
段階的移行の組み立て方
本番化は一気に進めない方が結果的に早い、 というのが現場で繰り返し確認される構造です。 三段階に分けて Go/No-Go を挟むのが扱いやすいやり方です。
パイロット (1〜2名・限定業務) 特定の担当者・特定の顧問先・特定の業務種別に絞って本番データで 1〜2 か月運用してみます。 この段階で重視するのは精度ではなく、 「現場担当者がストレスなく使えるか」「想定外の入力パターンはどの程度の頻度で来るか」 の観察です。
部分本番 (チーム単位・限定スコープ) パイロットで顕在化した例外パターンと運用課題を反映したうえで、 チーム単位に展開していきます。 この段階で承認フロー・ログ・KPI 測定の運用ルールを確定させたいところです。
全面本番 (事務所全体) 部分本番で 3 か月以上の安定運用ができ、 KPI で効果が確認できた段階で、 事務所全体に展開します。 担当者向けマニュアル、 FAQ、 問い合わせ窓口を整えていきます。
各段階のあいだに Go/No-Go 判定を設け、 効果が出ていなければ次に進まない、 という規律が機能します。 「とりあえず全面展開」 が最も避けたい運用と言えるでしょう。
Go/No-Go 判定で観察したいのは、 業務 KPI の改善傾向だけではありません。 むしろ「現場担当者が、 同僚に勧められるか」 を聞き取るほうが、 数値より早く運用の継続性を判定できるケースが多いように見受けられます。 数値は遅行指標で、 現場の体感は先行指標として働きやすい、 というのが筆者の見立てです。
守秘義務・規制環境との接続
本番運用に乗せる段階で、 PoC では見過ごされやすい論点が表面化します。 生成 AI サービスの利用に関しては、 個人情報保護や AI 事業者向けの公的なガイドラインが整理されていますので、 公式情報を確認のうえ参照したいところです。
これらを踏まえて、 本番運用の最低限の論点は次のあたりになります。
- 顧客データの取り扱い範囲が、 契約・規程上で明文化されているか
- 入力ログ・出力ログを追跡できる仕組みがあるか
- AI を使える担当者と、 出力を顧問先に提示できる担当者が分離されているか
- 外部 AI サービスを使う場合、 顧問先データが学習に使われない設定・契約になっているか
- 誤った出力を顧問先に提示してしまった場合の発見経路・是正手順・報告先が決まっているか
PoC の段階では「とりあえず動かす」 が優先されがちです。 本番では、 これらが整っていないと、 士業事務所の守秘義務・倫理規定との整合が問われる場面が出てきます。 ベンダー選定の段階で利用規約・データ取扱い条項を読み込んでおくと、 本番移行時の追加調整が大幅に減る、 という構造もあります。
なお、 これらの論点は PoC 期間中に「業務統合・例外処理・承認フロー・KPI 設計」 と並行して整理しておくのが扱いやすいやり方です。 本番移行の直前にまとめて確認しようとすると、 契約・規程の改定が必要な項目が出てきた時点で、 移行スケジュールがそのまま後ろにずれてしまいます。
残る論点
PoC から本番への移行は、 技術側の課題ではなく業務設計の課題である、 というのが筆者の見立てです。 一方、 ここには検証しきれていない論点もいくつか残っています。
ひとつは、 段階移行の各フェーズで「効果が出ていない」と判定したときの撤退コストの大きさを、 事務所側がどこまで事前に許容できるか、 という点です。 撤退判断を所長に集中させると、 撤退そのものが遅れがちになります。 一方で複数人による合議に開くと、 判断が長期化しやすくなります。 ここに最適解は見えていません。
もうひとつは、 KPI に「顧問先からの満足度」を組み込むかどうかです。 業務 KPI を時間削減・件数削減で測ると、 顧問先体験の劣化が見えなくなります。 顧問先側の評価をどう測るかについては、 海外で語られている「業務に深く入り込む技術者を顧客先に置いて KPI 観測まで一気通貫で見るモデル」 も参考になりますが、 国内の中小事務所がそのまま移植できる規模感ではありません。 規模に応じた測定設計が、 これからの論点として残っていきます。
PoC 精度を上げ続けるよりも、 課題定義・データ経路・成功指標の段差を一つずつ言語に落とすことのほうが、 結果的に短い距離で本番運用に届く、 と見ています。
参考
- 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等について」 https://www.ppc.go.jp/news/careful_information/230602_AI_utilize_alert/
- 経済産業省・総務省「AI事業者ガイドライン」関連審議会資料 https://www.meti.go.jp/shingikai/mono_info_service/ai_shakai_jisso/