社内ナレッジAIの成果は、利用回数だけでは判断できません。利用状況、回答品質、業務への効果、ナレッジ運用の4つにKPIを分け、AIを使った結果として仕事がどう変わったかまで測ることが重要です。
社内FAQやマニュアル検索にAIを導入しても、質問回数が増えただけでは、本当に社員の負担が減ったのか、必要な情報へたどり着きやすくなったのかは分かりません。本記事では、社内ナレッジAIで確認したいKPI、計算方法、評価の進め方、よくある失敗まで実務ベースで整理します。AI導入後の成果が見えない企業や、これから評価基準を設計する担当者に役立つ内容です。
- 社内ナレッジAIは、利用状況・回答品質・業務効果・運用品質の4つに分けて評価する
- 利用回数よりも、自己解決率や回答採用率など業務完了につながるKPIを重視する
- 導入前の検索時間や問い合わせ件数を記録しておくと、導入後の変化を判断しやすい
- 回答品質は平均値だけでなく、誤回答や回答不能になった質問を個別に確認する
- KPIは報告用の数字ではなく、次に改善する箇所を決めるために使う
社内ナレッジAIの成果は4つの視点で測る
社内ナレッジAIのKPIを設計するときは、AIがどれだけ使われたかだけではなく、回答の品質や業務への影響まで段階的に見ることが重要です。おすすめなのは、利用状況、回答品質、業務効果、運用品質という4つの視点に分ける方法です。
利用状況はAIが定着しているかを見る指標
利用状況では、対象社員のうち何人が継続的に利用しているか、どの部門で使われているか、どのような質問が多いかを確認します。
ただし、質問数が多いだけでは成果とは言えません。必要な情報を得られず同じ質問を何度も繰り返している可能性もあるため、他のKPIと組み合わせて判断します。
回答品質は正しい情報を返せているかを見る指標
回答品質では、ユーザーの質問に対して適切な回答が返っているかを確認します。特にRAGは、社内文書などを検索し、その情報を利用して生成AIが回答する仕組みです。
そのため、文章が自然かどうかだけでなく、回答内容が参照元の社内資料に基づいているか、必要な情報が抜けていないかを見る必要があります。
業務効果は仕事が実際に変わったかを見る指標
経営や部門責任者が最も確認したいのは、AIを利用した結果として業務がどう変わったかです。情報検索にかかる時間、担当部署への問い合わせ件数、回答作成時間など、導入対象となった業務そのものを測定します。
運用品質は成果を維持できる状態かを見る指標
社内ナレッジAIは、元となるマニュアルや規程が古くなれば回答も古くなる可能性があります。ナレッジの更新状況や回答不能になった質問への対応状況なども、継続運用では重要なKPIです。
社内ナレッジAIで確認したいKPI一覧
すべての指標を一度に管理する必要はありません。まずは自社がAIを導入した目的に近い指標を選び、必要に応じて追加していきます。
| 評価領域 | KPI例 | 確認できること |
|---|---|---|
| 利用状況 | アクティブ利用率、利用部門率、質問件数、継続利用率 | AIが現場で実際に利用され、定着しているか |
| 回答品質 | 回答採用率、正答率、根拠確認率、回答不能率、修正率 | 業務に利用できる品質の回答が返っているか |
| 業務効果 | 自己解決率、検索時間、回答作成時間、問い合わせ件数 | AI利用によって対象業務が改善したか |
| 運用品質 | ナレッジ更新状況、未解決質問数、改善対応状況、誤回答発生状況 | 品質を継続して維持できる運用になっているか |
社内ナレッジAIのKPIで重要なのは、数字の多さではありません。AI導入の目的から逆算し、改善判断に利用できる指標だけを選ぶことがポイントです。
最初に優先したい5つのKPI
KPI候補を増やしすぎると集計そのものが負担になります。導入初期であれば、まず次の5つを確認すると、利用、品質、業務成果をバランスよく把握できます。
1. アクティブ利用率
対象社員のうち、実際に社内ナレッジAIを利用した社員の割合です。アカウントが配布されているだけではなく、業務で利用されているかを判断します。
利用率が低い場合は、AIの精度以前に、対象業務が明確になっていない、利用方法が分かりにくい、必要な情報が登録されていないといった原因を確認します。
2. 自己解決率
AIへ質問した後、人への問い合わせや別の情報検索を行わずに業務を進められた割合です。
計算する場合は、AIだけで解決できた問い合わせ数を、評価対象となるAIへの問い合わせ総数で割ります。総務や情報システム部門への問い合わせ削減を目的とする場合、特に重要な指標です。
3. 回答採用率
AIが生成した回答のうち、ユーザーがそのまま、または軽微な確認だけで業務に利用できた割合です。
文章が自然でも内容に誤りがあれば業務では利用できません。実際に使える回答だったかという視点を入れることで、単純な利用回数より成果を把握しやすくなります。
4. 情報検索・回答作成時間
AI導入前にマニュアルや過去資料を探していた時間と、導入後の時間を比較します。問い合わせ対応で利用する場合は、質問を受けてから回答を作成するまでの時間を測ってもよいでしょう。
重要なのは、AI利用時間だけを見るのではなく、確認や修正まで含めた業務全体の所要時間で比較することです。
5. 回答不能・誤回答の発生状況
AIが答えられなかった質問や、人による確認で誤りが判明した回答を記録します。単に件数を数えるだけでなく、原因を分類することが重要です。
例えば、元資料が存在しない、検索で適切な文書を取得できない、元資料が古い、質問の意味を正しく解釈できないなどに分けると、次に改善する場所が見えやすくなります。
AIの回答品質は100％を前提にせず、重要な業務では必ず人による確認工程を設けてください。特に法務、労務、税務、情報セキュリティなど専門判断が必要な内容は、社内担当者や専門家による最終確認が必要です。
株式会社ジェイテックサービスのAI顧問サービスでは、現在の業務やAI利用状況を整理し、現場で繰り返し使える仕組みづくりと運用改善を支援しています。
KPIを設計して効果測定する手順
KPIはAI導入後に考えるより、導入前から基準を決めておく方が効果を比較しやすくなります。すでに導入済みの場合でも、現在の業務を基準値として記録すれば改善を始められます。
- 対象業務と目的を1つに絞るまず、何のために社内ナレッジAIを使うのかを明確にします。総務への問い合わせ削減、社内規程の検索時間短縮、カスタマーサポートの回答作成支援など、業務単位で決めます。
- AI導入前の状態を記録する現在の検索時間、問い合わせ件数、担当者が回答するまでの時間などを記録します。導入後の数字だけでは改善したか判断できないため、比較対象となる基準を用意します。
- 代表的な質問で回答品質を確認する実際の業務で頻繁に発生する質問を評価用として整理します。期待する回答や参照すべき資料も確認しておくと、変更前後の品質を比較しやすくなります。
- 利用ログと人の評価を組み合わせる利用回数や回答時間などシステムから取得できる数値と、回答が業務で使えたかという人の評価を組み合わせます。自動取得できる指標だけで判断しないことがポイントです。
- 結果から次の改善項目を決めるKPIを集計したら、数値を報告して終わりにせず、原因と次の対応を決めます。資料追加、ナレッジ更新、検索設定の調整、質問方法の改善など、具体的なアクションへ落とし込みます。
- 利用者や利用部門は広がっているか
- AIだけで解決できる質問が増えているか
- 回答を大きく修正するケースが発生していないか
- 回答できなかった質問の原因を分類しているか
- 古いマニュアルや規程が検索対象に残っていないか
- 改善事項に担当者と対応方針が決まっているか
KPI測定でよくある失敗と対策
社内ナレッジAIの効果測定では、測りやすい数字だけを追うと、本来の成果とKPIがずれてしまうことがあります。代表的な失敗をあらかじめ把握しておきましょう。
| 失敗 | 問題点 | 対策 |
|---|---|---|
| 質問回数だけを見る | 利用が増えていても業務が改善したか分からない | 自己解決率や検索時間と組み合わせる |
| 平均点だけを見る | 重大な誤回答が平均値の中に埋もれる | 低評価回答や誤回答を個別に確認する |
| 導入前を測っていない | 導入後の数字だけでは改善幅を判断できない | 現在の業務を基準値として記録する |
| 品質評価を一度で終える | 資料や設定の変更後に品質が変化しても気付けない | 変更後も同じ評価質問で再確認する |
| 元資料を管理しない | 古い情報を参照して回答する原因になる | 更新責任者とナレッジ更新ルールを決める |
| 改善担当者がいない | 問題を発見しても修正されず同じ失敗が続く | 改善項目ごとに担当者と対応方針を決める |
KPIそのものを目標にしない
例えば質問回数を増やすことを目標にすると、業務上必要のない質問が増える可能性があります。KPIは達成するための数字ではなく、業務目標に近づいているかを確認するための指標として扱います。
AIとナレッジを分けて原因を見る
回答品質が低い場合、生成AIそのものだけが原因とは限りません。検索対象の資料不足、文書の構成、情報の古さ、検索処理、質問方法など複数の原因が考えられます。
回答不能や低評価回答を原因別に整理すると、AIモデルを変更する前にナレッジ整備で改善できる課題も見つけやすくなります。
部門別に見るKPIの設定例
同じ社内ナレッジAIでも、利用する部門によって成果の定義は異なります。全社で同じKPIを一律に設定するより、対象業務の目的に合わせて選ぶ方が実務的です。
| 部門 | 活用例 | 確認したいKPI |
|---|---|---|
| 総務・管理 | 就業ルールや社内手続きの問い合わせ | 自己解決率、担当部署への問い合わせ件数、回答不能率 |
| 営業 | 過去の提案書や製品資料の検索 | 資料検索時間、必要資料の発見率、回答採用率 |
| 人事 | 社内制度や申請方法の案内 | 検索時間、問い合わせ削減状況、誤回答発生状況 |
| カスタマーサポート | マニュアルやFAQを使った回答案作成 | 回答作成時間、修正率、エスカレーション率 |
| 製造・現場 | 作業手順や過去のトラブル事例検索 | 情報検索時間、必要情報の発見率、回答不能率 |
例えば総務部門であれば、AIへの質問数を増やすことより、社員が担当者へ問い合わせる前に必要な情報へ到達できる状態を作ることが本来の目的になります。KPIは必ず対象業務のゴールから逆算してください。
社内ナレッジAIのKPIに関するよくある質問
社内ナレッジAIの効果測定を始める際に、担当者が迷いやすいポイントを整理します。
最初に設定するKPIは何がよいですか？
まずは利用率、自己解決率、回答採用率、業務時間の4つから始めると整理しやすくなります。AIが使われているか、役に立っているか、業務が改善したかをそれぞれ確認できるためです。運用が進んだら回答不能率やナレッジ更新状況などを追加します。
社内ナレッジAIの正答率はどのように測ればよいですか？
実際の業務で発生する代表的な質問を評価対象として用意し、参照すべき社内資料や期待する回答と比較します。完全自動で判定するのではなく、重要な質問については担当者が回答の正確性、必要情報の網羅性、参照元との一致を確認する方法が適しています。
利用回数が増えていれば導入成功と判断できますか？
利用回数だけでは判断できません。利用回数が増えていても、回答が役に立たず同じ質問を繰り返している可能性があります。自己解決率、回答採用率、検索時間など、業務完了につながったかを示す指標と組み合わせて確認してください。
KPIはどのくらいの頻度で確認すべきですか？
導入初期や大きな設定変更を行った直後は、問題を早く発見できる頻度で確認します。運用が安定した後は、月次レビューなど継続できるサイクルへ移行すると管理しやすくなります。重要なのは頻度そのものより、問題を見つけた後に改善へつなげることです。
詳細な利用ログを取得できない場合でも効果測定できますか？
可能です。対象業務を限定し、利用前後の所要時間、問い合わせ件数、担当者への簡単なヒアリングなどから始められます。最初から精密なダッシュボードを作るより、継続して取得できる情報を使って基準を作ることが重要です。
部門ごとに異なるKPIを設定しても問題ありませんか？
問題ありません。むしろ部門ごとに目的が異なる場合は、KPIも分ける方が適切です。全社では利用状況や運用品質を共通指標として持ち、各部門では検索時間、問い合わせ件数、回答作成時間など業務に直結した指標を追加すると管理しやすくなります。
まとめ
社内ナレッジAIの成果を正しく判断するには、AIを何回使ったかではなく、AIによって社員の仕事がどう変わったかを見る必要があります。
- 利用状況、回答品質、業務効果、運用品質の4つに分けてKPIを設定する
- 導入目的に近い自己解決率、回答採用率、検索時間などを優先する
- 導入前の業務を記録し、AI導入後と同じ条件で比較できるようにする
- 誤回答や回答不能になった質問を分析し、ナレッジや検索方法の改善につなげる
- 毎回すべてを測定するのではなく、改善判断に使える指標へ絞り込む
まずは社内ナレッジAIを利用する業務を1つ決め、その業務の現状を記録するところから始めてください。KPIを先に決めておけば、導入後に継続、改善、対象拡大のどれを選ぶべきか判断しやすくなります。
株式会社ジェイテックサービスでは、中小・中堅企業のAI活用を継続的に支援するAI顧問サービスを提供しています。業務の整理、AI活用テーマの選定、業務テンプレートづくり、ツール選定、利用ルールや運用改善など、現場でAIを使い続けられる状態を目指して伴走します。
AI活用に関する実務的な情報は、AI活用コラム一覧でも紹介しています。
現在の業務や困りごとから、AIを活用しやすい候補を整理する30分の無料オンライン相談を実施しています。契約を前提とせず、AI活用候補と最初に取り組む進め方を整理できます。