社内AIのハルシネーションを減らす方法

社内AIのハルシネーションとは

社内AIのハルシネーションとは、生成AIが実際の社内情報や事実とは異なる内容を、自然で説得力のある文章として回答してしまう現象です。文章として違和感がないため、利用者が誤りに気付きにくい点が問題になります。

たとえば、存在しない社内ルールを説明したり、実際とは異なる商品の仕様を回答したり、マニュアルに記載されていない手順を補ってしまったりするケースが考えられます。

社内利用では誤回答の影響を考える必要がある

生成AIをアイデア出しや文章表現の改善に使う場合と、社内規程や商品情報の確認に使う場合では、誤回答したときの影響が異なります。

特に、顧客へ送信する回答、契約条件、社内制度、製品仕様、法務・労務・税務などに関係する情報は注意が必要です。AIが回答した内容をそのまま確定情報として扱わず、必要に応じて担当部署や専門家が確認する運用を設けます。

目指すのは誤回答ゼロではなく、管理できる状態

現在の生成AIでは、あらゆる質問に対して常に正しい回答を保証することは困難です。そのため企業では、ハルシネーションが起こる可能性を前提として仕組みをつくる必要があります。

重要なのは、発生する可能性を減らすこと、誤回答が発生した際に利用者が気付けること、間違った情報がそのまま業務へ流れないことの3点です。

社内AIでもハルシネーションが起こる主な原因

社内資料をAIへ与えれば、自動的に正しい回答だけが生成されるわけではありません。AIモデルだけでなく、参照資料、検索方法、質問内容、回答ルールなど複数の要因によって精度が変わります。

必要な情報がAIに与えられていない

AIが質問への回答に必要な情報を持っていない場合、不足している部分を推測して文章を生成することがあります。社内独自のルールや最新の商品情報などは、一般的なAIモデルだけでは判断できないことがあります。

参照する社内資料が古い・重複している

AIへ与える情報が正しくても、旧版と最新版の資料が混在していれば回答が不安定になります。部署ごとに異なるマニュアルが存在している場合も同様です。

検索された情報が質問と合っていない

RAGを使用している場合でも、質問に必要な箇所が検索できなければ正しい回答につながりません。似た文書が多い場合や、一つの文書に多くの情報を詰め込みすぎている場合などは、関係の薄い情報を取得することがあります。

回答のルールが曖昧になっている

AIに対して自由に回答するよう指示すると、参照資料に書かれていない内容まで補って説明する可能性があります。

社内AIのハルシネーションを減らす7つの方法

ハルシネーション対策は、一つの設定ですべて解決するものではありません。社内情報、検索、指示、回答方法、人による確認、評価を組み合わせて誤回答を減らします。

1. AIが参照する社内情報を整理する

最初に取り組みたいのは、AIそのものの設定ではなく、回答の根拠となる社内情報の整理です。マニュアル、規程、FAQ、商品情報、営業資料などについて、現在どの資料が正式なのかを明確にします。

2. RAGを活用して社内情報を参照させる

RAGはRetrieval-Augmented Generationの略で、日本語では検索拡張生成と呼ばれます。質問に関連する情報を社内文書などから検索し、その情報をAIへ渡して回答を生成する仕組みです。

AIモデルがもともと持っている一般的な知識だけではなく、自社のマニュアルやFAQなどを根拠として回答できるため、社内ナレッジを活用するAIでは有力な方法です。

3. 根拠がない場合は回答させない

社内AIでは、すべての質問へ無理に回答させる必要はありません。参照資料から答えを確認できない場合は、不明であることを示すようにします。

回答ルールとして、参照情報に記載されている内容のみ回答する、確認できない内容は推測しない、情報不足の場合は追加情報を求める、といった条件を設定します。

4. AIの回答と一緒に根拠を確認できるようにする

AIが回答だけを表示する仕組みでは、利用者は正誤を判断しにくくなります。回答の根拠となった文書名や参照箇所を確認できるようにしておくと、必要なときに原文へ戻れます。

5. AIに任せる業務範囲を限定する

最初から全社のあらゆる質問へ回答できるAIを目指すと、扱う情報が増え、正誤の評価も難しくなります。

まずは、社内マニュアル検索、商品FAQ、営業資料検索、問い合わせ回答案の作成など、正解となる資料が明確な一つの業務から始める方法があります。

6. 業務リスクに応じて人による確認を入れる

すべてのAI出力を同じ方法で確認する必要はありません。誤回答した場合の影響に応じて確認レベルを変えます。

7. 実際の質問と誤回答を蓄積して改善する

社内AIは、一度作ったら完成ではありません。実際の社員が入力した質問を確認し、期待した回答にならなかったケースを蓄積します。

誤回答が見つかった場合は、元資料、検索結果、プロンプト、質問内容のどこに原因があるのかを切り分けます。原因に応じて改善することで、同じ種類の誤回答を繰り返しにくくなります。

社内でハルシネーション対策を進める手順

中小・中堅企業では、最初から大規模な社内AIを構築する必要はありません。一つの業務で検証し、問題点を確認してから対象を広げていく方法が進めやすいでしょう。

1. 対象業務を一つ決める社内FAQ、マニュアル検索、問い合わせ回答など、正解となる情報が存在する業務を選びます。
2. 正解となる情報源を決めるどの文書を正式な回答根拠とするのかを整理し、古い資料や重複資料を確認します。
3. 回答ルールを設定する参照資料にない内容は推測しない、根拠がない場合は回答を控えるなどのルールを決めます。
4. 想定質問でテストする正解がある質問だけでなく、曖昧な質問や正解が存在しない質問も試します。
5. 人による確認方法を決める利用者自身の確認でよい回答と、担当者や責任者による承認が必要な回答を分けます。
6. 誤回答を記録する実際に起きた誤回答を残し、資料、検索、プロンプト、運用のどこに原因があるかを整理します。
7. 改善して対象業務を広げる安定して利用できることを確認した後、別の業務や部署への展開を検討します。

モデルケース：社内マニュアル検索AI

ここでは実績ではなく、説明のためのモデルケースとして、総務部門の社内マニュアル検索AIを考えます。

従来は社員から質問があるたびに、総務担当者が複数のマニュアルや社内資料を探して回答していました。そこで、現在有効なマニュアルを検索対象として整理し、質問に関連する箇所をAIが検索して回答案を作成する仕組みにします。

回答時には参照した資料を確認できるようにし、資料から判断できない内容は推測せず、担当部署への確認を促す運用にします。

重要なのは、AIにすべての判断を任せることではありません。必要な情報を探しやすくし、人が最終確認できる状態をつくることです。

社内AI運用前のチェックリスト

AIモデルの性能だけ確認して運用を開始すると、情報管理や確認方法が曖昧なまま利用が広がる可能性があります。運用開始前に、少なくとも次の項目を整理しておきましょう。

正答率だけで評価しない

社内AIを評価するときは、正しい回答が何件あったかだけを見るのではなく、間違った回答を自信を持って提示していないかという視点も重要です。

確認できない質問に対して適切に回答を控えられたか、利用者が根拠を確認できたか、誤回答が業務へ流れる前に発見できたか、といった点も評価対象にします。

業務ごとに求める精度を変える

文章のアイデア出しと、顧客へ提示する商品仕様の回答では、求められる正確性は同じではありません。

誤った場合の影響が大きい業務ほど、人による確認や情報源の限定を強くします。社内AI全体に一つの基準を設定するのではなく、業務リスクに応じた運用ルールをつくることが重要です。

まとめ

社内AIのハルシネーションを減らすには、高性能なAIモデルを導入するだけでは不十分です。AIが何を根拠に回答し、分からない場合にどう動き、誰が最終確認するのかまで含めて業務として設計する必要があります。

• まずAIを利用する業務を一つに絞る
• 正解となる社内資料を整理する
• RAGやプロンプトで回答する範囲を限定する
• 根拠がない場合は無理に回答させない
• 人による確認と継続的な評価の仕組みをつくる

AIの誤回答を恐れて利用を止めるのではなく、AIの特性を理解したうえで、人が確認できる仕組みをつくることが社内活用では重要です。まずは正解を確認しやすい一つの業務から、小さく検証していきましょう。