AIの嘘(ハルシネーション)を見抜く5つの方法|仕事で使う前の確認手順

AIの嘘は、見た目では区別がつかない

AIは、事実と違う内容でも、もっともらしい文章で、自信たっぷりに答えることがあります。この現象は「ハルシネーション」と呼ばれています(仕組みはハルシネーションとはで解説しています)。

厄介なのは、間違った答えと正しい答えが、見た目ではまったく区別できないことです。文章が自然で、言い切っているほど、つい信じてしまいます。

実は私自身も、一度AIの回答を信じかけたことがあります。もっともらしい説明だったので、そのまま使おうとしたところ、念のため元の資料と照らし合わせてみたら、内容が食い違っていました。この経験から、「AIの回答は、正しいかどうかを前提にせず、確認してから使う」と決めています。

特に嘘が混じりやすい場所

AIが間違えやすいのは、次のような、正確さが求められる部分です。

• 数字・統計・金額
• 日付・年月・バージョン
• 人名・会社名・製品名などの固有名詞
• 出典・URL・書籍や論文のタイトル
• 法令・契約・規約の条文
• プログラミングの関数名・ライブラリ名・コマンド(実在しないものが出ることがある)

逆に、文章の言い回しの調整や、構成案、アイデア出しのように、正解が1つに決まらない作業では、嘘が問題になる場面は多くありません。

嘘を見抜く5つの方法

① 重要な部分を拾い出して、元の資料と照合する

回答の中から、数字・日付・固有名詞を拾い出し、元の資料や公式サイトの記載と照らし合わせます。全文を読み直す必要はありません。「間違えると困る部分」だけを確認します。

② 出典を求め、出典そのものを開いて確認する

「根拠となる出典を示して」と頼むのは有効ですが、そこで終わらせてはいけません。示されたURLが実在するか、書かれている内容が回答と一致しているかを、自分で開いて確認します。出典自体が作られていることもあるためです。

③ 聞き方を変えて、もう一度聞く

同じ内容を別の言い方で聞いたり、新しい会話で聞き直したりして、回答が変わらないかを見ます。答えが毎回ぶれる部分は、根拠が弱い可能性があります。

④ 「確認すべき点」を聞く

次のように頼むと、AI自身に確認ポイントを挙げてもらえます。

この回答の中で、間違っている可能性がある部分、根拠が弱い部分、人が確認すべき部分を挙げてください。

AIが挙げた項目を、自分で確認していきます。

⑤ 元の資料を渡して、その範囲で答えてもらう

資料を渡さずに質問するより、資料を貼り付けたうえで「この資料に書かれている内容だけで答えてください。書かれていなければ『書かれていない』と答えてください」と頼むほうが、嘘は起きにくくなります。ただし、ゼロにはなりません。資料を貼る時は、機密情報が含まれていないかの確認も必要です。

嘘が起きやすい「頼み方」がある

同じAIでも、頼み方によって、嘘が混じる確率は変わります。次のような頼み方は、特に注意が必要です。

• 元の資料を渡さずに、具体的な数字や事実を求める:AIは、知らないことでも「それらしい数字」で埋めようとすることがあります
• 知名度の低い人物・会社・製品について聞く:情報が少ないものほど、似た別のものと混ざったり、作り話になったりしやすくなります
• 最新の情報を聞く:AIが学習した時点より新しい出来事は、知らないまま答えることがあります。ニュースや制度の変更などは、公式サイトや検索で確認してください
• 「必ず答えてください」と強く求める:分からない場合でも、無理に答えを作ってしまう方向に働くことがあります

逆に、「分からない場合は、分からないと答えてください」「確実でない部分は、その旨を明記してください」と最初に添えておくと、無理に答えを作ることを減らせます。完全ではありませんが、手間のかからない有効な工夫です。

「答えを出させる」から「確認すべき点を教えてもらう」へ

この経験を通じて、AIの使い方を変えました。

• 変える前:「〇〇について教えて」と聞き、出てきた答えを使う
• 変えた後:「〇〇について確認すべき点を教えて」と聞き、出てきた項目を自分で確かめる

答えそのものではなく、調べる手がかりをもらう使い方にすると、AIが多少間違えても、最終的に自分の手元に残る情報は確認済みのものになります。

私が実際によく使う頼み方は、次の3つです。

• 「この契約条件で、確認すべき点を挙げて」
• 「この数字を使う場合、どこを確認すべき?」
• 「この説明に、誤解を招く表現がないかチェックして」

AIは、調査の出発点としては、とても便利です。そこから先の「確認」は、人の仕事として残します。

実際にあった、確認の流れ

仕事では、文章の整理や要約のほかに、制度や契約に関する確認にもAIを使うことがあります。以前、業務上のルールや契約条件について、内容を一般化した形でAIに確認したことがありました。

返ってきた回答は、とても自然でした。条件を整理したうえで「この場合はこうなります」と説明し、理由まで書かれていたため、ITに詳しくない人が読めば、「なるほど、そういうルールなのか」と納得してしまっても不思議ではない内容でした。数字や条件が具体的に書かれていると、特にそれらしく感じます。しかし、具体的に書いてあることと、正しいことは別です。

ただ、最初から「間違っているかもしれない」と疑ったわけではありません。重要な判断に使う内容だったので、念のため元の資料を確認した、というのが実際のところです。契約・法令・金額・期限は、一つ違うだけで、相手への説明やその後の対応が変わってしまいます。

元の資料と照らし合わせると、AIの説明と、実際に確認すべき資料の内容には、違いがありました。AIは、似たような制度や契約の一般論を組み合わせて説明しているように見えることがあります。そのため、次の2つは、分けて考える必要があります。

• 「一般的には、そうなのかもしれない」
• 「今回の契約・今回の制度で、本当にそうなのか」

もしそのまま使っていたら、取引先や関係者に、実際の契約条件と異なる説明をしてしまう可能性がありました。数字であれば、資料に載せる数字や計算結果を誤ったまま使うことも考えられます。一度資料やメールに入れてしまえば、「AIがそう言っていた」は、相手にとって説明になりません。最終的に責任を持って説明するのは、その情報を使って判断した人です。

この経験から、確認の順番を決めました。

AIの回答 → 元の資料を自分で開く → 該当箇所を確認する

法令・契約・料金・仕様・数字・期限は、AIが出した情報を、確定情報として扱わないようにしています。「AIが答えを出した」ことと、「事実を確認できた」ことは、別のことです。確認の手間を減らすには、回答全体を疑うのではなく、数字・期限・条件など、確かめやすい部分から照合するのが現実的です。

どこまで確認するかを決める目安

すべてを同じ強さで確認すると、疲れてしまいます。次の2つの観点で、確認の強さを決めると続けやすくなります。

• 間違えた時の影響の大きさ:お金・契約・安全・対外的な発表に関わるほど、強く確認する
• 間違えやすさ:数字・日付・固有名詞・出典は、特に間違えやすいので、軽くても必ず確認する

たとえば、社内向けのメモの言い回しを整える程度なら、読んで意図と合っているかを確認すれば十分です。一方、取引先に送る資料の数字や、法令に関わる説明は、必ず元の資料や専門家で確認します。

業務ごとの扱い方

仕事のなかでは、内容によって、AIの回答を使ってよい範囲が変わります。

組織としてこの線引きを決めておきたい場合は、生成AI利用ルールのひな形に、同じ考え方の判断表が入っています。

まとめ

• AIの嘘は、見た目で区別がつかない。数字・固有名詞・出典・条文は特に注意する
• ①照合 ②出典を開く ③聞き直す ④確認点を聞く ⑤元資料を渡す、の5つで見抜く
• 「答えを出させる」のではなく、「確認すべき点を教えてもらう」使い方にする
• 確認するのは重要な部分だけでよい

AIへの頼み方そのものを見直したい方は、ChatGPTに何を聞けばいいか分からない時の対処法もあわせてどうぞ。

関連記事:AIの回答が毎回違うのはなぜ?