ハルシネーションとは?AIが「もっともらしい嘘」をつく理由

ハルシネーションとは何か

ハルシネーション(hallucination、直訳すると「幻覚」)とは、生成AIが、事実に基づかない誤った情報を、あたかも真実であるかのように、自信を持って生成してしまう現象のことです。存在しない書籍のタイトルや、実際にはない出来事を、もっともらしく作り出してしまうことがあります。

なぜこのような現象が起こるのか

生成AIの多くは、膨大な文章データから、「ある言葉の次に、どんな言葉が続く可能性が高いか」という統計的なパターンを学習し、それに基づいて文章を作り出す仕組みで動いています。この仕組みは、事実かどうかをその都度データベースで照合しているわけではなく、あくまで自然で"それらしい"文章を生成することを得意としているため、結果として、事実と異なる内容でも、流暢な文章として出力してしまうことがあります。

「自信満々な、記憶違いをしている人」に例えると

ハルシネーションは、悪気なく、自信満々に間違った内容を話してしまう人に例えられることがあります。嘘をつこうという意図はなく、本人(AI)は「正しいはずだ」という前提で話しているため、聞いている側(利用者)も、つい信じてしまいやすいという厄介な特徴があります。

利用する上で気をつけたいポイント

• 固有名詞(人名、書籍名、法律名、統計データなど)は特に誤りが起こりやすいため、重要な場面では必ず別の情報源で確認する
• AIの回答を、そのまま鵜呑みにして発信・提出しない
• 「詳しい根拠や出典を教えて」と尋ねてみて、回答に矛盾がないか確認してみる

開発側での対策も進んでいる

AI開発企業各社でも、外部の検索機能と組み合わせて、AIが根拠のある情報を参照しながら回答する仕組み(検索拡張生成など)を導入するなど、ハルシネーションを減らすための技術的な工夫が進められています。ただし、現時点で完全になくすことは難しいとされており、利用者側の確認する姿勢も引き続き重要です。

変化の速い分野のため、情報が古くならないよう、公開後も内容の見直しを行うようにしています。

自分自身も一度、信じかけた経験

AIの回答で一番怖いのは、明らかな間違いではなく、「ものすごく自然な間違い」です。存在しない資料や制度について聞いた時に、「○○という制度では〜」と、それらしい説明を返してくることがあります。文章としては非常に自然なので、AIに詳しくない人ほど「ちゃんと調べてくれたんだ」と思ってしまいます。

自分自身も、AIの回答を見て「なるほど」と思った後に、元の資料を確認してみたら細かい部分が違っていた、という経験があります。それ以来、AIには「答えを出してもらう」だけでなく、「どこを確認すべきかを教えてもらう」という使い方もするようになりました。AIの回答は、検索結果というより優秀な下書きくらいに考えるのが安全だと思います。

全体を通して言えること

ハルシネーションは、生成AIを使う上で避けて通れない特性の1つです。「AIは時に、自信満々な誤りを言うことがある」と理解した上で、重要な情報は必ず自分で確認する習慣を持つことが大切です。

関連記事:RAG(検索拡張生成)とは

関連記事:Siri AIの日本語対応はいつから?iOS 27.2で何が変わるか