Transformerとは?生成AIを支える仕組みを研究の要点からやさしく解説

トレンドのイラスト

Transformerとは何か

Transformer(トランスフォーマー)とは、2017年にGoogleの研究者らが発表した論文で提案された、文章を扱うAIのための新しいモデル構造(仕組み)のことです。現在多くの人が利用しているChatGPTをはじめとする、いわゆる「生成AI」の多くは、この仕組みを土台として作られています。

Transformerが登場する以前、文章を扱うAIの多くは、文章を先頭から順番に、1語ずつ処理していく方式が主流でした。この方式には、文章が長くなるほど、離れた場所にある単語同士の関係を捉えるのが難しくなる、また処理に時間がかかりやすい、といった課題がありました。

Transformerの中心的なアイデアは、「Attention(アテンション、注意機構)」と呼ばれる仕組みです。これは、文章中のある単語を処理する際に、その文章全体の中で、どの単語に particularly注目すべきかを、その都度重み付けして判断するという考え方です。

例えば、「その動物は疲れていたので、道を渡らなかった」という文章において、「その動物」が何を指すかを理解するには、離れた場所にある「渡らなかった」という言葉との関係を捉える必要があります。Attentionの仕組みにより、文章中の離れた単語同士の関連性も、効率よく捉えられるようになりました。

それまでのAIが「文章を先頭から1文字ずつ、順番に読み進める」やり方だったとすれば、Transformerは「文章全体を一度に見渡し、単語同士の関連性を重要度に応じて整理してから理解する」やり方に近いといえます。この違いにより、長い文章の処理速度と精度が大きく向上しました。

この「文章全体を効率よく並行して処理できる」という特性が、大量の文章データを使った学習と非常に相性が良かったことから、その後の大規模言語モデル(LLM)の急速な発展を支える、重要な基盤技術になったと位置づけられています。

Transformerは、「文章中の単語同士の関係性に、重み付けをして注目する」という発想によって、AIによる文章理解の精度と効率を大きく引き上げた、生成AI時代を支える重要な技術です。