トランスフォーマー（AIのしくみ）とは？

Google の機械学習の講座は、文の中で言葉どうしを見比べるアテンション（セルフアテンション）が、それぞれの言葉について、「ほかの言葉は、この言葉の読み取りに、どれくらい影響するか」を問う、と説明しています。答えは数で出て、関係の深い言葉ほど大きくなります。

AIの中では、言葉を、たくさんの数を並べたもの（数の並び）で表します。2017年の論文では、それぞれの言葉の数の並びから、3つの数の並びを作ります。「探しているもの」にあたるクエリ（query）、「見出し」にあたるキー（key）、「中身」にあたるバリュー（value）です。ある言葉のクエリを、全部の言葉のキーと比べ、よく合うものほど大きな重みを付けて、その重みで中身を混ぜ合わせます。こうして、まわりの言葉の情報を取り込んだ、新しい数の並びができます。

Google は2017年の紹介で、“I arrived at the bank after crossing the river.”（川を渡ってから、bank に着いた）という例を挙げています。bank には「銀行」と「川岸」の2つの意味があります。トランスフォーマーは “river”（川）にすぐ注意を向けることを学べるので、川岸のほうだと1歩で決められる、という説明です。

この見比べは、何通りも並べて行います（「マルチヘッド」）。2017年の論文の基本のモデルは8通り、大きなモデルは16通りでした。論文の付録には、文の組み立てに関係しているように見えるものや、“its” などの言葉が何を指すかを解いているように見えるものの例が載っています。

2017年のころ、翻訳のように、ある文を別の文に変える仕事で主に使われていたのは、RNN（再帰型ニューラルネットワーク）や畳み込みニューラルネットワークでした。成績のよいものは、そこにアテンションも組み合わせていました。論文の題「Attention Is All You Need」は「必要なのはアテンションだけ」という意味で、論文は、RNN も畳み込みも使わず、アテンションだけで作ったしくみを出しました。書いたのは、Google Brain と Google Research の研究者たちと、トロント大学の1人の、合わせて8人です。

RNN は、文を左から右へ（または右から左へ）1語ずつ読み、それまでの計算の結果を、次の語へ渡していきます。論文は、この順番にしか進めない性質のせいで、1つの文の中の計算を同時に進められない、と書いています。離れた言葉どうしの関係を知るにも何歩もかかり、Google の紹介は、歩数が多いほど RNN は学びにくい、と書いています。トランスフォーマーでは、どの2つの言葉も、1回のアテンションで直接つながります。

論文の結果では、英語からドイツ語への翻訳の点数（BLEU。高いほどよい）が28.4で、それまでの最高を2点より多く上回りました。英語からフランス語では41.8で、8つのGPU（計算用の部品）で3.5日学習したものでした。論文は、8つのGPUで12時間ほど学習しただけでも、翻訳の成績でそれまでの最高に届いた、と書いています。Google は、学習が最大で10倍ほど（けた1つ）速くなった、としています（会社の発表）。

アテンションは、言葉どうしを見比べるだけなので、そのままでは、言葉が何番目にあるかが入りません。でも、「犬が猫を追いかけた」と「猫が犬を追いかけた」は、同じ言葉でできていても、意味が逆です（このページで作った例）。

そこで2017年の論文は、RNN も畳み込みも使わないので、順番を使うには位置の情報を入れる必要がある、として、言葉を数の並びにしたものに、何番目かを表す印（「位置エンコーディング」）を足しました。印は、波の形をした計算（サインとコサイン。高校の数学で習う、波を表す計算）で作ります。

論文は、学習で覚えさせる印も試し、結果はほとんど同じだった、と書いています。波の形を選んだのは、学習で見たよりも長い文にも使えるかもしれないから、という説明です。

入れた言葉（トークン）は、まず数の並びに変えます。それに位置の印を足し、同じ形の層を何段も通します。1つの層は、2つの部分でできています。アテンションで、ほかの言葉の情報を取り込む部分と、言葉ごとに別々に、同じ計算をする部分です。

2017年の論文の翻訳のモデルは、読む側（エンコーダー）と書く側（デコーダー）が6層ずつでした。書く側の層には、読む側が出した結果を見るアテンションが、もう1つ入ります。Google の講座によると、エンコーダーは入れた文を途中の数の表し方に変え、デコーダーはそれを役に立つ文に変えます。論文のモデルのパラメーター（計算に使う数）は、基本のもので約6500万個、大きなもので約2億1300万個でした。

その後、片方だけを使うものも出てきました。Google が2018年に発表して公開した BERT は、名前が「Bidirectional Encoder Representations from Transformers」（トランスフォーマーを使った、両方向の、エンコーダーの表し方）の略で、それぞれの言葉の前と後ろの両方の言葉を見て、文を読み取ります。いっぽう、すでに書いた言葉から新しい言葉を作る、デコーダーだけのものもあります（Google の講座）。

1トークンずつ書きます。2017年の論文は、モデルは「自己回帰」で、次を作るときに、それまでに作ったものを入力に足して使う、と書いています。Google の紹介も、デコーダーは左から右へ、1語ずつ作る、と説明しています。最後の層の出力は、次に来る言葉ごとの確率に変えます。

書く側では、それぞれの言葉が自分より後ろの言葉を見ないように、アテンションに目かくしをします（論文の「マスク」）。論文は、こうして、ある位置の予測が、それより前の分かっている言葉だけで決まるようにした、と書いています。Google の講座は、1トークンずつ作るアプリには、こうした一方向のアテンションが要る、と書いています。読む側（エンコーダー）は、前と後ろの両方を見ます。

Google の講座は、大規模言語モデル（LLM）を、何千ものトークンを予測して書き足せる「自動補完のしくみ」とも説明しています。OpenAI の論文によると、2020年の GPT-3 は「自己回帰の言語モデル」で、パラメーターは1750億個、層は96段、一度に読める長さは2048トークンでした。GPT は Generative Pre-trained Transformer（文を作る、前もって学習した、トランスフォーマー）の略です（OpenAI などの研究者の2023年の論文）。

写真にも使われています。2020年、Google の研究者たちは、写真を、16×16ピクセルなどの小さな四角（パッチ）に切り分け、それを言葉（トークン）と同じように並べて、トランスフォーマーに入れました（Vision Transformer、ViT）。論文は、もとのトランスフォーマーにできるだけ近い形にした、と書いています。たくさんの画像で前もって学習させると、写真の見分けによく使われてきた畳み込みニューラルネットワークの最高のものとくらべて、すぐれた結果を、より少ない学習の計算で出せた、としています。

声にも使われています。OpenAI が2022年に発表した音声認識の Whisper は、読む側と書く側のあるトランスフォーマーです。音声を30秒ずつに区切り、音の高さごとの強さを時間にそって表した図（スペクトログラム）にしてから入れます。68万時間分の音声と、その書き起こしで学習しました。

2017年の論文も、終わりに、言葉のほかに、画像・音声・動画のような大きな入力と出力にも広げる計画を書いていました。ViT の論文は2020年に、トランスフォーマーは言葉を扱う仕事で「事実上の標準」になった、と書いています。

長い文ほど、計算が大きく増えます。アテンションは、全部の言葉の組み合わせを見比べるので、言葉の数が2倍になると組み合わせはおよそ4倍、10倍なら100倍になります。Google の講座も、文脈のトークンの数を N とすると、計算の量は N の2乗で増え、さらに層の数とヘッドの数がかけ合わさる、と書いています。

2017年の論文も、とても長い文では、それぞれの言葉が見る範囲を、まわりの決まった数の言葉に絞る案を書いています。その代わり、離れた言葉どうしがつながるまでの歩数は増えます。