科学なるほど新聞English

トップ › 用語集 › AI

エンベディング(AIの埋め込み)とは?

別の呼び名:埋め込み、AIの埋め込み、Embedding、埋め込みベクトル、埋め込み(ベクトル)

用語解説 ・ 確かめた日 2026年11月12日 ・ 読む 13分

1分で解説

エンベディング(埋め込み)とは、AIが、言葉・文・絵などを、似たものほど近くに来るような数の並びに変えたもの、また、そう変えることです。

AIは、数を計算して動きます。ChatGPT のような文を書くAIも、文を小さなかけら(トークン)に切り、1つずつ数百〜数千個の数の並びに置き換えて計算します。この数の並びがエンベディングです。数は人が決めず、たくさんの文で学習するうちに決まります。

言葉では、似た使われ方をする言葉ほど、似た数の並びになります。使われ方が似た言葉は、たいてい意味も近いので、意味の近い言葉が近くに集まります。ただし、反対の意味の「強い」と「弱い」も近くなるなど、いつもではありません。

地図の上の場所は、横と縦の2つの数で決まります。エンベディングは、場所が何百もの数で決まる、目では見られない地図のようなものです。この近さを使えば、同じ言葉が無くても、意味の近い文を探せます。

よくある思い込み

「エンベディングとは、AIが言葉ごとに番号を振ること」

半分だけ合っています。AIは、文をトークン(言葉の小さなかけら)に切り、1つずつ番号に置き換えます。ここまでは、確かに番号を振るだけです。でも、番号同士には、意味のつながりがありません。「ネコ」と「イヌ」の番号がとなり合っていても、似ているという印にはならないのです。エンベディングは、その番号ごとに、何百個もの数の並びを1つずつ割り当てたものです。並びの数は、学習の中で少しずつ直され、似た使われ方をする言葉ほど、似た並びになっていきます。番号は言葉を見分けるための名札で、エンベディングは、言葉同士の近さまで表す数なのです。

図で解説

言葉の数の並びが、地図の上の場所になる様子の模式図(数を2つだけにして描いたもの。数と位置は、このページで作った例。本物のエンベディングは数百〜数千の数でできている)。題「似た使われ方をする言葉ほど、近くに並ぶ」。副題「模式図:数を2つだけにすると、横と縦の場所として地図に置ける」。左の枠:見出し「トークン」と「エンベディング」。「ネコ」「イヌ」「リンゴ」の札から右へ矢印が出て、それぞれ2つの数のます(列の見出し「1つめ」「2つめ」。ネコ −0.7・0.7、イヌ −0.6・0.5、リンゴ 0.3・0.6)が並ぶ。下に「本物は、数百〜数千個の数が並ぶ」「(目では見られない地図になる)」「似た使われ方なら、似た数になる」。そこから右の地図へ矢印。右の地図:横の軸「横:1つめの数」(−1・0・1)と、縦の軸「縦:2つめの数」(−1・0・1)。ネコの点から、横の軸の −0.7 と、縦の軸の 0.7 へ、オレンジの点線。点線の囲み「動物」にネコ・イヌ・ウマ(紺の丸)、「果物」にリンゴ・ミカン・ブドウ(白いひし形)、「乗り物」に電車・バス・自転車(オレンジの四角)。どの点も、すぐ横に名前がある。一番下の帯:言葉を、数でできた地図の1点として置く(埋め込む)。
言葉がエンベディング(数の並び)になり、地図のような空間に並ぶ様子を、数を2つだけにして描いた模式図です。左は、トークン(言葉のかけら)ごとの数の並びです。1つめの数を横、2つめの数を縦の場所と見ると、右の地図の点になります(ネコは、横が −0.7、縦が 0.7)。似た使われ方をするネコとイヌは、似た数になり、地図でも近くに来ます。本物は数百〜数千個の数で場所が決まるので、目では見られない地図になります。1つ1つの数には、普通分かりやすい意味はありません。
質問に近い文書を、エンベディングで探す流れの模式図(文と位置は、このページで作った例。地図は2次元の模式図)。題「質問も数の並びにして、近い文書を探す」。副題:検索拡張生成(RAG)などで使う流れ。左上「① 文書を数の並びにしておく」:A「猫に与えると危険な食品」、B「ネコの名前の付け方」、C「人が食べてはだめなキノコ」の3枚の札。左下「② 質問も数の並びにする」:オレンジの吹き出し「ネコが食べてはだめな物は?」。そこから右の地図へ矢印。右の地図「③ 一番近い文書を選ぶ」:オレンジの星「質問」のすぐ近くに紺の丸A(上に「一番近い」、下に「危険な食品」。点線の丸で囲む)があり、星とAをオレンジの実線でつないで「近い」。遠くに紺の丸B(「名前の付け方」)とC(「キノコの話」)があり、星から灰色の点線で「遠い」。地図の下に「A を質問と一緒にAIに読ませて、答えを書く」。一番下の帯:同じ言葉が無くても、意味が近ければ見つかる。
エンベディングを使って、質問に合う文書を探す流れを描いた模式図です。星は質問、A・B・Cの丸は文書を、それぞれ数の並びにしたときの場所です。文書は前もって数の並びにしてしまっておき、質問が来たら、質問も同じやり方で数の並びにして、一番近い文書を選びます。Bには質問と同じ「ネコ」、Cには同じ「食べてはだめな」がありますが、意味が一番近いのは、「猫」「危険な食品」のように、質問とは違う書き方・言い方をしたAです。検索拡張生成(RAG)では、選んだ文書を質問と一緒にAIに読ませて、答えを書かせます。
2013年の論文の例「King − Man + Woman」を描いた模式図(2次元。位置は、このページで作った例。実際の言葉の数の並びは、ずっと多くの数でできている)。題「King − Man + Woman は、Queen のすぐ近く」。上に印の説明:紺の丸=言葉の場所、オレンジの星=計算した点。左に「Man(男)」の点から右上の「Woman(女)」の点へ、オレンジの点線の矢印「男→女の向き」。右に「King(王)」の点から、同じ向き・同じ長さのオレンジの点線の矢印「男→女の向き」が出て、その先にオレンジの星「計算した点」がある。星のすぐ近くに「Queen(女王)」の点があり、星と Queen を点線の丸で囲んで「とても近い」。左下に「ぴったりの言葉が無くても、一番近い言葉を答えにする」。一番下の帯:男と女の関係が、同じ向きの矢印になって表れる。
言葉の数の並びで、引き算と足し算をした例を描いた模式図です。点は言葉の場所で、オレンジの矢印は、Man(男)から Woman(女)へのずれです。King(王)から、同じ向き・同じ長さだけ進んだ場所(King − Man + Woman を計算した点)のすぐ近くに、Queen(女王)がありました。学習の中で、男と女の違いが、決まった向きのずれとして身についていたのです。計算した点にぴったりの言葉があるとは限らないので、一番近い言葉を答えにします。

図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。

たとえるなら

似た品物が近くに並ぶ、スーパーの売り場

スーパーでは、似た品物が近くに並んでいます。牛乳の棚のとなりにはヨーグルトやチーズがあり、リンゴの近くにはミカンがあります。だから、初めて入った店でも、牛乳の場所が分かれば、チーズがどの辺りにあるか見当がつきます。

エンベディングは、言葉の1つ1つに、こうした売り場の中の場所を、数で書いた住所として決めるようなものです。似た使われ方をする言葉ほど、近い場所に置かれます。質問に合う文を探すときも、質問が置かれた場所の近くの棚を見ればよいのです。

ただ、たとえが合わないところもあります。売り場の並べ方は人が決め、通路には「乳製品」のような名前が付いています。エンベディングの並べ方は、人ではなく学習で決まり、場所を決める数の1つ1つに、普通名前はありません。売り場は平らな床ですが、エンベディングの場所は、数百〜数千の数で決まる、目に見えない空間の中にあります。また、「強い」と「弱い」のような反対の意味の言葉も、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われるので、近くに置かれやすいのです。

ポイント解説

なぜ「エンベディング(埋め込み)」と呼ぶの?

英語の embed(エンベッド)は、何かを、ほかのものの中にはめ込む、埋め込むという意味です。エンベディング(embedding)は、その名詞の形で、日本語に訳すと「埋め込み」です。AIでは、言葉・文・絵などを、たくさんの数でできた目に見えない空間の中に、1つの点として置くことを、埋め込む(embed)と言います。この空間を「埋め込み空間」と呼び、置いた点の場所を表す数の並びが、エンベディングです。埋め込みベクトルとも呼びます。ベクトルは、向きと大きさを持つ量のことで、いくつかの数の並びで表せます。例えば地図の上で「東へ3、北へ2」進む矢印は、3と2という2つの数の並びで書けます。

並んでいる数の個数を「次元」と呼びます。地図の上の場所は、東西と南北の2つの数で決まるので2次元です。言葉のエンベディングでは、256個・512個・1024個の数の並びがよく使われます。4次元以上の空間は、人には絵に描けません。そこで説明の図では、近さの様子だけを、2次元の地図に描きます。2つの言葉の近さは、地図の上の2点と同じように、数の並び同士の離れぐあいで測ります(測り方には、いくつかの種類があります)。

日本語の「埋め込み」には、ほかの意味もあります。ウェブのページに動画や地図を貼り込む「埋め込み」や、家電や車などの機械に組み込むコンピューター(組み込み。英語で embedded)も、元は同じ embed という英語ですが、指しているものが違います。このページのエンベディング(埋め込み)は、AIの中で、言葉や絵を表す数の並びのことです。

トークンとは、どう違うの?

トークンは、AIが文を読むときに切り分ける、言葉の小さなかけらです(「こんにちは」が1つのこともあれば、1文字がいくつかに分かれることもあります)。AIは、トークンの1つ1つに番号を付けます。エンベディングは、その番号ごとに用意された数の並びです。AIの中には、トークンの番号ごとに数の並びを1行ずつ書いた大きな表があり、番号でその行を引いてきます。表の数は、学習で決まります。

2017年に Google の研究者たちが発表したトランスフォーマー(今の文を書くAIの多くが使う仕組み)の論文では、入ってきたトークンを、学習で決めたエンベディングで、512個の数の並びに変えています。そこに、何番目のトークンかを表す、同じ長さの数の並びを足します。数の並び同士の足し算は、1つめの数同士、2つめの数同士…と、同じ順番の数同士を足します。その後、同じ形の計算を何回も繰り返します。

入口のエンベディングは、トークン1つに1つだけです。でも、計算を繰り返すうちに、数の並びは、周りの言葉に合わせて変わっていきます。例えば英語の orange は、色の意味でも果物の意味でも使われますが、文ごとに違う数の並びになっていきます。こうした、文によって変わるエンベディングを、文脈に応じたエンベディング(英語で contextual embedding)と呼びます。

数は、どうやって決まるの?

人が1つずつ決めるのではなく、学習で決まります。AIの入口に、トークンの番号から数の並びを引く表を置き、AIに練習の問題をたくさん解かせます。正しく答えられるように、AIのほかの部分と一緒に、表の数を少しずつ直していくのです。

よく知られた例が、2013年に Google の研究者たちが発表した word2vec です。練習の問題は、たくさんの文を使って、周りの言葉から真ん中の言葉を当てるものや、真ん中の言葉から周りの言葉を当てるものです。論文では、約60億トークンのニュースの記事で学習させました。

この練習をすると、同じような言葉に囲まれて出てくる言葉ほど、似た数の並びになります。例えば「ロバに乗って谷を下りた」と「ウマに乗って谷を下りた」のように、ロバとウマは同じような文の中に出てくるので、近くに並ぶのです。意味を教えたわけではなく、使われ方が似ていることから、近さが生まれます。

説明の図では、「動物らしさ」「大きさ」のような名前の付いた軸に、言葉を並べることがあります。でも、学習で決まった本当のエンベディングで、1つ1つの数がそのように分かりやすい意味を持つことは、まれです。何を表しているのか推し量れることもありますが、いつもではありません。

言葉の足し算・引き算ができるって、本当?

ある程度は、できます。2013年の論文で、学習で決まった言葉の数の並びを使い、「King(王)」から「Man(男)」を引いて「Woman(女)」を足すと、「Queen(女王)」の数の並びにとても近くなりました。引き算・足し算は、同じ順番の数同士で行います。男と女の違いが、決まった向きのずれとして、自動で身についていたのです。学習させた仕組みには、文法も意味も、何も教えていませんでした。

計算した場所に、ちょうどの言葉があるとは限りません。そこで、計算した場所に一番近い言葉を答えにします。同じ年の別の論文でも、「Madrid(マドリード)− Spain(スペイン)+ France(フランス)」は、ほかのどの言葉よりも「Paris(パリ)」に近くなり、「Germany(ドイツ)+ capital(首都)」は「Berlin(ベルリン)」に近くなりました。

ただ、いつも当たるわけではありません。King の例を示した論文で、「good(よい)と better(よりよい)の関係なら、rough(あらい)は何?」のような、文法の関係を当てる問題を8000問解かせると、正しく答えられたのは40%近くでした。

何に使うの?

文を書くAIの中で使うほかに、よく知られた使い方が、意味で探すことです。前もって資料を短く区切り、1つずつ数の並びにして、しまっておきます。質問が来たら、質問も同じやり方で数の並びにし、一番近い並びの資料を取り出します。同じ言葉を使っていなくても、意味が近ければ見つかります。

2020年の論文は、このやり方で、質問の答えが書かれた文を、ウィキペディアから探しました。ウィキペディアを約2100万の短い文に区切り、質問と文を、それぞれ数の並びにします。探して出てきた上位20件の中に、答えの入った文がある割合は、試した課題の多くで、言葉がそのまま合うかで探すやり方より、9〜19ポイント高くなりました。例えば、質問の「bad guy(悪者)」と、文の「villain(悪役)」も結びつけやすくなる、と書いています。

同じ2020年に、検索拡張生成(RAG。AIが答える前に資料を探して読む仕組み)を名付けた論文も、こうして数の並びにしたウィキペディアの索引を使いました(詳しくは「検索拡張生成(RAG)」のページ)。

ほかにも、似たもの同士をまとめる、おすすめを選ぶ、ほかとかけ離れたものを見つける、決まった種類に分ける、といった使い方があります。文のエンベディングを作る OpenAI のAIは、普通1536個か3072個の数の並びを返します(もっと短くすることもできます)。

弱いところは?

近さは、言葉の使われ方から学んだものなので、人の感じる意味と、いつも一致するわけではありません。例えば「strong(強い)」と「weak(弱い)」は反対の意味ですが、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われます。そのため、使われ方から学んだエンベディングでは、反対の意味の言葉を見分けられないことが多いのです。

言葉1つに数の並びが1つだけのエンベディングでは、いくつも意味のある言葉も、1つの点で表すしかありません。文によって数の並びが変わる、文脈に応じたエンベディングなら、同じ言葉を、文ごとに違う数の並びで表せます。

学習した文にある偏りも、そのまま写ります。2016年の論文は、Google のニュースの記事で学習したエンベディングを調べました。「man(男)にとっての computer programmer(プログラマー)は、woman(女)にとっての何か」と計算させると、答えは「homemaker(主婦)」でした。論文は、こうしたエンベディングが広く使われているため、男女の固定観念を、写すだけでなく、さらに広げてしまいやすい、と心配しています。

探すときにも、弱いところがあります。めったに出ない名前や番号のように、その言葉そのものが大事なときは、言葉がそのまま合うかで探すやり方のほうが強いことがあります。そこで、2つのやり方を組み合わせることもあります。ウィキペディアから答えの入った文を探した2020年の論文でも、組み合わせると、課題によっては成績が上がりました。

確認問題

  1. 問1AIのエンベディングは、言葉を、地図のような空間の中の1点として置く。でも、この空間は、普通の地図のようには絵に描けない。なぜ?

    答えと解説

    答え:B 1つの点の場所を、何百もの数で決めるから

    エンベディングでは、1つの言葉の場所を、数百〜数千個の数の並びで決めます。地図の上の場所は2つ、部屋の中の場所は3つの数で決まりますが、4つ以上の数で決まる空間は、人には絵に描けません。そこで説明の図では、数を2つにして、近さの様子だけを平らな地図に描きます。点がたくさんあっても、平らな地図になら描けます。また、点の場所は文字の形ではなく、学習で決まった数で決まります。

    くわしくは → ポイント解説:なぜ「エンベディング(埋め込み)」と呼ぶの?

  2. 問2AIが答える前に資料を探して読む、検索拡張生成(RAG)という仕組みがある。エンベディングを使って探すとき、質問に合う資料はどう選ぶ?

    答えと解説

    答え:C 質問もエンベディングにして、場所の近い資料を選ぶ

    資料は前もって1つずつエンベディング(数の並び)にして、しまっておきます。質問が来たら、質問も同じやり方で数の並びにし、並びが一番近い資料を取り出して、質問と一緒にAIに読ませます。意味の近さで探すので、同じ言葉を使っていない資料も見つかります。しまっておいた資料のエンベディングは、質問ごとに直しません。質問と同じ言葉がたくさん出てくる資料を選ぶのは、言葉がそのまま合うかで探す、エンベディングとは別のやり方です。

    くわしくは → ポイント解説:何に使うの?

  3. 問3「strong(強い)」と「weak(弱い)」は、反対の意味の言葉だ。たくさんの文で学習した言葉のエンベディングでは、この2つの言葉の場所は、どうなりやすい?

    答えと解説

    答え:A 近くに並ぶ。同じような文で使われるから

    反対の意味の言葉は、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われます。エンベディングは、言葉の使われ方から学ぶので、使われ方が似た言葉ほど近くに並び、反対の言葉も近くになりやすいのです。そのため、こうしたエンベディングでは、反対の意味の言葉を見分けられないことがよくあります。エンベディングの近さは、人の感じる意味の近さと、いつも同じではありません。

    くわしくは → ポイント解説:弱いところは?

参考文献と確かめ方

このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月12日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。

AIの用語

AIの用語をすべて見る(58) →