エンベディング(AIの埋め込み)とは?
別の呼び名:埋め込み、AIの埋め込み、Embedding、埋め込みベクトル、埋め込み(ベクトル)
1分で解説
エンベディング(埋め込み)とは、AIが、言葉・文・絵などを、似たものほど近くに来るような数の並びに変えたもの、また、そう変えることです。
AIは、数を計算して動きます。ChatGPT のような文を書くAIも、文を小さなかけら(トークン)に切り、1つずつ数百〜数千個の数の並びに置き換えて計算します。この数の並びがエンベディングです。数は人が決めず、たくさんの文で学習するうちに決まります。
言葉では、似た使われ方をする言葉ほど、似た数の並びになります。使われ方が似た言葉は、たいてい意味も近いので、意味の近い言葉が近くに集まります。ただし、反対の意味の「強い」と「弱い」も近くなるなど、いつもではありません。
地図の上の場所は、横と縦の2つの数で決まります。エンベディングは、場所が何百もの数で決まる、目では見られない地図のようなものです。この近さを使えば、同じ言葉が無くても、意味の近い文を探せます。
よくある思い込み
「エンベディングとは、AIが言葉ごとに番号を振ること」
半分だけ合っています。AIは、文をトークン(言葉の小さなかけら)に切り、1つずつ番号に置き換えます。ここまでは、確かに番号を振るだけです。でも、番号同士には、意味のつながりがありません。「ネコ」と「イヌ」の番号がとなり合っていても、似ているという印にはならないのです。エンベディングは、その番号ごとに、何百個もの数の並びを1つずつ割り当てたものです。並びの数は、学習の中で少しずつ直され、似た使われ方をする言葉ほど、似た並びになっていきます。番号は言葉を見分けるための名札で、エンベディングは、言葉同士の近さまで表す数なのです。
図で解説
図は、出典(科学なるほど新聞 naru.news)を書けば、授業・資料・ブログなどで自由に使えます(CC BY 4.0)。
たとえるなら
似た品物が近くに並ぶ、スーパーの売り場
スーパーでは、似た品物が近くに並んでいます。牛乳の棚のとなりにはヨーグルトやチーズがあり、リンゴの近くにはミカンがあります。だから、初めて入った店でも、牛乳の場所が分かれば、チーズがどの辺りにあるか見当がつきます。
エンベディングは、言葉の1つ1つに、こうした売り場の中の場所を、数で書いた住所として決めるようなものです。似た使われ方をする言葉ほど、近い場所に置かれます。質問に合う文を探すときも、質問が置かれた場所の近くの棚を見ればよいのです。
ただ、たとえが合わないところもあります。売り場の並べ方は人が決め、通路には「乳製品」のような名前が付いています。エンベディングの並べ方は、人ではなく学習で決まり、場所を決める数の1つ1つに、普通名前はありません。売り場は平らな床ですが、エンベディングの場所は、数百〜数千の数で決まる、目に見えない空間の中にあります。また、「強い」と「弱い」のような反対の意味の言葉も、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われるので、近くに置かれやすいのです。
ポイント解説
なぜ「エンベディング(埋め込み)」と呼ぶの?
英語の embed(エンベッド)は、何かを、ほかのものの中にはめ込む、埋め込むという意味です。エンベディング(embedding)は、その名詞の形で、日本語に訳すと「埋め込み」です。AIでは、言葉・文・絵などを、たくさんの数でできた目に見えない空間の中に、1つの点として置くことを、埋め込む(embed)と言います。この空間を「埋め込み空間」と呼び、置いた点の場所を表す数の並びが、エンベディングです。埋め込みベクトルとも呼びます。ベクトルは、向きと大きさを持つ量のことで、いくつかの数の並びで表せます。例えば地図の上で「東へ3、北へ2」進む矢印は、3と2という2つの数の並びで書けます。
並んでいる数の個数を「次元」と呼びます。地図の上の場所は、東西と南北の2つの数で決まるので2次元です。言葉のエンベディングでは、256個・512個・1024個の数の並びがよく使われます。4次元以上の空間は、人には絵に描けません。そこで説明の図では、近さの様子だけを、2次元の地図に描きます。2つの言葉の近さは、地図の上の2点と同じように、数の並び同士の離れぐあいで測ります(測り方には、いくつかの種類があります)。
日本語の「埋め込み」には、ほかの意味もあります。ウェブのページに動画や地図を貼り込む「埋め込み」や、家電や車などの機械に組み込むコンピューター(組み込み。英語で embedded)も、元は同じ embed という英語ですが、指しているものが違います。このページのエンベディング(埋め込み)は、AIの中で、言葉や絵を表す数の並びのことです。
トークンとは、どう違うの?
トークンは、AIが文を読むときに切り分ける、言葉の小さなかけらです(「こんにちは」が1つのこともあれば、1文字がいくつかに分かれることもあります)。AIは、トークンの1つ1つに番号を付けます。エンベディングは、その番号ごとに用意された数の並びです。AIの中には、トークンの番号ごとに数の並びを1行ずつ書いた大きな表があり、番号でその行を引いてきます。表の数は、学習で決まります。
2017年に Google の研究者たちが発表したトランスフォーマー(今の文を書くAIの多くが使う仕組み)の論文では、入ってきたトークンを、学習で決めたエンベディングで、512個の数の並びに変えています。そこに、何番目のトークンかを表す、同じ長さの数の並びを足します。数の並び同士の足し算は、1つめの数同士、2つめの数同士…と、同じ順番の数同士を足します。その後、同じ形の計算を何回も繰り返します。
入口のエンベディングは、トークン1つに1つだけです。でも、計算を繰り返すうちに、数の並びは、周りの言葉に合わせて変わっていきます。例えば英語の orange は、色の意味でも果物の意味でも使われますが、文ごとに違う数の並びになっていきます。こうした、文によって変わるエンベディングを、文脈に応じたエンベディング(英語で contextual embedding)と呼びます。
数は、どうやって決まるの?
人が1つずつ決めるのではなく、学習で決まります。AIの入口に、トークンの番号から数の並びを引く表を置き、AIに練習の問題をたくさん解かせます。正しく答えられるように、AIのほかの部分と一緒に、表の数を少しずつ直していくのです。
よく知られた例が、2013年に Google の研究者たちが発表した word2vec です。練習の問題は、たくさんの文を使って、周りの言葉から真ん中の言葉を当てるものや、真ん中の言葉から周りの言葉を当てるものです。論文では、約60億トークンのニュースの記事で学習させました。
この練習をすると、同じような言葉に囲まれて出てくる言葉ほど、似た数の並びになります。例えば「ロバに乗って谷を下りた」と「ウマに乗って谷を下りた」のように、ロバとウマは同じような文の中に出てくるので、近くに並ぶのです。意味を教えたわけではなく、使われ方が似ていることから、近さが生まれます。
説明の図では、「動物らしさ」「大きさ」のような名前の付いた軸に、言葉を並べることがあります。でも、学習で決まった本当のエンベディングで、1つ1つの数がそのように分かりやすい意味を持つことは、まれです。何を表しているのか推し量れることもありますが、いつもではありません。
言葉の足し算・引き算ができるって、本当?
ある程度は、できます。2013年の論文で、学習で決まった言葉の数の並びを使い、「King(王)」から「Man(男)」を引いて「Woman(女)」を足すと、「Queen(女王)」の数の並びにとても近くなりました。引き算・足し算は、同じ順番の数同士で行います。男と女の違いが、決まった向きのずれとして、自動で身についていたのです。学習させた仕組みには、文法も意味も、何も教えていませんでした。
計算した場所に、ちょうどの言葉があるとは限りません。そこで、計算した場所に一番近い言葉を答えにします。同じ年の別の論文でも、「Madrid(マドリード)− Spain(スペイン)+ France(フランス)」は、ほかのどの言葉よりも「Paris(パリ)」に近くなり、「Germany(ドイツ)+ capital(首都)」は「Berlin(ベルリン)」に近くなりました。
ただ、いつも当たるわけではありません。King の例を示した論文で、「good(よい)と better(よりよい)の関係なら、rough(あらい)は何?」のような、文法の関係を当てる問題を8000問解かせると、正しく答えられたのは40%近くでした。
何に使うの?
文を書くAIの中で使うほかに、よく知られた使い方が、意味で探すことです。前もって資料を短く区切り、1つずつ数の並びにして、しまっておきます。質問が来たら、質問も同じやり方で数の並びにし、一番近い並びの資料を取り出します。同じ言葉を使っていなくても、意味が近ければ見つかります。
2020年の論文は、このやり方で、質問の答えが書かれた文を、ウィキペディアから探しました。ウィキペディアを約2100万の短い文に区切り、質問と文を、それぞれ数の並びにします。探して出てきた上位20件の中に、答えの入った文がある割合は、試した課題の多くで、言葉がそのまま合うかで探すやり方より、9〜19ポイント高くなりました。例えば、質問の「bad guy(悪者)」と、文の「villain(悪役)」も結びつけやすくなる、と書いています。
同じ2020年に、検索拡張生成(RAG。AIが答える前に資料を探して読む仕組み)を名付けた論文も、こうして数の並びにしたウィキペディアの索引を使いました(詳しくは「検索拡張生成(RAG)」のページ)。
ほかにも、似たもの同士をまとめる、おすすめを選ぶ、ほかとかけ離れたものを見つける、決まった種類に分ける、といった使い方があります。文のエンベディングを作る OpenAI のAIは、普通1536個か3072個の数の並びを返します(もっと短くすることもできます)。
弱いところは?
近さは、言葉の使われ方から学んだものなので、人の感じる意味と、いつも一致するわけではありません。例えば「strong(強い)」と「weak(弱い)」は反対の意味ですが、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われます。そのため、使われ方から学んだエンベディングでは、反対の意味の言葉を見分けられないことが多いのです。
言葉1つに数の並びが1つだけのエンベディングでは、いくつも意味のある言葉も、1つの点で表すしかありません。文によって数の並びが変わる、文脈に応じたエンベディングなら、同じ言葉を、文ごとに違う数の並びで表せます。
学習した文にある偏りも、そのまま写ります。2016年の論文は、Google のニュースの記事で学習したエンベディングを調べました。「man(男)にとっての computer programmer(プログラマー)は、woman(女)にとっての何か」と計算させると、答えは「homemaker(主婦)」でした。論文は、こうしたエンベディングが広く使われているため、男女の固定観念を、写すだけでなく、さらに広げてしまいやすい、と心配しています。
探すときにも、弱いところがあります。めったに出ない名前や番号のように、その言葉そのものが大事なときは、言葉がそのまま合うかで探すやり方のほうが強いことがあります。そこで、2つのやり方を組み合わせることもあります。ウィキペディアから答えの入った文を探した2020年の論文でも、組み合わせると、課題によっては成績が上がりました。
確認問題
問1AIのエンベディングは、言葉を、地図のような空間の中の1点として置く。でも、この空間は、普通の地図のようには絵に描けない。なぜ?
答えと解説
答え:B 1つの点の場所を、何百もの数で決めるから
エンベディングでは、1つの言葉の場所を、数百〜数千個の数の並びで決めます。地図の上の場所は2つ、部屋の中の場所は3つの数で決まりますが、4つ以上の数で決まる空間は、人には絵に描けません。そこで説明の図では、数を2つにして、近さの様子だけを平らな地図に描きます。点がたくさんあっても、平らな地図になら描けます。また、点の場所は文字の形ではなく、学習で決まった数で決まります。
問2AIが答える前に資料を探して読む、検索拡張生成(RAG)という仕組みがある。エンベディングを使って探すとき、質問に合う資料はどう選ぶ?
答えと解説
答え:C 質問もエンベディングにして、場所の近い資料を選ぶ
資料は前もって1つずつエンベディング(数の並び)にして、しまっておきます。質問が来たら、質問も同じやり方で数の並びにし、並びが一番近い資料を取り出して、質問と一緒にAIに読ませます。意味の近さで探すので、同じ言葉を使っていない資料も見つかります。しまっておいた資料のエンベディングは、質問ごとに直しません。質問と同じ言葉がたくさん出てくる資料を選ぶのは、言葉がそのまま合うかで探す、エンベディングとは別のやり方です。
問3「strong(強い)」と「weak(弱い)」は、反対の意味の言葉だ。たくさんの文で学習した言葉のエンベディングでは、この2つの言葉の場所は、どうなりやすい?
答えと解説
答え:A 近くに並ぶ。同じような文で使われるから
反対の意味の言葉は、「今日のチームは強い」「今日のチームは弱い」のように、同じような文の中で使われます。エンベディングは、言葉の使われ方から学ぶので、使われ方が似た言葉ほど近くに並び、反対の言葉も近くになりやすいのです。そのため、こうしたエンベディングでは、反対の意味の言葉を見分けられないことがよくあります。エンベディングの近さは、人の感じる意味の近さと、いつも同じではありません。
関連用語
- トークン
- 大規模言語モデル
- 検索拡張生成(RAG)
- トランスフォーマー
- ニューラルネットワーク
- 機械学習
- 深層学習
- パラメーター
- ニューラリーズ
- ペルソナベクトル
- ベクトル
- 潜在空間
- ベクトルデータベース
- Word2Vec
参考文献と確かめ方
- Mikolov・Yih・Zweig「Linguistic Regularities in Continuous Space Word Representations」(マイクロソフト研究所、NAACL-HLT 2013、746–751ページ、2013年6月。要旨・1章・3章・4.1節・5章・6章。2026年11月12日に読んだ)
- Mikolov ほか「Efficient Estimation of Word Representations in Vector Space」(Google、arXiv、2013年1月。1.1節・3章・4章。2026年11月12日に読んだ)
- Mikolov ほか「Distributed Representations of Words and Phrases and their Compositionality」(Google、arXiv、2013年10月。要旨・1章・2章・4章。2026年11月12日に読んだ)
- Vaswani ほか「Attention Is All You Need」(Google Brain・Google Research ほか、arXiv、2017年6月。3.1節・3.4節・3.5節・表3。2026年11月12日に読んだ)
- Google「Embeddings」(Machine Learning Crash Course。one-hot エンコーディングの問題と、エンベディングの意味。2026年11月12日に読んだ)
- Google「Embeddings: Embedding space and static embeddings」(Machine Learning Crash Course。似た文脈の言葉が近くに来ること、言葉のエンベディングの長さ〔256・512・1024〕、1つ1つの数の意味。2026年11月12日に読んだ)
- Google「Embeddings: Obtaining embeddings」(Machine Learning Crash Course。エンベディングの層、言葉1つに1つのエンベディングの弱点、文脈に応じたエンベディング。2026年11月12日に読んだ)
- Google「Machine Learning Glossary」(機械学習の用語集。embedding layer・embedding space・embedding vector の項。2026年11月12日に読んだ)
- OpenAI「Vector embeddings」(API の説明書。エンベディングの使い道、text-embedding-3-small と text-embedding-3-large の数の並びの長さ。2026年11月12日に読んだ)
- Karpukhin ほか「Dense Passage Retrieval for Open-Domain Question Answering」(Facebook AI・ワシントン大学・プリンストン大学、EMNLP 2020、arXiv、2020年4月。要旨・1章・3.1節・4.1節・5章・表2。2026年11月12日に読んだ)
- Lewis ほか「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」(Facebook AI Research・ユニバーシティ・カレッジ・ロンドン・ニューヨーク大学、NeurIPS 2020、arXiv、2020年5月。要旨・2.2節・3章。2026年11月12日に読んだ)
- Ono・Miwa・Sasaki「Word Embedding-based Antonym Detection using Thesauri and Distributional Information」(豊田工業大学、NAACL-HLT 2015、984–989ページ。要旨・1章。2026年11月12日に読んだ)
- Bolukbasi ほか「Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings」(ボストン大学・マイクロソフト研究所、NIPS 2016、arXiv、2016年7月。要旨・1章。2026年11月12日に読んだ)
- IBM「埋め込みとは」(日本語の説明。「埋め込み」「エンベディング」「埋め込みベクトル」の呼び名と、点として表すという説明。2026年11月12日に読んだ)
- AWS「機械学習における埋め込みとは何ですか?」(日本語の説明。「埋め込み」「埋め込みベクトル」の呼び名。2026年11月12日に読んだ)
このページは、上の資料をもとにAIが書き、書いたAIとは別のAIが、資料の本文と照らして確かめました(2026年11月12日)。理学の修士号と、高校理科の教員免許を持つ人も読んで確かめてから出しています。数字は、その時点のものです。わかりにくかったところ、誤りのご指摘、解説してほしい用語は、[email protected] へお寄せください。
AIの用語
- アライメント偽装
- AIアライメント
- AIエージェント
- 読んでいるページエンベディング
- 解釈可能性
- 過学習
- 拡散モデル
- 機械学習
- 強化学習(RL)
- 形式検証
- 検索拡張生成(RAG)
- 混合エキスパート(MoE)
- コンテキストウィンドウ
- 再帰言語モデル(RLM)
- 再帰的自己改善(RSI)
- サブリミナル学習
- 時間地平線
- 思考の連鎖(CoT)
- システムプロンプト
- 事前学習
- 自動形式化
- シャットダウン抵抗
- シンギュラリティ
- 人工知能(AI)
- 深層学習
- 推論モデル
- スリーパーエージェント
- 生成AI
- 潜在空間
- 創発的ミスアライメント
- 大規模言語モデル(LLM)
- 脱獄
- 段階的無力化
- 知能爆発
- 超知能(ASI)
- ディープフェイク
- データポイズニング
- 敵対的生成ネットワーク(GAN)
- 転移学習
- トークン
- トランスフォーマー
- ニューラリーズ
- ニューラルネットワーク
- ハイパーパラメーター
- バックドア
- パラメーター
- ハルシネーション
- 汎化
- 汎用人工知能(AGI)
- 評価認識
- ファインチューニング
- プロンプト
- プロンプトインジェクション
- ペルソナベクトル
- ベンチマーク
- 報酬ハッキング
- Lean
- レッドチーム