嵌入（Embeddings）之所以被称为“密集表示”，是因为它们将信息编码为紧凑的、连续值的向量，其中大多数维度都包含有意义的数据。这与“稀疏”表示（例如独热编码）形成对比，稀疏表示的向量维度很高且大部分填充为零。例如，在自然语言处理（NLP）中，像“cat”这样的词如果用独热向量表示，可能占据一个 10,000 维的空间，其中只有一个“1”，其余都是“0”。然而，嵌入将其压缩成一个密集向量，例如 300 维，其中每个值都是一个习得的浮点数。这些值并非随意生成，它们捕捉了语义或上下文关系，使得相似的项目（例如，“cat”和“dog”）在嵌入空间中具有更接近的向量。
使用密集向量的一个关键原因是它们的泛化能力。稀疏表示将每个项目视为独立的，这使得模型难以识别模式或相似性。另一方面，密集嵌入经过训练，可以将相关项目放置在彼此附近。例如，在 Word2Vec 或 GloVe 嵌入中，具有相似含义或使用上下文的词（如“king”和“queen”）最终会得到相似的向量值。这种密度还支持数学运算：从“king”的向量中减去“man”的向量并加上“woman”的向量，可能会得到一个接近“queen”的向量。这种操作对于稀疏向量是不可行的，因为它们缺乏密集嵌入所提供的连续、结构化关系。
从计算角度来看，密集嵌入是高效的。具有数千维度的稀疏向量需要大量的内存和处理能力，而密集向量在不丢失关键信息的情况下降低了维度。例如，在推荐系统中，将用户或项目表示为 100 维的嵌入，而不是稀疏的独热向量，可以大幅减小模型的输入大小，加快训练和推理速度。密集嵌入还可以通过迫使模型学习压缩的、共享的表示来帮助模型更好地泛化。这就是为什么像 Transformer（例如 BERT）这样的现代架构依赖于密集嵌入——它们能够在处理文本中的复杂关系的同时，保持计算成本在可控范围内。这里的“密度”既指向量的紧凑性，也指每个维度所包含信息的丰富性。