神经网络通过学习将复杂数据（如文本、图像或用户行为）表示为紧凑的数值向量来生成嵌入。 这些向量捕获数据中的基本模式和关系，使算法能够高效地处理和比较信息。 在训练期间，神经网络会调整其内部参数，将高维输入（例如，单词或像素）转换为低维向量。 网络的架构和训练目标决定了这些嵌入如何编码有意义的特征。 例如，经过训练以预测上下文中单词的网络将学习嵌入，其中语义相似的单词在向量空间中更接近。
一个常见的例子是 Word2Vec，一种基于神经网络的模型，用于生成词嵌入。 Word2Vec 使用浅层网络来预测周围的单词（skip-gram）或从其上下文中预测目标单词 (CBOW)。 随着网络的训练，它会调整单词向量，以便出现在相似上下文中的单词（如“国王”和“女王”）最终具有相似的嵌入。 另一个例子是用于图像嵌入的卷积神经网络 (CNN)。 CNN 通过检测边缘、纹理和形状的层来处理图像，最终生成一个总结图像视觉特征的向量。 然后，这些嵌入可用于诸如相似性搜索或分类之类的任务。
神经网络创建的嵌入广泛用于下游应用。 例如，推荐系统使用嵌入来表示用户和项目（例如，电影或产品）。 在用户交互数据上训练的神经网络学习嵌入，这些嵌入将用户和他们交互的项目放置在向量空间中更近的位置。 类似地，像 BERT 这样的基于 Transformer 的模型为文本生成上下文嵌入，其中同一个单词可以根据其在句子中的用法具有不同的向量。 这些嵌入提高了情感分析或问题解答等任务的性能。 通过将数据压缩成有意义的向量，神经网络可以高效地计算相似性（例如，余弦距离）并促进迁移学习，其中预训练的嵌入可以在多个任务中重复使用。