嵌入是文本的数值表示，能够捕捉语义信息，在现代文本摘要系统中扮演着关键角色。通过将词语、句子或整个文档转换为稠密向量，嵌入使得算法能够以数学方式处理和比较文本内容。例如，一个句子嵌入可以用一个 300 维的向量表示其核心思想，从而能够计算句子之间的相似度。这对于抽取式摘要（选择关键句子）和生成式摘要（生成新句子）都是基础。像 Word2Vec、GloVe 或基于 Transformer 的模型（例如 BERT）等工具生成的嵌入能够捕捉词语之间的上下文和关系，这有助于识别文档中的中心主题。
在抽取式摘要中，嵌入有助于根据重要性对句子进行排序。一种方法是计算每个句子的嵌入，并将其与文档的整体嵌入（例如，通过平均所有句子向量）进行比较。与文档向量余弦相似度较高的句子被认为更具中心性。例如，一篇新闻文章可能有 20 个句子，而嵌入可以突出显示其中最具代表性的五个句子。像 spaCy 或 Sentence-BERT 这样的库通过提供预训练模型来生成句子嵌入，从而简化了这一过程。另一种技术是将句子嵌入进行聚类，以对相似的思想进行分组，并从每个聚类中选择代表性的句子。这确保了摘要涵盖不同的主题而没有冗余，例如通过从每个方法或结果聚类中选择一个句子来总结一篇研究论文。
对于生成式摘要，嵌入被用于像 T5 或 GPT 这样的序列到序列模型中。在这种情况下，编码器将输入文本转换为上下文嵌入，解码器则使用这些嵌入来生成一个精简的摘要。例如，一个在新闻数据上训练的模型可能会接收一篇 500 字的文章，并输出一个三句话的摘要。使用特定领域的数据（例如医疗报告）对这些模型进行微调可以提高相关性。此外，嵌入有助于注意力机制，使模型能够聚焦于关键短语。例如，在一份法律文件中，“原告”或“判决”等词语的嵌入在生成摘要时可能会获得更高的注意力权重。像 Hugging Face 的 Transformers 库这样的工具提供了易于访问的 API，用于实验这些技术，使嵌入成为开发人员构建摘要系统的实用工具。