负采样是一种用于机器学习的技术，可以有效地训练模型，尤其是在生成嵌入等任务中。负采样不是在训练期间考虑所有可能的负例（这在计算上可能很昂贵），而是选择一小部分负例来与正例一起更新模型。 这种方法显着降低了计算负担，使得在具有大量词汇表的大型数据集上训练模型成为可能，例如在自然语言处理 (NLP) 中。例如，在 word2vec 等词嵌入模型中，负采样允许模型专注于有意义的对比，而无需在每个步骤中处理词汇表中的每个可能的单词。
在诸如 word2vec 之类的嵌入训练中，负采样在优化学习过程中起着关键作用。 像 skip-gram 这样的模型可以根据目标词预测周围的词（上下文）。如果没有负采样，该模型将计算词汇表中每个词的概率，从而导致高计算成本。 负采样通过训练模型来区分目标词和一些随机选择的负例来简化此过程。例如，在训练单词“apple”时，该模型可能会学习将其与“fruit”（正例）相关联，同时推开不相关的单词，如“car”（负例）。这种有针对性的对比有助于模型有效地开发有意义的嵌入，因为它学会了最大限度地提高正确配对的相似性，并最大限度地减少不相关配对的相似性，同时仅更新模型参数的一小部分。
负采样的优点包括更快的训练时间和改进的可扩展性。 通过仅更新模型权重的一小部分（那些与正例和采样的负例相关的权重），每个训练步骤在计算上变得易于管理。例如，word2vec 通常每个正例使用 5-15 个负样本，从而平衡了效率和准确性。这种方法还有助于防止模型过于专注于训练数据，从而促进更好的泛化。此外，由于模型不会被不相关的数据淹没，因此它可以专注于学习相关术语和不相关术语之间更强的区别，从而为语义相似性或推荐系统等任务带来更高质量的嵌入。该技术的简单性和有效性使其成为嵌入训练流程中的主要内容。