衡量生成样本的质量，例如 GAN 或扩散模型等生成模型产生的样本，涉及自动化指标和人工评估的结合。 方法的选择取决于数据的类型（例如，图像、文本）和项目的具体目标。 下面，我将概述常用的方法、它们的优点和局限性。
用于客观评估的自动化指标 自动化指标提供了一种量化评估样本的方法。 对于图像，Inception Score (IS) 使用预训练的图像分类器来衡量生成图像的多样性和意义。 较高的分数表明该模型产生独特且可识别的类别。 另一个指标 Fréchet Inception Distance (FID)，使用分类器提取的特征，将生成图像的统计分布与真实图像进行比较。 较低的 FID 值意味着生成的数据更接近真实数据。 对于文本，BLEU 或 ROUGE 等指标通过测量 n-gram 或语义相似性的重叠来将生成的文本与参考文本进行比较。 这些指标对于大规模评估非常有效，但可能无法捕捉到细微的缺陷，例如图像中不自然的纹理或文本中笨拙的措辞。
用于主观质量的人工评估 自动化指标经常遗漏人类容易注意到的细微差别。 例如，生成的图像可能在 FID 上得分很高，但包含扭曲的面部特征。 人工评估员可以使用调查或成对比较（例如，询问两个样本中哪个看起来更真实）对样本的真实感、连贯性或美学质量进行评级。 在文本生成中，人类评估流畅性、相关性和逻辑一致性。 虽然这种方法捕捉到了主观质量，但它耗时且昂贵。 为了减轻偏差，评估应涉及多个标注员和明确的指导方针。 例如，在一个生成产品描述的项目中，评估人员可能会检查文本是否与产品的规格相符，并避免事实错误。
特定于任务的指标和权衡 在某些情况下，需要特定于领域的指标。 对于医学成像，生成的解剖结构的准确性可能会根据专家注释进行测量。 在代码生成中，功能正确性（例如，代码是否编译或通过单元测试）至关重要。 然而，没有一个指标是普遍适用的。 开发人员必须平衡速度、成本和相关性：自动化指标速度快但有限，而人工评估是彻底的，但不适用于迭代测试。 一种混合方法——在开发期间使用自动化指标，并在最终验证中使用人工评估——通常是有效的。 例如，一个训练文本到图像模型的团队可能会在训练期间监控 FID，但在部署之前进行用户研究，以确保输出符合真实世界的标准。