评估少样本学习模型需要关注指标和测试协议，这些指标和协议要考虑到模型从少量数据中学习的能力。主要目标是衡量模型对训练期间未见过的新任务或新类别的泛化能力。常见的评估指标包括准确率（accuracy）、精确率（precision）、召回率（recall）和 F1 分数（F1-score），但准确率通常因其简单性而成为默认选择。例如，在 5-way 5-shot 任务中（在 5 个类别中进行分类，每个类别有 5 个样本），准确率直接反映了模型正确标记了多少测试样本。然而，为了减少方差，这些指标应在多个测试片段（test episodes，数据的不同子集）上取平均值，因为性能可能会因提供的具体样本而显著波动。
评估的一个关键方面是片段测试（episodic testing），它通过将测试构建成小的、独立的任务来模拟少样本场景。每个片段都包含一个支持集（support set）（少量标记样本）和一个查询集（query set）（待预测的未标记数据）。例如，一个在 MiniImageNet（一个用于少样本图像分类的数据集）上训练的模型，可能会在 1000 个随机抽样的片段上进行测试，每个片段包含不同的类别和样本。这种方法可以确保模型不会对特定的数据分割过拟合，并提供统计学上可靠的性能估计。开发者通常报告这些片段的平均准确率和标准差，以突出一致性。
最后，跨领域评估和与基线方法的比较至关重要。一个模型可能在 MiniImageNet 上表现良好，但在像 CUB-200（鸟类）这样不相似的数据集上表现不佳，这揭示了其泛化能力的局限性。与更简单的方法进行比较，例如在少量样本上微调预训练模型，有助于评估少样本方法是否带来了价值。此外，计算效率——模型适应新任务的速度——对于实际应用非常重要。例如，一个达到 80% 准确率但需要数小时才能适应的模型，可能不如一个准确率 75% 但能在几秒钟内适应的模型有用。这些考量确保了评估既反映了性能，也反映了实用性。