在微调 DeepSeek 的 R1 模型后，开发人员应结合特定任务的指标、人工评估和效率测量来评估性能。指标的选择取决于模型的应用，但平衡的方法可确保衡量有效性和实用性。
特定任务指标 首先使用与模型的主要用例相符的指标。对于分类任务（例如，情感分析），使用准确率、精确率、召回率和 F1 分数。例如，如果 R1 经过微调以检测有害内容，则精确率可确保减少误报（错误地标记无害文本），而召回率可最大限度地减少漏报（遗漏有害内容）。对于文本生成任务（例如，摘要），使用 BLEU、ROUGE 或 METEOR 将生成的文本与人工编写的参考进行比较。如果 R1 用于翻译，则 BERTScore 或 COMET 可以评估语义相似性。对于回归任务（例如，预测数值），均方误差 (MSE) 或平均绝对误差 (MAE) 是合适的。始终针对保留的测试集验证指标，以避免过拟合。
人工评估 仅靠自动指标无法捕捉诸如连贯性或实际可用性之类的细微差别。对于会话式 AI 或创意写作任务，进行人工评估，让标注员根据相关性、流畅性和逻辑一致性等标准对输出进行评分。例如，如果 R1 为客户支持聊天机器人提供支持，请领域专家根据清晰度和正确性，按等级（例如，1-5）对回复进行评分。成对比较（例如，“输出 A 是否比输出 B 更好？”）也可以突出显示微调后的改进。当模型的输出是主观的或对安全至关重要时，例如在医疗或法律应用中，人工反馈尤其重要。虽然耗时，但此步骤可确保与用户期望保持一致。
效率和可扩展性 测量计算效率，以确保模型适合部署。跟踪目标硬件上的推理延迟（每次预测的时间）和吞吐量（每秒处理的请求数）。例如，如果 R1 部署在边缘设备上，则可能需要低于 500 毫秒的延迟。监控内存使用情况和模型大小，在微调期间进行量化或剪枝可能会减少这些。此外，通过模拟并发用户来测试负载下的稳健性。如果微调模型的延迟比基础版本增加 30%，则开发人员可能需要优化架构或修剪层。在性能提升与资源限制之间取得平衡，可确保模型在生产环境中保持实用。