在评估数据集的性能时，开发者通常关注衡量数据集对模型训练和泛化支持程度的指标。这些指标分为三类：模型性能指标（在数据集用于训练模型时应用）、数据质量指标（评估数据集的固有属性）和数据划分评估（确保可靠的测试）。每类指标都针对数据集效用和可靠性的不同方面。
首先，模型性能指标衡量在数据集上训练的模型在未见数据上的表现效果。对于分类任务，常见的指标包括准确率 (accuracy)、精确率 (precision)、召回率 (recall) 和 F1 分数 (F1-score)。准确率衡量总体正确性，而精确率和召回率平衡假阳性 (false positives) 和假阴性 (false negatives)。例如，在医疗诊断数据集中，高召回率确保检测到大多数真实病例，即使会出现一些误报。对于回归任务，均方误差 (MSE) 或平均绝对误差 (MAE) 量化预测偏差。R 平方 (R-squared) 评估模型解释数据方差的能力。这些指标间接反映了数据集的质量——表现不佳可能表明数据嘈杂或不完整。
其次，数据质量指标评估数据集的结构和内容。类别不平衡 (Class imbalance)、缺失值 (missing values) 和特征相关性 (feature correlations) 至关重要。例如，一个包含 95%“负面”样本和 5%“正面”样本的数据集可能导致模型忽略少数类别。高于阈值的缺失值（例如，特征数据的 30%）会降低可靠性。特征相关性分析有助于识别冗余（例如，摄氏度和华氏度的两个温度特征）或不相关的变量。像 pandas-profiling 这样的工具可以自动化这些检查，标记偏斜分布或异常值等问题。
最后，数据划分评估确保数据集被正确地划分为训练集、验证集和测试集。分层抽样 (Stratified sampling) 保留了各划分中的类别分布，避免评估出现偏差。交叉验证（例如 k 折交叉验证）通过在多个子集上训练来评估模型的稳定性。例如，对小型数据集进行 5 折交叉验证可以降低过拟合风险。数据泄露 (Data leakage) 检查——确保测试数据不影响训练——也至关重要。如果数据集在不同划分上的性能差异很大，可能表明其缺乏多样性或存在偏差，需要进行重新平衡或数据增强。适当的划分和验证策略可以确保指标反映真实世界的泛化能力。