特征工程是将原始数据转换为有意义的机器学习模型输入，以提高其准确性和有效性的过程。 它涉及从现有数据中选择、修改或创建新的变量（特征），以更好地表示底层模式。 例如，在预测房价的模型中，原始数据可能包括房屋的建造年份。 特征工程可以将此转换为房屋的年龄，方法是从当前年份中减去建造年份，使其与预测更直接相关。 如果没有这样的转换，模型可能难以解释原始数据或错过关键关系。
常见技术包括处理缺失值、缩放数值特征、编码分类变量和创建交互项。 例如，数据集中的缺失值可以用列的平均值或中值填充，或者可以删除具有缺失数据的行。 住房数据集中的“社区”等分类变量可以进行 one-hot 编码，以将文本标签转换为数值。 交互特征，例如将“平方英尺”乘以“卧室数量”，可能会捕获各个特征遗漏的组合效应。 时间序列数据通常需要滞后特征，例如使用上个月的产品销售额来预测未来的销售额。 这些步骤确保模型接收到结构化、相关的输入，而不是原始的、未处理的数据。
特征工程的质量直接影响模型性能。 即使是像神经网络或梯度提升树这样的高级算法也依赖于精心准备的特征才能发挥最佳性能。 例如，在自然语言处理 (NLP) 中，原始文本使用 TF-IDF 或词嵌入等技术转换为数值向量。 没有这个，模型无法解释文本。 同样，将交易数据聚合到客户级别特征（例如，每个用户的总购买量）可以将稀疏、嘈杂的数据转化为可操作的见解。 虽然像 AutoML 这样的自动化工具可以提供帮助，但领域知识仍然至关重要。 构建欺诈检测系统的开发人员可能会设计诸如“每小时交易频率”之类的功能来标记异常，而自动化系统可能会忽略这一点。 有效的特征工程弥合了数据和模型之间的差距，使其成为预测分析的基础步骤。