特征工程
特征工程被描述为机器学习中的预处理步骤,它将原始数据转换为一组更有效的输入,这些输入具有多个称为特征的属性。
机器学习模型的成功在很大程度上取决于用于训练模型的特征的质量。特征工程涉及一组技术,使我们能够通过组合或转换现有特征来创建新特征。这些技术有助于突出数据中最重要的模式和关系,从而帮助机器学习模型更有效地从数据中学习。
特征工程关键技术
特征工程可以分为两个关键步骤,即;
数据预处理
业务理解(领域知识)
数据预处理
这通常是特征工程中的一个步骤,涉及根据当前机器语言需求准备和操作数据。其中使用了各种技术;
处理缺失值,可以采用插补(均值、中位数、众数)等技术,或使用本地处理缺失值的算法。
编码分类变量,对于大多数算法来说,必须使用 one-hot 编码、标签编码和目标编码等常用方法将分类数据转换为数字形式。
缩放和标准化,其中缩放特征确保它们对模型的贡献相同。技术包括标准化(z 分数)
特征交互和特征创建,将现有特征组合起来创建新特征,从而创建与数据的复杂关系
降维,其中 PCA(主成分分析)或 t-SNE 等技术减少了特征数量,同时保留了最重要的信息。
EDA 也可以用于特征工程,通常是特征工程的先驱。
领域知识
领域知识是指对特定领域或行业的理解和专业知识。在特征工程中,它涉及应用对数据上下文和关系的洞察和理解来创建可以增强模型性能的有意义的特征。
它有助于识别哪些特征与当前问题相关并理解数据关系。
免责声明: 提供的所有资源部分来自互联网,如果有侵犯您的版权或其他权益,请说明详细缘由并提供版权或权益证明然后发到邮箱:[email protected] 我们会第一时间内为您处理。
Copyright© 2022 湘ICP备2022001581号-3