关于特征工程

特征工程和模型选择是提升算法的两类途径。

• 特征工程：数据清洗，(降维)，特征选择，特征组合。
• 特征组合变换好坏都有，一方面能提高模型的表达能力，另一方面有可能引起过拟合，增加冗余特征，降低模型解释力。
  • 特征变换还可以是将连续特征转换为离散特征。
• 模型的选择和特征工程是耦合的。因为不同模型对特征工程的需求不一样。
  • 树模型不需要归一化处理，不需要特征选择，因为这些模型都能做到。
  • 神经网络则不需要特征组合变换。
  • 广义线性模型的效果则对数据清洗，特征选择，特征组合很敏感。这就是为啥计算广告领域后续衍生了FM,FFM等等