《精通特征工程》：让数据真正为模型赋能
原
GrissomFI约 11 分钟
GrissomFI约 11 分钟引言
在机器学习的世界里，数据决定了模型的上限，算法只是无限逼近这个上限。这句话深刻揭示了数据和特征工程的核心地位。无论多么强大的算法，如果数据质量低、特征不够有效，最终的模型表现都难以令人满意。因此，如何从原始数据中构造出高价值的特征，成为机器学习工程师必须掌握的关键技能。
《精通特征工程》（Feature Engineering for Machine Learning）正是一本围绕这一主题展开的专业指南。本书由 Soledad Galli 和 Krzysztof Czarnecki 合著，系统介绍了特征工程的理论框架，并提供了大量实践案例，帮助读者在实际项目中提升模型效果。本书涵盖数值、类别、文本、时间序列等多种数据类型的特征工程方法，并结合 Python 代码示例，使理论与实践紧密结合。
书籍核心内容
1. 从零到一：特征工程的基础认知
本书首先介绍了特征工程的基本概念，包括特征的定义、特征选择的必要性，以及常见的数据预处理方法（如归一化、标准化、缺失值填充等）。此外，书中还讨论了特征构造的基本原则，如信息增益、相关性分析、互信息等，为后续章节的深入学习奠定基础。
2. 数值型数据特征工程：让数据更具表达力
对于数值型数据，书中介绍了多种增强特征表达能力的方法，如：
统计特征：均值、中位数、方差、四分位距等 多项式特征：通过高阶交互提升非线性表达能力 降维方法：如 PCA、LDA，以减少冗余并提高计算效率特征离散化：等宽/等频分箱、 K-means分箱等数学变换：对数变换、 Box-Cox变换等
这些方法可以帮助模型更好地理解数据分布，增强特征的区分度。
以下是示例代码：
import pandas as pdimport numpy as npfrom sklearn.preprocessing import StandardScaler, PolynomialFeaturesfrom sklearn.decomposition import PCA# 示例数据data = {'feature1': [1, 2, 3, 4, 5],'feature2': [5, 4, 3, 2, 1]}df = pd.DataFrame(data)# 统计特征print("统计特征：")print("均值：", df.mean())print("中位数：", df.median())print("方差：", df.var())print("四分位距：", df.quantile(0.75) - df.quantile(0.25))# 多项式特征poly = PolynomialFeatures(degree=2)poly_features = poly.fit_transform(df)print("\n多项式特征：\n", pd.DataFrame(poly_features))# PCA降维pca = PCA(n_components=1)pca_features = pca.fit_transform(df)print("\nPCA降维后的特征：\n", pca_features)# 特征离散化df['feature1_bin'] = pd.qcut(df['feature1'], 2, labels=False)print("\n特征离散化后的结果：\n", df)# 数学变换df['feature1_log'] = np.log(df['feature1'])print("\n数学变换后的结果：\n", df)
输出：
统计特征：均值： feature1 3.0feature2 3.0dtype: float64中位数： feature1 3.0feature2 3.0dtype: float64方差： feature1 2.5feature2 2.5dtype: float64四分位距： feature1 2.0feature2 2.0dtype: float64多项式特征：0 1 2 3 4 50 1.0 1.0 5.0 1.0 5.0 25.01 1.0 2.0 4.0 4.0 8.0 16.02 1.0 3.0 3.0 9.0 9.0 9.03 1.0 4.0 2.0 16.0 8.0 4.04 1.0 5.0 1.0 25.0 5.0 1.0PCA降维后的特征：[[-2.82842712][-1.41421356][ 0. ][ 1.41421356][ 2.82842712]]特征离散化后的结果：feature1 feature2 feature1_bin0 1 5 01 2 4 02 3 3 03 4 2 14 5 1 1数学变换后的结果：feature1 feature2 feature1_bin feature1_log0 1 5 0 0.0000001 2 4 0 0.6931472 3 3 0 1.0986123 4 2 1 1.3862944 5 1 1 1.609438
3. 类别型数据特征工程：从编码到嵌入
类别型数据的处理方法决定了模型对分类特征的理解能力。书中介绍了多种常见方法，如：
One-Hot 编码：适用于低基数类别数据 目标编码（Target Encoding）：结合标签信息，提高模型泛化能力 频率编码（Frequency Encoding）：通过类别出现频率替换类别值 Word2Vec/Embedding 技术：在 NLP任务中，利用词向量方法增强表示能力
不同的编码方式适用于不同场景，书中通过案例分析，帮助读者理解如何选择合适的处理方法。
示例代码：
import pandas as pdfrom sklearn.preprocessing import OneHotEncoder, LabelEncoder# 示例数据data = {'category': ['a', 'b', 'a', 'c', 'b']}df = pd.DataFrame(data)# One-Hot编码onehot_encoder = OneHotEncoder(sparse_output=False)onehot_features = onehot_encoder.fit_transform(df[['category']])print("One-Hot编码结果：\n", pd.DataFrame(onehot_features))# 目标编码target = [0, 1, 0, 2, 1]df['target'] = targetmean_target = df.groupby('category')['target'].mean()df['target_encoding'] = df['category'].map(mean_target)print("\n目标编码结果：\n", df)# 频率编码freq = df['category'].value_counts(normalize=True)df['frequency_encoding'] = df['category'].map(freq)print("\n频率编码结果：\n", df)
输出：
One-Hot编码结果：0 1 20 1.0 0.0 0.01 0.0 1.0 0.02 1.0 0.0 0.03 0.0 0.0 1.04 0.0 1.0 0.0目标编码结果：category target target_encoding0 a 0 0.01 b 1 1.02 a 0 0.03 c 2 2.04 b 1 1.0频率编码结果：category target target_encoding frequency_encoding0 a 0 0.0 0.41 b 1 1.0 0.42 a 0 0.0 0.43 c 2 2.0 0.24 b 1 1.0 0.4
4. 文本数据大揭秘：如何让机器读懂语言？
在 NLP 任务中，文本数据的特征工程尤为重要。本书介绍了从传统到现代的文本特征提取方法，包括：
TF-IDF：衡量单词的重要性 n-gram 语言模型：捕捉局部语境信息 深度学习词向量（Word2Vec, FastText, BERT）：提供更强的语义理解能力 主题模型（LDA, LSA）：识别文本中的潜在主题
书中不仅讲解了不同方法的原理，还结合 Python 代码示例，帮助读者快速上手。
示例代码：
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer# 示例文本数据texts = ["this is the first document","this document is the second document","and this is the third one","is this the first document"]# TF-IDFtfidf_vectorizer = TfidfVectorizer()tfidf_features = tfidf_vectorizer.fit_transform(texts)print("TF-IDF特征矩阵：\n", tfidf_features.toarray())# n-gramngram_vectorizer = CountVectorizer(ngram_range=(2, 2))ngram_features = ngram_vectorizer.fit_transform(texts)print("\nn-gram特征矩阵：\n", ngram_features.toarray())
输出：
TF-IDF特征矩阵：[[0. 0.46979139 0.58028582 0.38408524 0. 0.0.38408524 0. 0.38408524][0. 0.6876236 0. 0.28108867 0. 0.538647620.28108867 0. 0.28108867][0.51184851 0. 0. 0.26710379 0.51184851 0.0.26710379 0.51184851 0.26710379][0. 0.46979139 0.58028582 0.38408524 0. 0.0.38408524 0. 0.38408524]]n-gram特征矩阵：[[0 0 1 1 0 0 1 0 0 0 0 1 0][0 1 0 1 0 1 0 1 0 0 1 0 0][1 0 0 1 0 0 0 0 1 1 0 1 0][0 0 1 0 1 0 1 0 0 0 0 0 1]]
5. 时间序列数据特征工程：捕捉趋势与周期性
对于时间序列数据，书中介绍了：
时间特征提取：如小时、星期、节假日等 滑动窗口特征：利用过去一段时间的数据预测未来 傅里叶变换/小波变换：用于捕捉周期性信号 自回归特征：利用滞后变量进行预测
这些方法在金融、气象预测、设备故障检测等领域广泛应用，书中提供了实战案例，帮助读者深入理解。
示例代码：
import pandas as pdimport numpy as np# 示例时间序列数据date_rng = pd.date_range(start='2020-01-01', end='2020-01-10', freq='D')data = np.random.randn(10)ts = pd.Series(data, index=date_rng)# 时间特征提取df = pd.DataFrame({'value': ts})df['hour'] = df.index.hourdf['dayofweek'] = df.index.dayofweekdf['weekend'] = (df.index.dayofweek >= 5).astype(int)print("时间特征提取结果：\n", df)# 滑动窗口特征window_size = 3df['rolling_mean'] = df['value'].rolling(window=window_size).mean()print("\n滑动窗口特征结果：\n", df)# 自定义周期性特征（示例：正弦和余弦变换）df['sin'] = np.sin(df.index.hour * 2 * np.pi / 24)df['cos'] = np.cos(df.index.hour * 2 * np.pi / 24)print("\n周期性特征结果：\n", df)
输出：
时间特征提取结果：value hour dayofweek weekend2020-01-01 -1.178340 0 2 02020-01-02 -0.641252 0 3 02020-01-03 -0.956923 0 4 02020-01-04 1.873351 0 5 12020-01-05 0.843669 0 6 12020-01-06 0.210966 0 0 02020-01-07 -1.661827 0 1 02020-01-08 0.550530 0 2 02020-01-09 -0.641085 0 3 02020-01-10 -0.800208 0 4 0滑动窗口特征结果：value hour dayofweek weekend rolling_mean2020-01-01 -1.178340 0 2 0 NaN2020-01-02 -0.641252 0 3 0 NaN2020-01-03 -0.956923 0 4 0 -0.9255052020-01-04 1.873351 0 5 1 0.0917252020-01-05 0.843669 0 6 1 0.5866992020-01-06 0.210966 0 0 0 0.9759962020-01-07 -1.661827 0 1 0 -0.2023972020-01-08 0.550530 0 2 0 -0.3001102020-01-09 -0.641085 0 3 0 -0.5841272020-01-10 -0.800208 0 4 0 -0.296921周期性特征结果：value hour dayofweek weekend rolling_mean sin cos2020-01-01 -1.178340 0 2 0 NaN 0.0 1.02020-01-02 -0.641252 0 3 0 NaN 0.0 1.02020-01-03 -0.956923 0 4 0 -0.925505 0.0 1.02020-01-04 1.873351 0 5 1 0.091725 0.0 1.02020-01-05 0.843669 0 6 1 0.586699 0.0 1.02020-01-06 0.210966 0 0 0 0.975996 0.0 1.02020-01-07 -1.661827 0 1 0 -0.202397 0.0 1.02020-01-08 0.550530 0 2 0 -0.300110 0.0 1.02020-01-09 -0.641085 0 3 0 -0.584127 0.0 1.02020-01-10 -0.800208 0 4 0 -0.296921 0.0 1.0
6. 自动化特征工程（AutoFE）：让机器自动构造特征
近年来，自动化特征工程（AutoFE）成为一个重要方向。本书也介绍了 Featuretools、AutoFeat、TPOT 等自动特征工程工具，展示了如何利用这些工具快速生成高质量特征，从而提高建模效率。
示例代码：
import pandas as pdimport featuretools as ftimport warnings# 屏蔽 Woodwork 日期解析相关的警告warnings.filterwarnings("ignore", message="Could not infer format, so each element will be parsed individually")# 示例数据data = {'id': [1, 2, 3, 4, 5],'feature1': [10, 20, 15, 30, 25],'feature2': ['a', 'b', 'a', 'c', 'b']}df = pd.DataFrame(data)# 自动化特征工程es = ft.EntitySet(id='data')es = es.add_dataframe(dataframe_name='df', dataframe=df, index='id')# 生成特征，明确指定 max_depth=1 避免警告feature_matrix, features_defs = ft.dfs(entityset=es, target_dataframe_name='df', max_depth=1)print("自动化特征工程生成的特征矩阵：\n", feature_matrix)
输出：
自动化特征工程生成的特征矩阵：feature1id1 102 203 154 305 25
书籍特色与技术亮点
1. 理论结合实践，代码示例丰富
本书不仅系统讲解了特征工程的核心概念，还提供了丰富的 Python 代码示例，涵盖 NumPy、Pandas、scikit-learn、Featuretools 等常用工具库，便于读者快速实践。
2. 多种数据类型全覆盖
书中涉及的特征工程技术不仅限于结构化数据，还包括文本、时间序列等多种数据类型，使其适用于更广泛的机器学习应用场景。
3. 贴近实际，案例实战丰富
书中的案例来自金融风控、医疗诊断、电商推荐等真实业务场景，帮助读者将所学知识应用到实际项目中，提高模型效果。
适用读者与学习建议
1. 适合哪些读者？
数据分析师：希望提升数据预处理和特征构造能力 机器学习工程师：希望优化模型性能，提高特征工程能力 对数据科学感兴趣的开发者：希望深入理解机器学习数据处理方法
2. 如何高效学习本书？
结合代码示例动手实践：建议读者运行书中的代码，并尝试在自己的数据集上应用所学方法 分阶段学习：从基础部分入手，逐步深入到高阶特征工程方法 利用开源资源强化理解：查找相关 GitHub项目或参与Kaggle竞赛，练习不同特征工程技巧
结语
《精通特征工程》不仅是一部技术指南，更是数据科学家的必备工具书。通过系统学习和实践，读者可以掌握高效构造特征的方法，从而提升模型表现，使数据真正为机器学习赋能。