用klib加速数据清洗和预处理！

本文分享一个用于导入、清洗、分析和预处理数据的Python轮子：klib。

推荐阅读：
👉《Python matplotlib教程1.0》
👉《R 可视化教程1.0》

klib提供了一系列非常易于应用的函数，具有合理的默认值，几乎可以用在任何DataFrame上，用于评估数据质量、获得灵感、执行数据清洗和可视化，从而更轻便、更高效的处理Python Pandas DataFrame数据。

klib可视化数据

-klib.cat_plot(df)  # 展示分类特征数量和频率
-klib.corr_mat(df)  # 相关性矩阵
-klib.corr_plot(df)  # 热力图，适用于展示相关性
-klib.corr_interactive_plot(df, split="neg").show()  # 交互式相关性图表
-klib.dist_plot(df)  # 每个数值特征的分布
-klib.missingval_plot(df)  # 缺失值信息图

例如，cat_plot，

import klib
import plotly
import pandas as pd
df = pd.read_csv("./NFL_DATASET.csv").iloc[:, 10:]
df_cleaned = klib.data_cleaning(df) #清洗
klib.cat_plot(df_cleaned.iloc[:, 10:28], figsize=(24, 15)) #cat_plot可视化

例如，展示缺省值，

klib.missingval_plot(df_cleaned)

再例如，corr_interactive_plot基于plotly构建交互式相关性图表，

klib.corr_interactive_plot(df, annot=False, figsize=(20,17))

klib清洗数据

主要包含如下函数，

-klib.data_cleaning(df)  # 执行数据清洗（删除重复项和空行/列，调整数据类型等）
-klib.clean_column_names(df)  # 清理和标准化列名，也在 data_cleaning() 中调用
-klib.convert_datatypes(df)  # 将现有数据转换为更高效的数据类型，也在 data_cleaning() 中调用
-klib.drop_missing(df)  # 删除缺失值，也在 data_cleaning() 中调用
-klib.mv_col_handling(df)  # 基于信息内容删除缺失值比率高的特征
-klib.pool_duplicate_subsets(df)  # 基于最小信息损失汇总具有重复项的列子集

不一一举例，👉https://github.com/akanz1/klib

-END-

推荐阅读：

• 10W字《R ggplot2可视化教程1.0》来了!
  
• 详解Python列表推导式|迭代器|生成器|匿名函数
• Jupyter Notebook的16个超棒插件！
• 临床WGS/WES/Gene Panel/Single gene异同
  
• 一图胜千言，超形象图解NumPy教程！
• 那些神经网络可视化利器
• R Graphics Cookbook中译教程

我的学习小圈子👉
加入
赞、在看就是最大的支持