单变量分析
单变量分析旨在更深入地了解单个列。 它创建该列的各种统计数据和可视化。 例如，要深入了解 特征 year_built，要计算year_built 的最小值、最大值、不同计数、中值、方差，并创建一个箱线图来检查异常值，一个正常的 Q-Q 图将其分布与正态分布进行比较。
双变量分析
双变量分析是为了理解两列之间的关系（例如，一个特征和目标）。 有许多可视化来促进理解。 例如，要了解 year_built 和 price 之间的关系，创建一个散点图来检查它们是否具有线性关系，并创建一个 hexbin 图来检查价格在不同年份范围内的分布。
相关性分析
为了选择重要特征或识别冗余特征，通常使用相关性分析。 它计算一个相关矩阵，其中矩阵中的每个单元格代表两列之间的相关性。 相关矩阵可以显示哪些特征与目标高度相关，哪些两个特征彼此高度相关。 例如，如果特征尺寸与目标价格高度相关，那么知道尺寸将揭示很多关于价格的信息，因此它是一个重要的特征。 如果两个特征 city 和 house_type 高度相关，则其中一个特征是冗余的，可以删除。
缺失值分析
数据集缺少值比没有更常见。 数据科学家需要创建定制的可视化来理解缺失值。 例如，可以创建一个条形图，描述每列中缺失值的数量，或者创建一个缺失谱图，以可视化哪些行的缺失值更多。
示例
import matplotlib.pyplot as plt
import seaborn as sns
sns.set(style="whitegrid", color_codes=True)
sns.set(font_scale=1)
houses = pd.read_csv("house-prices/train.csv")
houses.head()
houses_test = pd.read_csv("house-prices/test.csv")
houses_test.head()
plot(houses)
数据相关性
plot_correlation(houses, "SalePrice")
plot_correlation(houses, "SalePrice", value_range=[0.5, 1])
热图
plot_correlation(houses)
折叠目录
系统架构
前端用户界面
Dask后端处理
检测评估
大数据测试
源代码