使用 Jupyter Notebook 进行探索性数据分析

betcha

发布时间：2025-09-04 17:29:02

527人浏览过

来源于php中文网

原创

Jupyter Notebook通过单元格实现代码与Markdown结合，支持数据导入（pandas）、清洗（fillna）、探索（matplotlib/seaborn可视化）、统计分析（describe/corr）和特征工程，便于记录与分享分析过程。

使用 jupyter notebook 进行探索性数据分析

Jupyter Notebook 是进行探索性数据分析 (EDA) 的利器。它允许你以交互式的方式编写和执行代码，同时还能方便地记录你的分析过程和结果。

解决方案

Jupyter Notebook 的核心在于它的单元格 (cell)。你可以在单元格中编写代码 (通常是 Python，但也可以是其他语言) 或 Markdown 文本。当你执行一个代码单元格时，Notebook 会运行其中的代码，并将结果 (例如，输出、图像、错误信息) 显示在单元格下方。

以下是使用 Jupyter Notebook 进行 EDA 的一些关键步骤和技巧：

数据导入和清洗:

首先，你需要导入你的数据。常用的 Python 库包括
```
pandas
```
用于数据操作和分析，
```
numpy
```
用于数值计算。
```
import pandas as pd
import numpy as np

# 读取 CSV 文件
df = pd.read_csv('your_data.csv')

# 查看数据的前几行
print(df.head())

# 检查数据类型
print(df.dtypes)

# 处理缺失值
df.fillna(df.mean(), inplace=True) # 用平均值填充缺失值，也可以用其他方法
```
这里，我们读取了一个名为
```
your_data.csv
```
的 CSV 文件，并使用
```
head()
```
函数查看了数据的前几行。
```
dtypes
```
属性可以帮助我们检查每列的数据类型。
```
fillna()
```
函数用于处理缺失值。选择合适的缺失值处理方法非常重要，直接影响后续分析的准确性。比如，如果数据是时间序列，可能需要使用时间序列插值方法。

数据探索和可视化:

接下来，你可以使用各种可视化工具来探索你的数据。

matplotlib

和

seaborn

是两个常用的 Python 绘图库。

import matplotlib.pyplot as plt
import seaborn as sns

# 绘制直方图
plt.hist(df['column_name'])
plt.xlabel('Column Name')
plt.ylabel('Frequency')
plt.title('Histogram of Column Name')
plt.show()

# 绘制散点图
plt.scatter(df['column1'], df['column2'])
plt.xlabel('Column 1')
plt.ylabel('Column 2')
plt.title('Scatter Plot of Column 1 vs Column 2')
plt.show()

# 绘制箱线图
sns.boxplot(x=df['categorical_column'], y=df['numerical_column'])
plt.title('Boxplot of Numerical Column by Categorical Column')
plt.show()

# 绘制热力图
correlation_matrix = df.corr()
sns.heatmap(correlation_matrix, annot=True, cmap='coolwarm')
plt.title('Correlation Heatmap')
plt.show()

直方图可以帮助你了解数据的分布情况。散点图可以帮助你发现变量之间的关系。箱线图可以帮助你比较不同组别的数据。热力图可以帮助你了解变量之间的相关性。选择合适的图表类型取决于你要探索的数据和问题。例如，对于时间序列数据，折线图可能更合适。

统计分析:

除了可视化之外，你还可以使用统计方法来探索你的数据。
```
pandas
```
提供了许多内置的统计函数。
```
# 计算描述性统计量
print(df.describe())

# 计算相关系数
print(df.corr())

# 分组统计
print(df.groupby('categorical_column')['numerical_column'].mean())
```
```
describe()
```
函数可以提供数据的基本统计信息，例如均值、标准差、最小值、最大值等。
```
corr()
```
函数可以计算变量之间的相关系数。
```
groupby()
```
函数可以按照指定的列对数据进行分组，并计算每组的统计量。
特征工程:

JenMusic
一个新兴的AI音乐生成平台，专注于多乐器音乐创作。

下载

在 EDA 的过程中，你可能会发现需要创建新的特征来改进你的模型。
```
# 创建新的特征
df['new_feature'] = df['column1'] + df['column2']

# 对特征进行转换
df['log_column'] = np.log(df['column'])
```
特征工程是一个迭代的过程，需要根据你的数据和问题进行尝试。例如，你可以将多个特征组合成一个新的特征，或者对特征进行缩放或标准化。
记录和分享你的分析:

Jupyter Notebook 允许你使用 Markdown 单元格来记录你的分析过程和结果。你可以添加注释、解释、图表和表格，使你的分析更易于理解和分享。

例如：
```
### 数据清洗

我们首先导入了数据，并使用 `head()` 函数查看了数据的前几行。我们发现数据中存在缺失值，因此我们使用 `fillna()` 函数用平均值填充了缺失值。

### 数据可视化

我们使用 `matplotlib` 和 `seaborn` 绘制了直方图、散点图和箱线图，以探索数据的分布和关系。
```
Markdown 单元格支持 LaTeX 公式，可以方便地编写数学公式。你还可以使用 HTML 和 CSS 来定制 Notebook 的外观。