【数据分析】Python结构化数据分析工具Pandas|Series与DataFrame|读取CSV文件数据|

原标题：【数据分析】Python 结构化数据分析工具 Pandas | Series 与 DataFrame | 读取CSV文件数据 |

? 写在前面：没什么好写的，不如直接开始。

0x00 pandas 介绍

❓ Pandas 是什么？

熊猫？14年网龄的我，早就在互联网发表情包了，这种熊猫表情包我可太熟悉了。

但是我们今天要说的是 Python 里的 pandas，为了接地气本篇所有用的表情包都会是熊猫头。

" pandas 就是一个用于数据处理和分析的python 库 "

pawww.yii666.comndas 支持读取和处理各种外部资源数据，比如读取 CSV 文件、文本文件、Excel 文件、web 数据等，还可以使用 matplotlib 可视化数据。

先提一嘴 pandas 的数据结构：

• 
  一维数据结构：Series
  


• 
  二维数据结构：Data Frame
  


• 
  三维数据结构：Panel
  

pandas 在数据中支持多种运算函数，使用 pandas 库需要引入头文件：

import pandas as pd

一般会as pd 一下，这样用起来能更方便些。（就像 numpy 我们习惯去as np 一样）

numpy 数组是所有元素都相同的数据类型，但 pandas 允许元素的数据类型不同，并生成结构数，比如 Series 和 DataFrame。

0x01 Series 数据结构

简单的一维数据结构，能展示出带有索引 (index) 的一维数组。

与 Numpy 中的一维 array 类似。它们都和Python 基本的数据结构 List 相似。

现在的 Series 能保存不同数据类型，字符串、boolean 值、数字等，它们都能保存在 Series 中。

? 用法演示：使用 pd.Series() 函数

可以指定参数 index，如果不指定 index 会默认从 0 开始。

import pandas as pd
data = [1, 3, 5, 7, 9]
# 不指定
s1 = pd.Series(data)
# 指定index
s2 = pd.Series(data, index = ["安娜", "末日铁拳", "麦克雷", "莱因哈特", "禅雅塔"])
print(s1, "\n\n", s2, "\n")
print(s2.values) # 只打印值
print(s2.index) # 只打印索引

? 运行结果：

? 用法演示：使用字典数据创建 Series

会将字典的键配置为 index，将字典的值配置为 values。

import pandas as pd
# 利用字典构造 series
data = pd.Series (
{"苹果": "Apple", "橘子": "Orange", "香蕉": "banana", "桃子": "peach"}
)
print(data)
print(data.index) # 打印索引
print(data.values) # 打印值

? 运行结果

0x02 DataFrame 数据结构

二维的表格型数据结构，DataFrame 接受带行和列的表数据。

• index 和列具有各自的标签（名称）


• 每个列可以有不同的数据类型


• 默认情况下，按列管理数据

可以将 DataFrame 理解为 Series 的容器。

可以将多种数据类型的数据转换为 Data Frame 数据结构：

• 字典、列表、nd-array 对象、Series 数据结构


• 使用 pd.DataFrame() 函数创建


• 生成的默认索引为从 0 开始的整数


• 
  可使用 index 关键字命名索引
  


• 
  可使用 columns 关键字命名列
  

? 用法演示：使用pd.DataFrame()

import pandas as pd
data = [
[2019, 2.8, "1.63M"],
[2020, 3.4, "1.75M"],
[2021, 5.5, "1.84M"]
]
# 什么都不指定
df1 = pd.DataFrame(data)
print(df1, "\n")
# 指定 index 和 columns
df2 = pd.DataFrame (
data, # 数据
index = [1, 2, 3], # 指定索引
columns = ['year', 'GDP_rate', 'GDP'] # 指定列
)
print(df2)

? 运行结果：

? 用法演示：使用字典数据创建 DataFrame（字典的键为列名，字典的值为列值）

import pandas as pd
data = {"year" : [2019, 2020, 2021],
"GDP_rate" : [2.8, 3.4, 3.0],
"GDP" : ["1.63M", "1.75M", "1.83M"]
}
## data 是一个字典
df = pd.DataFrame(data) # 等同于 df = pd.DataFrame(data=data)
print(df, "\n")
print(df.iloc[1], "\n") # row 引用类型：df.loc[index名称]，df.iloc[index编号]
print(df["year"], "\n") # 等同于 print(df.year)
# column 引用方法：df["列名"] 或 df.列名
## 查看数据类型
print(type(df.iloc[1]))
print(type(df["year"]))


? 运行结果

? 操作演示：如果在添加行时将其指定为现有索引名称，则会修改现有的数据值。

# 8
import pandas as pd
s1 = pd.Series( [2019, 2020, 2021] )
s2 = pd.Series( [2.8, 3.2, 3.0] )
s3 = pd.Series( ["1.63M", "1.75M", "1.87M"] )
data = {"year" : s1, "GDP_rate" : s2, "GDP" : s3}
df1 = pd.DataFrame(data)
print(df1, "\n")
names = pd.Series(["禅雅塔", "奥丽莎", "西格玛", "索洁恩", "卢西奥"])
scores = pd.Series([18030, 5069, 8958, 14560, 6800])
members = {"[姓名]": names, "[伤害量]" : scores}
df2 = pd.DataFrame(members)
print(df2, "\n")
df2["[表现]"] = ["A", "C", "B", "A", "D"] # 列名以 Grade 添加列
df2.loc[5] = ["麦克雷", 15035, "A"] # 添加行
print(df2)

? 运行结果：

我们之前提到了，numpy 也是可以塞里面的，我们来看看。

import numpy as np
import pandas as pd
data1 = np.array(
[ [1, 2, 3], [4, 5, 6] ] # 创建一个二维数组
)
df1 = pd.DataFrame(data1)
print(df1, "\n")
data2 = pd.Series(
{"苹果": "Apple", "橙子": "Orange",
"香蕉": "banana", "桃子": "peach"}
)
df2 = pd.DataFrame(data2, columns = ["英文名"])
print(df2, "\n")
df3 = pd.DataFrame (
data = [56, 90, 31],
index = range(1, 4),
columns = ["价格"]
)
print(df3, "\n")

? 运行结果：

0x03 索引与数据选择

刚才在注释里我们演示了一些 "数据引用"，现在我们现在来正式讲一下这个知识点。

? 我们假设变量 df 是 DataFrame 的对象：

列值索引：

df[列名]
df.列名1
df[[列名1, 列名2, ...]] # 如果有多行要引用，可以写到列表里

切片作为索引：

df[起始位置, 结束位置] # 从 start 开始到 end-1 行

行索引：

df.loc[行名]
df.loc[[行名1, 行名2, ...]] # 如果有多行要引用，可以写到列表里

索引单个元素：

d文章来源站点https://www.yii666.com/f.loc[行名, 列名]

使用布尔索引 (boolean indexing) 引用符合条件的值：

df[条件式] # 仅引用满足条件表达式的数据

? 用法演示：数据索引

import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(data=members)
cgpawww.yii666.com = pd.Series (
[3.2, 2.5, 4.1, 2.8, 1.9]
)
df["Cgpa"] = cgpa
## 整体
print(df, "\n")
print("------ 列值引用 ------")
print(df[["Name", "Cgpa"]], "\n")
print("------ 切片引用 ------")
print(df[1 : 4], "\n")
print("------ 行引用 ------")
print(df.loc[[2, 4]], "\n")
print(df.loc[1, "Name"], "\n")
print("------ 布尔索引 ------")
print(df[df.Score > 60]) # 筛出分数大于60的


? 运行结果：

loc 指的是 location，iloc 中的 i 是指的是 integer，这两者的区别如下：

• loc：根据实际设置的 index 来索引数据


• iloc：根据顺序数字来索引数据

import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(data = member文章来源地址20512.htmls, index = range(1, 6))
print(df, "\n")
## 与 df["Name"] 相同
print(df.loc[2], "\n")
print(df.iloc[2], "\n")
print(df.Name)

? 运行结果：

0x04获取对数据进行排序的新对象

使用 DataFrame 对象的 sort_values(by=列名) 函数，按 by 参数指定的值排序（默认为升序）。

参数 ascending 值为 False 时，按降序排序。

根据引用，初始化 DataFrame 对象索引的新对象。

使用 reset_index() 函数获取初始化 DataFrame 对象索引的新对象。将参数 drop 值设置为 True 时为升序。

? 用法演示：sort_values() 与 reset_index()

#P13
import pandas as pd
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(members)
df["Grade"] = ["C", "F", "A", "B", "D"]
df.loc[5] = ["Hanna", 90, "A"]
print(df, "\n")
## 创建按 "Score" 列降序排序的对象
df1 = df.sort_values(by = "Score", ascending = False)
print(df1, "\n")
## 创建初始化 df1 对象索引的新对象
df2 = df1.reset_index(drop = True)
print(df2)

? 运行结果：

0x05 DataFrame 为对象增加新列

缺失值处理：大多数实际数据都是未精炼的，存在缺失值，不同的数据具有不同形式的缺失值（缺失值）。结构性数据标记为 null、NaN、NA 等。

# p14
import pandas as pd
import numpy as np
names = ["Bob", "Jessica", "Mary", "John", "Kate"]
scores = [56, 11, 99, 83, 45]
members = {"Name": names, "Score": scores}
df = pd.DataFrame(members)
df["Grade"] = np.nan # 不指定数据时只增加列
df.loc[2, "Grade"] = "A" # 在现有行的追加的列中储存数据
df.loc[5, "Grade"] = "F" # 追加新的行，在指定列中储存数据，剩下的数据以 Nan 形式初始化
print(df, "\n")

? 运行结果：

? 缺失值处理演示：

import pandas as pd
import numpy as np
a = np.array([1, 2, np.nan, 4, 5])
print(a, "\n")
print(a.sum(), a.min(), a.max())
print(np.nansum(a), np.nanmin(a), np.nanmax(a)) # 对非 nan 值计算

? 运行结果：

0x06 读取外部文件数据（CSV文件）

pandas 可以读取和写入各种外部数据，包括 CSV 文件、Excel 文件和文本文件。

读取CSV文件（扩展名 .csv）以创建并返回 DataFrame 对象的函数：

read_csv("文件名")

CSV 文件以逗号（，）分隔数据，并由表示记录的行和表示字段的列组成。

? 用法演示：读取 csv 文件

import pandas as pd
pf = pd.read_scv("/content/test.csv")
print(pf, "\n")
pf1 = pd.read_scv("/content/test.csv", header = None)
print(pf1, "\n")

? 运行结果：

将下面的 vehicle_prod.csv 文件保存到 colab 的工作文件夹 "/content" 文件夹中：

（若要将第一行用作索引，省略第1行第1列的名称）

然后在 colab 中选择该文件，然后右键单击，将出现 "复制路径" 选项。

? 代码演示：读取vehicle_prod.csv

import pandas as pd
import matplotlib.pyplot as plt
pf_f1 = pd.read_csv("/content/vehicle_prod.csv")
print(pf_f1, "\n")
## 将第0列设置为index
pf_f2 = pd.read_csv("/content/vehicle_prod.csv", index_col = 0)
print(pf_f2)
pf_f2["2007"].plot(kind='bar') # 将列"2007"的数据可视化
plt.show()

? 运行结果：

? 代码演示：读取 vehicle_prod.csv 文件，按国家/地区绘制年度产量图：

import pandas as pd
import matplotlib.pyplot as plt
pf_f = pd.read_csv("/content/vehicle_prod.csv", index_col = 0)
plt.plot(pf_f.loc["China"])
plt.plot(pf_f.loc["EU"])
plt.plot(pf_f.loc["US"])
plt.plot(pf_f.loc["Japan"])
plt.plot(pf_f.loc["Korea"])
plt.plot(pf_f.loc["Mexico"])
plt.legend(["China", "EU", "US", "Japan", "Korea", "Mexico"])
plt.show()

? 运行结果：

? 代码演示：读取 vehicle_prod.csv 文件进行统计（总计，平均值）

import pandas as pd
import matplotlib.pyplot as plt
pf_f = pd.read_csv("/content/vehicle_prod.csv", index_col=0)
## 函数的参数axis=1表示列方向，axis=0表示行方向
pf_f["Total"] = pf_f.sum(axis=1)
pf_f["Average"] = pf_f[["2007", "2008", "2009", "2010", "2011"]].mean(axis=1)
print(pf_f, "\n")
## 追加列
pf_f["Average"].plot(kind='bar')
plt.show()
plt.bar(pf_f.index, pf_f["Average"])
plt.show()

? 运行结果：

? [ 笔者 ] 王亦优
? [ 更新 ] 2022.
❌ [ 勘误 ] /* 暂无 */
? [ 声明 ] 由于作者水平有限，本文有错误和不准确之处在所难免，
本人也很想知道这些错误，恳望读者批评指正！

来源于：【数据分析】Python 结构化数据分析工具 Pandas | Series 与 DataFrame | 读取CSV文件数据 |