人工智能实训笔记DAY2

Pandas模块

• DataFrame
  • DataFrame的级联操作
    • pd.concat()
    • 类似于np.concatenate函数&＃xff0c;多了一些参数&＃xff1a;objs&＃xff0c;axis&＃xff0c;keys&＃xff0c;join&＃xff0c;ignore_index。
    • 不匹配级联&＃xff0c;指级联的维度的索引不一致&＃xff0c;有两种连接方式&＃xff1a;
      • 外连接&＃xff1a;补NaN&＃xff0c;默认模式
      • 内连接&＃xff1a;只连接匹配的项
  • 合并操作
    • pd.merge()
    • 级联是对表格的拼接&＃xff0c;合并是对数据做合并。merge需要根据某一共同的列进行合并&＃xff0c;会自动根据两者名称相同的column那一列来合并。若是两张表没有名称相同的列时&＃xff0c;可使用left_on和right_on来指定列作为合并的列。
    • 内合并与外合并&＃xff0c;out取并集&＃xff0c;inner取交集。
• pandas高级操作
  • 替换操作replace()
    • 单值替换,替换所有符合要求的元素&＃xff1a;to_replace&＃61;x,value&＃61;y
    • 按列指定数据加载单值替换&＃xff1a;to_replace&＃61;{列标签:替换值},value&＃61;y;
  • 多值替换
    • 列表替换&＃xff1a;to_replace&＃61;[],value&＃61;[]
    • 字典替换&＃xff1a;to_replace&＃61;{to_replace:value,to_replace:value}
  • 映射操作&＃xff0c;给一个元素值提供不同的表现形式
    • map()
  • 运算工具
    • map()
    • apply()
    • apply的效率要远远高于map
  • 排序实现的随机抽样
    • take()
    • np.random.permutation()
  • 数据的分类处理
    • groupby()
    • groups属性查看分组情况
  • 高级数据聚合
    • 使用groupby后&＃xff0c;也可以使用transform和apply提供自定义函数实现更多的运算
    • df.groupby(‘item’)[‘price’].sum() <&＃61;&＃61;> df.groupby(‘item’)[‘price’].apply(sum)
    • transform和apply可以传入函数&＃xff0c;也可以传入一个lambda表达式
  • 数据加载
    • 读取文件数据&＃xff1a;pd.read_csv()
    • 读取数据库数据&＃xff1a;pd.read_sql()
    • 写入存储数据&＃xff1a;df.to_sql()
  • 透视表
    对数据动态排布并分类汇总的表格&＃xff0c;在pandas中为pivot_table&＃xff0c;有四个重要参数&＃xff1a;
    • index&＃xff1a;分类汇总的分类条件&＃xff08;必须有&＃xff09;
    • values&＃xff1a;对计算的数据进行筛选
    • columns&＃xff1a;设置列层次字段&＃xff0c;对values字段进行分类
    • aggfunc&＃xff1a;设置对数据聚合时进行的函数操作&＃xff0c;默认计算均值
  • 交叉表
    一种用于计算分组的特殊透视图&＃xff0c;对数据进行汇总
  • pd.crosstab(index,columns)
    • index&＃xff1a;分组数据&＃xff0c;交叉表的行索引
    • columns&＃xff1a;交叉表的列索引

matmatplotlib绘图

线性图

• plt.plot()
  • 绘制单条线性图&＃xff1a;plt.plot(x,y)
  • 绘制多条线性图&＃xff1a;plt.plot(x₁ ,y₁ ,x₂ ,y₂ ,…)
  • 设置坐标系的比例 plt.figure(figsize&＃61;(a,b))
  • 设置图例&＃xff1a;legend(loc&＃61;,ncol&＃61;)
  • 设置轴的标识&＃xff1a;label
  • 图例保存
    • fig&＃61;plt.figure()
    • plt.plot(x,y)
    • figure.savfig()
  • 曲线的样式和风格

柱状图

• plt.bar()
  • 第一个参数是索引&＃xff0c;第二个参数是数据值&＃xff0c;第三个参数是条形的宽度

直方图

• 特殊的柱状图&＃xff0c;又叫密度图
• plt.hist()参数
  • bins&＃xff1a;可以是一个bin数量的整数值&＃xff0c;也可以是表示bin的一个序列。默认值为10
  • normed&＃xff1a;如果值为True&＃xff0c;直方图的值将进行归一化处理&＃xff0c;形成概率密度&＃xff0c;默认值为False
  • color&＃xff1a;指定直方图的颜色。可以是单一颜色值或颜色的序列。如果指定了多个数据集合,例如DataFrame对象&＃xff0c;颜色序列将会设置为相同的顺序。如果未指定&＃xff0c;将会使用一个默认的线条颜色
  • orientation&＃xff1a;通过设置orientation为horizontal创建水平直方图。默认值为vertical

饼图

• plt.pie()
  • 数据值参数x
  • labels设置图例
  • labeldistance设置图例与圆心距离
  • autopct设置占比百分数中小数位数
  • shadow设置是否有阴影
  • explode与x维数相同&＃xff0c;非零元素表示该部分向外突出多少。

散点图

• plt.scatter()

简单案例

• 1、人口分析案例需求
  • 导入文件&＃xff0c;查看原始数据
  • 将人口数据和各州简称数据进行合并
  • 将合并的数据中重复的abbreviation列进行删除
  • 查看存在缺失数据的列
  • 找到有哪些state/region使得state的值为NaN&＃xff0c;进行去重操作
  • 为找到的这些state/region的state项补上正确的值&＃xff0c;从而去除掉state这一列的所有NaN
  • 合并各州面积数据areas
  • 我们会发现area(sq.mi)这一列有缺失数据&＃xff0c;找出是哪些行
  • 去除含有缺失数据的行
  • 找出2010年的全民人口数据
  • 计算各州的人口密度
  • 排序&＃xff0c;并找出人口密度最高的州
• 2、2012美国大选献金项目数据分析需求
  • 加载数据
  • 查看数据的基本信息
  • 指定数据截取&＃xff0c;将如下字段的数据进行提取&＃xff0c;其他数据舍弃
    • cand_nm &＃xff1a;候选人姓名
    • contbr_nm &＃xff1a; 捐赠人姓名
    • contbr_st &＃xff1a;捐赠人所在州
    • contbr_employer &＃xff1a; 捐赠人所在公司
    • contbr_occupation &＃xff1a; 捐赠人职业
    • contb_receipt_amt &＃xff1a;捐赠数额&＃xff08;美元&＃xff09;
    • contb_receipt_dt &＃xff1a; 捐款的日期
  • 对新数据进行总览,查看是否存在缺失数据
  • 用统计学指标快速描述数值型属性的概要。
  • 空值处理。可能因为忘记填写或者保密等等原因&＃xff0c;相关字段出现了空值&＃xff0c;将其填充为NOT PROVIDE
  • 异常值处理。将捐款金额<&＃61;0的数据删除
  • 新建一列为各个候选人所在党派party
  • 查看party这一列中有哪些不同的元素
  • 统计party列中各个元素出现次数
  • 查看各个党派收到的政治献金总数contb_receipt_amt
  • 查看具体每天各个党派收到的政治献金总数contb_receipt_amt
  • 将表中日期格式转换为’yyyy-mm-dd’。
  • 查看老兵(捐献者职业)DISABLED VETERAN主要支持谁