SparkDataFrame的DSL操作

一、show方法

• 功能&＃xff1a;展示DataFrame中的数据&＃xff0c;默认展示20条

• 语法&＃xff1a;

  df.show(参数1&＃xff0c;参数2)
- 参数1&＃xff1a;默认是20&＃xff0c;控制展示多少条
- 参数2&＃xff1a;是否阶段列&＃xff0c;默认只输出20个字符的长度&＃xff0c;过长不显示&＃xff0c;要显示的话&＃xff0c;请填入truncate&＃61;True


二、printSchema方法

• 功能&＃xff1a;打印输出df的schema信息

• 语法

  df.printSchema()


三、select

• 功能&＃xff1a;选择DataFrame中的指定列&＃xff08;通过传入参数进行指定&＃xff09;

• 语法&＃xff08;可传递&＃xff09;&＃xff1a;

  • 可变参数的cols对象&＃xff0c;cols对象可以是Column对象来指定列或者字符串列名来指定列

  • List[Column]对象或者List[str]对象&＃xff0c;用来选择多个列

    # column对象的获取
id_column &＃61; df[&＃39;id&＃39;]
subject_column &＃61; df[&＃39;subject&＃39;]
# select
# 支持字符串形式传入
df.select(["id", "subject"]).show()
df.select(["id", "subject"]).show()
# 也支持column对象的方式传入
df.select(df[&＃39;id&＃39;], df[&＃39;subject&＃39;]).show()


四、filter和where

• 功能&＃xff1a;过滤DataFrame内的数据&＃xff0c;返回一个过滤后的DataFrame

• 语法&＃xff1a;

  df.filter()

  df.where()

  where和filter功能上是等价的

  # filter
# 传字符串的形式
df.filter("score <99").show()
# 传column的形式
df.filter(df[&＃39;score&＃39;] < 99).show()
# where和filter等价
df.where("score <99").show()
df.where(df[&＃39;score&＃39;] < 99).show()


五、groupBy分组

• 功能&＃xff1a;按照指定的列进行数据的分组&＃xff0c;返回值是GroupedData对象

• 语法&＃xff1a;

  传入参数和select一样&＃xff0c;支持多种形式&＃xff0c;不管怎么传意思就是告诉spark按照哪个列分组

  df.groupBy()

  # groupBy
df.groupBy("subject").count().show()
df.groupBy("df[&＃39;subject&＃39;]").count().show()