order by 全局排序

• 全局排序&＃xff0c;只有一个reduce
• 使用 ORDER BY 子句排序
  • • asc ( ascend) 升序 (默认)
    • desc (descend) 降序
• order by 子句在select语句的结尾
• 案例实操
  • 查询学生的成绩&＃xff0c;并按照分数降序排列
    • select * from score s order by s_score desc ;

每个MapReduce内部排序(Sort By)局部排序

• sort by&＃xff1a;每个reducer内部有序排序(局部有序)&＃xff0c;对全局结果集来说并非全局有序。
• 设置reduce个数
  • set mapreduce.job.reduces&＃61;3;
• 查看reduce的个数
  • set mapreduce.job.reduces;
• 查询成绩按照成绩降序排列
  • select * from score s sort by s.s_score;

distribute by 分区排序

• distribute by&＃xff1a;

• • 类似MR中partition&＃xff0c;采集hash算法&＃xff0c;在map端将查询的结果中hash值相同的结果分发到对应的reduce文件中。
  • 结合sort by使用。
• 注意
  • Hive要求 distribute by 语句要写在 sort by 语句之前
• 案例实操
  • 先按照学生 sid 进行分区&＃xff0c;再按照学生成绩进行排序
  • 设置reduce的个数
    • set mapreduce.job.reduces&＃61;3;
  • 通过distribute by 进行数据的分区,&＃xff0c;将不同的sid 划分到对应的reduce当中去

insert overwrite local directory &＃39;/kkb/install/hivedatas/distribute&＃39; select * from score distribute by s_id sort by s_score;

cluster by

• 当distribute by和sort by字段相同时&＃xff0c;可以使用cluster by方式代替
• 除了distribute by 的功能外&＃xff0c;还会对该字段进行排序&＃xff0c;所以cluster by &＃61; distribute by &＃43; sort by

--以下两种写法等价insert overwrite local directory &＃39;/install/hivedatas/distribute_sort&＃39; select * from score distribute by s_score sort by s_score;insert overwrite local directory /install/hivedatas/cluster&＃39; select * from score cluster by s_score;