在win上安装spark以及使用

Anaconda使用总结 http://www.jianshu.com/p/2f3be7781451

Spark在Windows下的环境搭建 http://www.jianshu.com/p/7b325155edab 

pycharm开发spark(但未成功) http://blog.csdn.net/huangxia73/article/details/51372557

注意环境配置后仍未生效,则重启就行.原因不明

在idea上可以使用scala连接集群,但未实践

spark文档 http://spark.apache.org/docs/latest/

sprak需要python或者scala语言 王垠学习语言 http://www.yinwang.org/blog-cn/2017/07/06/master-pl

在本机做了一个月地铁数据统计,依据清分系统算出各条线路的客流量的demo.

数据部分16.04 5G;17.04 12G 运行时间5H左右.

计划用scala和python实现官网上的doc