Flink流处理入门和socket发送数据

Flink流处理入门和socket发送数据

• Flink初步使用
• Flink流处理程序
• • 运行前提
• Socket发送数据
• 补充spark相关东西
• • 原理：
  • 基础数据结构：RDD
  • RDD VS 分布式共享内存

这块笔记是学习陈老师的大规模数据和大数据系统分析时候做的大作业的一块内容，其中题目是Flink和Spark调研，研究大数据的同学都知道这是两个颇受欢迎的大数据处理工具，同时支持流处理和批处理，但是又有些区别，我在小组内分配到的是Flink的流处理性能分析，因此需要实现socket自动发送数据和flink接收数据并完成处理，而Flink和Spark最入门的代码要属于wordcount例子了。

安装过Flink的同学都知道在安装目录下的example里就有直接可以测试的例子jar包，只需要使用nc -l -p 9000 -v打开端口，就可以使用jar包测试了，但是可能在安装flink的时候又有不少同学会遇到问题，于是我们可以直接在eclipse新建maven项目，在里边直接添加依赖就行了，这样就不用安装软件了，可以省很多时间，也不用说自