Flink1.15DataSream连接器——FileSystem源码阅读及代码示例

接上篇《Flink1.15 DataSream 连接器 —— FileSystem》

从上图中可以看到src和sink &＃xff0c;以及隐藏在下面的table&＃xff0c;这仨个目录分别是&＃xff1a;

• src&＃xff1a; 即File Source&＃xff0c;也是Source API&＃xff0c;这是一个读取文件的统一数据源——且可以批处理和流模式读取
• sink&＃xff1a; 即File Sink&＃xff0c;也是Sink API &＃xff0c;文件接收器将传入的数据写入桶中。考虑到传入的流可以是无界的&＃xff0c;每个桶中的数据被组织成有限大小的部分文件。桶行为是完全可配置的&＃xff0c;使用默认的基于时间的桶&＃xff0c;我们每小时开始写一个新桶。这意味着每个生成的桶将包含从流中间隔1小时接收到的记录的文件
• table&＃xff1a;即table API&＃xff0c;在官网上暂时没有看到介绍这个table目录下相关api&＃xff0c;本次也不会阅读该部分源码

上面大概看了代码在idea中结构&＃xff0c;现在再来看下各个模块的uml类图&＃xff0c;理解起来更加方便。

File Source

上面是src的全景图&＃xff0c;现在我们可以试着裁剪一下&＃xff0c;看最后主要的类有哪些&＃xff0c;分别是干什么用的&＃xff1f;

去除掉&＃64;Deprecated被弃用类

reader/FileRecordFormat.java
reader/TextLineFormat.java
impl/FileRecordFormatAdapter.java

去掉工具类、参数配置类等

上图中可以看出创建一个文件源FileSource。并且在其类内部FileSourceBuilder&＃xff0c;您可以在其上配置文件源的所有属性。在上图中&＃xff0c;可以看到创建切片分发器&＃xff0c;监控间隔时间&＃xff0c;文件枚举器&＃xff0c;还有阅读器的文件格式类型&＃xff0c;有无边界&＃xff0c;切割器序列化等。

切片分发器。

SplitEnumerator负责发现和标识要读取的文件&＃xff0c;并将它们分配给SourceReader。

SourceReader请求它需要处理的文件&＃xff0c;并从文件系统读取文件。

File Sink

上面是sink的全景图&＃xff0c;现在我们可以试着裁剪一下&＃xff0c;看最后主要的类有哪些&＃xff0c;分别是干什么用的&＃xff1f;

去除掉&＃64;Deprecated被弃用类

没有需要弃用的类

去掉工具类、参数配置类等

文件接收器将传入的数据写入桶中。考虑到传入的流可以是无界的&＃xff0c;每个桶中的数据被组织成有限大小的部分文件。桶行为是完全可配置的&＃xff0c;使用默认的基于时间的桶&＃xff0c;我们每小时开始写一个新桶。这意味着每个生成的桶将包含从流中间隔1小时接收到的记录的文件。

桶目录中的数据被分割为部分文件。每个桶将包含接收到该桶数据的接收器的每个子任务的至少一个部分文件。附加的零件文件将根据可配置的滚动策略被创建。对于行编码格式(请参阅文件格式)&＃xff0c;默认策略根据大小、指定文件可打开的最长时间的超时和关闭文件的最长不活动超时来滚动部分文件。对于Bulk-encoded format&＃xff0c;我们滚动每个检查点&＃xff0c;用户可以根据大小或时间指定附加条件。

另外上图中可以看到BulkformatBuilder and RowformatBuilder&＃xff0c;然后里面有很多方法&＃xff0c;这些具体的操作的类都在sink这个目录下。

File Table

table目录下的源码请自行阅读。

github地址奉上&＃xff0c;就不占用篇幅了。
FileSource and FileSink代码案例

最后&＃xff0c;提醒一下看源码的小伙伴们&＃xff0c;最好看下test目录下的测试类&＃xff0c;flink源码中提供了很多测试类&＃xff0c;可以细节到具体的方法&＃xff0c;所以值得一看。

欢迎批评指正&＃xff0c;谢谢。