DataXFtpWriter

DataX FtpWriter 说明

1 快速介绍

FtpWriter提供了向远程FTP文件写入CSV格式的一个或者多个文件&＃xff0c;在底层实现上&＃xff0c;FtpWriter将DataX传输协议下的数据转换为csv格式&＃xff0c;并使用FTP相关的网络协议写出到远程FTP服务器。

写入FTP文件内容存放的是一张逻辑意义上的二维表&＃xff0c;例如CSV格式的文本信息。

2 功能与限制

FtpWriter实现了从DataX协议转为FTP文件功能&＃xff0c;FTP文件本身是无结构化数据存储&＃xff0c;FtpWriter如下几个方面约定:

1. 支持且仅支持写入文本类型(不支持BLOB如视频数据)的文件&＃xff0c;且要求文本中shema为一张二维表。

2. 支持类CSV格式文件&＃xff0c;自定义分隔符。

3. 写出时不支持文本压缩。

4. 支持多线程写入&＃xff0c;每个线程写入不同子文件。

我们不能做到&＃xff1a;

1. 单个文件不能支持并发写入。

3 功能说明

3.1 配置样例

{"setting": {},"job": {"setting": {"speed": {"channel": 2}},"content": [{"reader": {},"writer": {"name": "ftpwriter","parameter": {"protocol": "sftp","host": "***","port": 22,"username": "xxx","password": "xxx","timeout": "60000","connectPattern": "PASV","path": "/tmp/data/","fileName": "yixiao","writeMode": "truncate|append|nonConflict","fieldDelimiter": ",","encoding": "UTF-8","nullFormat": "null","dateFormat": "yyyy-MM-dd","fileFormat": "csv","header": []}}}]}
}


3.2 参数说明

• protocol

  • 描述&＃xff1a;ftp服务器协议&＃xff0c;目前支持传输协议有ftp和sftp。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• host

  • 描述&＃xff1a;ftp服务器地址。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• port

  • 描述&＃xff1a;ftp服务器端口。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;若传输协议是sftp协议&＃xff0c;默认值是22&＃xff1b;若传输协议是标准ftp协议&＃xff0c;默认值是21
    

• timeout

  • 描述&＃xff1a;连接ftp服务器连接超时时间&＃xff0c;单位毫秒。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;60000&＃xff08;1分钟&＃xff09;
    

• username

  • 描述&＃xff1a;ftp服务器访问用户名。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• password

  • 描述&＃xff1a;ftp服务器访问密码。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• path

  • 描述&＃xff1a;FTP文件系统的路径信息&＃xff0c;FtpWriter会写入Path目录下属多个文件。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• fileName

  • 描述&＃xff1a;FtpWriter写入的文件名&＃xff0c;该文件名会添加随机的后缀作为每个线程写入实际文件名。
    

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• writeMode

  • 描述&＃xff1a;FtpWriter写入前数据清理处理模式&＃xff1a;
    

    • truncate&＃xff0c;写入前清理目录下一fileName前缀的所有文件。
    • append&＃xff0c;写入前不做任何处理&＃xff0c;DataX FtpWriter直接使用filename写入&＃xff0c;并保证文件名不冲突。
    • nonConflict&＃xff0c;如果目录下有fileName前缀的文件&＃xff0c;直接报错。

  • 必选&＃xff1a;是
    

  • 默认值&＃xff1a;无
    

• fieldDelimiter

  • 描述&＃xff1a;读取的字段分隔符
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;,
    

• compress

  • 描述&＃xff1a;文本压缩类型&＃xff0c;暂时不支持。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;无压缩
    

• encoding

  • 描述&＃xff1a;读取文件的编码配置。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;utf-8
    

• nullFormat

  • 描述&＃xff1a;文本文件中无法使用标准字符串定义null(空指针)&＃xff0c;DataX提供nullFormat定义哪些字符串可以表示为null。
    

    例如如果用户配置: nullFormat&＃61;"\N"&＃xff0c;那么如果源头数据是"\N"&＃xff0c;DataX视作null字段。

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;\N
    

• dateFormat

  • 描述&＃xff1a;日期类型的数据序列化到文件中时的格式&＃xff0c;例如 “dateFormat”: “yyyy-MM-dd”。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;无
    

• fileFormat

  • 描述&＃xff1a;文件写出的格式&＃xff0c;包括csv (http://zh.wikipedia.org/wiki/逗号分隔值) 和text两种&＃xff0c;csv是严格的csv格式&＃xff0c;如果待写数据包括列分隔符&＃xff0c;则会按照csv的转义语法转义&＃xff0c;转义符号为双引号"&＃xff1b;text格式是用列分隔符简单分割待写数据&＃xff0c;对于待写数据包括列分隔符情况下不做转义。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;text
    

• header

  • 描述&＃xff1a;txt写出时的表头&＃xff0c;示例[‘id’, ‘name’, ‘age’]。
    

  • 必选&＃xff1a;否
    

  • 默认值&＃xff1a;无
    

3.3 类型转换

FTP文件本身不提供数据类型&＃xff0c;该类型是DataX FtpWriter定义&＃xff1a;

其中&＃xff1a;

• FTP文件 Long是指FTP文件文本中使用整形的字符串表示形式&＃xff0c;例如"19901219"。
• FTP文件 Double是指FTP文件文本中使用Double的字符串表示形式&＃xff0c;例如"3.1415"。
• FTP文件 Boolean是指FTP文件文本中使用Boolean的字符串表示形式&＃xff0c;例如"true"、“false”。不区分大小写。
• FTP文件 Date是指FTP文件文本中使用Date的字符串表示形式&＃xff0c;例如"2014-12-31"&＃xff0c;Date可以指定format格式。

4 性能报告

5 约束限制

略

6 FAQ

略