datafakerdocker化及使用记录

Docker化

虽然官网https://github.com/gangly/datafaker 说支持python 2及3&＃xff0c;但我在使用3.4遇到依赖安装失败&＃xff0c;最后使用python 2.7成功支持了mysql及hive&＃xff0c;Dockerfile文件如下

FROM python:2.7
WORKDIR /faker_home
RUN python -m pip install --upgrade pip
RUN apt-get update && apt-get install -y libsasl2-dev libsasl2-modules
RUN pip install datafaker pyhive mysqlclient kafka-python thrift sasl thrift_sasl


运行示意

docker run -it --rm --net&＃61;host -v &＃96;pwd&＃96;/faker_home:/faker_home faker:python2.7 bashdatafaker hive hive://root&＃64;XXX.XX.XX.XX:10000/default test_text 100 --meta meta.txt --batch 100


使用记录

• 中文文档更准确一些
• 数据类型&＃xff0c;如IPV4等都是全小写
• 可以使用op 进行关联&＃xff0c;如增加前缀
• 日期格式内可以增加固定timezone&＃xff0c;毫秒等
• 日期格式要记得加’&＃xff08;单引号&＃xff09;&＃xff0c;否则输出也没有单引号
• hive timestamp直接导入必须到timezone&＃xff0c;原因不明&＃xff08;输出的sql 可以在hive执行成功&＃xff09;
• 注意batch&＃xff0c;batch过大可能导致buffer不足、效率下降&＃xff0c;因此在hive模式下可能需要自行merge以降低小文件数量

hive timestamp测试记录如下&＃xff0c;表定义&＃xff1a;

hive> show create table test_text;
OK
CREATE TABLE &＃96;test_text&＃96;(&＃96;advertiser_id&＃96; string, &＃96;ad_plan_id&＃96; string, &＃96;gen_time&＃96; timestamp, &＃96;cnt&＃96; bigint)
ROW FORMAT SERDE &＃39;org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe&＃39;
WITH SERDEPROPERTIES ( &＃39;field.delim&＃39;&＃61;&＃39;,&＃39;, &＃39;line.delim&＃39;&＃61;&＃39;\n&＃39;, &＃39;serialization.format&＃39;&＃61;&＃39;,&＃39;)
STORED AS INPUTFORMAT &＃39;org.apache.hadoop.mapred.TextInputFormat&＃39;
OUTPUTFORMAT &＃39;org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat&＃39;
LOCATION&＃39;hdfs://namenode:9000/user/hive/warehouse/test_text&＃39;
TBLPROPERTIES (&＃39;bucketing_version&＃39;&＃61;&＃39;2&＃39;, &＃39;transient_lastDdlTime&＃39;&＃61;&＃39;1642147458&＃39;)
Time taken: 0.318 seconds, Fetched: 20 row(s)


可以通过的meta

advertiser_id||string||advertiser_id[:ipv4]
ad_plan_id||string||ad_plan_id[:color_name]
gen_time||timestamp||gen_time[:datetime(1,&＃39;%Y-%m-%d %R:%S.073 UTC&＃39;)]
cnt||int||cnt[:int(1, 10000)]


失败的meta格式

advertiser_id||string||advertiser_id[:ipv4]
ad_plan_id||string||ad_plan_id[:color_name]
gen_time||timestamp||gen_time[:datetime(1,&＃39;%Y-%m-%d %R:%S.073 &＃39;)]
cnt||int||cnt[:int(1, 10000)]