作者：xjw4478688 | 来源：互联网 | 2022-12-24 07:38
用sqoop全量地往HDFS中导入一张大表，大概30G左右。运行的过程总是不成功，抓了日志分析，发现是sqoop运行时候抛出了MySQL的异常：java.sql.SQLException:I
用sqoop全量地往HDFS中导入一张大表，大概30G左右。运行的过程总是不成功，抓了日志分析，发现是sqoop运行时候抛出了MySQL的异常：
java.sql.SQLException: Incorrect key file for table '/tmp/#sql_f27_0.MYI'; try to repair it
再分析，发现是sqoop解析SQL语句后，会组装出一条边界确认的SQL脚本，类似这样的
SELECT MIN(id), MAX(id) FROM (select id,xxoo from [big_table] a where (1 = 1) ) AS t1
这个脚本会把大表全部读取到MySQL服务器的内存中，再找出min(id)与max(id)，所以服务器才会抛出上面的Incorrect key file for table '/tmp/#sql_f27_0.MYI' 的异常。
只要不让sqoop用这个SQL脚本，改用select min(id),max(id) from [big_table]就好了。
翻阅了sqoop的api文档，发现我可以通过设置--boundary-query这个参数来实现我的需求。
把--boundary-query select min(id),max(id) from [big_table] 加入到我的sqoop脚本中后，运行成功！
京公网安备 11010802041100号