多线程将excel数据写入mysql

1.总计有27个excel表的数据，



将sheet2的前两列的数据写入mysql



2.查看有多少条数据，总计22245条

# -*- coding: utf-8 -*-
# @Time : 2020/3/10 11:09
# @Author : 结尾！！
# @FileName: 统计原始数据总计有多少.py
# @Software: PyCharm
import os
import pandas as pd
excel_list=os.listdir('./日本站分类树/')
print(len(excel_list))
count_row=0
for file_one in excel_list:
print(file_one)
# 打开第二个sheet表
df1 = pd.read_excel(f'./日本站分类树/{file_one}', encOnding='utf-8', sheet_name=1)
print(df1.shape)
count_row+=df1.shape[0]
print("总计有%d条数据"%count_row)


3.新建数据库以及表，这里我使用的是，Navicat建的表。数据库就是create database classify ；



表的结构如下。



4.写入数据库，我开了两个线程。代码如下;

# -*- coding: utf-8 -*-
# @Time : 2020/3/10 10:48
# @Author : 结尾！！
# @FileName: 02-写入日本站分类树.py
# @Software: PyCharm
import pandas as pd
import os
import pymysql
def query_data(sql_str):
# 连接数据库
cOnn= pymysql.connect(
host='127.0.0.1',
user='root',
port=3306,
password='1234',
db='classify', #类目的数据库
charset='utf8'
)
# 创建游标
cursor = conn.cursor()
# 书写sql语句
# #执行sql语句
try:
cursor.execute(sql_str)
# 提交连接
conn.commit()
except:
conn.rollback()
# 关闭游标，关闭连接
cursor.close()
conn.close()
def task1(excel_list):
for file_one in excel_list:
print(file_one)
# 打开第二个sheet表
df1 = pd.read_excel(f'./日本站分类树/{file_one}', encOnding='utf-8', sheet_name=1)
print(df1.head())
for index,each in df1.iterrows(): #读取dataframe的每一行的值
try:sql_str= "INSERT INTO Japan (node_id, node_path) VALUES ( '%s' ,' %s');"%(str(each.iloc[0]),each.iloc[1])print(sql_str)query_data(sql_str) #执行sql语句
except Exception as e:print(e)
def task2(excel_list):
for file_one in excel_list:
print(file_one)
# 打开第二个sheet表
df1 = pd.read_excel(f'./日本站分类树/{file_one}', encOnding='utf-8', sheet_name=1)
print(df1.head())
for index,each in df1.iterrows(): #读取dataframe的每一行的值
try:sql_str= "INSERT INTO Japan (node_id, node_path) VALUES ( '%s' ,' %s');"%(str(each.iloc[0]),each.iloc[1])print(sql_str)query_data(sql_str) #执行sql语句
except Exception as e:print(e)
#使用多线程进行
import threading
excel_list=os.listdir('./日本站分类树/')
print(len(excel_list))
#线程执行的函数名不能一样。
t1 = threading.Thread(target=task1,args=(excel_list[:12],) )# 线程一，Thread函数有两个参数，第一个是要调用的线程函数，第二个是要给所调用的线程函数所传的参数，以元组的形式传入，如果只有一个参数，则必须在后面加上一个',’ ，要不会报错。
t2 = threading.Thread(target=task2, args=(excel_list[12:],))# 线程二
t1.start()# 开始线程一
#　　t1.join()
t2.start() # 开始线程二


运行如下：



最后插入了21728条数据。

4.数据少了517条。

查找什么原因，看一下少的是哪些数据。


import os
import pandas as pd
excel_list=os.listdir('./日本站分类树/')
print(len(excel_list))
import pymysql
def query_data(sql_str):
# 连接数据库
cOnn= pymysql.connect(
host='127.0.0.1',
user='root',
port=3306,
password='1234',
db='classify', #类目的数据库
charset='utf8'
)
# 创建游标
cursor = conn.cursor()
# 书写sql语句
# #执行sql语句
try:
cursor.execute(sql_str)
# 提交连接
conn.commit()
data = cursor.fetchall()
except:
conn.rollback()
# 关闭游标，关闭连接
finally:
cursor.close()
conn.close()
return data
for file_one in excel_list:
print(file_one)
# 打开第二个sheet表
df1 = pd.read_excel(f'./日本站分类树/{file_one}', encOnding='utf-8', sheet_name=1)
print(df1.shape)
for index, each in df1.iterrows(): # 读取dataframe的每一行的值
try:
sql_str = "SELECT * FROM Japan WHERE Node_id=%s ;" %(str(each.iloc[0]))
# print(sql_str)
res=query_data(sql_str) # 执行sql语句
# print(res)
if len(res)==0:print(sql_str)
except Exception as e:
print('错误',e)


对数据库数据进行查找，发现是下面的excel中的数据没有。

jp_books-gurupa-us-subtier_browse_tree_guide.TTH.xls ，少了数据



进检测，就是少了这一个表格中的数据。



6.下面进行重新写入。

并将异常跑出查看，，由于字符的引号导致的。





将代码重新修改了，之后正常写入了。

import pandas as pd
import os
import pymysql
def query_data(sql_str):
# 连接数据库
cOnn= pymysql.connect(
host='127.0.0.1',
user='root',
port=3306,
password='1234',
db='classify', #类目的数据库
charset='utf8'
)
# 创建游标
cursor = conn.cursor()
# 书写sql语句
# #执行sql语句
try:
cursor.execute(sql_str)
# 提交连接
conn.commit()
data = cursor.fetchall()
except:
conn.rollback()
# 关闭游标，关闭连接
finally:
cursor.close()
conn.close()
return data
def increase_data(file_name):
df1 = pd.read_excel(f'./日本站分类树/{file_name}', encOnding='utf-8', sheet_name=1)
print(df1.shape)
for index, each in df1.iterrows(): # 读取dataframe的每一行的值
try:
sql_str_1 = "SELECT * FROM Japan WHERE Node_id=%s ;" % (str(each.iloc[0]))
res = query_data(sql_str_1) # 执行sql语句
# print(res)
if len(res) == 0:sql_str = 'INSERT INTO Japan (Node_id, Node_path) VALUES ( "%s" ,"%s");' % (str(each.iloc[0]), each.iloc[1])print(sql_str)query_data(sql_str)
except Exception as e:
print('错误', e)
file_name='jp_books-gurupa-us-subtier_browse_tree_guide._TTH_.xls'
increase_data(file_name)