【Python技巧】十分钟就能够实现Excel数据整合/拆分，为啥要花一天？|附源码

相关文件

想学Python的小伙伴可以关注小编的公众号【Python日志】
有很多的资源可以白嫖的哈&＃xff0c;不定时会更新一下Python的小知识的哈&＃xff01;&＃xff01;
需要源码的小伙伴可以在公众号回复Excel表格
Python源码、问题解答学习交流群&＃xff1a;773162165

需求分析

现在有一大堆的Excel数据文件&＃xff0c;需要根据每个Excel数据文件里面的Sheet批量将数据文件合并成为一个汇总后的Excel数据文件。或者是将一个汇总后的Excel数据文件按照Sheet拆分成很多个Excel数据文件。根据上面的需求&＃xff0c;我们先来进行UI界面的布局设计。

导入UI界面设计相关的PyQt5模块

from PyQt5.QtWidgets import *from PyQt5.QtCore import *from PyQt5.QtGui import *


应用操作相关的模块

import sysimport os


excel 数据处理模块

import openpyxl as pxlimport pandas as pd


看一下 UI 界面的功能和布局&＃xff0c;感觉还可以…

代码实现

下面是布局相关的代码块实例

def init_ui(self):self.setWindowTitle(&＃39;Excel数据汇总/拆分器&＃39;)self.setWindowIcon(QIcon(&＃39;数据.ico&＃39;))self.brower &＃61; QTextBrowser()self.brower.setReadOnly(True)self.brower.setFont(QFont(&＃39;宋体&＃39;, 8))self.brower.setPlaceholderText(&＃39;批量数据处理进度显示区域...&＃39;)self.brower.ensureCursorVisible()self.excels &＃61; QLineEdit()self.excels.setReadOnly(True)self.excels_btn &＃61; QPushButton()self.excels_btn.setText(&＃39;加载批文件&＃39;)self.excels_btn.clicked.connect(self.excels_btn_click)self.oprate_type &＃61; QLabel()self.oprate_type.setText(&＃39;操作类型&＃39;)self.oprate_combox &＃61; QComboBox()self.oprate_combox.addItems([&＃39;数据合并&＃39;, &＃39;数据拆分&＃39;])self.data_type &＃61; QLabel()self.data_type.setText(&＃39;合并/拆分&＃39;)self.data_combox &＃61; QComboBox()self.data_combox.addItems([&＃39;按照Sheet拆分&＃39;])self.new_file_path &＃61; QLineEdit()self.new_file_path.setReadOnly(True)self.new_file_path_btn &＃61; QPushButton()self.new_file_path_btn.setText(&＃39;新文件路径&＃39;)self.new_file_path_btn.clicked.connect(self.new_file_path_btn_click)self.thread_ &＃61; DataThread(self)self.thread_.trigger.connect(self.update_log)self.thread_.finished.connect(self.finished)self.start_btn &＃61; QPushButton()self.start_btn.setText(&＃39;开始数据汇总/拆分&＃39;)self.start_btn.clicked.connect(self.start_btn_click)form &＃61; QFormLayout()form.addRow(self.excels, self.excels_btn)form.addRow(self.oprate_type, self.oprate_combox)form.addRow(self.data_type, self.data_combox)form.addRow(self.new_file_path, self.new_file_path_btn)vbox &＃61; QVBoxLayout()vbox.addLayout(form)vbox.addWidget(self.start_btn)hbox &＃61; QHBoxLayout()hbox.addWidget(self.brower)hbox.addLayout(vbox)self.setLayout(hbox)


槽函数 update_log&＃xff0c;将运行过程通过文本浏览器的方式实时展示&＃xff0c;方便查看程序的运行。

def update_log(self, text):cursor &＃61; self.brower.textCursor()cursor.movePosition(QTextCursor.End)self.brower.append(text)self.brower.setTextCursor(cursor)self.brower.ensureCursorVisible()


槽函数 excels_btn_click&＃xff0c;绑定到文件加载按钮&＃xff0c;处理源文件的加载过程。

def excels_btn_click(self):paths &＃61; QFileDialog.getOpenFileNames(self, &＃39;选择文件&＃39;, os.getcwd(), &＃39;Excel File(*.xlsx)&＃39;)files &＃61; paths[0]path_strs &＃61; &＃39;&＃39;for file in files:path_strs &＃61; path_strs &＃43; file &＃43; &＃39;;&＃39;self.excels.setText(path_strs)self.update_log(&＃39;已经完成批文件路径加载&＃xff01;&＃39;)


槽函数 new_file_path_btn_click&＃xff0c;选择新文件要保存的路径。

def new_file_path_btn_click(self):directory &＃61; QFileDialog.getExistingDirectory(self, &＃39;选择文件夹&＃39;, os.getcwd())self.new_file_path.setText(directory)


槽函数 start_btn_click&＃xff0c;绑定到开始按钮上&＃xff0c;使用开始按钮启动子线程工作。

def start_btn_click(self):self.start_btn.setEnabled(False)self.thread_.start()


函数 finished&＃xff0c;这个函数是用来接收子线程传过来的运行完成的信号&＃xff0c;通过判断使子线程执行完成时让开始按钮处于可以点击的状态。

def finished(self, finished):if finished is True:self.start_btn.setEnabled(True)


下面是最重要的逻辑处理部分&＃xff0c;将所有的逻辑处理相关的部分全部放到子线程中去执行。

class DataThread(QThread):trigger &＃61; pyqtSignal(str)finished &＃61; pyqtSignal(bool)def __init__(self, parent&＃61;None):super(DataThread, self).__init__(parent)self.parent &＃61; parentself.working &＃61; Truedef __del__(self):self.working &＃61; Falseself.wait()def run(self):self.trigger.emit(&＃39;启动批量处理子线程...&＃39;)oprate_type &＃61; self.parent.oprate_combox.currentText().strip()data_type &＃61; self.parent.data_combox.currentText().strip()files &＃61; self.parent.excels.text().strip()new_file_path &＃61; self.parent.new_file_path.text()if data_type &＃61;&＃61; &＃39;按照Sheet拆分&＃39; and oprate_type &＃61;&＃61; &＃39;数据合并&＃39;:self.merge_data(files&＃61;files, new_file_path&＃61;new_file_path)elif data_type &＃61;&＃61; &＃39;按照Sheet拆分&＃39; and oprate_type &＃61;&＃61; &＃39;数据拆分&＃39;:self.split_data(files&＃61;files, new_file_path&＃61;new_file_path)else:passself.trigger.emit(&＃39;数据处理完成...&＃39;)self.finished.emit(True)def merge_data(self, files, new_file_path):num &＃61; 1new_file &＃61; new_file_path &＃43; &＃39;/数据汇总.xlsx&＃39;writer &＃61; pd.ExcelWriter(new_file)for file in files.split(&＃39;;&＃39;):if file.strip() !&＃61; &＃39;&＃39;:web_sheet &＃61; pxl.load_workbook(file)sheets &＃61; web_sheet.sheetnamesfor sheet in sheets:sheet_name &＃61; sheet.title()self.trigger.emit(&＃39;准备处理工作表名称&＃xff1a;&＃39; &＃43; str(sheet.title()))data_frame &＃61; pd.read_excel(file, sheet_name&＃61;sheet_name)sheet_name &＃61; sheet_name &＃43; &＃39;TO数据合并&＃39; &＃43; str(num)data_frame.to_excel(writer, sheet_name, index&＃61;False)num &＃61; num &＃43; 1else:self.trigger.emit(&＃39;当前路径为空&＃xff0c;继续...&＃39;)writer.save()writer.close()def split_data(self, files, new_file_path):num &＃61; 1for file in files.split(&＃39;;&＃39;):if file.strip() !&＃61; &＃39;&＃39;:web_sheet &＃61; pxl.load_workbook(file)sheets &＃61; web_sheet.sheetnamesfor sheet in sheets:sheet_name &＃61; sheet.title()self.trigger.emit(&＃39;准备处理工作表名称&＃xff1a;&＃39; &＃43; str(sheet.title()))data_frame &＃61; pd.read_excel(file, sheet_name&＃61;sheet_name)writer &＃61; pd.ExcelWriter(new_file_path &＃43; &＃39;/数据拆分&＃39; &＃43; str(num) &＃43; &＃39;.xlsx&＃39;)data_frame.to_excel(writer, &＃39;数据拆分&＃39;, index&＃61;False)writer.save()writer.close()num &＃61; num &＃43; 1else:self.trigger.emit(&＃39;当前路径为空&＃xff0c;继续...&＃39;)


上面就是主要的代码块实现过程&＃xff0c;有需要的可以参考一下。欢迎大佬在评论区进行留言。

效果展示

搞了一个程序运行效果图&＃xff0c;看一下执行效果。

公众号&＃xff1a;Python日志
公众号内回复 Excel表格&＃xff0c;获取完整源代码&＃xff0c;直接运行即可。