有没有python与机械结合的工作用Python自动化办公，我与大神之间的差距一下就...

我想介绍一下我是如何从每天工作8小时&＃xff0c;进化成每天工作10分钟的&＃xff0c;以下不涉及太多的技术细节。

0.先自我介绍一下&＃xff1a;

我不是程序员&＃xff0c;大学学的也不是IT专业。

我在一个主要业务是成品粮交易的企业工作&＃xff0c;我的岗位的主要工作就是制作各类数据统计报表、台账、数据图表等等&＃xff0c;反正就是各类日报&＃xff0c;每天都要做一遍&＃xff0c;此外还有什么周报月报什么的……这个岗位之前的同事&＃xff0c;每天至少要花3.5到4个小时去折腾Excel&＃xff0c;使用数据透视图、vlookup、其他各类函数去做出一份内含3000多个数据的日报。如果领导临时安排什么工作的话&＃xff0c;那就要加班从浩如烟海的数据里找领导要的东西了。

1.噩梦开始时&＃xff1a;

我刚接手工作时&＃xff0c;我们有一个巨大的&＃xff0c;达70多M的Excel文件&＃xff0c;每次公司配发的破电脑打开就需要小二十分钟&＃xff0c;里面存着我们近十年的采购的每一车的详细信息……然后里面的数据格式还都是混乱的&＃xff0c;

打个比方&＃xff0c;比如我们有个供货商全名叫&＃xff1a;ABCD有限责任公司&＃xff0c;

那么这个Excel中会存有

AB公司、

AB有限公司、

CD有限责任公司、

CD责任有限公司、

ACBD有限公司

ABD公司

等等等等名字

在我第一天看到这个Excel的时候

后来交接的同事告诉我&＃xff0c;她用的Excel的 vlookup 函数&＃xff0c;当匹配不上的时候&＃xff0c;就手工搜索……

然后……我……

就这样&＃xff0c;经历了噩梦般的几个月……

等到了2017年年初&＃xff0c;看到一个词:

图灵完备。

一个图灵完备的语言理论上能解决任何算法。

|

|

V

显然&＃xff0c;Python是一种图灵完备的语言。

|

|

V

那Python应该在理论上能替我处理所有事情&＃xff08;生孩子应该不行~~&＃xff09;

|

|

V

我为什么不试着用Python去替我完成工作呢&＃xff1f;

2.走了一些弯路&＃xff0c;但胜过原地踏步

我的第一步是从数据清洗开始的。&＃xff08;当然那时并不知道这个叫数据清洗&＃xff09;

先把刚才说的那个70M的Excel导成csv&＃xff0c;去掉了其中不必要的格式、样式、对象等。

然后我想统一一下各个数据的标准名称&＃xff0c;刚才说了&＃xff0c;由于经手的人太多&＃xff0c;同一个数据&＃xff0c;怎么表述的都有&＃xff0c;几十万的数据量&＃xff0c;人工交叉比对的话显然是不现实的。&＃xff08;后来才知道了笛卡尔积这个词&＃xff09;

我第一步先使用了Excel自身的去重功能&＃xff0c;将所有的供货商名称进行了一个去重&＃xff0c;剩下了大概5000个左右的名称。

然后&＃xff0c;作为一个懒人&＃xff0c;我肯定不会用人工去比对了。

Python有一个库&＃xff0c;叫做fuzzywuzzy&＃xff0c;用它来进行模糊匹配。

from fuzzywuzzy import fuzz

print( fuzz.ratio("内容1", "内容2")&＃xff09;

会输出一个0——100的数字&＃xff0c;数字越大代表这两个内容越相似。

所以我就写了一个循环&＃xff0c;把这5000多个项目里面&＃xff0c;匹配度超过70%以上的数据组都筛了出来&＃xff0c;再去Excel里面手工替换&＃xff08;没办法&＃xff0c;那时候还不会操作Excel&＃xff09;

然后整理了一下各个行列的位置&＃xff0c;这样我就有了一个相对准确的数据源。

后来思考了一下&＃xff0c;把数据存在Excel里面不是个长久之计啊&＃xff0c;毕竟几十万数据呢&＃xff0c;就想把数据导入到数据库里。大学时候考过计算机二级的Access&＃xff08;当然&＃xff0c;虽然我考过&＃xff0c;但是没考过……&＃xff09;&＃xff0c;就想导入Access&＃xff0c;可是那个Python库没弄明白&＃xff0c;硬是读不出来&＃xff0c;就卡死了。

后来想到&＃xff0c;之前自己从网上下载的某某私服的一键端里&＃xff0c;有个MySQL数据库的一键启动方式&＃xff0c;试了试居然能用&＃xff0c;就把那个MySQL程序整个拷出来、清干净&＃xff0c;作为了我的数据库。&＃xff08;当时想学怎么自己配置MySQL来着&＃xff0c;没研究明白……这个数据库也就是我们现在提供的MySQL数据库的前身&＃xff0c;当然了&＃xff0c;我们现在提供的是重新制作的无毒的船新版本&＃xff09;

然后就是使用Navicat导入Excel&＃xff0c;使用pymysql库进行读取&＃xff0c;这样&＃xff0c;咱也是趁数据库的人了~

接下来&＃xff0c;就是要进行数据分析了&＃xff0c;由于当时没学会pandas&＃xff0c;数据透视图的效果死活做不出来&＃xff0c;不得已&＃xff0c;只好新建N个列表&＃xff0c;用一堆if...else... &＃xff0c;把同类数据存入同一个列表中&＃xff0c;求和&＃xff0c;求平均值之类的&＃xff08;笨办法也是办法&＃xff0c;能抓住耗子就是好猫&＃xff0c;先把程序跑起来能用就好&＃xff09;