如何解决Python3抓取微信账单信息问题

作者：文女2010_532 | 来源：互联网 | 2023-06-23 20:35

这篇文章给大家分享的是有关如何解决Python3抓取微信账单信息问题的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。

一、采用传统模拟http抓取

抓取的主要URL:https://wx.tenpay.com/userroll/userrolllist，其中后面带上三个参数，具体参数见代码,其中exportkey这参数是会过期的，userroll_encryption和userroll_pass_ticket 这两个参数需要从COOKIE中获得，应该是作为获取数据的标识，通过抓包也看不出端倪，应该是微信程序内部生成的，如果使用微信开发着工具登录后直接访问网址有的时候可以访问返回数据，但是只是在较短的时间内有效，而且当返回会话超时后，继续使用网页访问就会被限制，一直提示会话超时，应该是在网页和移动端中exportkey有不同的时间和访问次数的限制。

之后想通过破解seesion的方式，研究了一下，发现这是不可能的，想要破解session需要搞定wx.login，而wx.login是微信提供的，想要破解难度应该不用我说了。

二、解决exportkey 这个key和COOKIE的获取

需要的工具：

1、安卓/苹果手机

2、Fiddler（抓包工具）

搞过爬虫的都知道Fiddler，具体操作就不多说了，设置好代理和开启Fiddler后，抓取url中的exportkey和相应的COOKIE，用于接下来的数据抓取。

三、上代码

代码写的不是很好，若有错误还望各位大大指正。

# coding:utf-8
import datetime
import time
import urllib
import urllib.request
import json
import sys
import io
import ssl
from DBController import DBController   #数据库
#设置系统编码格式
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=&＃39;gb18030&＃39;)
#解决访问Https时不受信任SSL证书问题
ssl._create_default_https_context = ssl._create_unverified_context
class MainCode:
  def __init__(self, url=""):
    self.url = url
    self.dbController = DBController() # 数据库控制
    self.userroll_encryption = "uoxQXsCenowxj0G0ppRKBg8iHRPZwZKaUZB0ka1Y5apUuQnKkZTsA/2RMhBPGyMdiHS8QXk8y2JeLgqTPqZPU9fkrCUp+TIQPkHH/uExAwKeBFLute0ztdHaC6GJUJ2+/R8NGWGe16hSKc6L1+LvAw=="
    self.userroll_pass_ticket = "V7oum4glDbdaAwibC8mcuTizGIKmC9A/Y/V12qASuDALdRMveHcRHv1QXamFk27Z"
    # self.last_bill_id = ""
    # self.last_bill_type = ""
    # self.last_create_time = ""
    # self.last_trans_id = ""
    self.last_item = {}
    self.num= 0
  #获取网页信息
  def get_html(self, url, maxTryNum=5):
    goon = True # 网络中断标记
    obj = {}
    for tryNum in range(maxTryNum):
      try:
        # print(self.token)
        header = {
          "Accept": &＃39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8&＃39;,
          "Accept-Encoding":&＃39;gzip, deflate, br&＃39;,
          "Accept-Language":&＃39;zh-CN,zh;q=0.8&＃39;,
          "Cache-Control":&＃39;max-age=0&＃39;,
          "Connection": "keep-alive",
          "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 10_2 like Mac OS X) AppleWebKit/602.3.12 (KHTML, like Gecko) Mobile/14C92 Safari/601.1 wechatdevtools/1.02.1810240 MicroMessenger/6.5.7 Language/zh_CN webview/15415760070117398 webdebugger port/32594",
          "COOKIE":"userroll_encryption="+self.userroll_encryption+"; userroll_pass_ticket="+self.userroll_pass_ticket,
          "Host":"wx.tenpay.com",
          "Upgrade-Insecure-Requests":"1",
        }
        req = urllib.request.Request(url=url, headers=header)
        # 访问网址
        result = urllib.request.urlopen(req, timeout=5).read()
        break
      except urllib.error.HTTPError as e:
        if tryNum < (maxTryNum - 1):
          print("尝试连接请求" + str(tryNum + 1))
          # host = self.host2
          time.sleep(5)
        else:
          print(&＃39;Internet Connect Error!&＃39;, "Error URL:" + url)
          goon = False
          break
    if goon:
      page = result.decode(&＃39;utf-8&＃39;)
      obj = json.loads(page)
      #print(obj)
      #print(page)
    else:
      print("--------------------------")
    return obj
  #保存到数据库
  def save_info_to_db(self, item):
    select_sql = "SELECT count(*)as num FROM wx_order2 where trans_id = &＃39;%s&＃39;" % (item["trans_id"])
    results = self.dbController.ExecuteSQL_Select(select_sql)
    if int(results[0][0]) == 0:
      sql = "INSERT INTO wx_order2 (bill_id, bill_type, classify_type, fee, fee_type, out_trade_no, pay_bank_name, payer_remark, remark, order_time, title, total_refund_fee, trans_id,fee_attr) VALUES ( &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;, &＃39;%s&＃39;,&＃39;%s&＃39;,&＃39;%s&＃39;)" % (
        str(item[&＃39;bill_id&＃39;]),
        str(item[&＃39;bill_type&＃39;]),
        str(item[&＃39;classify_type&＃39;]),
        str(item[&＃39;fee&＃39;]),
        str(item[&＃39;fee_type&＃39;]) ,
        str(item[&＃39;out_trade_no&＃39;]),
        str(item[&＃39;pay_bank_name&＃39;]),
        str(item[&＃39;payer_remark&＃39;]),
        str(item[&＃39;remark&＃39;]),
        str(item[&＃39;order_time&＃39;]),
        str(item[&＃39;title&＃39;]),
        str(item[&＃39;total_refund_fee&＃39;]),
        str(item[&＃39;trans_id&＃39;]),
        str(item[&＃39;fee_attr&＃39;])
      )
      # print(sql)
      try:
        self.dbController.ExecuteSQL_Insert(sql)
        # self.log.info("插入数据成功")
      except Exception as e:
        print("save_info_to_db:",e)
    return
  #从获取的网页信息中过滤所需要的信息
  def get_data(self,url):
    res_obj = self.get_html(url)
    this_page_num = 0
    #若返回的ret_code== 0 则说明获取数据成功
    if res_obj[&＃39;ret_code&＃39;] == 0:
      record_list = res_obj[&＃39;record&＃39;]
      self.last_bill_id = res_obj[&＃39;last_bill_id&＃39;]
      self.last_bill_type = res_obj[&＃39;last_bill_type&＃39;]
      self.last_create_time = res_obj[&＃39;last_create_time&＃39;]
      self.last_trans_id = res_obj[&＃39;last_trans_id&＃39;]
      num = 1
      this_page_num = len(record_list)
      #  order = record_list[i]
      for order in record_list:
        bill_id = order[&＃39;bill_id&＃39;]
        bill_type = order[&＃39;bill_type&＃39;]
        classify_type = order[&＃39;classify_type&＃39;]
        fee = order[&＃39;fee&＃39;] #账单金额
        fee = fee * 0.01
        fee = round(fee, 2) #对金额保留两位小数
        fee_type = order[&＃39;fee_type&＃39;] #金额类型
        out_trade_no = order[&＃39;out_trade_no&＃39;] #账单编号
        pay_bank_name = order[&＃39;pay_bank_name&＃39;] #支付的银行
        payer_remark =order[&＃39;payer_remark&＃39;] #支付说明
        remark = order[&＃39;remark&＃39;] #账单说明
        order_time = datetime.datetime.fromtimestamp(order[&＃39;timestamp&＃39;]) #将时间戳转为时间
        title = order[&＃39;title&＃39;] #账单标题
        title = title.replace(&＃39;,&＃39;,&＃39;&＃39;).replace(&＃39;.&＃39;,&＃39;&＃39;).replace("&＃39;",&＃39;&＃39;) #去除英文逗号和单引号
        total_refund_fee = "0"
        trans_id = order[&＃39;trans_id&＃39;]
        fee_attr = order[&＃39;fee_attr&＃39;]
        #title = self.remove_emoji(title)
        fee_attr = order[&＃39;fee_attr&＃39;]
        pay_type = ""
        if bill_type == 1:
          pay_type= "支付"
        elif bill_type == 2:
          pay_type = "充值"
        elif bill_type == 4:
          pay_type = "转账"
        elif bill_type == 6:
          pay_type="红包"
        else:
          pay_type = str(bill_type)
        if fee_attr == "positive":
          fee_attr = "收入"
        elif fee_attr == "negtive":
          fee_attr = "支出"
        elif fee_attr == "neutral":
          fee_attr = "提现"
        item = {}
        item[&＃39;bill_id&＃39;] = bill_id
        item[&＃39;bill_type&＃39;] =bill_type
        item[&＃39;classify_type&＃39;] = classify_type
        item[&＃39;fee&＃39;] = fee
        item[&＃39;fee_type&＃39;] = fee_type
        item[&＃39;out_trade_no&＃39;] = out_trade_no
        item[&＃39;pay_bank_name&＃39;] = pay_bank_name
        item[&＃39;payer_remark&＃39;] = payer_remark
        item[&＃39;remark&＃39;] = remark
        item[&＃39;order_time&＃39;] = order_time
        item[&＃39;title&＃39;] = title
        item[&＃39;total_refund_fee&＃39;] = total_refund_fee
        item[&＃39;trans_id&＃39;] = trans_id
        item[&＃39;fee_attr&＃39;] = fee_attr
        # title = self.remove_emoji(title)
        if bill_id != &＃39;&＃39;:
          self.last_item[&＃39;last_bill_id&＃39;] = bill_id
        self.last_item[&＃39;last_bill_type&＃39;] = bill_type
        self.last_item[&＃39;last_create_time&＃39;] = order[&＃39;timestamp&＃39;]
        self.last_item[&＃39;last_trans_id&＃39;] = trans_id
        try:
          print(str(self.num),self.last_item,end=&＃39;\n&＃39;)
          self.num += 1
          time.sleep(0.2)
          self.save_info_to_db(item)
          #print(str(num)+" 时间：" + str(order_time) + " 账单标题：" + title + " 说明："+ str(remark)+ "  " +str(pay_type) +"金额：" + str(fee) + "  支付方式："+ str(pay_bank_name)+"  类型：" + str(pay_type) +" fee_attr："+str(fee_attr)+ &＃39;\n&＃39;,end=&＃39;&＃39;)
        except Exception as e:
          print(e,end=&＃39;\n&＃39;)
        num = num+1
    else:#若获取数据不成功，打印原因
      print(res_obj)
    return this_page_num
#实例化
maincode = MainCode();
#设置COOKIE参数
maincode.userroll_encryption = "6Ow68aKrAz70mEczqeevA2gOXbr9H2a7+2ite6uuyWFdB6j1+SLhlaCNpYA6RjmaOI7IfCi9PXjQsrZPFIs1SMn38Uxr04GJsxMuSO/9wG+eBFLute0ztdHaC6GJUJ2+vmo+JIw351su8RiFxSagwA=="
maincode.userroll_pass_ticket = "i0Co+55KSEjmFjfFZqMG14hasW4qtKFtbj0FiErcSzHY0afkFqHGib3YfsAZWcaG"
#用于非第一页的数据抓取
#maincode.last_item[&＃39;last_bill_id&＃39;] = "2ce3d65b20a10700b2048d68"
#maincode.last_item[&＃39;last_bill_type&＃39;] = "4"
#maincode.last_item[&＃39;last_create_time&＃39;] = "1540809516"
#maincode.last_item[&＃39;last_trans_id&＃39;] = "1000050201201810290100731805325"
#设置每次返回的数量
count = "20"
#exportkey 需要从Fiddler 抓包获取，有一定的时间限制
exportkey ="A%2BsIJaTGZksgZWPLtSKiyos%3D"
#抓取的URL
url ="https://wx.tenpay.com/userroll/userrolllist?classify_type=0&count="+count+"&exportkey="+exportkey+"&sort_type=1"
for page in range(0,10):
  #记录当前页返回的数据数量
  this_page_num = 0
  #第一页
  if page == 0:
    this_page_num = maincode.get_data(url)
  #从第二页开始需要增加上一页最后一个item的部分参数，进行下一页的数据的抓取
  else:
    url = "https://wx.tenpay.com/userroll/userrolllist?classify_type=0&count="+count+"&exportkey="+exportkey+"&sort_type=1"+"&last_bill_id="+str(maincode.last_item[&＃39;last_bill_id&＃39;])+"&last_bill_type="+str(maincode.last_item[&＃39;last_bill_type&＃39;])+"&last_create_time="+str(maincode.last_item[&＃39;last_create_time&＃39;])+"&last_trans_id="+str(maincode.last_item[&＃39;last_trans_id&＃39;] + "&start_time="+str(maincode.last_item[&＃39;last_create_time&＃39;]))
    print(url)
    this_page_num = maincode.get_data(url)
  #如果数量少于20个则跳出循环，抓取结束
  if this_page_num < 20:
    break
  time.sleep(0.5)
print(maincode.last_item)

因为是帮朋友抓取的，能实现就可以了。之后若有需要再继续优化代码吧！

感谢各位的阅读！关于“如何解决Python3抓取微信账单信息问题”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！

推荐阅读

io
Golang如何使用Cookie跟踪位置

关键词：Golang, Cookie, 跟踪位置, net/http/cookiejar, package main, golang.org/x/net/publicsuffix, io/ioutil, log, net/http, net/http/cookiejar ... [详细]

蜡笔小新 2023-12-13 15:47:22
io
Flex中使用filter过滤数据

Flex中使用filter过滤数据 ... [详细]

蜡笔小新 2024-09-29 14:51:58
io
在for循环中测试索引 - Python [重复] - Testing an index in a for loop - Python [duplicate]

Thisquestionalreadyhasananswerhere:这个问题在这里已有答案：Iteratealistaspair(current,n ... [详细]

蜡笔小新 2024-09-29 17:33:30
window
PyQt 如何创建自定义QWidget

这篇文章主要介绍了PyQt如何创建自定义QWidget，帮助大家更好的理解和学习使用pyqt，感 ... [详细]

蜡笔小新 2024-09-28 17:51:22
io
SpringCloud+SpringBoot 项目搭建（一） Eureka

SpringCloud+SpringBoot项目搭建（一）Eureka-SpringCloud+SpringBoot项目搭建（一）Eureka基础SpringBoot+Eur ... [详细]

蜡笔小新 2024-09-27 14:57:55
io
怎么把mysql中的表以表格的形式输出？

代码如下：（把数据以表格形式输出本人小白哪位大侠能把完整的代码写出来呀最好是可以添加、删除和显示表格的）<%@pagecontentTypetexthtmlpageEn ... [详细]

蜡笔小新 2024-09-27 09:04:05
io
在表格中有多个标签想要统一加样式怎么办？

<!DOCTYPEhtml><html><head><metacharsetUTF-8><title& ... [详细]

蜡笔小新 2024-09-26 19:31:53
io
ajax_servlet数据交互实例（一）

java代码packageaction;importjava.io.IOException;importjava.io.PrintWriter;importjavax.servlet.Serv ... [详细]

蜡笔小新 2024-09-25 17:16:02
c语言
为什么python是动态类型语言_Python 3.7.0 面向对象的动态类型语言

代表Python开发社区和Python3.7发布团队，我们很高兴地宣布https:www.python.orgdownloadsreleasepython-370 ... [详细]

蜡笔小新 2024-09-25 11:36:12
window
linux 下打造自己的 Python IDE

闲话少说，直接切入主题，之前也是用一下其他的IDE，但是总是在vi和IDE之间来回切换，比较麻烦，于是乎，找了几个插件亲身体验，功能挺不错；1、安装vi7.0vim的官方网站是：www.vmuni ... [详细]

蜡笔小新 2024-09-24 18:24:55
io
在Tomcat 6.0上部署JSP+Javabean WEB应用

nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]

蜡笔小新 2024-09-24 17:01:16
io
YOLOv7基于自己的数据集从零构建模型完整训练、推理计算超详细教程

本文介绍了关于人工智能、神经网络和深度学习的知识点，并提供了YOLOv7基于自己的数据集从零构建模型完整训练、推理计算的详细教程。文章还提到了郑州最低生活保障的话题。对于从事目标检测任务的人来说，YOLO是一个熟悉的模型。文章还提到了yolov4和yolov6的相关内容，以及选择模型的优化思路。 ... [详细]

蜡笔小新 2023-12-14 18:28:01
io
开发笔记:加密&json&StringIO模块&BytesIO模块

篇首语：本文由编程笔记#小编为大家整理，主要介绍了加密&json&StringIO模块&BytesIO模块相关的知识，希望对你有一定的参考价值。一、加密加密 ... [详细]

蜡笔小新 2023-12-14 15:18:35
io
Python SQLAlchemy库的使用方法详解

本文详细介绍了Python中使用SQLAlchemy库的方法。首先对SQLAlchemy进行了简介，包括其定义、适用的数据库类型等。然后讨论了SQLAlchemy提供的两种主要使用模式，即SQL表达式语言和ORM。针对不同的需求，给出了选择哪种模式的建议。最后，介绍了连接数据库的方法，包括创建SQLAlchemy引擎和执行SQL语句的接口。 ... [详细]

蜡笔小新 2023-12-12 15:23:06
window
单页面应用 VS 多页面应用的区别和适用场景

本文主要介绍了单页面应用（SPA）和多页面应用（MPA）的区别和适用场景。单页面应用只有一个主页面，所有内容都包含在主页面中，页面切换快但需要做相关的调优；多页面应用有多个独立的页面，每个页面都要加载相关资源，页面切换慢但适用于对SEO要求较高的应用。文章还提到了两者在资源加载、过渡动画、路由模式和数据传递方面的差异。 ... [详细]

蜡笔小新 2023-12-10 19:31:50

文女2010_532

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章