appiumpython抓包_Python学习教程：另辟蹊径，appium抓取app应用数据了解一下

原标题&＃xff1a;Python学习教程&＃xff1a;另辟蹊径&＃xff0c;appium抓取app应用数据了解一下

作为爬虫工程师&＃xff0c;没有价格不知道selenium的。

什么是selenium&＃xff1f;

Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中&＃xff0c;就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11)&＃xff0c;Mozilla Firefox&＃xff0c;Safari&＃xff0c;Google Chrome&＃xff0c;Opera等。我们爬虫工程师使用selenium来抓取动态web页面。

今天的Python学习教程我们来介绍另一款自动化测试工具,Appium。

Appium官方文档

https://github.com/DoctorQ/appium/blob/master/docs/en/about-appium/intro.md

什么是Appium?

Appium是一个移动端的自动化框架&＃xff0c;可用于测试原生应用&＃xff0c;移动网页应用和混合型应用&＃xff0c;且是跨平台的。可用于IOS和Android以及firefox的操作系统。

原生的应用是指用android或ios的sdk编写的应用

移动网页应用是指网页应用&＃xff0c;类似于ios中safari应用或者Chrome应用或者类浏览器的应用。

混合应用是指一种包裹webview的应用,原生应用于网页内容交互性的应用。

重要的是Appium是跨平台的&＃xff0c;何为跨平台&＃xff0c;意思就是可以针对不同的平台用一套api来编写测试用例。

同样的Appium原本是一个用于app应用自动化测试工具&＃xff0c;我们爬虫工程师也可以利用它&＃xff0c;在抓取app应用数据。

Appium相当于一个服务器&＃xff0c;我们可以向Appium发送一些操作指令&＃xff0c;Appium就会根据不同的指令对移动设备进行驱动&＃xff0c;完成不同的动作。

一、本次Python学习教程的目的&＃xff1a;

我们以Android平台的手机京东为例来演示Appium启动和操作App的方法&＃xff0c;最终实现抓取手机京东商品数据。

二、准备工作

确保PC已经安装好Appium,本实例在windows环境下安装&＃xff0c;安装的appium版本为Appium-Desktop

安装好Android开发环境&＃xff0c;uiautomatorviewer工具(必须)、python开发环境和Python版本的Appium API(Appium-Python-Client)

android模拟器(夜神模拟器)安装好手机京东app

确保PC上已安装好mitmproxy抓包工具(必须)、fiddler抓包工具(非必须)

数据存储用数据库为Mongodb

三、获取Appium-Desktop使用的关键参数(Desired Capabilities参数)

Desired Capabilities参数&＃xff1a;它们分别是platformName、deviceName、appPackage、appActivity。

platformName&＃xff1a;它是平台名称&＃xff0c;需要区分Android或iOS&＃xff0c;我们使用的是android平台&＃xff0c;因此为Android。

deviceName&＃xff1a;它是设备名称&＃xff0c;此处是手机的具体类型&＃xff0c;deviceName可以通过adb devices命令获取。

此处注意&＃xff1a;模拟器显示为127.0.0.1&＃xff0c;真实手机与模拟器显示不同&＃xff0c;真实手机为一串字母数据结合

appPackage&＃xff1a;它是App程序包名,该参数可以在adb shell中使用logcat获取。

命令后回车

随后&＃xff0c;打开android模拟器中的手机京东app

在adb shell中&＃xff0c;我们可以获取到appPackage和appActivity

appActivity&＃xff1a;它是入口Activity名&＃xff0c;这里通常需要以 . 开头&＃xff0c;该参数可以在adb shell中使用logcat获取。

其中&＃xff1a;

appPackage为&＃xff1a;com.jingdong.app.mall

appActivity为&＃xff1a;com.jingdong.app.mall.MainFrameActivity

获取到Appium-Desktop使用的关键参数(Desired Capabilities参数)后&＃xff0c;我们就可以启动Appium-Desktop了

四、启动Appium-Desktop服务器

确认appium-desktop启动成功后&＃xff0c;我们就可以编写代码了

五、编写app启动代码

from appium import webdriver

desired_caps &＃61; {}

desired_caps[&＃39;platformName&＃39;] &＃61; &＃39;Android&＃39;

desired_caps[&＃39;platformVersion&＃39;] &＃61; &＃39;4.4.2&＃39;

desired_caps[&＃39;deviceName&＃39;] &＃61; &＃39;192.168.54.56:62001&＃39;

desired_caps[&＃39;appPackage&＃39;] &＃61; &＃39;com.jingdong.app.mall&＃39;

desired_caps[&＃39;appActivity&＃39;] &＃61; &＃39;com.jingdong.app.mall.MainFrameActivity&＃39;

desired_caps[&＃39;unicodeKeyboard&＃39;] &＃61; True

desired_caps[&＃39;resetKeyboard&＃39;] &＃61; True

#启动appium-desktop服务器&＃xff0c;服务器IP根据实际填写

driver &＃61; webdriver.Remote(&＃39;http://192.168.54.56:4723/wd/hub&＃39;, desired_caps)

六、运行代码启动app

确认手机京东app启动成功&＃xff0c;并且无报错后&＃xff0c;我们就可以编写自动化代码来控制app行为了

如何来定位app内部控件节点呢

答案是使用uiautomatorviewer

通过获取控件的xpath&＃xff0c;我们就可以定位到app控件了

七、编写自动化代码

#等待app启动

time.sleep(5)

#关闭广告,如果有

close_ad &＃61; driver.find_element_by_xpath("//android.widget.TextView[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/sq&＃39;]")

if close_ad:

close_ad.click()

#点击分类

select_fenlei &＃61; driver.find_element_by_xpath("//android.widget.RadioGroup[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/tf&＃39;]/android.widget.RadioButton[2]").click()

#点击搜索

select_search &＃61; driver.find_element_by_xpath("//android.widget.ImageView[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/xo&＃39;]").click()

#输入关键字

key &＃61; &＃39;笔记本电脑&＃39;

#判断是否输入文字

while True:

if driver.find_element_by_xpath("//android.widget.EditText[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/xp&＃39;]").text !&＃61; key:

select_keyword &＃61; driver.find_element_by_xpath("//android.widget.EditText[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/xp&＃39;]").send_keys(key)

else:

break

#点击搜索

driver.find_element_by_xpath("//android.widget.Button[&＃64;resource-id&＃61;&＃39;com.jingdong.app.mall:id/el1&＃39;]").click()

time.sleep(1)

start_x &＃61; 500

start_y &＃61; 900

distance &＃61; 800

#模拟手机端滑动

while True:

driver.swipe(start_x,start_y,start_x,start_y-distance)

time.sleep(0.2)

if &＃39;抱歉&＃xff0c;没有更多商品啦&＃39; in driver.page_source:

break

自动化代码编写完成之后&＃xff0c;运行一下&＃xff0c;看是否有问题&＃xff0c;如无问题&＃xff0c;就可以进行下一步了

八、抓取应用数据包

这里&＃xff0c;我们通过fiddler抓包工具获取到手机京东的数据包

查看response&＃xff0c;确实是我们想要的数据&＃xff0c;接下来就可以编写解析响应数据代码了

九、编写解析响应数据代码

import json

from save_data import mongo_info

def response(flow):

if &＃39;client.action?functionId&＃61;search&clientVersion&＃61;5.3.0&＃39; in flow.request.url:

response_dict &＃61; json.loads(flow.response.text)

if &＃39;wareInfo&＃39; in response_dict:

for i in response_dict[&＃39;wareInfo&＃39;]:

mongo_info.insert_data(i)

十、编写数据存储逻辑代码

import pymongo

from pymongo.collection import Collection

class Connect_mongo(object):

def __init__(self):

self.client &＃61; pymongo.MongoClient(host&＃61;&＃39;192.168.54.41&＃39;,port&＃61;27017,connect&＃61;False)

self.db_data &＃61; self.client[&＃39;jingdong&＃39;]

def insert_data(self,item):

collections &＃61; Collection(self.db_data,&＃39;jingdong_data&＃39;)

collections.insert(item)

mongo_info &＃61; Connect_mongo()

十一、启动mitmdump&＃xff0c;解析数据&＃xff01;

注意&＃xff1a;手机或模拟器一定要设置mitmdump服务器IP的代理

启动mitmdump&＃xff1a;

mitmdump -p 8889 -s decode_jingdong.py

十二、接下来&＃xff0c;启动自动化控制脚本就可以抓取到数据了

python jingdong.py

十三、查看数据

更多的Python学下教程也会继续为大家更新&＃xff01;返回搜狐&＃xff0c;查看更多

责任编辑&＃xff1a;