python图片裁剪对比_Python自动抢视频红包，仅供学习！

本文来源于公众号: AirPython

1

目 标 场 景

如今短视频横行的时代&＃xff0c;以某短视频为首的&＃xff0c;背后依靠着强大的资金后盾&＃xff0c;疯狂地对平台用户进行红包轰炸。

与传统的红包不一样&＃xff0c;视频红包包含位置的不确定性、大小不确定性、元素 ID 的不确定性等......这些不确定性都会导致抢红包的操作变得异常的复杂。

本篇文章的目的是利用 Python 自动化实现「抢视频红包」这一骚操作。之前有分享过群里抢红包的&＃xff0c;链接&＃xff1a;Python实现自动抢红包功能

ps&＃xff1a;本文仅用作学习交流&＃xff0c;请勿用于其他用途。

2

准 备 工 作

在开始编写脚本之前&＃xff0c;需要做如下准备

1、一部 Android 手机&＃xff0c;并在 PC 端配置好 ADB 运行环境

2、Python 虚拟环境下安装自动化依赖库、图片对比依赖库

3、PS 或者其他图片编辑软件

# 自动化依赖
pip3 install pocoui

# 图片对比依赖
pip3 install aircv

3

编 写 代 码

第一步&＃xff0c;我们需要借助 Airtest 驱动手机打开目标短视频 App。

# 目标应用的包名和LaunchActivity
self.package_name &＃61; &＃39;com.**.weishi&＃39;
self.home_activity &＃61; &＃39;com.**.oscar.module.splash.SplashActivity&＃39;

# 回到主界面
home()
# stop_app(self.package_name)

# 打开应用
start_my_app(self.package_name, self.home_activity)


第一次打开应用的时候&＃xff0c;会弹出一个警告对话框。

这里利用「异步线程」去处理。

循环检测对话框元素是否存在&＃xff0c;一旦出现&＃xff0c;就模拟点击操作&＃xff0c;关闭这个对话框。

def __handle_dialog(self):
    """
    处理警告对话框
    :return:
    """
    count &＃61; 0
    while count          tip_notice &＃61; self.poco(&＃39;com.tencent.weishi:id/title_text&＃39;, text&＃61;u&＃39;青少年保护功能提示&＃39;)
         try:
            if tip_notice.exists():
                # 关闭
                print(&＃39;出现警告对话框&＃xff0c;关闭之。&＃39;)
                self.poco(&＃39;com.tencent.weishi:id/close_btn&＃39;).click()
                break
            else:
                pass
         except Exception as e:
            print(&＃39;产生异常了&＃39;)

         time.sleep(1)
         count &＃43;&＃61; 1

# 异步处理
threading.Thread(target&＃61;self.__handle_dialog, name&＃61;&＃39;thread1&＃39;).start()


第二步&＃xff0c;「判断」当前播放的视频是否是一个包含红包的视频。

通过对大量视频的观察&＃xff0c;可以看出视频内包含两类红包&＃xff0c;分别是普通视频红包、问答视频红包。

通过 Android SDK 自动的工具 Monitor 查看界面元素。

可惜的是&＃xff0c;这个互动红包元素标识「元素 ID 不存在」&＃xff0c;并且 Text 属性也为空&＃xff0c;没法利用传统的方式来获取到。

我换一种方式来实现&＃xff0c;利用「图片对比」技术来判断互动红包元素是否存在&＃xff0c;进而判断视频是否是一个包含红包的视频。

利用「PS」把互动红包元素图片从屏幕截图中裁剪出来。

需要注意的是&＃xff0c;由于这个元素形状不规则&＃xff0c;这里只能裁剪一个规则的矩形区域&＃xff0c;不能截取其他多余的区域&＃xff0c;否则会导致图片比对会失败。

接着利用 adb 命令截取手机屏幕的图片&＃xff0c;然后保存到本地。

def save_screenshot_to_pc(desc):
    """
    获取屏幕截图
    desc 截图保存路径
    :return:
    """
    exec_cmd(&＃39;adb shell /system/bin/screencap -p /sdcard/screenshot.png&＃39;)
    exec_cmd(&＃39;adb pull /sdcard/screenshot.png %s&＃39; % desc)


然后就可以利用「aircv」库&＃xff0c;利用上面裁剪的图和屏幕截图进行比对&＃xff0c;判断裁剪的互动红包元素是否能匹配到。

当匹配指数为 0.8 以上的时候&＃xff0c;就认为当前视频内一定包含红包。

def find_image(source_path, part_path):
    """
    匹配模板
    :param source_path: 原图片
    :param part_path: 待匹配的图片
    :return:
    """
    # 原始图像
    source &＃61; ac.imread(source_path)

    # 待查找的部分
    part &＃61; ac.imread(part_path)

    result_raw &＃61; ac.find_template(source, part)

    # 匹配图片中心点坐标
    if result_raw and result_raw.get(&＃39;confidence&＃39;) >&＃61; 0.8:
        center_position &＃61; result_raw.get(&＃39;result&＃39;)
        print(result_raw)
    else:
        center_position &＃61; None
    return center_position


第三步&＃xff0c;如果判断当前视频内包含互动红包元素&＃xff0c;就可以执行「抢红包」的操作了。

首先&＃xff0c;利用 Monitor 截取红包出现那一刻的界面元素树&＃xff0c;依然可以看到红包图片元素不存在 ID 和 Text 属性。

然后我首先想到是否可以利用上面的方式&＃xff0c;通过局部图片匹配去拿到红包图片的中心点坐标。

可是通过大量的测试发现&＃xff0c;视频中红包图片元素的大小「存在不确定性」&＃xff0c;用 PS 截取的图片不能适用于所有视频。

最后&＃xff0c;只能通过分析元素的层次结构&＃xff0c;拿到存在元素 ID 的最近一级父类元素&＃xff0c;然后再去得到红包元素&＃xff0c;进而得到「bound」属性值。

vp &＃61; self.poco(&＃39;com.tencent.weishi:id/hippy_container&＃39;)
if vp.exists():
     # 元素
     try:
           red_package_element &＃61; vp.children()[0].children()[0].children()[0].children()[0]
     except Exception:
           print(&＃39;产生一个异常&＃39;)
           continue

     # 获取bound()属性
     element_size &＃61; red_package_element.get_bounds()


拿到红包图片元素的 bound 属性之后&＃xff0c;就可以计算出红包图片元素的中心点坐标。

def get_element_center_position(poco, bound):
    """
    获取元素的中心点坐标
    :return:
    """
    # 获取手机屏幕的宽、高
    screen_width &＃61; poco.get_screen_size()[0]
    screen_height &＃61; poco.get_screen_size()[1]

    # 元素的中心点坐标
    center_position &＃61; (bound[1] &＃43; bound[-1]) / 2 * screen_width, (
            bound[0] &＃43; bound[2]) / 2 * screen_height

    return center_position


我们都知道一段视频中&＃xff0c;红包出现的时间存在不确定性。

通过对红包图片出现前和出现后的元素树进行对比&＃xff0c;可以发现&＃xff0c;当红包出现的时候&＃xff0c;红包图片元素「存在多个子元素」。

因此可以循环获取 UI 元素树&＃xff0c;直到红包元素存在子元素的时候&＃xff0c;就退出循环。

# 一直等待红包元素出现&＃xff0c;才执行点击操作
if len(red_package_element.children()) > 0:
     print(center_position)
     break
else:
     # print(&＃39;等待红包出现可以点击&＃39;)
     pass


通过点击红包元素的「中心点坐标」&＃xff0c;就可以完成抢视频红包的最后操作。

 # 获取到红包坐标之后&＃xff0c;执行点击点击操作&＃xff0c;直到抢到红包为止
exec_cmd(&＃39;adb shell input tap %d %d&＃39; % (center_position[0], center_position[1]))

4

结 果 结 论

通过上面的操作&＃xff0c;完成了抢普通视频红包的操作&＃xff0c;循环操作就可以拿到应用内的所有的普通视频红包。

针对问答视频红包&＃xff0c;利用 Monitor 可以直接拿到题目和答案的文本内容&＃xff0c;这需要针对题目内容和答案进行一次匹配。

我已经将源码上传到后台上&＃xff0c;关注公众号后回复「 抢红包 」即可获得下载链接。

如果你觉得文章还不错&＃xff0c;请大家点赞分享下。你的肯定是我最大的鼓励和支持。