ollydebug调试java_如何用OllyDbg的跟踪功能分析虚拟机保护

虚拟机保护已经是现代保护壳不可缺少的一环&＃xff0c;虽然逆向方也发展出各种插件帮助分析&＃xff0c;但只针对特定某款&＃xff0c;通用性的方法却不多见。我总在想&＃xff0c;既然虚拟机的结构是固定的&＃xff0c;如果有一款工具能够记录指令流&＃xff0c;那么按图索骥&＃xff0c;也许能发展出一套通用的分析方法来。其实OD(OllyDbg)就有记录指令流的功能&＃xff0c;叫跟踪(trace)&＃xff0c;也许是效果不好或者操作不便&＃xff0c;用的人甚至知道的人不多。先介绍下怎么用。

OD的跟踪功能原理很简单&＃xff0c;就是每一步都自动下单步断点&＃xff0c;然后记录断下来的指令信息。这项功能涉及到几项设置&＃xff0c;第一项是缓存大小&＃xff0c;不难想象&＃xff0c;跟踪得到的这一些列的指令记录是需要占地方存储的&＃xff0c;占多大可以设置&＃xff0c;位置在调试选项(Debugging options)->跟踪(Trace)&＃xff0c;如图1。

图1

第一项就是缓存的大小&＃xff0c;内存允许的话&＃xff0c;自然是多多益善&＃xff0c;毕竟缓存越大&＃xff0c;允许记录的信息越多。第二项是记录的内容&＃xff0c;跟踪会自动记录地址模块等信息&＃xff0c;此外可以选择是否记录指令、ESP和标志位的信息。设置位置紧接着缓存大小&＃xff0c;见图2&＃xff0c;可以按需勾选&＃xff0c;本文只需要记录指令即可。最后一项是在调试(DEBUG)菜单中打开Trace。

图2

现在Trace已经设置完毕了&＃xff0c;按下Ctrl&＃43;F12&＃xff0c;查看Trace窗口&＃xff0c;应该已经开始记录执行过的指令。否则请检查前述设置和操作是否正确。

那么&＃xff0c;虚拟机保护要怎么入手分析呢&＃xff1f;前面我提到&＃xff0c;虚拟机是有固定结构的&＃xff0c;既然要分析&＃xff0c;那对应的找到这些结构应该就可以了。传统保护虚拟机的结构其实很简单&＃xff0c;大致可以看成一只章鱼&＃xff0c;有三个部分&＃xff0c;分别是init(头)&＃xff0c;Dispatch(身)和Handle(触须)&＃xff0c;如图3&＃xff1a;

图3

Init主要完成虚拟机初始化工作&＃xff0c;例如申请内存填写初始值之类&＃xff0c;每次进入虚拟机&＃xff0c;这个“头部”通常只执行一次。Dispatch是虚拟机的主体&＃xff0c;可以看成一个主循环&＃xff0c;它是每一条虚拟机指令的开始之处&＃xff0c;也是结束之处&＃xff0c;负责读取虚拟机指令&＃xff0c;进入具体handle解释等工作。Handle就是虚拟机的“指令”了&＃xff0c;实际完成各项虚拟机指令的功能。 我曾写过一篇《基于虚拟机的软件保护技术》较为详细的介绍过虚拟机保护技术&＃xff0c;对基本结构还不太熟的同学&＃xff0c;此文会对上述概念有更详细的说明。

现在&＃xff0c;我们就要在具体的软件中找这只“章鱼”了。以一个CrackMe为例&＃xff0c;首先清理所有断点&＃xff0c;打开Trace&＃xff0c;Ctrl&＃43;F12跟踪步过运行&＃xff0c;看到程序跑起来了&＃xff0c;F12暂停&＃xff0c;看Trace的窗口如下(图4)&＃xff1a;

图4

记录是从下往上看的&＃xff0c;可以看出&＃xff0c;在程序空间的最后一条支流&＃xff0c;是00401534的一个call&＃xff0c;调用了DialogBoxInDirectParamA&＃xff0c;这是一个调出系统对话框的API&＃xff0c;其中有一个参数DlgProc用来指明消息回调函数的位置&＃xff0c;我们直接在反汇编窗口查看这个API&＃xff0c;发现回调函数是0x401572(图5)&＃xff1a;

图5

0x401572处代码不长&＃xff0c;有好几条Call&＃xff0c;但大部分都是系统Call&＃xff0c;只有一处调用了程序空间的函数&＃xff0c;这个函数就是虚拟机的入口。到这里&＃xff0c;我们对虚拟机的分析的工作才刚刚开始。

首先对虚拟机的入口下断&＃xff0c;然后重新运行程序。目的是保证能够正确找到init。现在应该端在虚拟机的入口处&＃xff0c;如下图&＃xff1a;

图6

这是个非常简单的虚拟机&＃xff0c;有经验的同学也许可以一眼就看出来图6包含了Init和Dispatch分别在哪里。当然也可以用Trace快速找出虚拟机的各个结构。现在去掉断点&＃xff0c;打开Trace&＃xff0c;Ctrl&＃43;F12跟踪步过&＃xff0c;这时程序会跑起来&＃xff0c;多点击几下按钮&＃xff0c;目的是让主要分支得到更充分的执行(即增加获得执行的次数)&＃xff0c;然后F12暂停。回到Trace窗口&＃xff0c;对着任意一行程序空间的指令点击右键&＃xff0c;选择模块统计&＃xff0c;结果如下图&＃xff1a;

图7

统计是以代码段来划分的&＃xff0c;第一栏显示的是这段代码在刚才的跟踪执行中执行的次数&＃xff0c;第二栏显示了某个代码段的首地址。我们先找执行了一次的指令首地址。可以找到第5行的地址就是虚拟机的入口地址&＃xff0c;点击在反汇编窗口跟随&＃xff0c;可以看到这段代码是从0x00401060到0x004010B9&＃xff0c;这就是init&＃xff1a;

00401060 $ 55 push ebp

00401061 . 8BEC mov ebp, esp

00401063 . 81C4 D0FEFFFF add esp, -0x130

00401069 . C745 E4 00000>mov dword ptr [ebp-0x1C], 0x0

00401070 . C745 E8 00000>mov dword ptr [ebp-0x18], 0x0

00401077 . C745 F1 00000>mov dword ptr [ebp-0xF], 0x0

0040107E . C645 FD 00 mov byte ptr [ebp-0x3], 0x0

00401082 . C645 FE 00 mov byte ptr [ebp-0x2], 0x0

00401086 . C745 F5 00000>mov dword ptr [ebp-0xB], 0x0

0040108D . 8D85 D0FEFFFF lea eax, dword ptr [ebp-0x130]

00401093 . 8945 F1 mov dword ptr [ebp-0xF], eax

00401096 . 8B45 14 mov eax, dword ptr [ebp&＃43;0x14]

00401099 . 8945 E0 mov dword ptr [ebp-0x20], eax

0040109C . 8B45 08 mov eax, dword ptr [ebp&＃43;0x8]

0040109F . 8945 D0 mov dword ptr [ebp-0x30], eax

004010A2 . 8B45 0C mov eax, dword ptr [ebp&＃43;0xC]

004010A5 . 8945 D8 mov dword ptr [ebp-0x28], eax

004010A8 . C745 DC 00000>mov dword ptr [ebp-0x24], 0x0

004010AF . C745 D4 00000>mov dword ptr [ebp-0x2C], 0x0

004010B6 . 8B45 10 mov eax, dword ptr [ebp&＃43;0x10]

004010B9 . 8945 EC mov dword ptr [ebp-0x14], eax

接着找Dispatch&＃xff0c;刚才说过&＃xff0c;它既是虚拟机指令的开始&＃xff0c;又是结束&＃xff0c;它得到的执行次数一定也最多。可以看到第三行的0x004010B9&＃xff0c;这个地址在虚拟机入口地址之后&＃xff0c;执行次数最多&＃xff0c;同样的办法可以看到这段代码的终止位置是0x004010D9&＃xff1a;

004010BC > /FF45 EC inc dword ptr [ebp-0x14]

004010BF . |8B45 EC mov eax, dword ptr [ebp-0x14]

004010C2 . |8A00 mov al, byte ptr [eax]

004010C4 . |8845 F0 mov byte ptr [ebp-0x10], al

004010C7 . |B8 00204000 mov eax, 00402000

004010CC . |0FB65D F0 movzx ebx, byte ptr [ebp-0x10]

004010D0 . |C1E3 02 shl ebx, 0x2

004010D3 . |03C3 add eax, ebx

004010D5 . |FF20 jmp dword ptr [eax]

最后是找这次执行虚拟机用到的handle。这个不难&＃xff0c;虚拟机入口地址之后的代码段除了init和dispatch&＃xff0c;其它都是handle&＃xff0c;所有执行过的handle都会在里面出现。当然了&＃xff0c;某条handle的具体作用&＃xff0c;以及没有执行过的handle&＃xff0c;就只能靠人肉分析了。还有就是&＃xff0c;就分析虚拟机保护来说&＃xff0c;了解执行了哪些handle&＃xff0c;以及哪些handle更常用&＃xff0c;这些信息都是十分有用的。