添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

1.讲故事

前段时间有位朋友在微信上找到我,说他的程序偶发性崩溃,让我帮忙看下怎么回事,上面给的压力比较大,对于这种偶发性崩溃,比较好的办法就是利用 AEDebug 在程序崩溃的时候自动抽一管血出来,看看崩溃点是什么,其实我的系列文章中,关于崩溃类的dump比较少,刚好补一篇上来,话不多说,上 windbg 。

二:WinDbg 分析

1. 崩溃点在哪里

在 windbg 中有一个 !analyze -v 命令可以自动化分析,输出信息如下:

0:120> !analyze -v ******************************************************************************* * * * Exception Analysis * * * ******************************************************************************* CONTEXT: (.ecxr) rax=00000000032fed38 rbx=00000000c0000374 rcx=0000000000000000 rdx=0000000000000020 rsi=0000000000000001 rdi=00007ffbada727f0 rip=00007ffbada0a8f9 rsp=000000003103c8b0 rbp=0000000000c40000 r8=00007ffb779bdab7 r9=00007ffb782e94c0 r10=0000000000002000 r11=000000002c4aa498 r12=0000000000000000 r13=000000003103eb60 r14=0000000000000000 r15=000000002c873720 iopl=0 nv up ei pl nz na pe nc cs=0033 ss=002b ds=002b es=002b fs=0053 gs=002b efl=00000202 ntdll!RtlReportFatalFailure+0x9: 00007ffb`ada0a8f9 eb00 jmp ntdll!RtlReportFatalFailure+0xb (00007ffb`ada0a8fb) Resetting default scope EXCEPTION_RECORD: (.exr -1) ExceptionAddress: 00007ffbada0a8f9 (ntdll!RtlReportFatalFailure+0x0000000000000009) ExceptionCode: c0000374 ExceptionFlags: 00000001 NumberParameters: 1 Parameter[0]: 00007ffbada727f0

从卦中的 ExceptionCode: c0000374 异常码来看,表示当前 nt堆损坏 ,这就尴尬了,一个C#程序咋会把 windows nt 堆给弄坏了,可能是引入了第三方的 C++ 代码。

由于异常分异常前和异常后,所以需要用 .ecxr 将当前线程切到异常前的崩溃点,然后使用 k 观察当前的线程栈。

0:120> .ecxr ; k rax=00000000032fed38 rbx=00000000c0000374 rcx=0000000000000000 rdx=0000000000000020 rsi=0000000000000001 rdi=00007ffbada727f0 rip=00007ffbada0a8f9 rsp=000000003103c8b0 rbp=0000000000c40000 r8=00007ffb779bdab7 r9=00007ffb782e94c0 r10=0000000000002000 r11=000000002c4aa498 r12=0000000000000000 r13=000000003103eb60 r14=0000000000000000 r15=000000002c873720 iopl=0 nv up ei pl nz na pe nc cs=0033 ss=002b ds=002b es=002b fs=0053 gs=002b efl=00000202 ntdll!RtlReportFatalFailure+0x9: 00007ffb`ada0a8f9 eb00 jmp ntdll!RtlReportFatalFailure+0xb (00007ffb`ada0a8fb) *** Stack trace for last set context - .thread/.cxr resets it # Child-SP RetAddr Call Site 00 00000000`3103c8b0 00007ffb`ada0a8c3 ntdll!RtlReportFatalFailure+0x9 01 00000000`3103c900 00007ffb`ada1314e ntdll!RtlReportCriticalFailure+0x97 02 00000000`3103c9f0 00007ffb`ada1345a ntdll!RtlpHeapHandleError+0x12 03 00000000`3103ca20 00007ffb`ad9aef41 ntdll!RtlpHpHeapHandleError+0x7a 04 00000000`3103ca50 00007ffb`ad9be520 ntdll!RtlpLogHeapFailure+0x45 05 00000000`3103ca80 00007ffb`aa3882bf ntdll!RtlFreeHeap+0x966e0 06 00000000`3103cb20 00007ffb`66fac78f KERNELBASE!LocalFree+0x2f 07 00000000`3103cb60 00007ffb`66f273a4 mscorlib_ni+0x63c78f 08 00000000`3103cc10 00007ffb`185c4fde mscorlib_ni!System.Runtime.InteropServices.Marshal.FreeHGlobal+0x24 [f:\dd\ndp\clr\src\BCL\system\runtime\interopservices\marshal.cs @ 1212] 09 00000000`3103cc50 00007ffb`185c4fa1 0x00007ffb`185c4fde 0a 00000000`3103cca0 00007ffb`185edc82 0x00007ffb`185c4fa1

从卦中的 KERNELBASE!LocalFree 方法可知,程序正在释放一个 堆块 ,在释放的过程中抛出了异常,那为什么会释放失败呢? 原因就比较多了,比如:

  • 原因1:Free 一个已 Free 的堆块
  • 原因2:Free 了一个别人的堆块

那到底是哪一种情况呢? 有经验的朋友应该知道,ntheap 默认开启了 损坏退出 机制,用 !heap -s 命令就能显示出这种损坏原因。

0:120> !heap -s ************************************************************************************************************************ NT HEAP STATS BELOW ************************************************************************************************************************ ************************************************************** * * * HEAP ERROR DETECTED * * * ************************************************************** Details: Heap address: 0000000000c40000 Error address: 000000002c873710 Error type: HEAP_FAILURE_BLOCK_NOT_BUSY Details: The caller performed an operation (such as a free or a size check) that is illegal on a free block. Follow-up: Check the error's stack trace to find the culprit. Stack trace: Stack trace at 0x00007ffbada72848 00007ffbad9aef41: ntdll!RtlpLogHeapFailure+0x45 00007ffbad9be520: ntdll!RtlFreeHeap+0x966e0 00007ffbaa3882bf: KERNELBASE!LocalFree+0x2f 00007ffb66fac78f: mscorlib_ni+0x63c78f 00007ffb66f273a4: mscorlib_ni!System.Runtime.InteropServices.Marshal.FreeHGlobal+0x24 00007ffb185c4fde: +0x185c4fde LFH Key : 0x1d4fd2a71d8b8280 Termination on corruption : ENABLED Heap Flags Reserv Commit Virt Free List UCR Virt Lock Fast (k) (k) (k) (k) length blocks cont. heap ------------------------------------------------------------------------------------- 0000000000c40000 00000002 16756 13688 16364 220 140 5 2 0 LFH

从卦中可以清晰的看到错误类型: Error type: HEAP_FAILURE_BLOCK_NOT_BUSY ,这是经典的 Double Free ,也就是上面的 原因1 ,接下来我们就要寻找代码源头了。。。

2. 是谁的代码引发的

从线程栈上看,底层的方法区都是十六进制,这表示当前是托管方法,这就好办了,我们用 !clrstack 看看托管代码是什么?

0:120> !clrstack OS Thread Id: 0x4d54 (120) Child SP IP Call Site 000000003103cb88 00007ffbad9b0544 [InlinedCallFrame: 000000003103cb88] Microsoft.Win32.Win32Native.LocalFree(IntPtr) 000000003103cb88 00007ffb66fac78f [InlinedCallFrame: 000000003103cb88] Microsoft.Win32.Win32Native.LocalFree(IntPtr) 000000003103cb60 00007ffb66fac78f DomainNeutralILStubClass.IL_STUB_PInvoke(IntPtr) 000000003103cc10 00007ffb66f273a4 System.Runtime.InteropServices.Marshal.FreeHGlobal(IntPtr) [f:\dd\ndp\clr\src\BCL\system\runtime\interopservices\marshal.cs @ 1212] 000000003103cc50 00007ffb185c4fde xxxx.StructToBytes(System.Object) 000000003103ced0 00007ffb185ec6b1 xxx.SendDoseProject(System.String)

从卦中可以清晰的看到是托管方法 StructToBytes() 引发的,接下来导出这个方法的源码,截图如下:

从方法逻辑看,这位朋友用了 Marshal 做了互操作,为了能够进一步分析,需要找到 localResource 堆块句柄,使用 !clrstack -l 显示方法栈参数。

0:120> !clrstack -l OS Thread Id: 0x4d54 (120) 000000003103cca0 00007ffb185c4fa1 xxx.StructToBytes(System.Object) LOCALS: 0x000000003103cd0c = 0x000000000000018f 0x000000003103ccf8 = 0x0000000003084420 0x000000003103ccf0 = 0x0000000003084420 0x000000003103cce8 = 0x0000000000000000 0x000000003103cce0 = 0x0000000000000000

经过对比,发现并没有显示 localResource 值,这就很尴尬了。。。一般在 dump 中 IntPtr 类型是显示不出来的,遇到好几次了,比较闹心。。。既然显示不出来堆块句柄值。。。 那怎么办呢? 天要绝人之路吗?

3. 绝处逢生

既然托管层找不到堆块句柄,那就到非托管层去找,比如这里的 KERNELBASE!LocalFree+0x2f 函数,msdn 上的定义如下:

HLOCAL LocalFree( [in] _Frees_ptr_opt_ HLOCAL hMem

那如何找到这个 hMem 值呢? 在 x86 程序中可以直接用 kb 就能提取出来,但在 x64 下是无效的,因为它是用寄存器来传递方法参数,此时的寄存器值已经刷新到了 ntdll!NtWaitForMultipleObjects+0x14 上,比如下面的 rcx 肯定不是 hMem 值。

0:120> r rax=000000000000005b rbx=0000000000005b08 rcx=0000000000000002 rdx=000000003103b690 rsi=0000000000000002 rdi=0000000000000000 rip=00007ffbad9b0544 rsp=000000003103b658 rbp=0000000000001da4 r8=0000000000001000 r9=0101010101010101 r10=0000000000000000 r11=0000000000000246 r12=0000000000000000 r13=000000003103c930 r14=0000000000001f98 r15=0000000000000000 iopl=0 nv up ei pl zr na po nc cs=0033 ss=002b ds=002b es=002b fs=0053 gs=002b efl=00000246 ntdll!NtWaitForMultipleObjects+0x14: 00007ffb`ad9b0544 c3 ret

怎么办呢?其实还有一条路,就是观察 KERNELBASE!LocalFree+0x2f 方法的汇编代码,看看它有没有将 rcx 临时性的存到 线程栈 上。

0:120> u KERNELBASE!LocalFree KERNELBASE!LocalFree: 00007ffb`aa388290 48895c2410 mov qword ptr [rsp+10h],rbx 00007ffb`aa388295 4889742418 mov qword ptr [rsp+18h],rsi 00007ffb`aa38829a 48894c2408 mov qword ptr [rsp+8],rcx 00007ffb`aa38829f 57 push rdi 00007ffb`aa3882a0 4883ec30 sub rsp,30h 00007ffb`aa3882a4 488bd9 mov rbx,rcx 00007ffb`aa3882a7 f6c308 test bl,8 00007ffb`aa3882aa 753f jne KERNELBASE!LocalFree+0x5b (00007ffb`aa3882eb)

很开心的看到,当前的 rcx 存到了 rsp+8 位置上,那如何拿到 rsp 呢? 可以用 k 提取父函数 mscorlib_ni+0x63c78f 中的 Child-SP 值。

0:120> k # Child-SP RetAddr Call Site 0e 00000000`3103ca80 00007ffb`aa3882bf ntdll!RtlFreeHeap+0x966e0 0f 00000000`3103cb20 00007ffb`66fac78f KERNELBASE!LocalFree+0x2f 10 00000000`3103cb60 00007ffb`66f273a4 mscorlib_ni+0x63c78f

因为这个 Child-SP 是 call 之前的 sp, 汇编中的 sp 是 call 之后的,所以相差一个 retaddr 指针单元,所以计算方法是: ChildSp- 0x8 + 0x8 就是 堆块句柄。

0:120> dp 00000000`3103cb60-0x8+0x8 L1 00000000`3103cb60 00000000`2c873720

上面的 000000002c873720 就是堆块句柄,接下来用命令 !heap -x 000000002c873720 观察堆块情况。

0:120> !heap -x 000000002c873720 Entry User Heap Segment Size PrevSize Unused Flags ------------------------------------------------------------------------------------------------------------- 000000002c873710 000000002c873720 0000000000c40000 000000002c8703c0 30 - 0 LFH;free

果不其然,这个堆块已经是 Free 状态了,再 Free 必然会报错,经典的 Double Free 哈。

4. 回首再看源码

仔细阅读源码,发现有两个问题。

  1. 没有对 localResource 加锁处理,在并发的时候容易出现问题。

  2. localResource 是一个类级别变量,在多个方法中被使用。

将信息反馈给朋友之后,建议朋友加锁并降低 localResource 作用域。

三: 总结

这次偶发的生产崩溃事故,主要原因是朋友的代码在逻辑上出了点问题,没有合理的保护好 localResource 句柄资源,反复释放导致的 ntheap 破坏。

这个 dump 虽然问题比较小白,但逆向分析找出原因,还是挺考验基本功的。

IntPtr ptr = Marshal.AllocHGlobal(704* 576 * 3); 如果没有手动释放内存,会有内存溢出; 发生OutOfMemoryException 没有足够的内存继续执行 程序 时引发的异常。 调用Marshal.AllocHGlobal必须调用 Marshal.FreeHGlobal(ptr);来手动释放内存,即使调用GC.Collect();方法也无法释放。 kb:# RetAddr           : Args to Child                                                           : Call Site kn:# Child-SP          RetAddr           Call Site kp:# Child-SP          RetAddr 一个堆破坏的老故事 还 得第 一次 碰到堆破坏的时候,大概十年前了,当时在学校 开发 一个Wireshark插件,可是有一个问题我久久未能解决: 我修改后的Wireshark运行的时候偶尔启动的时候会出现 程序 崩溃 ,那时候也不会用 Windbg , 后来用Visual Studio启动Wireshark, 也是偶尔报错,这个时候可以看到堆栈,只 得当时是在一个很正常的内存分配或者释放的时候出现 崩溃 。那么总结为两点: 偶尔重现,那么也就是我们常说的还能跑起来,跑不起来那么就重启进程,重启进程无效,那就万能方法重启机器。这 1.什么是初始断点? 当调试进程的时候,为了让调试人员尽早的 分析 目标调试 程序 ,windows操作系统的进程加载器加入了特别的调试支持: 在完成最基本的用户态初始化之后,系统的初始化函数就会主动执行断点指令,触发断点,让调试目标中断到调试器中。 这个断点被称为初始断点。 2. Windbg 初始断点触发 为了给我们提供更好的调试机会,所以windbug在调试的时候首先会触发初始断点。 file=&gt... //申明DLL加载方法 [DllImport("*.dll", CallingConvention = CallingConvention.StdCall)] public static extern int business_handle(IntPtr inputvalue, int outputlen, [MarshalAs(UnmanagedType.LPStr)]StringBuilder outputdata, [MarshalAs(UnmanagedT. 大家都常用微信吧?肯定的啊。那么,遇到过微信 程序 出问题么?”有还是没有?”哈哈,这个问题不好回答了,“没有啊,挺稳定的”,“好像有过,界面一闪就消失了,但再启动就好了”,“前段时间,遇到一串奇怪字符就死”    不轻信不迷信,本于事实说话,老雷昨天真的遇到微信 程序 出现问题,而且还是比较严重的问题。      首先澄清一下,出问题的是微信的PC版本,不是手机版本。为了便于区分,不妨把PC版本称为“微 call指令是一个流程转移指令,就是让 程序 执行的顺序发生短暂的改变,去执行别处地址上的指令,遇到ret指令后再回到原来的地方继续往下顺序执行,本质和jmp大同小异,区别是在jmp基础上增加了 程序 回到原来跳转处的功能...... "ret" 一般是 "return" 的缩写。在编程中,"return" 指的是从一个函数中返回一个值。例如,在 Python 中,你可以这样写一个函数: def add(x, y): return x + y 这个函数将会接受两个参数 x 和 y,并返回它们的和。你可以调用这个函数,并将结果赋值给一个变量,例如: result = add(1, 2) 在这个例子中,调用 add(1,... 四种创建子进程的方法中 spawn 和 fork 要相对常用一些,spawn 处理操作系统命令;fork 处理 node module(并且父子进程间会建立 IPC 通道进行通信);exec 是直接使用 shell 执行命令,所以可以方便使用 shell 中的管道等特性,但是输出结果会在回调中 一次 输出,所以不适合输出数据特别大的情况;execFile 不适合 Windows 系统。 在使用 Marshal.AllocHGlobal()申请了非托管的内存时,需要手动释放内存,否则会造成内存泄漏;可以使用 Marshal.FreeHGlobal()将申请的内存释放掉。