1. 概述
1 z6 T+ }9 w; c6 z8 t' r$ R

在某些情况下，我们需要对于内核中的流程进行分析，虽然通过 BPF 的技术可以对于函数传入的参数和返回结果进行展示，但是在流程的调试上还是不如直接 GDB 单步调试来的直接。本文采用的编译方式如下，在一台 16 核 CentOS 7.7 的机器上进行内核源码相关的编译（主要是考虑编译效率），调试则是基于 VirtualBox 的 Ubuntu 20.04 系统中，采用 Qemu + GDB 进行单步调试，网上查看了很多文章，在最终进行单步跟踪的时候，始终不能够在断点处停止，进行过多次尝试和查询文档，最终发现需要在内核启动参数上添加 nokaslr ，本文是对整个搭建过程的总结。

2. Linux 内核编译和文件系统制作

Linux 内核编译

编译内核和制作文件系统在 CentOS 7.7 的机器上。源码从国内清华的源下载：http://ftp.sjtu.edu.cn/sites/ftp.kernel.org/pub/linux/kernel/， 此处选择 linux-4.19.172.tar.gz 版本。详细编译步骤如下：

$ sudo yum group install "Development Tools"
$ yum install ncurses-devel bison flex elfutils-libelf-devel openssl-devel
8 ^6 b; ?' d: n; r, b
' m. B  E# ~; s$ wget http://ftp.sjtu.edu.cn/sites/ftp ... nux-4.19.172.tar.gz
$ tar xzvf linux-4.19.172.tar.gz
$ cd linux-4.19.172/
$ make menuconfig

在内核编译选项中，开启如下 “Compile the kernel with debug info”， 4.19.172 中默认已经选中：

Kernel hacking —> Compile-time checks and compiler options —> [ ] Compile the kernel with debug info

以上配置完成后会在当前目录生成 .config 文件，我们可以使用 grep 进行验证：

# grep CONFIG_DEBUG_INFO .config
CONFIG_DEBUG_INFO=y
3 U  D! p3 \% [3 Z3 }* D; ]

接着我们进行内核编译：

$ nproc       # 查看当前的系统核数
/ {# z( `0 L. k) R& L: n$ make -j 12  # 或者采用 make bzImage 进行编译， -j N，表示使用多少核并行编译
) t+ F- J  d  y* b0 m' ]/ H* L
0 N4 [  Y! D( q% x, O# 未压缩的内核文件，这个在 gdb 的时候需要加载，用于读取 symbol 符号信息，由于包含调试信息所以比较大
6 o" N5 t+ j& E1 A7 w  Z4 l: M$ ls -hl vmlinux
-rwxr-xr-x 1 root root 449M Feb  3 14:46 vmlinux

( }( C6 {; V6 b7 F9 Q$ x! U# 压缩后的镜像文件
; t1 e) p0 z& e4 n; c$ ls -hl ./arch/x86_64/boot/bzImage
lrwxrwxrwx 1 root root 22 Feb  3 14:47 ./arch/x86_64/boot/bzImage -> ../../x86/boot/bzImage

' E% O% \5 j7 l  x5 X6 W" d/ C$ ls -hl ./arch/x86/boot/bzImage
: H# S5 L- d* O! M6 G( V- T  N-rw-r--r-- 1 root root 7.6M Feb  3 14:47 ./arch/x86/boot/bzImage
# Y! R5 P1 N3 m" j8 A3 R( G/ h

不同发行版本下的内核的详细编译文档可以参考这里[1]。

启动内存文件系统制作# 首先安装静态依赖，否则会有报错，参见后续的排错章节
9 T, ~. ~* ~# l2 t( L; \% B$ yum install -y glibc-static.x86_64 -y
5 B; M. M# w7 k0 G9 o# ^  p# M
& x5 U4 g  P2 B) Z/ E( y9 u; c. z8 i$ wget https://busybox.net/downloads/busybox-1.32.1.tar.bz2
4 k8 K0 p+ J5 U: W  `( F& f7 {. Q$ tar -xvf busybox-1.32.1.tar.bz2
' ~2 U: C& N' O) G, l$ cd busybox-1.32.1/
3 M: n/ J! ]0 e  X( l: \
$ make menuconfig
( C4 P! K, T' _' V+ v
2 b# ~6 J: G  C9 d# 安装完成后生成的相关文件会在 _install 目录下
$ make && make install
( F5 l' w: p5 C
5 P0 M/ W/ g' k9 r$ cd _install
$ mkdir proc
$ mkdir sys
' U2 U* H# B6 ~7 |. @" u5 O0 }, N$ touch init
6 j  }- l$ I: D9 z+ X8 [2 l5 }. M
6 q1 b9 y# ^0 H7 M0 p#  init 内容见后续章节，为内核启动的初始化程序
' i$ m: e, w5 }$ R5 L$ vim init
2 N# u$ S) a' W% `& ]
# 必须设置成可执行文件
: K' a% X5 a, x0 _$ chmod +x init

$ find . | cpio -o --format=newc > ./rootfs.img
( i" `5 g& N" M5 K- t5 W9 bcpio: File ./rootfs.img grew, 2758144 new bytes not copied
10777 blocks
' Z) [: x# q9 j$ ]7 o  h2 ^, l
$ ls -hl rootfs.img
4 K( t. {2 k' ?" s  t% h) t-rw-r--r-- 1 root root 5.3M Feb  2 11:23 rootfs.img

其中上述的 init 文件内容如下，打印启动日志和系统的整个启动过程花费的时间：

#!/bin/sh
echo "{==DBG==} INIT SCRIPT"
* h" R- @/ [& F  W6 v6 z5 pmkdir /tmp
mount -t proc none /proc
mount -t sysfs none /sys
mount -t debugfs none /sys/kernel/debug
mount -t tmpfs none /tmp
8 v! O$ ~' }- h) r. m
! q& ~7 d( y/ K" ^6 Nmdev -s
, L/ I6 B6 k. x, C' K0 X0 q2 aecho -e "{==DBG==} Boot took $(cut -d' ' -f1 /proc/uptime) seconds"
7 ~, }: f* L/ w  Y: J8 N/ x
# normal user
. z( X3 K5 P  Z  C  vsetsid /bin/cttyhack setuidgid 1000 /bin/sh
- n% Q  i0 t; _5 p% c; Y

到此为止我们已经编译了好了 Linux 内核（vmlinux 和 bzImage）和启动的内存文件系统（rootfs.img）。

错误排查

在编译过程中出现以下报错：

/bin/ld: cannot find -lcrypt
/bin/ld: cannot find -lm
/bin/ld: cannot find -lresolv
/bin/ld: cannot find -lrt
collect2: error: ld returned 1 exit status
Note: if build needs additional libraries, put them in CONFIG_EXTRA_LDLIBS.
4 I( l, ]- t& |' @6 k% M+ TExample: CONFIG_EXTRA_LDLIBS="pthread dl tirpc audit pam"
# m5 R4 z) R/ S, F* `) d+ k

出错的原因是因为我们采用静态编译依赖的底层库没有安装，如果不清楚这些库有哪些 rpm 安装包提供，则可以通过 yum provides 命令查看，然后安装相关依赖包重新编译即可。

$ yum provides */libm.a
// ...
glibc-static-2.17-317.el7.x86_64 : C library static libraries for -static linking.
- p0 o8 B2 T0 s# n& |1 O' w2 LRepo        : base
Matched from:
* v+ G) C' _* q: z7 eFilename    : /usr/lib64/libm.a
, `3 t( l; U  M0 g. F( i

3. Qemu 启动内核

在上述步骤准备好以后，我们需要在调试的 Ubuntu 20.04 的系统中安装 Qemu 工具，其中调测的 Ubuntu 系统使用 VirtualBox 安装。

$ apt install qemu qemu-utils qemu-kvm virt-manager libvirt-daemon-system libvirt-clients bridge-utils

把上述编译好的 vmlinux、bzImage、rootfs.img 和编译的源码拷贝到我们当前 Unbuntu 机器中。

拷贝 Linux 编译的源码主要是在 gdb 的调试过程中查看源码，其中 vmlinux 和 linux 源码处于相同的目录，本例中 vmlinux 位于 linux-4.19.172 源目录中。

$ qemu-system-x86_64 -kernel ./bzImage -initrd  ./rootfs.img -append "nokaslr console=ttyS0" -s -S -nographic
! k6 \4 j) R3 G

使用上述命令启动调试，启动后会停止在界面处，并等待远程 gdb 进行调试，在使用 GDB 调试之前，可以先使用以下命令进程测试内核启动是否正常。

$ qemu-system-x86_64 -kernel ./bzImage -initrd  ./rootfs.img -append "nokaslr console=ttyS0" -nographic

其中命令行中各参数如下：

• -kernel ./bzImage：指定启用的内核镜像；
• -initrd ./rootfs.img：指定启动的内存文件系统；
• -append "nokaslr console=ttyS0" ：附加参数，其中 nokaslr 参数必须添加进来，防止内核起始地址随机化，这样会导致 gdb 断点不能命中；参数说明可以参见这里[2]。
• -s ：监听在 gdb 1234 端口；
• -S ：表示启动后就挂起，等待 gdb 连接；
• -nographic：不启动图形界面，调试信息输出到终端与参数 console=ttyS0 组合使用；
  

4. GDB 调试

在使用 qemu-system-x86_64 命令启动内核以后，进入到我们从编译机器上拷贝过来的 Linux 内核源代码目录中，在另外一个终端我们来启动 gdb 命令：

[linux-4.19.172]$ gdb
8 z, q! v3 W* c/ Q3 u(gdb) file vmlinux           # vmlinux 位于目录 linux-4.19.172 中
0 N7 _5 C' Q  u( s- V(gdb) target remote :1234
(gdb) break start_kernel     # 有些文档建议使用 hb 硬件断点，我在本地测试使用 break 也是 ok 的
(gdb) c             # 启动调试，则内核会停止在 start_kernel 函数处

整体运行界面如下：

5. Eclipse 图像化调试

我们可以通过 eclipse-cdt 进行可视化项目调试。

”File“ -> “New” -> “Project” ，然后选择 ”Makefile Project with Existing Code“ 选项，后续按照向导导入代码。

在 “Run” -> “Debug Configurations” 选项中，创建一个 ”C/C++ Attach to Application“ 的调试选项。

• Project：选择我们刚才创建的项目名字；
• C/C++ Application：选择编译 Linux 内核带符号信息表的 vmlinux；
• Build before launching：选择 ”Disable auto build“；
• Debugger：选择 gdbserver，具体设置如下图；
• 在 Debugger 中的 Connection 信息中选择 ”TCP“，并填写端口为 ”1234“；
  

启动 Debug 调试，即可看到与 gdb 类似的窗口。

启动 ”Debug“ 调试以后的窗口如下，在 Debug 窗口栏中，设置与 gdb 调试相同的步骤即可。

9 Y' G: G+ e3 ^! K% `( o