从裸核到能用的系统：Linux内核到发行版到底经历了什么？

很多朋友接触Linux都是从装系统开始的Ubuntu、CentOS、Debian装上去就能用图形界面、命令行、软件包管理器一应俱全。但你有没有想过Linus Torvalds维护的那个Linux内核说白了就是一个压缩包里的源代码它是怎么变成你手里那个开箱即用的操作系统的中间这一大段距离到底发生了什么今天我就把这条链路从头到尾捋一遍尽量把每个环节干了啥说清楚。我自己做运维这些年编译内核、定制系统、做最小化镜像这些活儿也没少干踩过的坑也不少正好借这个机会整理一下。先搞清楚内核≠操作系统这个概念很多人其实分不太清。Linux内核是操作系统的核心没错但它本身不能算一个完整的操作系统。你拿一个编译好的bzImage扔到机器上啥也干不了——没有shell没有命令没有文件系统的用户态工具连个ls都跑不起来。打个比方内核就像一台车的发动机发动机再强没有方向盘、没有轮胎、没有座椅你也开不走。而发行版就是把发动机装进车壳里接上油路电路装好方向盘座椅最后还给你加满油交钥匙的那个人。所以从内核到发行版中间要做的事情非常多我按顺序往下说。第一步把内核源码编译成可启动的镜像这一步是整个链路的起点。内核源码从kernel.org下载下来之后你得先把它编译成机器能跑的东西。编译内核的过程其实挺有意思。你在源码目录敲下make背后发生的事情远比你想象的多。根Makefile先读取版本号VERSION、PATCHLEVEL、SUBLEVEL这些然后检测你的CPU架构设置编译器路径和编译选项加载.config配置文件。这个.config就是你执行make menuconfig之后生成的那个文件决定了哪些功能编译进内核、哪些编译成模块、哪些直接不编译。编译的最终产物是vmlinux——一个未压缩的ELF格式的内核可执行文件。但这个文件还不能直接拿来启动它太大了而且格式也不对。接下来要做的事情是用objcopy把vmlinux转换成纯二进制的vmlinux.bin用gzip对vmlinux.bin进行压缩生成一个叫piggy.S的汇编文件里面包含了压缩内核的偏移信息编译引导部分的代码arch/x86/boot/下的那些实模式代码生成setup.bin最后把setup.bin和压缩后的vmlinux.bin拼在一起生成bzImagebzImage才是最终能被GRUB加载的内核镜像。注意bzImage里的bz不是bzip2的意思是big zImage——因为早期的zImage只能加载到低端640K内存大内核放不下才搞了bzImage加载到高端内存。编译完内核还得编译模块就是那些.ko文件放在/lib/modules/内核版本号/下面。驱动啊、文件系统啊、网络协议啊很多都是模块形式存在的。第二步制作initramfs——启动过渡的桥梁内核启动之后它需要挂载根文件系统对吧但问题是根文件系统可能在各种地方——普通的ext4分区、LVM逻辑卷、RAID阵列、甚至是网络上的NFS。你要访问这些设备得先加载对应的驱动和工具。这就形成了一个鸡生蛋蛋生鸡的问题内核要挂载根文件系统但挂载需要的驱动和工具在根文件系统里。initramfs就是解决这个问题的。它是一个临时的内存文件系统在内核启动时被加载到内存中。里面包含了必要的内核模块磁盘控制器驱动、文件系统驱动等udev或mdev设备管理工具lvm、mdadm等存储管理工具一个init脚本通常是/init负责加载驱动、找到真正的根分区、切换过去我之前做过一个项目需要从加密的LVM分区启动那个initramfs里塞满了cryptsetup、lvm2这些工具还得在init脚本里写交互式的密码输入逻辑。当时折腾了好久才搞明白initramfs的整个流程——先mkinitramfs或dracut生成镜像内核加载后解压initramfs到内存执行/initinit脚本完成工作后调用switch_root切换到真正的根文件系统。不同的发行版用的initramfs工具不一样Debian/Ubuntu用mkinitramfsRHEL/CentOS/Fedora用dracut。dracut的模块化设计更灵活一些你可以通过配置文件控制往initramfs里塞哪些模块。第三步搭建用户空间的基础——glibc和基本工具内核和initramfs搞定之后接下来就是用户空间了。这是发行版最核心的工作之一。用户空间的基础是C标准库绝大多数Linux系统用的是glibcGNU C Library。为啥它这么重要因为几乎所有的用户态程序都依赖它。你写个hello world用printf底层就是glibc在干活。glibc还封装了系统调用你的程序通过glibc跟内核打交道。glibc的编译和安装是个技术活。它需要配合内核的头文件linux-headers来编译版本不匹配的话会出各种诡异的问题。我记得有一次在CentOS 7上手动升级glibc结果版本没对上直接导致ls、cp这些基本命令全部段错误系统当场就废了最后只能用救援模式恢复。从此以后我对glibc升级这事儿特别谨慎。除了glibc还有一些最基础的工具是必须的coreutilsls、cp、mv、rm、cat、mkdir这些最基本的命令bash默认的shellutil-linuxmount、fdisk、dmesg等系统管理工具shadowpasswd、useradd等用户管理工具sysvinit或systemdinit系统后面单独说e2fsprogsext4文件系统工具procpsps、top、kill等进程管理工具这些工具大部分来自GNU项目这也是为什么很多人坚持叫GNU/Linux而不是简单的Linux。内核确实只是Linus的但用户空间的基础设施大部分是GNU搞的。第四步init系统——系统启动的总指挥内核启动完之后最后一步是启动PID为1的init进程。这个进程是所有进程的祖宗负责把整个用户空间拉起来。传统的init系统是SysVinit来自Unix System V。它的启动流程是按运行级别runlevel来的0-6七个级别每个级别对应/etc/rc.d/rcX.d/下面的一堆脚本以S开头的是启动脚本以K开头的是停止脚本后面的数字决定执行顺序。SysVinit简单粗暴但有个致命缺点——太慢了。脚本一个一个串行执行开机启动时间动不动就好几分钟。在服务器上还能忍在桌面和容器里就完全不能接受了。所以后来就有了systemd。systemd这玩意儿争议很大但不得不说它确实解决了不少问题并行启动服务之间有依赖关系systemd会分析依赖图没有依赖关系的服务并行启动启动速度大幅提升socket激活服务不需要一直运行有请求来了再通过socket通知启动cgroup管理每个服务都放在cgroup里资源控制更精确日志系统journald统一管理日志不用再去/var/log下面翻一堆文件现在主流发行版基本都切到systemd了Ubuntu从15.04开始CentOS从7开始。不过也有少数发行版坚持不用systemd比如Devuan就是专门为了不用systemd而从Debian fork出来的。我自己对systemd的感受比较复杂。从运维角度来说systemctl status 服务名一条命令就能看服务状态、日志、cgroup信息确实方便。但systemd越来越庞大吞掉了logind、resolved、networkd这些原本独立的组件有点万物皆systemd的意思这让很多人不舒服。第五步包管理系统——发行版的灵魂如果说内核是发动机那包管理系统就是4S店的售后服务体系。没有包管理系统你装软件就得自己编译源码、解决依赖、管理版本——那画面太美我不敢想。主流的包管理系统分两大阵营Debian系dpkg/apt.deb包格式dpkg是底层工具负责安装、卸载、查询包apt是高级前端负责解决依赖关系、从仓库下载包仓库配置在/etc/apt/sources.listRed Hat系rpm/yum/dnf.rpm包格式rpm是底层工具yum老和dnf新是高级前端仓库配置在/etc/yum.repos.d/下面制作一个包可不是简单地把编译好的文件打个包。一个合格的包需要spec文件或debian目录定义包的元信息、依赖关系、编译步骤、安装步骤、文件列表编译环境干净的编译环境通常是chroot或容器避免宿主系统的残留文件污染依赖声明Build-Depends编译时依赖和Depends运行时依赖必须准确安装脚本preinst/postinst/prerm/postrm这些维护脚本处理用户创建、配置文件更新等逻辑签名用GPG对包签名用户安装时可以验证包的完整性和来源我之前在内部搞过RPM包的打包流程写spec文件写到手软。最头疼的是依赖声明漏了一个依赖在别的机器上装就报错。后来搞了个CI流水线在干净的容器里自动编译打包测试才把这个问题解决掉。第六步仓库构建和发布包做好了还得有个地方放。这就是软件仓库。仓库的构建是个系统工程仓库结构每个发行版有固定的仓库结构比如Debian的pool目录放包文件dists目录放元数据索引元数据生成dpkg-scanpackages或createrepo生成包索引apt/yum/dnf通过索引来查找和下载包仓库分层main/restricted/universe/multiverseDebian系BaseOS/AppStream/PowerToolsRHEL系签名和验证仓库的Release文件要用GPG签名客户端用公钥验证镜像同步全球各地的镜像站通过rsync同步仓库内容一个完整版本的发布流程大概是这样的先freeze仓库不再接受新版本的上传只接受bug修复然后经过alpha→beta→RC→final的测试周期确认没有重大问题后正式发布。发布后还要维护更新源推送安全补丁和bug修复。Ubuntu的LTS版本支持5年RHEL支持10年这意味着发行版维护者要从上游内核持续backport安全补丁到老版本内核上。这个工作量是非常大的有时候一个CVE的修复要改好几百行代码还得保证不影响老版本的稳定性。第七步内核补丁和定制发行版通常不会直接用vanilla kernelLinus发布的原版内核而是会打上自己的补丁安全补丁backport把新内核的安全修复移植到老版本内核驱动补丁某些硬件厂商提供的闭源驱动或特殊驱动性能优化针对特定工作负载的调度器优化、内存管理优化功能增强比如SELinux的支持、审计系统的支持Bug修复社区发现但在主线内核中还没修复的问题RHEL的内核跟主线内核差异特别大Red Hat有专门的内核团队维护自己的内核分支。Ubuntu也有自己的内核团队会在主线内核基础上加入一些硬件支持补丁。我之前在某个国产化项目上需要在4.19内核上加一个特定的网卡驱动那个驱动只有5.4以上内核才有。花了两天时间把驱动代码从5.4 backport到4.19改了一堆API适配的问题编译通过的那一刻差点感动哭了。第八步文件系统目录结构标准化Linux的目录结构遵循FHSFilesystem Hierarchy Standard这个标准定义了每个目录应该放什么/bin和/sbin基本命令和系统管理命令/lib共享库和内核模块/etc配置文件/var可变数据日志、缓存、数据库/usr用户级应用和库/tmp临时文件/dev设备文件/proc和/sys内核和设备信息发行版需要按照这个标准组织文件确保软件包安装的文件放在正确的位置。不过现在有个趋势是/bin、/sbin、/lib都软链接到/usr下面这就是usrmergeFedora和Debian都已经做了这个迁移。第九步安全加固和默认配置发行版还得做大量的安全加固工作SELinux/AppArmor强制访问控制限制进程能访问的资源防火墙默认规则firewalld或ufw的默认配置SSH安全配置禁止root远程登录、禁止密码认证umask设置默认文件权限内核安全参数/etc/sysctl.d/下的各种安全相关参数PAM配置认证模块的配置sudo配置权限提升的控制不同发行版的安全策略差异很大。比如RHEL默认开启SELinuxenforcing模式很多新手装完服务发现访问不了查了半天才发现是SELinux拦了。Ubuntu默认用AppArmor相对温和一些。Arch Linux基本不做安全加固一切交给用户自己。第十步安装程序和ISO制作最后一步是把所有东西打包成一个可安装的ISO镜像。安装程序installer本身就是一个不小的工程。Debian用的是debian-installerUbuntu用的是UbiquityRHEL用的是Anaconda。安装程序要处理的事情包括硬件检测和驱动加载磁盘分区和文件系统创建软件包选择和安装用户创建和密码设置时区和语言设置网络配置引导加载器GRUB安装ISO的制作通常用xorriso或genisoimage需要把内核、initramfs、软件包仓库、安装程序都打包进去。对于Live ISO还需要用squashfs把整个根文件系统压缩启动时解压到内存中运行。我之前用livecd-tools和kiwi做过定制化的Live ISO整个过程就是先装好一个最小系统→chroot进去定制→安装需要的软件包→清理缓存和日志→用工具打包成ISO。说起来简单但每次都会碰到各种幺蛾子比如某个服务在chroot里启动失败导致ISO制作中断又比如忘记清理/etc/resolv.conf导致ISO里的DNS解析有问题。总结从Linux内核到一个可用的发行版中间经历了内核编译源码→vmlinux→bzImage模块initramfs制作启动过渡的临时文件系统用户空间基础glibc、coreutils、bash等基础组件init系统systemd或SysVinit管理服务启动包管理系统rpm/dpkg及对应的高级前端仓库构建软件仓库的搭建、索引、签名、镜像内核定制安全补丁、驱动backport、功能增强目录结构标准化FHS规范安全加固SELinux/AppArmor、防火墙、SSH安全配置安装程序和ISO制作打包成可安装/可启动的镜像所以说发行版做的事情远不止把内核和软件打包在一起这么简单。它是一个系统工程涉及编译构建、依赖管理、安全维护、用户体验等方方面面。这也是为什么CentOS宣布停止维护后那么多人慌了——维护一个发行版的长期稳定版本真的是一件非常吃力的事情。希望这篇文章能帮你理解Linux内核到发行版之间的完整链路。如果你觉得有用帮忙转发给更多需要的朋友。个人博客躬行笔记