从零开始用 C 语言构建内存分配器

内存分配是系统编程中最基础的方面之一。虽然大多数开发者依赖标准库的 malloc 和 free，但对于任何想要优化性能、减少内存碎片并理解堆是如何管理的人来说，了解这些函数在底层是如何运作的至关重要。从零开始用 C 语言构建一个内存分配器，为软件如何与硬件和操作系统交互提供了一个关键的窗口。

内存分配的核心逻辑

内存分配器的核心是管理操作系统提供的一大块内存。分配器的主要目标是跟踪该内存的哪些部分已被使用，哪些是空闲的。当用户请求大小为 $N$ 的内存块时，分配器必须找到一个至少具有该大小的合适空闲块并将其标记为已使用。当用户调用 free 时，分配器必须将该块标记为已返回到可用池中。

实现这一点需要一个管理结构——通常是空闲块的链表——来跟踪可用空间。该过程涉及遍历这些列表，寻找足够大的块（使用诸如 first-fit 或 best-fit 等策略），并且如果一个块明显大于请求的大小，则可能需要将其拆分以避免浪费空间。

学术与实践应用

实现自定义分配器是顶尖大学系统编程课程的必修内容。例如，卡内基梅隆大学 (CMU) 15-213 课程和哈佛大学 CS 61 (Systems Programming and Machine Organization) 的学生会将此作为核心练习。这些作业通常会促使学生意识到速度、利用率和碎片化之间的复杂权衡。

来自社区的一个有趣见解揭示了操纵基准测试的危险。在 CMU 的一个作业中，一名学生注意到，通过识别测试套件中不成比例分配的特定块大小，他们能够通过为该大小硬编码一个特定的空闲列表，从而登上排行榜的顶端。这提醒了人们，合成基准测试往往无法捕捉到真实世界的用法模式。

用于性能的专用分配器

虽然像 malloc 这样的通用分配器功能强大，但专用分配器在特定环境中可以提供显著的性能提升。

池分配器

池分配器（或固定大小块分配器）是通用分配器的替代方案。它们不通过搜索链表，而是使用带有索引数组的预分配池。这种方法具有几个优点：

  • 常数时间复杂度: 通过索引的原子递增或递减，分配和释放是 $O(1)$ 操作，消除了遍历链表的需求。

  • SMP 和无锁设计: 通过使用原子操作，这些分配器可以在对称多处理 (SMP) 环境中运行，而无需昂贵的锁，从而减少竞争。

  • 跨平台兼容性: 由于它们简单且依赖于基础的原子操作，它们可以实现在不同的操作系统（如 Linux, QNX, 和 VxWorks）以及内核和用户空间。

WebAssembly 中的占用空间优化

与此同时，分配器本身的大小也可以是一个关键指标。对于使用 C-to-WebAssembly (Wasm) 模块的开发者来说，分配器的二进制文件大小会显著影响最终模块的大小。使用像 walloc 这样的极简分配器而不是像 emmalloc 这样的较大替代方案，可以将模块的大小从 27kb 减少到 17kb——对于基于 Web 的部署来说，这是一个实质性的减少。

结论

无论是作为大学课堂中的教学工具，还是作为系统工程领域的高性能工具，构建一个内存分配器都是系统程序员的“成年礼”。它迫使开发者面对内存碎片、元数据开销以及针对目标环境的具体约束选择正确分配策略的关键重要性。

Sources