GC - Tony Bai

本文永久链接 – https://tonybai.com/2025/07/24/deadlock-detection-by-gc

大家好，我是Tony Bai。

Go 语言的 go 关键字让并发编程变得前所未有的简单，但也带来了新的挑战。当所有 goroutine 都陷入阻塞时，Go runtime 会报告一个“全局死锁”并终止程序。然而，更常见也更隐蔽的是部分死锁：一部分 goroutine 永久阻塞，而程序的其他部分仍在运行。

图: Uber生产服务中因部分死锁导致的goroutine数量变化

如上图所示，这些泄漏的 goroutine 会像“僵尸”一样持续占用内存和资源，在长周期运行的服务中导致内存泄漏、CPU 升高，甚至系统崩溃(Uber工作日的重新部署掩盖了泄漏，但在周末和节假日期间，数字会激增)。现有的工具如 goleak 主要用于测试环境，难以在生产中大规模部署。

这些难以追踪的“部分死锁”在长周期服务中如同定时炸弹。现在，一项革命性的Go提案（#74609）带来了希望：通过赋予垃圾收集器（GC）“新技能”，使其能够直接在运行时检测出这些永久阻塞的 goroutine。这个想法不只是停留在理论层面，其原型工具 GOLF 已经在 Uber 的生产环境中成功验证，发现了数百个此前未被察觉的死锁。本文将和大家一起解读一下这一前沿技术，揭示 Go GC 是如何被改造为并发问题“侦探”的。

核心思想：当“内存不可达”遇上“并发不可达”

这项新提案的核心洞见，是将垃圾收集中的内存可达性与并发编程中的活跃性（liveness）巧妙地联系起来。

我们知道，一个被阻塞的 goroutine（例如，等待从一个 channel 接收数据 <-ch）能否被唤醒，取决于是否有另一个“活跃”的 goroutine 能够对同一个并发原语（这里的 ch）执行配对操作（例如 ch <- data）。

提案的关键假设是：

如果一个被阻塞的 goroutine，其所等待的所有并发原语（channel、mutex 等），从所有当前可运行（runnable）的 goroutine 的视角来看，在内存中都是不可达的，那么这个被阻塞的 goroutine 永远不可能被唤醒——它已经陷入了部分死锁。

换句话说，如果没有任何一个“活人”能找到唤醒你所需的“钥匙”，那你就是一个“僵尸”。

而判断“内存可达性”，正是 Go GC 的核心工作。

GOLF：一个扩展版的 Go 垃圾收集器

研究人员将此思想实现为一个名为 GOLF (Goroutine Leak Fixer) 的工具，它对 Go 的标准 mark-and-sweep GC 进行了扩展。

图: 对GC周期的扩展

GOLF 的工作流程大致如下：

修改 GC Root Set：在 GC 的标记（Marking）阶段开始时，GOLF 不再像标准 GC 那样将所有 goroutine 视为根对象（GC Roots）。相反，它只将当前处于可运行状态（runnable）的 goroutine 作为初始的根集合。
迭代标记与扩展：
- a. GC 从这个最小化的根集合出发，进行第一轮内存可达性标记。
- b. 标记完成后，GOLF 会检查所有仍处于阻塞状态的 goroutine。
- c. 对于每个阻塞的 goroutine，它会检查其等待的并发原语（如 channel）是否在刚刚的标记过程中被标记为“可达”。
- d. 如果一个阻塞 goroutine 等待的某个原语是“可达”的，那么这个 goroutine 就有可能被唤醒。GOLF 称其为“可达活跃”（reachably live），并将其加入到 GC 的根集合中。
- e. 重复 a-d 步骤，直到在一个完整的迭代中，根集合不再扩大。
死锁判定：当迭代稳定后，所有未被加入根集合的、仍处于阻塞状态的 goroutine，都被判定为部分死锁。

提案中的实现细节

Go 官方 issue #74609 中讨论的实现，是基于上述学术研究的简化和工程化版本：

API 触发：为了将性能影响降到最低，这种增强的 GC 周期不会默认开启，而是通过一个新的 API 来手动触发。
不强制回收：与学术论文中可以强制回收泄漏 goroutine 内存的“Recovery”功能不同，提案的初步实现仅将检测到的 goroutine 标记为死锁，并将其视为永久可达，以避免破坏 Go 的内存安全语义（例如，意外触发 finalizer）。
实验性标志：该功能将通过 GOEXPERIMENT=deadlockgc 标志启用，表明其仍处于实验阶段。

惊人的实验结果：在 Uber 生产环境中大显身手

这项研究的有效性在多个层面得到了验证：
* 微基准测试：在包含 121 个已知可能导致死锁的 go 语句的微基准测试中，GOLF 成功检测出了 94.75% 的部分死锁。
* 大型代码库：在 Uber 的一个包含 180 万行 Go 代码的子集上运行时，GOLF 发现了 357 个已知泄漏中的 180 个（约 50%）。
* 生产环境部署：GOLF 被部署到一个真实的 Uber 生产服务中，在 24 小时内，成功检测到了由 3 个不同编程错误导致的 252 个部分死锁实例。这些问题是之前通过测试未能发现的。

更重要的是，性能测试表明，即使在最坏的情况下，GOLF 带来的 GC 标记阶段的 slowdown 仍然在可接受的范围内，而对于存在大量泄漏的程序，它甚至可能因为减少了需要标记的内存而加速 GC。

对 Go 开发者的意义

这项提案一旦被采纳并最终进入 Go 的稳定版本，将对 Go 并发编程生态产生深远影响：

新一代调试利器：开发者将获得一个强大的、内建于运行时的工具，用于诊断最棘手的并发问题，尤其是在复杂的、长周期运行的微服务中。
提升生产环境的稳定性：通过在生产中按需触发死锁检测，运维团队可以主动发现并定位潜在的内存泄漏源头，防止其演变为严重的线上事故。
补充现有工具的盲区：GOLF 的动态、在线检测能力，与 goleak 等基于测试的离线检测工具形成了完美的互补。

小结：从生产验证到 Go 1.26 的未来

将死锁检测的逻辑与垃圾收集的机制相结合，是一次天才般的跨界创新。它利用了 GC 对程序内存图谱的全局视野，以一种理论上可靠且实践中高效的方式，为解决 Go 并发编程中的“部分死锁”顽疾提供了全新的思路。事实上，Go 核心开发者 Rick Hudson 早在十年前就曾勾勒出类似的方法。

而这次，它不再仅仅是一个构想。 Uber 在生产环境中的成功部署和验证，为这项技术的可行性和实用价值提供了强有力的证明。这正是推动该提案在 Go 官方层面迅速获得关注的关键。

在最近的 Go 编译器与运行时会议上，这项来自 Uber 的提案再次成为焦点。Go 团队的核心成员 Michael Knyszek 确认，他们已经收到了 Uber 提交的补丁，并高度评价了其在生产环境中提供的“有用数据”。尽管该方法存在一些漏报（false negatives），但其不会误报（false positives）的特性使其极具实用价值。

会议讨论进一步明确了该功能的未来方向：

明确的目标版本：团队计划推动这项提案在 Go 1.26 开发周期中落地，以避免其在周期后期才被仓促合入。
API 形式：最有可能的 API 形式是将其作为一个新的 pprof profile 类型暴露出来。这意味着开发者未来或许可以通过 http://…/debug/pprof/goroutineleak 或类似的端点来按需触发检测。
集成场景：
- 在测试中：可以与 testing 包集成，但必须是可选加入（opt-in）的，因为许多现有测试可能无意中存在 goroutine 泄漏。
- 在生产中：它将无缝集成到持续性能分析（continuous profiling）系统中，成为诊断线上问题的强大武器。

值得注意的是，Go 团队强调，这个功能的目标是检测和报告泄漏，而不是自动回收。“泄漏的 goroutine 是 bug”，团队明确表示不会冒险去运行这些卡死 goroutine 的 finalizer，因为这可能导致不可预测的行为。

虽然该实现目前尚未移植到最新的 Green Tea GC，并且在 32 位系统上支持有限，但其方向已经非常明确。一个酝酿了十年的构想，在学术界和工业界（Uber）的共同推动下，正以前所未有的速度接近现实。我们有理由期待，在 Go 1.26 中，Go 开发者将迎来一个内建于运行时的、经过生产环境检验的革命性并发问题诊断工具。

资料链接：

https://github.com/golang/go/issues/74609
https://dl.acm.org/doi/pdf/10.1145/3676641.3715990

你的Go技能，是否也卡在了“熟练”到“精通”的瓶颈期？

想写出更地道、更健壮的Go代码，却总在细节上踩坑？
渴望提升软件设计能力，驾驭复杂Go项目却缺乏章法？
想打造生产级的Go服务，却在工程化实践中屡屡受挫？

继《Go语言第一课》后，我的《Go语言进阶课》终于在极客时间与大家见面了！

我的全新极客时间专栏《Tony Bai·Go语言进阶课》就是为这样的你量身打造！30+讲硬核内容，带你夯实语法认知，提升设计思维，锻造工程实践能力，更有实战项目串讲。

目标只有一个：助你完成从“Go熟练工”到“Go专家”的蜕变！现在就加入，让你的Go技能再上一个新台阶！

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求，请扫描下方公众号二维码，与我私信联系。

本文永久链接 – https://tonybai.com/2025/07/22/cedardb-choose-cpp-rather-than-rust

大家好，我是Tony Bai。

近年来，Rust 语言无疑是技术圈最炙手可热的明星。它以“内存安全”的核心承诺，向统治了系统编程领域数十年的 C++ 发起了强有力的挑战。无数文章和布道者都在宣扬一个近乎“神话”的观点：用 Rust，你就能告别段错误和内存泄漏。

然而，就在这股“Rust 替换一切”的热潮中，一个来自行业核心的声音，给我带来了深深的思考。

Moritz Sichert，高性能数据库 CedarDB 的联合创始人兼 CEO，最近发表了一个“反直觉”的观点：

“Rust 是一门很棒的语言，我真的很喜欢用它。然而，当涉及到数据库系统时，我仍然会选择 C++ 而不是 Rust。”

一个数据库 CEO，在一个对数据安全和系统稳定性要求极致的领域，放弃了以“安全”著称的 Rust，转而拥抱充满了“历史遗留问题”的 C++。这究竟是为什么？

这并非一次简单的“厚此薄彼”，而是一场关于工程现实与语言哲学之间深刻权衡的精彩案例。

理论安全 vs 工程现实：unsafe 的“逃生舱口”

Moritz 首先承认了 Rust 的优点：理论上，Rust 通过其所有权系统和借用检查器，提供了远超 C++ 的默认安全性。这正是大家喜爱 Rust 的原因。

但问题在于，像 CedarDB 这样的高性能数据库，其开发工作远不止是处理业务逻辑。它需要深入到硬件的毛细血管中，榨干每一滴性能。这意味着：

使用大量底层的 CPU 特性。
实现复杂的侵入式数据结构。
进行带有验证的、乐观且激进的内存访问。

在这些场景下，Rust 的安全检查反而成了“束缚”。为了完成任务，你必须使用 Rust 提供的“逃生舱口”——unsafe 关键字。

而 Moritz 抛出的重磅炸弹正在于此：

“一旦你在 Rust 中写下 unsafe 代码，所有的赌注都将失效。在 unsafe 代码中，你遇到未定义行为（UB, Undefined Bahavior）的风险，甚至比在 C++ 中还要高。”

unsafe Rust：一个更危险的“黑暗森林”？

这个论断足以颠覆许多人的认知。unsafe Rust 怎么会比 C++ 还危险？

关键在于理解 unsafe 到底意味着什么。它不是简单地“关闭”安全检查，而是程序员向编译器立下了一个契约：“编译器，请相信我，接下来的这段代码，我将手动保证它完全遵守 Rust 的内存模型和别名规则（Aliasing Rules）。”

这正是问题的核心所在。
* C++ 的危险是“已知的”：C++ 就像一片广阔的雷区，但经过几十年的探索，老兵们已经绘制出了详细的“排雷图”。虽然处处是坑，但如何避免、如何调试，已经积累了大量的工程实践和模式。
* unsafe Rust 的危险是“微妙的”：unsafe 区域就像一个“黑暗森林”，你不仅要面对 C++ 程序员熟悉的裸指针、内存布局等问题，更要命的是，你还必须手动维护 Rust 那套比 C++ 更为严格的别名规则（例如，在任何给定时间，你只能有一个可变引用 &mut T，或者任意数量的不可变引用 &T，但不能两者都有）。

对于一位经验丰富的 C++ 开发者而言，在 unsafe 块里很容易不自觉地写出 C++ 风格的指针操作，却无意中违反了 Rust 的核心不变量，从而触发 UB。这种“新规则”下的自由，反而成了一个更容易跌落的陷阱。

Moritz 的观点是：在一个必须大量使用 unsafe 的项目中，与其在一个受严格规则约束的环境里“戴着镣铐跳舞”，不如直接选择那个虽然危险、但规则更为人熟知且自由度更高的 C++。

聊聊 Go：一种不同的安全哲学

那么，聊了这么多 Rust 和 C++，我们作为 Gopher 能从中得到什么启发呢？这恰好能让我们更深刻地理解 Go 的设计取舍。

Go 语言同样有一个 unsafe 包。但与 Rust 的设计哲学截然不同。

Rust 的 unsafe 是语言的一等公民，是其系统编程能力的重要组成部分，是为了实现“零成本抽象”而设计的必要工具。

而 Go 的 unsafe，从其文档的第一句话起，就在极力地“劝退”你：

“任何使用了 unsafe 包的程序都可能在未来 Go 语言版本中无法移植……使用 unsafe 的代码，其安全性需要程序员手动保证，我们不建议使用。”

在 Go 的世界里，unsafe 更像一个被严格限制的“后门”，而非一个功能特性。它的存在主要是为了实现标准库（如 runtime、sync），或在极少数与 C 库交互、进行极致性能微调的场景下使用。

我们可以这样总结三者的哲学：
* C++：默认给予你全部的权力与危险，安全是你的责任。
* Rust：默认提供极致的安全，但给你一个 unsafe 的选项，让你在立下严格契约为前提下重获权力。
* Go：默认通过 GC 和简单的内存模型提供高度的工程安全与效率，unsafe 是一个官方不鼓励、非标准的“应急方案”。

Go 的选择是，在绝大多数场景下，宁愿牺牲掉那部分通过复杂手动内存管理换来的极限性能，也要保证语言模型的简单性和大规模团队协作的工程效率与安全。