标签 Go 下的文章

如果《疯狂动物城》是一个分布式系统,那它一定是用 Go 写的

本文永久链接 – https://tonybai.com/2025/12/06/zootopia-distributed-system-written-in-go

大家好,我是Tony Bai。

文章开始前,先给各位道个歉,今天的标题确实有点“党”。

毕竟,非要说一个满是毛茸茸动物的动画片是用 Go 语言写的,这脑洞开得确实有点大。

但请原谅一个老程序员的“职业病”。

为了迎接本周末《疯狂动物城2》的观影家庭活动,上个周末,我特意腾出时间,陪家里5岁的二娃重温了第一部经典。原本我是想好好享受亲子时光的,可看着看着,作为写了十几年代码的程序员,我的关注点却莫名其妙地“跑偏”了。

当看到那座容纳了冰川、沙漠、雨林,拥有千万级“居民并发量”的超级城市运转得如此丝滑时,我脑子里的画面变了:这越看越像一个设计精良的云原生分布式系统;而那个身手敏捷的兔子警官,怎么看都像一只跑在服务器里的 Gopher……

于是,我忍不住这股“胡思乱想”的冲动,决定一本正经地胡说八道一番。

如果你也好奇,当一个架构师戴着“代码滤镜”看电影时,到底看到了什么?不妨继续听我聊聊

在我眼里,如果要把这座“动物城”搬到服务器上,它的底层架构,一定是用 Go 语言写的。

为什么这么说?因为陪娃看电影的过程中,我仿佛看到了 Go 语言设计哲学的完美具象化。

那个巨大的“空调墙”与容器化

电影最震撼的一幕,莫过于朱迪坐火车进城。

火车穿过烈日炎炎的撒哈拉广场(Sahara Square),下一秒就钻进了冰天雪地的冰川镇(Tundratown)。

女儿指着屏幕好奇地问我:“爸爸,为什么那边那么热,这边这么冷,它们在一起不会化掉吗?”

我指着那道巨大的分隔墙说:“因为有那堵墙呀,它把热气和冷气隔开了。”

在那一刻,我脑子里闪过的其实是 Docker 和 Kubernetes

在传统的系统里,不同环境的应用混在一起很容易“打架”(环境冲突)。而在动物城里,为了让北极熊(需要低温库)和骆驼(需要高温环境)在同一台“物理机”上共存,设计师构建了最极致的环境隔离

这不正是 Go 语言统治的云原生世界吗?

Go 语言构建了 Docker,构建了 Kubernetes。正是这些基础设施,像那道巨大的空调墙一样,通过 Namespace(命名空间)和 Cgroup(资源限制),让成千上万个习性迥异的“服务”互不干扰,在此消彼长的流量洪峰中,不仅没“化掉”,还活得很好。

树懒“闪电”与高并发的噩梦

重温经典,依然被树懒“闪电”查车牌那段笑出内伤。

女儿笑得在沙发上捧腹:“爸爸,他太慢了!朱迪急死了!”

我跟着笑,但心里却是一阵恶寒——这简直是每一个后端工程师的噩梦:主线程阻塞(Blocking I/O)

试想一下,如果动物城的市政大厅系统是单线程的,一只树懒卡在窗口办业务,后面排队的一万只动物全得等着。整个城市的吞吐量(QPS)瞬间归零,系统直接宕机。

但动物城(Zootopia)作为一个千万人口的超大系统,依然运转良好,说明它底层一定解决了这个问题。

如果是用 Go 写的,这就很好解释了。

Go 的设计哲学里,最核心的就是“高并发”。面对慢吞吞的“树懒式”任务(比如网络等待、文件读取),Go 不会傻等。它会派出一个轻量级的 goroutine(协程)去盯着树懒,主线程立马转头去处理下一只豹子或兔子的请求。

在这个庞大的系统里,也许有成千上万只“树懒”在慢动作,但整个城市依然像朱迪一样反应灵敏、健步如飞。这就是 Go 语言 GMP 调度模型的魔力。

朱迪警官:小身材,大能量

最后,说说我们的主角,兔子朱迪。

在满是大象、犀牛、北极熊的警局里,朱迪显得太小了。她没有庞大的身躯,起初也不被看好,被安排去贴罚单。

这像极了 Go 语言刚诞生时的处境。相比于 Java(大象)的厚重、C++(犀牛)的复杂,Go 显得语法简单、标准库精简,甚至生成的二进制文件都很小,一度被认为是“玩具语言”。

但朱迪凭什么破了大案?

靠的是灵活性、执行力和低资源消耗。

她能钻进犀牛进不去的狭窄管道(相对低内存的占用),她能在他人的视野盲区快速穿梭(极速启动)。

在构建现代微服务架构时,我们越来越不喜欢笨重的“单体应用”,而倾向于像朱迪这样小而美、独立部署、逻辑清晰的服务。

Go 语言就是代码世界里的“朱迪”。它剔除了所有花哨的语法糖,强制你写出清晰(甚至有点死板)的代码,但正是这种克制和高效,让它成为了支撑起整个动物城(云原生生态)最坚实的骨架。

写在最后

电影结束了,女儿意犹未尽,还在模仿朱迪的动作。

她问我:“爸爸,下周我们去看《疯狂动物城》第二部,朱迪会不会变得更厉害?”

我说:“肯定会啊,因为她一直在努力让这个城市变得更好。”

作为程序员,我们写下的每一行代码,何尝不是在构建一个虚拟的“动物城”?我们选择 Go,选择各种架构,不过是为了让这个系统更包容、更稳定,让里面的“居民”生活得更好。

这周末,我将带娃直击《疯狂动物城2》。 听说这一次,动物城面临了前所未有的复杂危机。

届时,我会继续为大家带来“程序员眼中的《疯狂动物城2》”,看看在新的挑战下,我们的“系统架构”又该如何进化?

敬请期待!


互动话题:

在重温经典电影时,你有没有因为“职业病”而产生过什么奇怪的联想?欢迎在评论区分享你的脑洞!


还在为“复制粘贴喂AI”而烦恼?我的新专栏 AI原生开发工作流实战 将带你:

  • 告别低效,重塑开发范式
  • 驾驭AI Agent(Claude Code),实现工作流自动化
  • 从“AI使用者”进化为规范驱动开发的“工作流指挥家”

扫描下方二维码,开启你的AI原生开发之旅。


你的Go技能,是否也卡在了“熟练”到“精通”的瓶颈期?

  • 想写出更地道、更健壮的Go代码,却总在细节上踩坑?
  • 渴望提升软件设计能力,驾驭复杂Go项目却缺乏章法?
  • 想打造生产级的Go服务,却在工程化实践中屡屡受挫?

继《Go语言第一课》后,我的《Go语言进阶课》终于在极客时间与大家见面了!

我的全新极客时间专栏 《Tony Bai·Go语言进阶课》就是为这样的你量身打造!30+讲硬核内容,带你夯实语法认知,提升设计思维,锻造工程实践能力,更有实战项目串讲。

目标只有一个:助你完成从“Go熟练工”到“Go专家”的蜕变! 现在就加入,让你的Go技能再上一个新台阶!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Go 安全新提案:runtime/secret 能否终结密钥残留的噩梦?

本文永久链接 – https://tonybai.com/2025/12/05/proposal-runtime-secret

大家好,我是Tony Bai。

“如果你的服务器被攻破,攻击者能否拿到内存中残留的私钥,进而解密过去两年的所有通信记录?”

这是一个让所有安全工程师夜不能寐的问题。为了防止这种情况,现代加密协议(如 TLS 1.3, WireGuard)都强调前向保密 (Forward Secrecy):使用临时的、一次性的密钥,并在使用后立即销毁。

然而,在 Go 语言中,“立即销毁”这个看似简单的动作,却是一个巨大的技术难题。由于垃圾回收 (GC)、堆栈复制、以及缺乏对内存的底层控制,Go 程序很难保证敏感数据被彻底擦除。

针对这一痛点,Go 社区大神 Jason A. Donenfeld(WireGuard作者,ID: zx2c4) 发起了一项长达数年的提案——引入 runtime/secret 包。近日,该提案已进入实现阶段,有望在Go 1.26版本中落地,并彻底改变 Go 处理敏感数据的方式。

img{512x368}

核心痛点:为什么 memset(0) 在 Go 中不够用?

在 C 语言中,我们可以调用 explicit_bzero 来擦除内存。但在 Go 中,情况要复杂得多:

  1. 隐式拷贝:Go 的切片操作、函数传参、甚至简单的赋值,都可能在堆或栈上留下数据的副本。你擦除了一份,却可能漏掉了其他三份。
  2. GC 的不确定性:垃圾回收器何时运行?被回收的内存是否会被立即归零?这些都是未知的。
  3. 堆栈扩容:当 goroutine 栈空间不足时,Go 运行时会分配一个更大的新栈,并将旧栈的数据拷贝过去。旧栈中的敏感数据就此残留,且不再被追踪。
  4. 编译器优化:简单的“写入零值”操作可能会被编译器视为“死代码”而优化掉。

正如 WireGuard 的 Go 实现中遇到的尴尬局面:为了擦除一个 AEAD 对象中的密钥,开发者不得不使用反射 (Reflection) 这种“旁门左道”来重置其内部字段,既不优雅也不可靠。

提案及演进:从 SetZeroOnGC 到 secret.Do

这项提案的讨论过程,简直是一部 Go 运行时机制的“解剖学教程”。

早期尝试:SetZeroOnGC

最初的设想是让用户标记某个对象,告诉 GC 在回收它时必须将其内存归零。

但这无法解决栈上数据的残留问题,也无法处理那些在函数调用过程中产生的临时副本。

中期探索:自定义分配器与 SetFinalizer

有人提议使用 memguard 等库,通过 mmap 分配不受 GC 管理的内存。

但这需要重写所有加密库的 API,使其接受自定义分配器,工程量巨大且不兼容现有生态。

最终方案:runtime/secret 包

经过反复权衡,Go 团队和社区最终汇聚到了一个基于动态作用域的解决方案上。提案的核心 API 极其简洁:

package secret

// Do 执行函数 f。
// 当 secret.Do 返回时:
//   - 清除函数 f 执行期间创建的所有栈帧(stack frames)。
//   - 清除所有可能包含secret的寄存器。
//   - 在secret模式下栈增长时,清除旧的栈。
//   - secret模式下,在 f 执行期间分配的所有堆对象,会被标记为“敏感”,并在 GC 回收时被安全擦除。
//   - 如果函数出现panic,则将该panic提升为来自 secret.Do 的异常。这会从回溯中移除有关secret函数的任何信息。

func Do(f func())

这个设计不仅解决了堆内存的问题,更关键的是,它提供了一个“安全沙箱”。在这个沙箱内,你可以放心地进行加密计算,Go 运行时会负责清理你在栈上留下的所有痕迹。

使用场景:WireGuard 与 TLS

想象一下 WireGuard 的握手过程:

func handleHandshake() {
    secret.Do(func() {
        // 1. 生成临时私钥 (在栈上或堆上)
        ephemeralPrivateKey := generateKey()

        // 2. 计算共享密钥 (产生大量中间计算结果)
        sharedKey := computeSharedKey(ephemeralPrivateKey, peerPublicKey)

        // 3. 使用共享密钥进行加密操作
        // ...

        // 函数返回时:
        // - ephemeralPrivateKey 所在的栈帧被立即擦除
        // - sharedKey 等堆对象被标记,GC 回收时自动擦除
    })
}

开发者不需要手动追踪每一个变量,也不需要担心 copy 操作泄露数据。只要在 secret.Do 的闭包内,一切都是安全的。

深水区的挑战:信号、GC 与汇编

虽然 API 设计看似完美,但实现起来却是困难重重。今年的最新讨论揭示了几个令人头秃的底层挑战:

  1. 信号处理 (Signals):如果程序在 secret.Do 执行期间收到系统信号,CPU 寄存器中的敏感数据会被操作系统保存到“信号栈”中。这相当于泄露了数据!

  2. 垃圾回收器 (GC):GC 在扫描内存时,可能会将敏感指针加载到自己的寄存器或栈中。如何确保 GC 线程本身不泄露数据?这是一个极其棘手的工程问题。

  3. 汇编代码:Go 的加密库大量使用了汇编优化。如何确保这些汇编代码在使用完寄存器后正确地将其清零?

当然,目前该提案的开发者 Daniel Morsing 已经逐个克服了上述挑战,比如针对信号处理的问题,他提出了一种巧妙的“影子栈”方案,试图在信号处理返回前拦截并擦除这些数据。Daniel Morsing针对该提案的cl 704615 近期已经被merge,有望在Go 1.26落地。

不过目前,该secret包仅在linux for arm64 and amd64上有实现。

小结:安全是场持久战

runtime/secret 提案的推进,标志着 Go 语言在系统级安全领域迈出了重要一步。它不仅回应了高安全等级应用(如金融、国防)的需求,也体现了 Go 团队在面对复杂底层问题时的务实与坚持。

虽然已经被merge,但历史经验告诉我们,距离该功能成熟可能还有一段路要走,后续仍在会有一些问题和实现细节需要解决,但它所传达的信号是明确的:Go 正在成为编写安全基础设施的首选语言之一。

对于我们普通开发者而言,虽然我们未必会在业务代码中直接 import 这个包(runtime/secret),但关注这个提案的进展,不仅能让我们见证 Go 语言如何填补安全拼图中至关重要的一角,更能让我们在“围观”其解决信号处理、GC 交互等硬核挑战的过程中,完成一次对 Go 运行时底层机制的深度认知升级。当这一基础设施最终就位时,我们将能以更强的信心,站在更坚固的安全基石之上构建应用。

资料链接:https://github.com/golang/go/issues/21865


聊聊你眼中的 Go 安全基石

runtime/secret 提案的推进,为 Go 在高安全等级场景的应用补上了一块关键的拼图。你在日常的 Go 开发中,是否也曾为如何安全地处理密钥、Token 等敏感数据而感到困扰?除了内存残留问题,你认为 Go 在安全方面还有哪些亟待完善的“深水区”?

或者,你对 secret.Do 这种通过“安全沙箱”来解决问题的方式有何看法?它是否是你心中理想的解决方案?

欢迎在评论区分享你的实战经验、安全痛点,或对 Go 语言安全生态的任何期待与建议! 让我们一起探讨,共同构建一个更安全的 Go 世界。

如果这篇文章让你对 Go 的底层安全有了新的认识,别忘了点个【赞】和【在看】,并分享给更多关注 Go 安全的同伴!


你的Go技能,是否也卡在了“熟练”到“精通”的瓶颈期?

  • 想写出更地道、更健壮的Go代码,却总在细节上踩坑?
  • 渴望提升软件设计能力,驾驭复杂Go项目却缺乏章法?
  • 想打造生产级的Go服务,却在工程化实践中屡屡受挫?

继《Go语言第一课》后,我的《Go语言进阶课》终于在极客时间与大家见面了!

我的全新极客时间专栏 《Tony Bai·Go语言进阶课》就是为这样的你量身打造!30+讲硬核内容,带你夯实语法认知,提升设计思维,锻造工程实践能力,更有实战项目串讲。

目标只有一个:助你完成从“Go熟练工”到“Go专家”的蜕变! 现在就加入,让你的Go技能再上一个新台阶!


想系统学习Go,构建扎实的知识体系?

我的新书《Go语言第一课》是你的首选。源自2.4万人好评的极客时间专栏,内容全面升级,同步至Go 1.24。首发期有专属五折优惠,不到40元即可入手,扫码即可拥有这本300页的Go语言入门宝典,即刻开启你的Go语言高效学习之旅!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 AI原生开发工作流实战 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats