AI - Tony Bai

本文永久链接 – https://tonybai.com/2025/11/11/zsxq-11-11-2025

大家好，我是Tony Bai。

又到了一年一度的双十一了，这个曾经的光棍节，如今已内化为一场全民的消费节。

作为一个埋头搞技术的程序员，我很少参与这类活动。但最近，我对自己运营的知识星球 “Go & AI 精进营” 做了一次“成本核算”，算完之后，我愣住了，然后决定：

今年双十一，我也“疯”一次，做个“亏本”买卖。

一个不严谨的科学计算：我的星球到底值多少钱？

我一直在思考，如何量化一个知识社群的价值。于是，我用“程序员的思维”，对“Go & AI 精进营”做了一次不严谨的价值评估。

1. 先算核心产出：“主菜”——体系化的微专栏

我的星球，最核心的价值是体系化的深度内容输出。今年，我开启了全新的“微专栏”模式，用 3-5 篇的篇幅(长的也有8-10篇的)，把一个垂直领域挖深讲透。

产出频率： 我计划的更新节奏，大概是平均 2 天一篇。一年 365 天，就算 180 篇。
打个折： 考虑到假期、偶尔的“状态不佳”，以及一些不可抗力（比如沉迷于某个新剧，或某本爱不释手的新书），我们打个骨折，算 150 篇深度内容。
单篇估值： 我看了一下市面上单篇付费文章的价格，咱们的深度和体系化程度，谦虚点，一篇算 5 块钱不过分吧？

初步计算：150 篇 x 5 元/篇 = 750 元

2. 再算“吸收率”：知识的“损耗”

当然，没人能 100% 吸收所有知识。就像网络传输有丢包，知识传递也有“损耗”。

假设大家都是追求精进的开发者，学习能力极强，知识吸收率能达到 80%。

价值折现：750 元 x 80% = 600 元

仅仅是核心专栏内容，折算后的价值就已经达到了 600 元。

这还没算上那些真正的“无价之宝”：

那些能帮你省下数小时、甚至数天调试时间的“避坑指南”…
一个可能让你在面试中脱颖而出的关键问题解答…
第一时间获取Go & AI 前沿动态的“情报费”…
链接一群高质量 Gopher 的“社交网络费”…
以及，我个人“随叫随到”的有问必答服务…

这些“附加值”，其价值更是难以估量。

一个“亏本”的决定：双十一，仅此一天

算完这笔账，再看看星球目前的定价，我发现自己一直在做“慈善”。（手动狗头）

既然如此，不如“慈善”到底。

我决定，在今年的双十一（11 月 11 日）当天，为所有希望加入“Go & AI 精进营”的新朋友，提供一次全年仅此一天的特别优惠。

双十一当天（00:00 – 23:59）

加入我的知识星球“Go & AI 精进营”

享受全年唯一一次 8 折优惠！

仅此一天，错过再等一年！

我很少做活动，因为我相信，真正的价值不需要频繁的折扣来证明。但我也希望，在双十一这个特殊的日子里，能为那些一直在关注、但稍有犹豫的朋友，提供一个“临门一脚”的绝佳机会。

扫描下方二维码，或点击“这里”，立即领取 8 折优惠券，双十一当天使用

你将加入一个怎样的社群？

“Go & AI 精进营”不是一个靠打卡来制造热闹的地方，而是一个“高手过招的茶馆”和“深度研讨的实验室”。

在这里，我们共同探讨：

Go 语言的底层原理与高级工程实践
AI Agent 与大模型应用的落地
云原生与分布式系统的前沿

2025 年，我们已经推出了：

《Go测试之道：从测试金字塔到高级实践》
《Go模块构建与依赖管理》
《Go网络编程全解》
《Go context解惑》
《Go开发者的数据库设计之道》
《Go 系统编程》
《用Go 解锁位运算之美》
《Go TUI开发入门》
《Go密码学101》
《Gemini CLI：重新定义命令行AI开发》
《Go并发调度艺术》
《征服Go并发测试》
《Gopher 的 AI 原生应用开发第一课》
《Go语言进阶课》

更多已推出的微专栏信息，请参见《我的技术专栏》页面。

未来几个月，我们即将启程：

《AI原生开发工作流实战课》（与极客时间同源）
《Go工具创造者指南：从代码分析、构建Linter到代码生成》
《写给 Go 工程师的 DDD 设计实录》
《代码中的数学》
《Go 数据压缩通识课》
…以及更多硬核的微专栏

而这，仅仅是开始。

展望 2026 年，我的规划将更加聚焦于体系化和实战。 我计划将今年的“微专栏”系列进行迭代和整合，打磨成一系列完整的、覆盖从入门到精通的“Go 工程师的 AI 实战微课程”。同时，我们也会继续深入 Go 的底层，探索更多硬核的系统可观测和性能优化主题。

加入我们，你投资的不仅是 2025 年的内容，更是通往 2026 年及以后，一张更具竞争力的自己的“早鸟票”。

如果你渴望在一个高质量的圈子里，与一群志同道合的 Gopher 共同成长，探索 Go & AI 的前沿，那么，这可能是你今年最值得的一笔“自我投资”。

最后提醒一次：8 折优惠，仅限双十一当天。

期待在星球里，看到你的身影。

你的Go技能，是否也卡在了“熟练”到“精通”的瓶颈期？

想写出更地道、更健壮的Go代码，却总在细节上踩坑？
渴望提升软件设计能力，驾驭复杂Go项目却缺乏章法？
想打造生产级的Go服务，却在工程化实践中屡屡受挫？

继《Go语言第一课》后，我的《Go语言进阶课》终于在极客时间与大家见面了！

我的全新极客时间专栏《Tony Bai·Go语言进阶课》就是为这样的你量身打造！30+讲硬核内容，带你夯实语法认知，提升设计思维，锻造工程实践能力，更有实战项目串讲。

目标只有一个：助你完成从“Go熟练工”到“Go专家”的蜕变！现在就加入，让你的Go技能再上一个新台阶！

想系统学习Go，构建扎实的知识体系？

我的新书《Go语言第一课》是你的首选。源自2.4万人好评的极客时间专栏，内容全面升级，同步至Go 1.24。首发期有专属五折优惠，不到40元即可入手，扫码即可拥有这本300页的Go语言入门宝典，即刻开启你的Go语言高效学习之旅！

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求，请扫描下方公众号二维码，与我私信联系。

本文永久链接 – https://tonybai.com/2025/11/08/proposal-zstd

大家好，我是Tony Bai。

在 Go 的世界里，一项被社区翘首以盼的提案在沉寂一年后，终于迎来了决定性的进展。2024 年，将 Zstandard 压缩算法纳入标准库的提案（#62513）被正式 Accept，但在那之后便鲜有动静。直到最近的 Go 编译器与运行时会议纪要中透露，这项工作将由社区的明星开发者 Klaus Post 主导推进。

这意味着，在未来的 Go 版本中，开发者将能开箱即用地获得一个官方维护、安全可靠且性能卓越的压缩工具。这不仅是对 Go 生态的一次重要补强，更将直接为无数 Go 应用带来性能提升、带宽节约和成本削减，真正实现“更快、更省”的承诺。

同时，这个提案背后曲折的历程——从激烈的技术选型辩论，到精雕细琢的 API 设计，再到因核心团队资源紧张而搁置，最终由社区力量重新激活——本身就是一幅展现 Go 生态演进的生动图景。

在本文中，我们将探讨 Zstandard 脱颖而出的技术优势，剖析其在工业界的成功案例，并揭示 compress/zstd 标准库从提案、API 设计到最终由社区力量重启的完整历程。

Zstandard：为何是它，而非其他？

在决定为标准库引入新的压缩算法时，Go 团队面临着众多选择。提案发起者 dsnet 在讨论中进行了一次精彩的“选美”，清晰地阐述了为何 Zstandard (Zstd) 能够脱颖而出：

Zstandard (Zstd): 由 Facebook (现 Meta) 开发并开源，拥有极佳的压缩/解压速度和出色的压缩比。更重要的是，它有正式的 RFC 规范（RFC 8878），这对于标准库实现的“正确性”至关重要。
Brotli: 同样优秀，但在设计上更偏向 Web 静态内容，且其庞大的静态字典（约 120KiB）与 Go 追求小体积静态二进制文件的哲学相悖。
XZ (LZMA): 拥有极高的压缩比，但代价是极其缓慢的压缩和解压速度，不适合通用场景。且缺乏正式的、明确的规范。
Snappy / LZ4: 追求极致的速度，但在压缩比上做出了巨大牺牲，应用场景相对小众。

Zstd 巧妙地结合了 LZ77 算法和一种名为 ANS (Asymmetric Numeral Systems) 的现代熵编码技术，在性能、压缩比和资源消耗之间取得了近乎完美的平衡，使其成为替代 Gzip 的“天选之子”。

注：截至Go 1.25.3版本，Go compress目录下提供了多种压缩算法的实现：bzip2实现了Burrows-Wheeler变换及霍夫曼编码；flate提供了DEFLATE算法核心，结合了LZ77和霍夫曼编码；gzip和zlib则分别将DEFLATE算法封装为gzip文件格式和zlib数据流格式；lzw实现了Lempel-Ziv-Welch算法。这些包共同为Go语言提供了多样化的数据压缩与解压缩能力。

注：Zstandard最新RFC规范为RFC 9659。

工业界验证：Discord 与 Cloudflare 的性能飞跃

理论上的优势必须经过实践的检验。Zstd 在工业界的应用早已硕果累累。

**Discord 的 40% 带宽削减：** 通讯巨头 Discord 在将其实时网关的压缩算法从 zlib (Gzip) 迁移到流式 Zstandard 后，获得了惊人的收益。对于核心的 MESSAGE_CREATE 事件，压缩时间缩短了一半以上，负载体积也显著减小。这直接转化为更低的服务端 CPU 占用和客户端带宽节省，最终实现了 整体 Websocket 流量降低 40% 的壮举。
**Cloudflare 的容器镜像加速：** 在其全球容器平台上，Cloudflare 需要快速分发巨大的 AI 模型镜像（常超过 15GB）。通过将镜像层压缩算法从 Gzip 更换为 Zstd，一个 30GB 镜像的拉取时间从 8 分钟骤降至 4 分钟，速度翻倍，极大地提升了全球调度的灵活性和响应速度。

这些案例雄辩地证明，Zstd 是为现代高吞吐量、低延迟应用而生的。

API 设计的艺术：一场关于简洁、安全与未来的辩论

将新包引入标准库，API 的设计是重中之重。#62513 的讨论串完整记录了 compress/zstd API 从雏形到最终形态的演进过程。

核心原则：安全与一致性

提案伊始，就确立了两大基石：

安全优先： 标准库实现必须是纯 Go版本，不使用 unsafe 或汇编。dsnet 强调：“Go 社区调查一致显示，安全性比性能更重要。” 这意味着标准库版本追求的是可审查性、可维护性和跨平台的一致性，而非极致的性能。
API 一致性： 新 API 应与 compress/gzip、compress/flate 等现有包保持风格统一，降低开发者的学习和迁移成本。

社区的声音：Klaus Post 的关键输入

在讨论中，github.com/klauspost/compress 系列库的作者 Klaus Post 扮演了关键角色。他的库是 Go 社区公认的最高性能压缩实现，其丰富的实战经验为标准库的设计提供了宝贵视角。

Klaus 指出，他自己的库 API 相对复杂，是因为支持多线程、异步等高级特性。他赞同标准库应剥离这些复杂性，提供一个完全同步的、线程安全的 API。同时，他也对字典（Dictionary）功能的 API 设计提出了深刻见解，强调了字典预处理的开销问题，这直接影响了后续 API 的设计。

最终定稿的 API

经过多轮讨论，由 Russ Cox (rsc) 总结并最终被接受的 API 形态如下(并非最终版)：

package zstd

const (
    NoCompression      = 0
    BestSpeed          = 1
    BestCompression    = 9
    DefaultCompression = -1
)

type Dict struct { /* ... */ }
func ParseDict(enc []byte) (*Dict, error)
// ... 可能还包含 Marshal/Unmarshal 方法

type Reader struct { /* ... unexported fields ... */ }
func NewReader(r io.Reader) (*Reader, error)
func (z *Reader) Reset(r io.Reader) error
func (z *Reader) AddDict(*Dict)
func (z *Reader) SetRawDict([]byte)
func (z *Reader) Read(p []byte) (int, error)
func (z *Reader) Close() error

type Writer struct { /* ... unexported fields ... */ }
func NewWriter(w io.Writer) *Writer
func (z *Writer) Reset(w io.Writer)
func (z *Writer) SetLevel(int) error
func (z *Writer) AddDict(*Dict)
func (z *Writer) SetRawDict([]byte)
func (z *Writer) Write([]byte) (int, error)
func (z *Writer) Flush() error
func (z *Writer) Close() error

这个设计体现了 Go 标准库的哲学：

Setter 模式： 采用 SetLevel、AddDict 等方法进行配置，而不是更复杂的构造函数重载或函数式选项，兼顾了灵活性和简洁性。
独立的 Dict 类型： 将字典抽象为 Dict 类型，通过 ParseDict 进行预处理。这解决了 Klaus 提出的“重复解析字典开销大”的问题，允许用户一次解析，多次复用。
错误处理： 关键配置（如 SetLevel、ParseDict）返回 error，增强了 API 的健壮性。

漫长的等待与社区英雄的登场

提案于 2024 年被接受，为何直到 2025 年底才真正启动？这背后反映了 Go 核心团队面临的现实挑战。Go 团队规模精简，核心成员的精力需要分配给语言、编译器、运行时等更高优先级的任务。提案发起者 dsnet 也深度参与了 json/v2 等重大项目，无暇分身。

在此期间，Klaus Post 主动请缨，表示愿意贡献一个精简版的、符合标准库要求的实现。然而，这个提议在当时并未得到明确的推进信号。

转机出现在 2025 年 11 月的 Go 团队内部会议。纪要显示，团队终于有带宽来审查社区对 compress/flate 和 compress/zstd 的贡献。会议明确提到：“很高兴有社区审查。我们能去问问 k8s 的人吗？”（意指寻求更多社区的反馈和测试）。这标志着官方正式为 Klaus Post 的贡献打开了大门。随后Klaus Post也给出了自己的贡献时间表，大约在2026年Q1提交第一版实现给Go团队审查。