标签 RussCox 下的文章

Go x/exp/xiter提案搁浅背后:社区的选择与深度思考

本文永久链接 – https://tonybai.com/2025/05/29/xiter-declined

大家好,我是Tony Bai。

随着 Go 1.22 中 range over func 实验性特性的引入,以及在 Go 1.23 中该特性的最终落地(#61405),Go 社区对迭代器(Iterators)的讨论达到了新的高度。在这一背景下,一项旨在提供标准迭代器适配器(Adapters)的提案 x/exp/xiter (Issue #61898) 应运而生,曾被寄予厚望,期望能为 Go 开发者带来一套便捷、统一的迭代器操作工具集。然而,经过社区的广泛讨论和官方团队的审慎评估,该提案最终被标记为“婉拒并撤回 (declined as retracted)”。本文将对 x/exp/xiter 提案的核心内容做个简单解读,说说社区围绕它的主要争论点,以及最终导致其搁浅的关键因素,并简单谈谈这一决策对 Go 语言生态的潜在影响与启示。

x/exp/xiter:构想与核心功能

x/exp/xiter 提案由 Russ Cox (rsc) 发起,旨在 golang.org/x/exp/xiter 包中定义一系列迭代器适配器。这些适配器主要服务于 Go 1.23 中引入的 range over func 特性,提供诸如数据转换 (Map)、过滤 (Filter)、聚合 (Reduce)、连接 (Concat)、并行处理 (Zip) 等常用功能。

其核心目标是:

  • 提供标准化的迭代器操作工具: 帮助开发者以更声明式的方式处理序列数据。
  • 探索迭代器在 Go 中的惯用法: 将其置于 x/exp 目录下,意在收集社区反馈,探讨这些适配器如何融入现有的 Go 代码风格,以及是否最终适合进入标准库 iter 包。

提案中包含了一系列具体的函数定义,例如:

  • Concat / Concat2: 连接多个序列。
  • Filter / Filter2: 根据条件过滤序列元素。
  • Map / Map2: 对序列中的每个元素应用一个函数。
  • Reduce / Reduce2: 将序列中的元素聚合成单个值。
  • Zip / Zip2: 并行迭代两个序列。
  • Limit / Limit2: 限制序列的长度。
  • Equal / Equal2 (及 EqualFunc 版本): 比较两个序列是否相等。
  • Merge / Merge2 (及 MergeFunc 版本): 合并两个有序序列。

值得注意的是,许多函数都提供了针对 iter.Seq[V](单值序列)和 iter.Seq2[K, V](键值对序列)的两个版本,这导致了 API 数量上的成倍增加。

以下是一个简单的设想用法示例:

package main

import (
    "fmt"
    "iter"
    // 假设 xiter 包已存在且包含提案中的函数
    // "golang.org/x/exp/xiter"
)

// 假设的 Filter 函数
func Filter[V any](f func(V) bool, seq iter.Seq[V]) iter.Seq[V] {
    return func(yield func(V) bool) {
        for v := range seq {
            if f(v) && !yield(v) {
                return
            }
        }
    }
}

// 假设的 Map 函数
func Map[In, Out any](f func(In) Out, seq iter.Seq[In]) iter.Seq[Out] {
    return func(yield func(Out) bool) {
        for in := range seq {
            if !yield(f(in)) {
                return
            }
        }
    }
}

func main() {
    numbers := func(yield func(int) bool) {
        for i := 1; i <= 5; i++ {
            if !yield(i) {
                return
            }
        }
    }

    // 设想:筛选偶数,然后平方
    evenSquares := Map(
        func(n int) int { return n * n },
        Filter(
            func(n int) bool { return n%2 == 0 },
            numbers,
        ),
    )

    for sq := range evenSquares {
        fmt.Println(sq) // 预期输出: 4, 16
    }
}

社区热议:挑战与权衡

x/exp/xiter 提案引发了社区成员的广泛讨论,焦点集中在 API 设计、易用性、与 Go 语言既有哲学的契合度等多个方面。

API 设计与易用性

  • 链式调用 vs. 嵌套函数调用: 一些开发者指出,与 Java Streams 或 C# LINQ 那样的流畅链式调用(seq.Map(…).Filter(…))相比,Go 中基于顶层函数的嵌套调用(Filter(Map(seq, …)))在可读性和编写顺序上存在不足。然而,实现链式调用需要泛型方法,而 Russ Cox指出泛型方法在 Go 中面临巨大的实现挑战(动态代码生成、性能问题、接口检查复杂性等),因此短期内不太可能实现。
  • 函数参数顺序: 关于 Filter, Map, Reduce 等函数中,回调函数 f 与序列 seq 的参数顺序,社区存在不同看法。
    • benhoyt认为回调函数应置于末尾,以符合 Go 标准库中如 sort.Slice 等多数函数的习惯,便于使用内联函数字面量。
    • aarzilli 和 Russ Cox 则倾向于将回调函数置于首位(如 Map(f, seq)),理由是这更利于函数组合时的阅读顺序(从内到外或从后往前阅读),并且与 Lisp, Python, Haskell 等语言的类似库保持一致。Russ Cox 最终在提案更新中将 Reduce 的函数参数也移至首位。
  • 匿名函数冗余: DeedleFake等人指出,在没有更简洁的匿名函数语法(如 #21498 提案)的情况下,使用这些适配器时,匿名函数的类型签名显得冗余和笨拙,降低了代码的简洁性。

Seq vs. Seq2 的双重性

提案中大量函数针对 iter.Seq[V] 和 iter.Seq2[K, V] 提供了两个版本(例如 Map 和 Map2),这直接导致了 API 接口数量的翻倍。虽然 Russ Cox 认为这只是“重复而非复杂性”,因为学习了 Foo 形式后,Foo2 形式只是一个简单的规则,但仍有社区成员担忧这会使包显得臃肿,影响开发者体验,并随着未来可能增加更多适配器而使问题恶化。

Zip 的语义之争

提案中的 Zip 函数设计为当一个序列耗尽后,仍会继续迭代另一个序列,并在 Zipped 结构体中通过 Ok1/Ok2 标志位标示元素是否存在。这与 Python 等语言中 zip 在最短序列结束时即停止的行为不同,更类似于 zip_longest。社区开发者就此展开讨论,认为应提供传统意义上的 Zip(返回 Seq2[V1, V2] 并在短序列结束时停止)和行为类似 zip_longest 的版本(如 ZipAll 或将提案中的 Zip 重命名为 ZipLongest)。

标准库的边界与 Go 的哲学

  • “Go 风格”与“过度抽象”: 一些开发者对引入这类高度函数式的适配器表示担忧,认为它们可能与 Go 语言简洁、直接、偏向过程式循环的既有风格不符,可能导致“过度抽象”。Russ Cox 也承认存在这类担忧,并指出提案的初衷是补充而非取代传统的 for 循环。
  • x/exp 的定位: Russ Cox强调,x/exp 仓库并非随意尝试新事物的试验场,而是存放那些被认为是标准库潜在候选者的地方,因为即使是 x/exp 中的包,也需要长期支持。
  • DSL (领域特定语言) 的可能性: 有开发者提出了借鉴 jq 或 C# LINQ 的思路,通过 DSL 来解决迭代器链式操作的易用性问题。但 Russ Cox 认为这不符合 Go 当前的目标,且可能带来性能和复杂性问题。

最终的抉择:为何搁置?

在 Go 1.23 发布一段时间后,经过充分的讨论和实践反馈,Russ Cox 和 Austin Clements 代表提案审查小组,宣布将此提案标记为“婉拒并撤回 (declined as retracted)”

主要原因可以归纳为:

  1. 缺乏广泛共识与“过度抽象”的担忧: 官方团队认为,对于将这些适配器加入标准库并鼓励其广泛使用,社区并未形成足够强的共识。许多情况下,直接使用 for 循环可能更为清晰和符合 Go 的惯用法,而这些适配器可能导致“过度抽象”。
  2. 实际使用体验与语法限制: 许多开发者在实际使用迭代器后发现,由于当前 Go 语言匿名函数语法的冗余以及缺乏流畅的链式调用机制,这些适配器的使用体验并不理想,甚至不如手写循环或自定义辅助函数来得直接。
  3. 为第三方库发展留出空间: 官方认为,与其在标准库中提供一套可能不完美或引发争议的工具集,不如将这部分探索和创新留给社区和第三方库。撤回官方提案可以为第三方迭代器工具库的涌现和发展创造更有利的环境。
  4. 迭代器特性尚年轻: Go 中的迭代器特性相对较新,社区和官方都需要更多时间来积累使用经验,观察哪些模式和辅助函数真正被广泛需要和接受。未来可能会基于更充分的数据和实践,提出更具针对性的小型提案。

展望与启示

x/exp/xiter 提案的搁浅,并不意味着 Go 语言在迭代器支持上的停滞。相反,它反映了 Go 团队在语言发展上一贯的审慎和务实态度。

对 Go 开发者而言,这意味着:

  • range over func 依然强大: Go 1.23 提供的原生迭代器机制是核心,开发者可以充分利用它来构建高效、灵活的数据处理逻辑。
  • 自定义与第三方库是当前主流: 对于迭代器的转换、过滤、聚合等操作,目前主要依赖开发者自行编写辅助函数,或选用社区中涌现的第三方迭代器工具库(如 deedles.dev/xiter, github.com/bobg/seqs, github.com/jub0bs/iterutil 等在讨论中被提及的个人项目)。
  • 关注语言本身的演进: 诸如更简洁的匿名函数语法 (#21498) 等相关语言特性的提案,如果未来能被接受,可能会极大地改善函数式编程风格在 Go 中的体验,并可能为官方再次考虑标准化迭代器工具铺平道路。
  • Go 的哲学不变: 清晰、简洁、可读性以及避免不必要的复杂性,仍然是 Go 语言设计的核心考量。任何新特性或库的引入,都将在此框架下被严格审视。

x/exp/xiter 的讨论过程本身就是一次宝贵的社区实践,它汇集了众多 Go 开发者的智慧与经验,即便提案未被接纳,其间的深入思考和论证也为 Go 语言迭代器生态的未来发展指明了方向,并留下了丰富的参考。我们期待看到 Go 社区在迭代器领域持续探索,涌现出更多符合 Go 风格且能切实解决开发者痛点的优秀工具与实践。


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

揭秘Go语言中的rune:一段跨越30年的Plan 9往事与UTF-8的诞生传奇

本文永久链接 – https://tonybai.com/2025/05/16/how-rune-came

大家好,我是Tony Bai。

作为 Gopher,我们每天都在和 rune 打交道。在 Go 语言中,它通常被解释为“一个 Unicode 码点”,官方文档也说引入这个术语是为了“简洁”。但你是否曾好奇,这个略带神秘色彩的词汇,究竟源自何方?仅仅是为了简洁吗?

最近,Connor Taffe的一篇精彩博文以及 Go语言之父 Rob Pike 的亲自确认,为我们揭开了一段跨越三十余年,从 Plan 9 操作系统到 UTF-8 编码诞生,再到 Go 语言的历史传奇。今天,就让我们一起,深入 rune 背后的故事。

一句“简洁”,一段 Plan 9 往事

Connor文章中引用的Adam Pritchard的关于限制字符串长度的文章中提到:“请注意,在 Go 中,Unicode 码点通常被称为‘rune’。(Go 似乎是为了简洁而引入了这个术语。)” 而 Go 官方博客《Strings, bytes, runes, and characters in Go》也说:“‘Code point’有点拗口,所以 Go 引入了一个更短的术语:rune。”

Rob Pike 在 Bluesky 上的发言截图

然而,真相远不止于此。Rob Pike 最近在 Bluesky 上澄清(如上图),rune 这个词实际上是 Ken Thompson 在一次为 Plan 9 寻找一个不同于 char(用于字节)的类型名称的头脑风暴中“得意地”提出的,Rob Pike 当即表示赞同。更关键的是,Rob Pike 随后确认,这个命名发生在 Plan 9 为 UTF 和 ISO 10646 寻找类型名称的时期,具体是1991 年 12 月 8 日的晚上!远早于 Unicode 和 UTF-8 的广泛应用,也比 Go 语言的诞生早了数十年。

是的,你没看错,rune 的故事,始于 Plan 9,那个由贝尔实验室传奇人物们(包括 Rob Pike, Ken Thompson 等)创造的操作系统。Go 语言深受 Plan 9 的影响,从链接器架构、并发原语 channel、标识符大小写的可见性规则,到对简洁性的极致追求,都带着浓厚的 Plan 9 印记。rune 便是这血脉传承中的一环。

餐巾纸上的革命:UTF-8 的诞生传奇

要理解 rune 在 Plan 9 中的意义,就不得不提 UTF-8 的诞生。Connor 的文章中引用了一封 Rob Pike 在 2003 年的邮件,详细披露了这段鲜为人知的历史,纠正了“IBM 设计 UTF-8,Plan 9 实现它”的说法。

故事发生在 1992 年 9 月左右的一个晚上,新泽西一家小餐馆的餐巾纸上:

  • 缘起: Plan 9 当时使用 ISO 10646 最初的 UTF(一种16位字符编码)来支持宽字符,但团队对它非常不满。Rob Pike 形容道:“UTF 太糟糕了。它有模192的算术,而且在没有除法硬件的老 SPARC 机器上几乎不可能高效实现。像【/*】这样的字符串可能出现在西里尔字符中间,导致你的俄文文本变成一个 C 语言注释。还有更多问题。它作为一种编码根本不实用。”
  • 契机: 一天下午,X/Open 委员会的一些人(据 Rob Pike 回忆可能来自 IBM 奥斯汀)打来电话,希望 Ken 和 Rob 审查他们的 FSS-UTF (File System Safe UTF) 设计。Ken 和 Rob 意识到这是一个用他们的经验设计一个真正优秀的标准,并让 X/Open 将其推广出去的机会。
  • 餐巾纸上的灵感: 他们接受了挑战,条件是必须快速完成。于是,在那个决定性的晚餐上,Ken Thompson 在餐巾纸上构想出了 UTF-8 的位打包方案。
  • 闪电般的实现: 晚餐后回到实验室,他们便向 X/Open 解释了新方案,并承诺在周一前(据信是 X/Open 的重要投票日)拿出一个完整的运行系统。当晚,Ken 写了打包和解包代码,Rob Pike 则开始修改 C 库和图形库。到周五的某个时候,Plan 9 已经完全运行在后来被称为 UTF-8 的编码上了。

Rob Pike 在邮件中强调,他们之所以要“另起炉灶”,是因为 FSS-UTF 缺少他们认为至关重要的特性之一:支持定位到文件或流的中间,并读取有效字符,或处理损坏的字符。 Ken Thompson 设计的 UTF-8 完美地解决了这个问题。

对比 Ken Thompson 当时提出的 UTF-8 方案(如下图)和 FSS-UTF,我们可以看到 UTF-8 的精妙之处:后续字节以 10 开头,与首字节的 110、1110 等模式区分开来,确保了自同步性和对 ASCII 的兼容性。

Rune 的首次亮相与演变

那么,Rune 这个词是什么时候正式与这种新的字符表示方式联系起来的呢?Rob Pike 在其关于 Plan 9 UTF-8 实现的论文《Hello World》中写道:

“在语义层面上,ANSI C 允许(但并未限制)宽字符的概念,并且允许此类字符串和字符常量。我们选择 unsigned short 作为宽字符类型。在库中,Rune 一词由 typedef 定义为等同于 unsigned short,并用于表示 一个Unicode 字符。”

这似乎是 Rune 作为一种特定类型名称,用于指代 Unicode 字符(码点)的最早文献记录。最初在 Plan 9 C 中,Rune 是一个 16 位无符号短整型,足以表示当时的 Unicode 基本多文种平面(BMP)。

而到了 Go 语言,rune 被定义为 int32 的别名。这是因为自 1992 年以来,Unicode 已经扩展,需要更大的空间来表示所有码点(UCS-4 定义了 31 位码空间)。Go 语言标准库中的 unicode/utf8 包也定义了 UTFMax = 4,表明一个 rune 最多可以用 4 个字节的 UTF-8 编码表示。有趣的是,在 Russ Cox 移植的 plan9 port 中,Rune 类型在 2009 年末也被修改为了 unsigned int,同样是为了支持更广的码点范围。

Ken Thompson 在最初的邮件中提到:“4、5 和 6 字节序列只是出于政治原因才存在的。我更愿意删除它们。” 这也印证了早期设计者对编码效率和实用性的极致追求。

Rune 的足迹:从 Plan 9 到更广阔的世界

Rune 这个术语,并没有止步于 Plan 9。通过 Paul Borman 的贡献,Plan 9 的 rune 功能被整合进了 4.4 BSD。从此,rune 开始在更广阔的 Unix 世界留下足迹:

  • FreeBSD 继承了 4.4 BSD 的 rune 函数,尽管后来推荐使用 ISO C99 的宽字符工具。
  • Apple 的 Darwin 内核,作为 BSD 的衍生,也包含了 rune_t 类型。
  • C 标准库实现如 newlib 也包含了源自 BSD 4.4 的 rune 功能。
  • Android 通过 plan9port 移植了 Plan 9 的 libutf,其中自然也包含了 rune。
  • 甚至,微软的 .NET 在引入 System.Text.Rune 类型时,其灵感也明确来自 Go 语言,这在其 GitHub issue 中由 Miguel de Icaza 提及

可见,rune 这个由 Ken Thompson 灵光一闪提出的词汇,承载着一段从贝尔实验室 Plan 9 开始,经由 BSD 社区,最终深刻影响了包括 Go 在内的现代编程语言和操作系统的字符处理历史。

小结:rune 不只是简洁

通过Rob Pike的亲自确认,我们应该知道,当我们今天再看到 Go 语言中的 rune 时,它不仅仅是为了“简洁”而对“Unicode code point”的替换。它是一个承载着厚重历史的符号,是 Go 语言设计者们深厚技术底蕴和创新精神的体现,是 Plan 9 简洁哲学与 UTF-8 实用主义的结晶。

理解 rune 的来龙去脉,有助于我们更深刻地体会 Go 语言在文本处理、字符串操作以及 Unicode 支持方面的设计考量,也让我们对这门语言背后的巨匠们多一份敬意。下一次,当你在 Go 代码中写下 rune 时,或许会想起那个在新泽西餐馆餐巾纸上诞生的传奇,以及那段跨越三十余年的 Plan 9 往事。

参考文献


聊一聊:

  • 在了解了 rune 的历史后,你对 Go 语言的设计是否有新的认识?
  • UTF-8 诞生的故事中,有哪些细节让你印象深刻?
  • 你认为这种对历史渊源的挖掘,对我们理解和使用一门编程语言有何帮助?

欢迎在评论区分享你的看法!如果你觉得这篇文章有趣且有价值,也请转发给你身边的 Gopher 朋友们,让更多人了解 rune 背后的故事。


今天我们一起挖掘了 rune 这个小小术语背后波澜壮阔的历史,感受到了 Go 语言与 Plan 9、UTF-8 的深厚渊源。真正理解一门语言,往往需要我们深入其“根源”,探究其设计选择背后的“为什么”。

这里,我邀请你加入我在极客时间的专栏 “TonyBai · Go 语言进阶课”

在这门课程中,我们将一起:

  • 夯实基础,突破语法认知瓶颈: 深入剖析那些看似熟悉却暗藏玄机的核心概念。
  • 设计先行,奠定高质量代码基础: 学习如何进行合理的程序骨架、并发设计、包设计、接口设计以及API设计。
  • 工程实践,锻造生产级 Go 服务: 掌握构建可观测性、性能调优、故障排查等硬核技能。

理解“过去”是为了更好地走向“未来”。 就像我们今天了解 rune 的故事一样,在《Go语言进阶课》中,我们将一起探索更多 Go 语言的设计精髓与实践智慧,助你完成从“熟练”到“精通”的蜕变。

扫描下方二维码或点击[阅读原文],立即加入,开启你的 Go 语言精进之旅!

期待与你在极客时间相遇,共同探索 Go 语言的深层魅力!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 AI原生开发工作流实战 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats