标签 RussCox 下的文章

揭秘Go语言中的rune:一段跨越30年的Plan 9往事与UTF-8的诞生传奇

本文永久链接 – https://tonybai.com/2025/05/16/how-rune-came

大家好,我是Tony Bai。

作为 Gopher,我们每天都在和 rune 打交道。在 Go 语言中,它通常被解释为“一个 Unicode 码点”,官方文档也说引入这个术语是为了“简洁”。但你是否曾好奇,这个略带神秘色彩的词汇,究竟源自何方?仅仅是为了简洁吗?

最近,Connor Taffe的一篇精彩博文以及 Go语言之父 Rob Pike 的亲自确认,为我们揭开了一段跨越三十余年,从 Plan 9 操作系统到 UTF-8 编码诞生,再到 Go 语言的历史传奇。今天,就让我们一起,深入 rune 背后的故事。

一句“简洁”,一段 Plan 9 往事

Connor文章中引用的Adam Pritchard的关于限制字符串长度的文章中提到:“请注意,在 Go 中,Unicode 码点通常被称为‘rune’。(Go 似乎是为了简洁而引入了这个术语。)” 而 Go 官方博客《Strings, bytes, runes, and characters in Go》也说:“‘Code point’有点拗口,所以 Go 引入了一个更短的术语:rune。”

Rob Pike 在 Bluesky 上的发言截图

然而,真相远不止于此。Rob Pike 最近在 Bluesky 上澄清(如上图),rune 这个词实际上是 Ken Thompson 在一次为 Plan 9 寻找一个不同于 char(用于字节)的类型名称的头脑风暴中“得意地”提出的,Rob Pike 当即表示赞同。更关键的是,Rob Pike 随后确认,这个命名发生在 Plan 9 为 UTF 和 ISO 10646 寻找类型名称的时期,具体是1991 年 12 月 8 日的晚上!远早于 Unicode 和 UTF-8 的广泛应用,也比 Go 语言的诞生早了数十年。

是的,你没看错,rune 的故事,始于 Plan 9,那个由贝尔实验室传奇人物们(包括 Rob Pike, Ken Thompson 等)创造的操作系统。Go 语言深受 Plan 9 的影响,从链接器架构、并发原语 channel、标识符大小写的可见性规则,到对简洁性的极致追求,都带着浓厚的 Plan 9 印记。rune 便是这血脉传承中的一环。

餐巾纸上的革命:UTF-8 的诞生传奇

要理解 rune 在 Plan 9 中的意义,就不得不提 UTF-8 的诞生。Connor 的文章中引用了一封 Rob Pike 在 2003 年的邮件,详细披露了这段鲜为人知的历史,纠正了“IBM 设计 UTF-8,Plan 9 实现它”的说法。

故事发生在 1992 年 9 月左右的一个晚上,新泽西一家小餐馆的餐巾纸上:

  • 缘起: Plan 9 当时使用 ISO 10646 最初的 UTF(一种16位字符编码)来支持宽字符,但团队对它非常不满。Rob Pike 形容道:“UTF 太糟糕了。它有模192的算术,而且在没有除法硬件的老 SPARC 机器上几乎不可能高效实现。像【/*】这样的字符串可能出现在西里尔字符中间,导致你的俄文文本变成一个 C 语言注释。还有更多问题。它作为一种编码根本不实用。”
  • 契机: 一天下午,X/Open 委员会的一些人(据 Rob Pike 回忆可能来自 IBM 奥斯汀)打来电话,希望 Ken 和 Rob 审查他们的 FSS-UTF (File System Safe UTF) 设计。Ken 和 Rob 意识到这是一个用他们的经验设计一个真正优秀的标准,并让 X/Open 将其推广出去的机会。
  • 餐巾纸上的灵感: 他们接受了挑战,条件是必须快速完成。于是,在那个决定性的晚餐上,Ken Thompson 在餐巾纸上构想出了 UTF-8 的位打包方案。
  • 闪电般的实现: 晚餐后回到实验室,他们便向 X/Open 解释了新方案,并承诺在周一前(据信是 X/Open 的重要投票日)拿出一个完整的运行系统。当晚,Ken 写了打包和解包代码,Rob Pike 则开始修改 C 库和图形库。到周五的某个时候,Plan 9 已经完全运行在后来被称为 UTF-8 的编码上了。

Rob Pike 在邮件中强调,他们之所以要“另起炉灶”,是因为 FSS-UTF 缺少他们认为至关重要的特性之一:支持定位到文件或流的中间,并读取有效字符,或处理损坏的字符。 Ken Thompson 设计的 UTF-8 完美地解决了这个问题。

对比 Ken Thompson 当时提出的 UTF-8 方案(如下图)和 FSS-UTF,我们可以看到 UTF-8 的精妙之处:后续字节以 10 开头,与首字节的 110、1110 等模式区分开来,确保了自同步性和对 ASCII 的兼容性。

Rune 的首次亮相与演变

那么,Rune 这个词是什么时候正式与这种新的字符表示方式联系起来的呢?Rob Pike 在其关于 Plan 9 UTF-8 实现的论文《Hello World》中写道:

“在语义层面上,ANSI C 允许(但并未限制)宽字符的概念,并且允许此类字符串和字符常量。我们选择 unsigned short 作为宽字符类型。在库中,Rune 一词由 typedef 定义为等同于 unsigned short,并用于表示 一个Unicode 字符。”

这似乎是 Rune 作为一种特定类型名称,用于指代 Unicode 字符(码点)的最早文献记录。最初在 Plan 9 C 中,Rune 是一个 16 位无符号短整型,足以表示当时的 Unicode 基本多文种平面(BMP)。

而到了 Go 语言,rune 被定义为 int32 的别名。这是因为自 1992 年以来,Unicode 已经扩展,需要更大的空间来表示所有码点(UCS-4 定义了 31 位码空间)。Go 语言标准库中的 unicode/utf8 包也定义了 UTFMax = 4,表明一个 rune 最多可以用 4 个字节的 UTF-8 编码表示。有趣的是,在 Russ Cox 移植的 plan9 port 中,Rune 类型在 2009 年末也被修改为了 unsigned int,同样是为了支持更广的码点范围。

Ken Thompson 在最初的邮件中提到:“4、5 和 6 字节序列只是出于政治原因才存在的。我更愿意删除它们。” 这也印证了早期设计者对编码效率和实用性的极致追求。

Rune 的足迹:从 Plan 9 到更广阔的世界

Rune 这个术语,并没有止步于 Plan 9。通过 Paul Borman 的贡献,Plan 9 的 rune 功能被整合进了 4.4 BSD。从此,rune 开始在更广阔的 Unix 世界留下足迹:

  • FreeBSD 继承了 4.4 BSD 的 rune 函数,尽管后来推荐使用 ISO C99 的宽字符工具。
  • Apple 的 Darwin 内核,作为 BSD 的衍生,也包含了 rune_t 类型。
  • C 标准库实现如 newlib 也包含了源自 BSD 4.4 的 rune 功能。
  • Android 通过 plan9port 移植了 Plan 9 的 libutf,其中自然也包含了 rune。
  • 甚至,微软的 .NET 在引入 System.Text.Rune 类型时,其灵感也明确来自 Go 语言,这在其 GitHub issue 中由 Miguel de Icaza 提及

可见,rune 这个由 Ken Thompson 灵光一闪提出的词汇,承载着一段从贝尔实验室 Plan 9 开始,经由 BSD 社区,最终深刻影响了包括 Go 在内的现代编程语言和操作系统的字符处理历史。

小结:rune 不只是简洁

通过Rob Pike的亲自确认,我们应该知道,当我们今天再看到 Go 语言中的 rune 时,它不仅仅是为了“简洁”而对“Unicode code point”的替换。它是一个承载着厚重历史的符号,是 Go 语言设计者们深厚技术底蕴和创新精神的体现,是 Plan 9 简洁哲学与 UTF-8 实用主义的结晶。

理解 rune 的来龙去脉,有助于我们更深刻地体会 Go 语言在文本处理、字符串操作以及 Unicode 支持方面的设计考量,也让我们对这门语言背后的巨匠们多一份敬意。下一次,当你在 Go 代码中写下 rune 时,或许会想起那个在新泽西餐馆餐巾纸上诞生的传奇,以及那段跨越三十余年的 Plan 9 往事。

参考文献


聊一聊:

  • 在了解了 rune 的历史后,你对 Go 语言的设计是否有新的认识?
  • UTF-8 诞生的故事中,有哪些细节让你印象深刻?
  • 你认为这种对历史渊源的挖掘,对我们理解和使用一门编程语言有何帮助?

欢迎在评论区分享你的看法!如果你觉得这篇文章有趣且有价值,也请转发给你身边的 Gopher 朋友们,让更多人了解 rune 背后的故事。


今天我们一起挖掘了 rune 这个小小术语背后波澜壮阔的历史,感受到了 Go 语言与 Plan 9、UTF-8 的深厚渊源。真正理解一门语言,往往需要我们深入其“根源”,探究其设计选择背后的“为什么”。

这里,我邀请你加入我在极客时间的专栏 “TonyBai · Go 语言进阶课”

在这门课程中,我们将一起:

  • 夯实基础,突破语法认知瓶颈: 深入剖析那些看似熟悉却暗藏玄机的核心概念。
  • 设计先行,奠定高质量代码基础: 学习如何进行合理的程序骨架、并发设计、包设计、接口设计以及API设计。
  • 工程实践,锻造生产级 Go 服务: 掌握构建可观测性、性能调优、故障排查等硬核技能。

理解“过去”是为了更好地走向“未来”。 就像我们今天了解 rune 的故事一样,在《Go语言进阶课》中,我们将一起探索更多 Go 语言的设计精髓与实践智慧,助你完成从“熟练”到“精通”的蜕变。

扫描下方二维码或点击[阅读原文],立即加入,开启你的 Go 语言精进之旅!

期待与你在极客时间相遇,共同探索 Go 语言的深层魅力!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Go语言进入“后元老时代”?Ian Lance Taylor离职引发的思考:传承、创新与社区

本文永久链接 – https://tonybai.com/2025/05/11/ian-lance-taylor-leave-go

大家好,我是Tony Bai。

今天,Go 语言社区传来一个令人瞩目又略感“悲伤”的消息:Go核心团队的元老级人物 Ian Lance Taylor在为 Google 效力 19 年后,宣布离开。对于许多 Gopher 来说,Ian Taylor 的名字与 Go 语言的早期发展、GCC Go 前端 gccgo 的诞生,以及历时多年最终在 Go 1.18 实现的泛型设计紧密相连。

他的离开,不仅仅是一位资深工程师的职业变动,更像是一个时代的注脚,引发我们对 Go 语言发展阶段、团队演进以及开源项目生命力的深层思考。我们是否可以说,Go 语言正在步入一个“后元老时代”?这又意味着什么?在这篇文章中,我们就来简单聊聊。

一位“老兵”的自白与 Go 的变迁

在 Ian Taylor 的告别博文《Leaving Google》中,他回顾了自己从 2008 年加入 Go 团队(几乎与 Russ Cox 同期)至今的历程。他对自己角色的定位是:“追踪我所能追踪的关于项目的一切,并寻找需要帮助的领域。” 从为 GCC 添加 Go 前端以确保语言规范的清晰,到为 Google 内部构建系统和 SWIG 添加 Go 支持,再到推动泛型的落地,Ian Taylor 的贡献无疑是奠基性的

然而,最引人深思的是他对自己离开的解释:“Google has changed, and Go has changed, and the overall computer programming environment has changed. It’s become clear over the last year or so that I am no longer a good fit for the Go project at Google.” (谷歌变了,Go 也变了,整个计算机编程环境都变了。在过去一年左右的时间里,我已经越来越不适合谷歌的 Go 项目了。)

他还坦诚地剖析了自己的工作方式:“我能很快看到人们今天遇到的问题,以及他们明天会遇到的问题,并且我常常能够解决这些问题。但我迟迟未能看到那些能帮助人们做他们没有尝试去做、因此也没有错过的那些新事物的想法,比如 Go 模块代理和 Go 漏洞数据库。”

这段话意味深长。它似乎在暗示这么几点:

  • Go 项目的成熟:Go 已从最初“希望成为其他语言有用想法的范例”的探索期,成长为一个被广泛接受和使用的成熟语言。其面临的挑战和发展重心可能已从核心语言特性的打磨,转向生态系统的完善、开发者体验的优化以及应对更大规模应用的新需求。
  • 能力与阶段的匹配:Ian Taylor 所擅长的“解决已知和可预见问题”的能力,在项目早期至关重要。但随着项目的成熟,或许更需要能够预见和开创“用户尚未意识到其需求”的创新型人才。他提到的 Go module proxy 和 Go vulnerability database 正是这类创新的代表。
  • “新陈代谢”的必然:成功的开源项目如同生命体,核心团队成员的更迭是其发展过程中的自然现象。这并非衰落的信号,反而可能是项目适应新环境、焕发新活力的契机。

Go 语言的“后元老时代”:挑战与机遇并存

如果我们将 Go 的早期核心开发者(如 Rob Pike, Ken Thompson, Robert Griesemer, Russ Cox, Ian Lance Taylor 等)视为“元老”,那么随着时间的推移和人员的变动,Go 语言是否正在进入一个由新一代核心开发者主导,更加依赖成熟流程和广大社区贡献的“后元老时代”?

注:随着2024年Russ Cox将Go团队旗手的角色“让位”给Austin Clements,随着今天Ian Lance Taylor的离职,目前曾经的元老团队仅剩下Robert Griesemer一人还在Go核心团队一线为Go做着贡献。

我认为,这并非悲观的论调,而是对现实的客观描述,其中蕴含着独特的挑战与机遇:

传承

元老们奠定的设计哲学、简洁高效的文化基因、以及对工程实践的极致追求,是 Go 语言最宝贵的财富。如何在团队演进中确保这些核心价值不被稀释,并得到良好传承,是至关重要的。这需要完善的文档、清晰的设计原则、以及新核心成员对 Go 精神的深刻理解。

创新

Ian Taylor 的自省提醒我们,成熟项目也需要持续创新以避免僵化。他明确指出:“任何编程语言都不会‘完成’——编程环境总是在变化,语言必须进化,否则就会消亡。” 对于 Go 而言,未来的创新可能更多体现在:

  • 标准库的与时俱进:以适应新的编程范式和技术趋势(例如 AI/ML 对数据处理和并行计算的需求、云原生领域的新标准等)。
  • 工具链的智能化与易用性:如更好的调试工具、性能分析工具、更智能的 IDE 支持等。
  • 生态系统的拓展与治理:如何更好地支持和管理庞大的第三方库生态,确保质量和安全。
  • 拥抱新兴领域:在 AI 赋能开发、WebAssembly、IoT 等领域,Go 能否抓住新的增长点?

这些创新,可能需要不同于早期核心特性设计的思维模式和技能组合。

社区

随着 Go 的普及,其社区已经成为一支不可忽视的力量。在“后元老时代”,社区的角色可能愈发重要:
* 贡献的多元化:从代码贡献到文档撰写、Bug 反馈、布道推广,社区成员可以在各个层面参与。
* 人才的培养皿:许多未来的核心贡献者可能就来自于活跃的社区成员。
* 需求的反馈源:广泛的社区用户是检验语言特性和工具实用性的最佳试金石。
* 生态的共建者:第三方库的繁荣离不开社区的共同努力。

Ian Taylor 也表示“希望将来能再次为 Go 做出贡献”,这正体现了开源精神的魅力——即使离开官方团队,热爱和能力依然可以通过社区持续发光发热。

对我们 Gopher 的启示

Ian Lance Taylor 的离开,以及他对 Go 变迁的洞察,对我们每一位 Gopher 来说,都是一次宝贵的反思机会:

  1. 拥抱变化,持续学习:编程语言和技术环境在不断进化。作为开发者,我们需要保持好奇心和学习能力,跟上时代的步伐。
  2. 理解语言背后的哲学:学习一门语言,不仅要掌握其语法,更要理解其设计哲学和核心价值观。这有助于我们写出更“Go-idiomatic”的代码,并更好地参与社区讨论。
  3. 贡献的力量:无论能力大小,我们都可以通过各种方式为 Go 社区做出贡献。每一次提问、每一个 Bug 报告、每一篇分享,都是在为这个生态添砖加瓦。
  4. 思考个人与项目的匹配:Ian Taylor 的经历也提醒我们,个人职业发展需要考虑自身能力特点与项目/公司发展阶段的匹配度。

小结

Ian Lance Taylor 的离开,无疑是 Go 社区的一个损失,但更是 Go 语言走向更成熟、更开放阶段的一个标志。这不是一个时代的结束,而更像是一个新篇章的序曲。

Go 语言的未来,将由 Google 的持续投入、新一代核心开发者的智慧、以及全球数百万 Gopher 的共同努力来书写。

让我们向 Ian Taylor 致以崇高的敬意,感谢他为 Go 所做的一切!

传承不息,创新不止,社区共荣——这或许就是 Go 语言“后元老时代”最值得期待的图景。

  • Ian Taylor博文的地址:https://www.airs.com/blog/archives/670

Go的未来,你我共塑:聊聊你的看法

Ian Lance Taylor的离开标志着一个时代的节点,也开启了对Go语言“后元老时代”的无限遐想。你如何看待Go语言当前的演进阶段?在传承元老们奠定的基石之上,你认为Go在创新方面最需要突破的方向是什么?作为社区的一员,你又将如何参与到Go的未来建设中?

欢迎在评论区留下你的思考、祝福或任何想对Go社区说的话! 让我们一起见证并参与Go的下一个十年。

想与Go一同进化,系统把握语言精髓与未来趋势?

在Go语言迈入新发展阶段的今天,深刻理解其设计哲学、掌握核心原理、并洞察前沿创新(如AI与Go的结合)变得尤为重要。如果你渴望与Go一同成长,系统性地提升自己的技术认知,并与一群对Go充满热情的开发者深度交流…

那么,我的 「Go & AI 精进营」知识星球 正是这样一个为你搭建的平台!这里不仅有【Go原理课】带你追本溯源,【Go进阶课】助你技艺精进,【Go避坑课】让你从容应对挑战,更有关于Go未来发展方向的探讨和AI赋能的实践分享。我会亲自为你答疑解惑,你还能与众多优秀的Gopher思想碰撞,共同探索Go在“后元老时代”的无限可能。

立即扫码加入,与我们一起传承Go的优秀基因,拥抱创新,共建繁荣社区!

img{512x368}


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats