标签 RobPike 下的文章

揭秘Go语言中的rune:一段跨越30年的Plan 9往事与UTF-8的诞生传奇

本文永久链接 – https://tonybai.com/2025/05/16/how-rune-came

大家好,我是Tony Bai。

作为 Gopher,我们每天都在和 rune 打交道。在 Go 语言中,它通常被解释为“一个 Unicode 码点”,官方文档也说引入这个术语是为了“简洁”。但你是否曾好奇,这个略带神秘色彩的词汇,究竟源自何方?仅仅是为了简洁吗?

最近,Connor Taffe的一篇精彩博文以及 Go语言之父 Rob Pike 的亲自确认,为我们揭开了一段跨越三十余年,从 Plan 9 操作系统到 UTF-8 编码诞生,再到 Go 语言的历史传奇。今天,就让我们一起,深入 rune 背后的故事。

一句“简洁”,一段 Plan 9 往事

Connor文章中引用的Adam Pritchard的关于限制字符串长度的文章中提到:“请注意,在 Go 中,Unicode 码点通常被称为‘rune’。(Go 似乎是为了简洁而引入了这个术语。)” 而 Go 官方博客《Strings, bytes, runes, and characters in Go》也说:“‘Code point’有点拗口,所以 Go 引入了一个更短的术语:rune。”

Rob Pike 在 Bluesky 上的发言截图

然而,真相远不止于此。Rob Pike 最近在 Bluesky 上澄清(如上图),rune 这个词实际上是 Ken Thompson 在一次为 Plan 9 寻找一个不同于 char(用于字节)的类型名称的头脑风暴中“得意地”提出的,Rob Pike 当即表示赞同。更关键的是,Rob Pike 随后确认,这个命名发生在 Plan 9 为 UTF 和 ISO 10646 寻找类型名称的时期,具体是1991 年 12 月 8 日的晚上!远早于 Unicode 和 UTF-8 的广泛应用,也比 Go 语言的诞生早了数十年。

是的,你没看错,rune 的故事,始于 Plan 9,那个由贝尔实验室传奇人物们(包括 Rob Pike, Ken Thompson 等)创造的操作系统。Go 语言深受 Plan 9 的影响,从链接器架构、并发原语 channel、标识符大小写的可见性规则,到对简洁性的极致追求,都带着浓厚的 Plan 9 印记。rune 便是这血脉传承中的一环。

餐巾纸上的革命:UTF-8 的诞生传奇

要理解 rune 在 Plan 9 中的意义,就不得不提 UTF-8 的诞生。Connor 的文章中引用了一封 Rob Pike 在 2003 年的邮件,详细披露了这段鲜为人知的历史,纠正了“IBM 设计 UTF-8,Plan 9 实现它”的说法。

故事发生在 1992 年 9 月左右的一个晚上,新泽西一家小餐馆的餐巾纸上:

  • 缘起: Plan 9 当时使用 ISO 10646 最初的 UTF(一种16位字符编码)来支持宽字符,但团队对它非常不满。Rob Pike 形容道:“UTF 太糟糕了。它有模192的算术,而且在没有除法硬件的老 SPARC 机器上几乎不可能高效实现。像【/*】这样的字符串可能出现在西里尔字符中间,导致你的俄文文本变成一个 C 语言注释。还有更多问题。它作为一种编码根本不实用。”
  • 契机: 一天下午,X/Open 委员会的一些人(据 Rob Pike 回忆可能来自 IBM 奥斯汀)打来电话,希望 Ken 和 Rob 审查他们的 FSS-UTF (File System Safe UTF) 设计。Ken 和 Rob 意识到这是一个用他们的经验设计一个真正优秀的标准,并让 X/Open 将其推广出去的机会。
  • 餐巾纸上的灵感: 他们接受了挑战,条件是必须快速完成。于是,在那个决定性的晚餐上,Ken Thompson 在餐巾纸上构想出了 UTF-8 的位打包方案。
  • 闪电般的实现: 晚餐后回到实验室,他们便向 X/Open 解释了新方案,并承诺在周一前(据信是 X/Open 的重要投票日)拿出一个完整的运行系统。当晚,Ken 写了打包和解包代码,Rob Pike 则开始修改 C 库和图形库。到周五的某个时候,Plan 9 已经完全运行在后来被称为 UTF-8 的编码上了。

Rob Pike 在邮件中强调,他们之所以要“另起炉灶”,是因为 FSS-UTF 缺少他们认为至关重要的特性之一:支持定位到文件或流的中间,并读取有效字符,或处理损坏的字符。 Ken Thompson 设计的 UTF-8 完美地解决了这个问题。

对比 Ken Thompson 当时提出的 UTF-8 方案(如下图)和 FSS-UTF,我们可以看到 UTF-8 的精妙之处:后续字节以 10 开头,与首字节的 110、1110 等模式区分开来,确保了自同步性和对 ASCII 的兼容性。

Rune 的首次亮相与演变

那么,Rune 这个词是什么时候正式与这种新的字符表示方式联系起来的呢?Rob Pike 在其关于 Plan 9 UTF-8 实现的论文《Hello World》中写道:

“在语义层面上,ANSI C 允许(但并未限制)宽字符的概念,并且允许此类字符串和字符常量。我们选择 unsigned short 作为宽字符类型。在库中,Rune 一词由 typedef 定义为等同于 unsigned short,并用于表示 一个Unicode 字符。”

这似乎是 Rune 作为一种特定类型名称,用于指代 Unicode 字符(码点)的最早文献记录。最初在 Plan 9 C 中,Rune 是一个 16 位无符号短整型,足以表示当时的 Unicode 基本多文种平面(BMP)。

而到了 Go 语言,rune 被定义为 int32 的别名。这是因为自 1992 年以来,Unicode 已经扩展,需要更大的空间来表示所有码点(UCS-4 定义了 31 位码空间)。Go 语言标准库中的 unicode/utf8 包也定义了 UTFMax = 4,表明一个 rune 最多可以用 4 个字节的 UTF-8 编码表示。有趣的是,在 Russ Cox 移植的 plan9 port 中,Rune 类型在 2009 年末也被修改为了 unsigned int,同样是为了支持更广的码点范围。

Ken Thompson 在最初的邮件中提到:“4、5 和 6 字节序列只是出于政治原因才存在的。我更愿意删除它们。” 这也印证了早期设计者对编码效率和实用性的极致追求。

Rune 的足迹:从 Plan 9 到更广阔的世界

Rune 这个术语,并没有止步于 Plan 9。通过 Paul Borman 的贡献,Plan 9 的 rune 功能被整合进了 4.4 BSD。从此,rune 开始在更广阔的 Unix 世界留下足迹:

  • FreeBSD 继承了 4.4 BSD 的 rune 函数,尽管后来推荐使用 ISO C99 的宽字符工具。
  • Apple 的 Darwin 内核,作为 BSD 的衍生,也包含了 rune_t 类型。
  • C 标准库实现如 newlib 也包含了源自 BSD 4.4 的 rune 功能。
  • Android 通过 plan9port 移植了 Plan 9 的 libutf,其中自然也包含了 rune。
  • 甚至,微软的 .NET 在引入 System.Text.Rune 类型时,其灵感也明确来自 Go 语言,这在其 GitHub issue 中由 Miguel de Icaza 提及

可见,rune 这个由 Ken Thompson 灵光一闪提出的词汇,承载着一段从贝尔实验室 Plan 9 开始,经由 BSD 社区,最终深刻影响了包括 Go 在内的现代编程语言和操作系统的字符处理历史。

小结:rune 不只是简洁

通过Rob Pike的亲自确认,我们应该知道,当我们今天再看到 Go 语言中的 rune 时,它不仅仅是为了“简洁”而对“Unicode code point”的替换。它是一个承载着厚重历史的符号,是 Go 语言设计者们深厚技术底蕴和创新精神的体现,是 Plan 9 简洁哲学与 UTF-8 实用主义的结晶。

理解 rune 的来龙去脉,有助于我们更深刻地体会 Go 语言在文本处理、字符串操作以及 Unicode 支持方面的设计考量,也让我们对这门语言背后的巨匠们多一份敬意。下一次,当你在 Go 代码中写下 rune 时,或许会想起那个在新泽西餐馆餐巾纸上诞生的传奇,以及那段跨越三十余年的 Plan 9 往事。

参考文献


聊一聊:

  • 在了解了 rune 的历史后,你对 Go 语言的设计是否有新的认识?
  • UTF-8 诞生的故事中,有哪些细节让你印象深刻?
  • 你认为这种对历史渊源的挖掘,对我们理解和使用一门编程语言有何帮助?

欢迎在评论区分享你的看法!如果你觉得这篇文章有趣且有价值,也请转发给你身边的 Gopher 朋友们,让更多人了解 rune 背后的故事。


今天我们一起挖掘了 rune 这个小小术语背后波澜壮阔的历史,感受到了 Go 语言与 Plan 9、UTF-8 的深厚渊源。真正理解一门语言,往往需要我们深入其“根源”,探究其设计选择背后的“为什么”。

这里,我邀请你加入我在极客时间的专栏 “TonyBai · Go 语言进阶课”

在这门课程中,我们将一起:

  • 夯实基础,突破语法认知瓶颈: 深入剖析那些看似熟悉却暗藏玄机的核心概念。
  • 设计先行,奠定高质量代码基础: 学习如何进行合理的程序骨架、并发设计、包设计、接口设计以及API设计。
  • 工程实践,锻造生产级 Go 服务: 掌握构建可观测性、性能调优、故障排查等硬核技能。

理解“过去”是为了更好地走向“未来”。 就像我们今天了解 rune 的故事一样,在《Go语言进阶课》中,我们将一起探索更多 Go 语言的设计精髓与实践智慧,助你完成从“熟练”到“精通”的蜕变。

扫描下方二维码或点击[阅读原文],立即加入,开启你的 Go 语言精进之旅!

期待与你在极客时间相遇,共同探索 Go 语言的深层魅力!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Go社区的“轻框架”理念:自由的馈赠还是无形的枷锁?

本文永久链接 – https://tonybai.com/2025/05/13/go-prefer-less-framework

大家好,我是 Tony Bai。

Go 语言自诞生以来,就以其简洁、高效和强大的并发模型赢得了全球开发者的青睐。它的设计者们,包括 Rob Pike、Ken Thompson 这些计算机界的巨匠,在创造 Go 的时候,秉持了一种鲜明的风格:“少即是多” (Less is More)。这不仅体现在其精简的语法和关键字上,更深刻地影响了 Go 社区对于“框架” (Frameworks) 的普遍态度。

虽然 Go 官方从未明确宣称“轻框架或无框架”是其核心哲学,但从其设计选择——如强大的标准库、鼓励组合优于继承——以及社区早期的主流声音来看,Go 显著地倾向于“轻框架”,或者说“反大型、侵入式框架”

但这种在语言层面推崇的“轻盈”与“自由”,在实际的团队协作和大型项目开发中,究竟是解放生产力的“馈赠”,还是悄然套上了一层限制效率的“无形枷锁”?今天,我们就来探讨一下 Go 社区这种独特的“轻框架”理念。

“轻框架”的初心:拥抱简洁、掌控与标准库的力量

Go 社区对“轻框架”的偏爱,并非空穴来风,而是源于对传统大型框架某些弊端的回避,以及对 Go 自身优势的充分自信:

  1. 对“重框架”的反思: Go 的设计者们深谙大型框架(如 Java Spring, Ruby on Rails 等早期版本)在提供便利的同时,也可能带来学习曲线陡峭、过度设计、灵活性受限、性能开销以及难以捉摸的“魔法”等问题。Go 倾向于让开发者更接近底层,更清晰地理解代码的执行路径。
  2. 强大的标准库 “自带电池”: 这是 Go “轻框架”理念的底气所在。Go 标准库异常强大且全面,覆盖了网络、HTTP、JSON/XML 处理、加密、并发原语、测试等核心功能。许多在其他语言中需要依赖框架才能便捷实现的功能,Go 标准库直接提供,鼓励开发者首先“向内求”。
  3. 组合优于继承,接口驱动设计: Go 语言本身的设计哲学鼓励通过组合小而专注的组件来构建复杂的系统,并通过接口实现解耦和多态。这种范式使得代码更易于理解、测试和维护,自然降低了对庞大、层级复杂的框架的需求。
  4. 赋予开发者掌控权: “轻框架”意味着更少的隐藏逻辑和约定。开发者对代码的执行流程有更强的掌控感,这对于构建高性能、高可靠性的系统至关重要。
  5. 鼓励针对性解决方案: Go 社区倾向于针对特定问题选择或构建小而美的库,而不是试图用一个“万能框架”解决所有问题。这促进了 Go 生态中大量高质量、专注的第三方库的涌现。

这种“轻框架”理念带来的益处显而易见:

  • 学习曲线相对平缓: 开发者可以更快地掌握语言核心和标准库,而不必先学习一个庞大的框架体系。
  • 高度灵活性: 开发者可以根据项目具体需求自由选择技术栈、架构模式和第三方库,不受框架的强约束。
  • 性能透明且可控: 避免了大型框架可能引入的未知性能开销。
  • 社区库的“专而精”: 催生了大量专注于解决特定问题的优秀第三方库,开发者可以像搭积木一样按需选用和组合。

对于许多追求极致性能、需要高度定制化、或者开发者经验丰富的场景,Go 的这种“轻框架”倾向无疑是一种解放。

当“轻盈”遭遇“团队”:浮现的挑战与“结构缺失”感

然而,当我们将视角从个体开发者的“自由创作”转向需要多人协作、长期维护的大型复杂系统时,Go 社区这种“轻框架”的理念,有时却可能带来新的挑战,让团队感受到一种“结构缺失”的困扰,甚至演变成效率瓶颈:

  • 缺乏共享约定,导致“决策疲劳”与“风格各异”:

    • 项目结构“百花齐放”: 由于缺乏官方或广泛接受的项目布局“最佳实践”,不同团队甚至同一团队的不同项目都可能采用迥异的目录结构和代码组织方式。这无疑增加了新成员的上手门槛,也使得在项目间复用经验和代码变得困难。
    • 技术选型无尽的“圣战”: 路由用 Gin、Echo 还是 Chi?日志库选 Zap、Logrus 还是标准库 log 加封装?配置管理、数据库迁移、RPC 框架……由于缺乏“一锤定音”的框架推荐,团队常常需要在这些基础组件的选择、集成、封装和推广上耗费大量精力,进行无休止的调研、讨论甚至内部“站队”。
    • “重复发明轮子”的诱惑: 因为没有现成的、整合好的框架提供“全家桶”服务,团队在面对常见需求(如用户认证、权限管理、任务队列)时,更容易倾向于“自己动手,丰衣足食”,这可能导致大量功能相似但实现各异的内部“准轮子”,长期维护成本高昂。
  • 基础设施与横切关注点的“重复建设”:

    • “胶水代码”与“基础设施代码”泛滥: 服务间的API调用、错误处理、链路追踪、监控埋点、配置加载、密钥管理等横切关注点,在缺乏统一框架抽象的情况下,往往需要在每个服务或模块中重复实现或集成,导致大量相似的“胶水代码”和“基础设施代码”。
    • DevOps 实践难以标准化: Dockerfile 的编写、CI/CD 流水线的配置、服务部署脚本等,如果每个项目都“各自为政”,难以形成统一、高效的 DevOps 实践,也增加了运维的复杂性。
  • 团队协作与项目传承的隐形成本:

    • “雪花服务”林立,知识孤岛化: 每个服务都可能因为开发者的不同偏好和技术选型,演变成一个拥有独特“方言”和“习俗”的“小王国”。这使得代码复用、知识共享、人员在项目间的流动都变得更加困难。
    • 维护与交接的“噩梦”: 当一个高度定制化、缺乏统一规范的“轻框架”项目(甚至可以说是“无刻意设计的框架”)交到新人手中,或者核心开发者离职后,其理解难度和维护成本可能会急剧上升。
    • 团队规模扩大后的困境: 随着团队成员增多、项目复杂度上升,缺乏统一框架带来的沟通成本、集成成本和质量控制难度会指数级增长。

对于追求快速迭代、需要保持高度一致性、或者团队成员经验水平参差不齐的团队来说,Go 这种“过度自由”的“轻框架”理念,有时反而会成为一种负担。开发者可能会怀念在 Rails、Django 或 Spring Boot 这类成熟框架中那种“约定优于配置”、开箱即用的便利感。

实践中的平衡:在“轻盈”与“结构”间寻找智慧

面对 Go 社区“轻框架”的理念,以及它在团队协作中可能带来的挑战,我们并非束手无策。关键在于如何在享受其“轻盈”与“自由”的同时,有意识地为团队引入必要的“结构”与“秩序”:

  • 建立团队内部的“强约定”与“最佳实践指南”:
    • 这是最核心的应对策略。即使 Go 官方不提供,团队内部也必须投入精力沉淀和推广一套自己的项目模板、代码规范(如 Uber Go Style Guide)、推荐库列表(形成内部“技术雷达”)、以及针对常见场景的架构模式和解决方案。
    • 通过严格的 Code Review、定期的技术分享、完善的内部文档,确保这些“内部标准”得到遵守和持续迭代。
  • 拥抱“轻框架/微框架”和高质量的第三方库,形成“技术栈共识”:
    • Go 社区有大量优秀的、专注于解决特定问题的库(如 Gin/Echo 用于 Web 开发,GORM/sqlx 用于数据库交互,Zap/Logrus 用于日志等)。团队应在充分调研的基础上,选择并标准化一套适合自己的“技术全家桶”,并围绕它们构建开发模式,避免成员随意引入未经评估的库。
  • 善用代码生成、脚手架与项目模板:
    • 针对常见的样板代码(如 API 接口定义、CRUD 操作、项目初始化),可以开发或引入代码生成工具(如 go-swagger, protoc-gen-go 等)和标准化的项目脚手架,提高开发效率,保证代码风格和结构的一致性。
  • 强化架构设计能力,明确模块化与接口:
    • 在项目初期投入足够的时间进行良好的架构设计,明确服务边界、模块职责、数据模型和接口定义。清晰的架构是应对复杂性的基石,其重要性在“轻框架”环境下尤为突出。
    • 即使没有框架的强制约束,也要通过清晰的模块化和精心设计的接口来降低耦合,提高代码的可测试性和可维护性。
  • 投资于平台工程与 DevOps 工具链:
    • 将基础设施的配置、部署、监控、日志收集等工作尽可能平台化、自动化,减少手动操作和人为错误。
    • 构建统一的 CI/CD 流水线,提供标准化的 Docker 镜像基础,推广基础设施即代码 (IaC) 的理念。
  • 审慎评估并引入“有观点”的 Go 开发平台或框架 (如果真正适合):
    • 近年来,Go 社区也开始涌现一些试图提供更完整解决方案、更具“观点”的开发平台或集成度更高的框架。它们可能内置了项目结构、服务发现、API 定义、部署等方面的约定。如果团队的痛点与这些工具试图解决的问题高度匹配,并且其引入成本和学习曲线可接受,可以考虑审慎评估和引入,它们或许能在 Go 的自由与团队所需的结构之间提供一种新的平衡点。

结语:自由的艺术在于自律与智慧的构建

Go 社区的“轻框架”理念,本质上是将设计的权力和责任更多地交还给了开发者和团队。这既是一种极大的自由,让我们能够摆脱不必要的束缚,打造出极致性能和高度定制化的系统;同时,它也是一种严峻的考验,要求我们具备更高的技术素养、更强的架构能力和更严格的团队自律。

  • 对于经验丰富、纪律性强、且有能力驾驭这种自由的团队或个人,它可以释放出巨大的创造力和效率。
  • 但对于缺乏经验、规范不足、或追求快速标准化的团队,这种“轻盈”也可能导致“结构缺失”的混乱和低效。

最终,Go 的“轻框架”理念是馈赠还是枷锁,并不取决于理念本身,而取决于使用它的人和团队如何理解这种理念,并有意识地、智慧地去构建适合自己的“秩序”与“结构”。在 Go 的世界里,真正的自由,或许并非随心所欲,而是通过团队的共同智慧和高度自律,构建起一套虽“轻”却不失章法的“隐形框架”,从而在享受简洁与高效的同时,也能保障项目的稳健、协作的顺畅与长远的发展。

你和你的团队在 Go 项目中是如何平衡自由与结构的?你们是否也曾感受到“轻框架”或“结构缺失”带来的困扰,又是如何解决的?欢迎在评论区分享你的宝贵经验和思考!


精进有道,更上层楼!

如果你已经掌握了 Go 语言的基础,渴望在语法强化、代码设计以及工程实践等方面获得更深层次的提升,那么我最新上架的Go语言进阶课程正是为你准备的!这门进阶课程,是我多年 Go 实战经验和深度思考的结晶,旨在帮助你突破瓶颈,从“会用 Go”迈向“精通 Go”

扫描下方二维码,立即解锁你的 Go 语言进阶之路!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats