标签 开源 下的文章

“可移植性”的隐藏成本:Go为何要重塑maphash并划定新的运行时边界?

本文永久链接 – https://tonybai.com/2025/09/23/go-maphash-portability-costs-and-runtime-boundaries

大家好,我是Tony Bai。

对于大多数Go开发者来说,标准库似乎是一个浑然天成的整体。我们理所当然地使用着fmt、net/http和encoding/json,很少去思考它们内部的依赖关系和架构边界。然而,在标准库光鲜的外表之下,一场关于其核心架构的深刻变革正在悄然发生,而hash/maphash这个看似不起眼的包,正处在这场变革的风暴中心。

最近,Go核心团队的技术负责人Austin Clements在2025年9月17日的提案审查会议中,将他在2025年6月提出的issue #74285的提案设置为“已接受”(Accepted)状态。该提案名为“maphash: drop purego version and establish stronger runtime boundary”,建议移除maphash包的purego实现,并为Go标准库建立一个更清晰的“运行时边界”。

在过去几个月中,Go团队与社区围绕maphash的讨论,以及与TinyGo、GopherJS等社区的精彩互动,揭示了在设计一个世界级标准库时,面临的关于可移植性、依赖管理和生态系统健康的深刻权衡。

在这篇文章中,我就和大家一起来探讨这一提案的背景、影响以及在实现过程中所面临的挑战。

问题的核心:maphash的两副面孔

maphash包的功能很简单:它暴露了Go语言内置map类型所使用的哈希函数。但为了支持不同的Go实现(如标准编译器gc、TinyGo、GopherJS),它内部存在两个截然不同的版本:

  1. gc版本 (运行时绑定,对应标准编译器gc):

    • 实现: 深度绑定Go gc运行时,直接使用编译器为map生成的、经过高度优化的哈希函数。
    • 依赖: 极其轻量,只依赖8个底层包。
    • 优点: 性能极高,依赖图谱干净。
  2. purego版本 (可移植):

    • 实现: 为了能在非gc环境(如TinyGo、GopherJS)中运行,它使用纯Go代码重新实现了一套哈希算法(wyhash),并通过reflect包来遍历类型,用crypto/rand生成随机种子。
    • 依赖: 这是一个灾难。purego版本引入了多达87个包的依赖,形成了一个庞大的依赖树。
    • 优点: 理论上具有更好的可移植性。

这个“可移植”的purego版本,正是问题的根源。一个本应是底层、基础的哈希库,却因为reflect和crypto/rand的引入,使其在依赖图谱中的位置变得异常之高。

“可移植性”的隐藏成本

这种臃肿的依赖关系带来了致命的副作用:标准库的底层包无法使用maphash

想象一下,如果internal/sync或unique这些极其底层的包想要使用maphash,它们就会被迫将reflect和crypto/rand等80多个重量级包引入到Go运行时的最底层。这将造成灾难性的依赖循环和二进制文件膨胀。

正如Austin Clements在提案中所说,purego版本的存在,使得maphash无法在它本该发挥最大价值的地方被使用,甚至在一些高层包中也引入了棘手的依赖问题。为了追求对非标准编译器的“开箱即用”支持,整个标准库的架构健康付出了沉重的代价。

提案:划定边界,回归简单

因此,Go团队提出了一个看似激进但实则回归本源的方案:移除purego实现,并正式声明maphash是“运行时的一部分”。

这也是Go团队的一种态度的表达:Go标准库需要一条清晰的界线,来区分哪些是可移植的、与运行时无关的代码,哪些是与特定工具链(如gc)紧密绑定的代码。

提案初期,Go团队提出的实现方案如下:

  • maphash的核心哈希逻辑保留在可移植的文件中。
  • 与gc运行时交互的“胶水代码”被隔离到一个单独的文件中,并使用//go:build gc标签进行标记。
  • 其他Go实现(如TinyGo)可以轻松地提供它们自己的“胶水代码”文件,来对接它们各自的运行时,而无需维护一个完整、复杂且依赖臃肿的purego版本。

但这个方案立刻引发了TinyGo和GopherJS社区核心维护者的深入讨论:

  • TinyGo的视角: TinyGo维护者表示,他们更倾向于使用//go:linkname来链接到运行时的内部函数。这种方式的“接口”更小、更稳定,比为每个包提供一个“胶水文件”更容易维护。
  • GopherJS的视角: GopherJS的维护者也指出了一个更棘手的问题:GopherJS的运行环境(JavaScript)不支持unsafe指针操作,因此一个纯Go的实现对他们至关重要。直接移除purego版本会给他们带来巨大的维护负担。

正是在这种建设性的讨论中,一个更完善、更具同理心的最终方案诞生了:

  1. 重构maphash: Go团队将重构maphash,使其运行时接口定义更清晰。
  2. 精简purego: 重写purego的哈希实现,用internal/reflectlite替换庞大的reflect,并移除crypto/rand依赖,从而大幅削减其依赖树。
  3. 移交所有权: 将这个精简后的、基于reflectlite的纯Go实现,移交给GopherJS项目自己维护
  4. 建立“防火墙”: 在Go标准库的依赖测试中,明确禁止reflectlite反向依赖maphash,从制度上杜绝未来可能出现的依赖循环。

小结

这场关于maphash的深刻讨论,最终以一个“皆大欢喜”的方案被接受。它不仅解决了Go核心团队的燃眉之急,也充分尊重了生态伙伴的需求。对于我们普通Gopher来说,这场“标准库的内科手术”带来了几点重要启示:

  • 没有免费的午餐:“可移植性”和“零依赖”等美好的设计目标,有时会带来意想不到的、系统级的隐藏成本。理解这些权衡,是做出优秀架构决策的前提。
  • 边界是清晰思考的产物:一个健康的系统,必然有清晰的边界。Go标准库正在通过这次重构,更严格地定义其内部的层次和依赖关系。我们在自己的项目中,也应该同样重视对模块和包的边界划分。
  • 开源的真正力量在于协作:这次提案的演进过程,完美地展示了一个成熟的开源社区是如何通过开放、理性的讨论,将一个单方面的决策,演进为一个凝聚了各方智慧、更具韧性的解决方案的。

最终,一个更健康、更易于维护、内部依赖更清晰的Go标准库,将使整个生态系统中的每一个人受益。这,或许就是这场看似不起眼的maphash重构,带给我们的最大价值。

资料链接:https://github.com/golang/go/issues/74285


你的Go技能,是否也卡在了“熟练”到“精通”的瓶颈期?

  • 想写出更地道、更健壮的Go代码,却总在细节上踩坑?
  • 渴望提升软件设计能力,驾驭复杂Go项目却缺乏章法?
  • 想打造生产级的Go服务,却在工程化实践中屡屡受挫?

继《Go语言第一课》后,我的《Go语言进阶课》终于在极客时间与大家见面了!

我的全新极客时间专栏 《Tony Bai·Go语言进阶课》就是为这样的你量身打造!30+讲硬核内容,带你夯实语法认知,提升设计思维,锻造工程实践能力,更有实战项目串讲。

目标只有一个:助你完成从“Go熟练工”到“Go专家”的蜕变! 现在就加入,让你的Go技能再上一个新台阶!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Azure CTO 深度解读:微软为何要用 Rust “替换” C/C++,又将如何用 AI 加速代码迁移?

本文永久链接 – https://tonybai.com/2025/09/11/microsoft-is-getting-rusty

大家好,我是Tony Bai。

近日,微软 Azure CTO、技术巨擘 Mark Russinovich 在一场 Rust 技术会议上发表了闭幕演讲,以前所未有的坦诚和力度,揭示了微软内部正在进行的一场深刻的技术变革:全面拥抱 Rust,并战略性地替代 C/C++。

他不仅分享了 Rust 在 Windows 内核、Office、Azure 云等核心产品中的惊人实践案例,还首次披露了微软正在研发的、利用 AI 大模型自动将 C/C++ 代码转换为安全 Rust 的前沿工具。这既是一次技术分享,也是一份来自行业顶层的宣言。

在这篇文章中,我们就来看看微软在走向Rust的路上究竟做了哪些工作和改变,用户和社区的反馈又是如何。

战略驱动:为何微软必须转向 Rust?

演讲开篇,Mark Russinovich 就抛出了一个触目惊心的数据,这也是驱动微软进行这场变革的根本原因:

在过去十几年中,微软所有产品中 70% 的安全漏洞,均由 C/C++ 中的内存安全问题导致。

他直言,这种趋势仍在继续,这已不仅仅是技术债,更是持续不断的安全事件和威胁。正是基于此,他个人早已成为 Rust 的坚定拥护者,并分享了一段有趣的往事:2022年,他在看到编程语言排行榜后,有感而发地发布了一条推文——“是时候停止在任何新项目中使用 C/C++ 了,业界应该转向 Rust”

这条推文成为了他有史以来互动量最高的内容,甚至引来了微软 CEO Satya Nadella 的电话询问。而他的回答坚定不移:“是的,我坚信如此。”

这并非一时冲动,而是一场席卷微软的、自下而上与自上而下相结合的运动。从美国国家安全局 (NSA) 呼吁业界放弃内存不安全的语言,到微软自身因不安全代码被攻击后发起的“安全未来倡议 (Secure Future Initiative)”,微软上下已经形成共识:必须摆脱不安全的语言

实践版图:Rust 在微软核心产品中的落地生根

Mark Russinovich 随后详细介绍了 Rust 在微软内部的实践版图,其广度和深度令人瞩目。

Windows:从内核“阿喀琉斯之踵”开始

  • Project Mu (UEFI 固件): 微软选择从安全性要求极高的系统引导固件入手,用 Rust 重写了 UEFI 实现(Project Mu)。该项目已应用于 Azure 数据中心和 Surface 笔记本,并已开源,旨在推动整个硬件生态采用 Rust。
  • DirectWrite (核心图形组件): 团队选择了一个漏洞频发的独立组件——负责字体解析的 DirectWrite 进行移植。两名开发者耗时六个月,将 15.4 万行 C/C++ 代码移植为 Rust。结果不仅消除了安全隐患,还意外获得了 5% 到 15% 的性能提升
  • Win32k.sys (GDI 模块): 这是 Windows 安全的“阿喀琉斯之踵”,过去20年间漏洞不断。微软选择用 Rust 重写了其中的 GDI Regions 子系统。两名开发者耗时三个月,移植了 6.3 万行 代码进入内核态。尽管 C++/Rust 的互操作边界带来了巨大挑战,但项目最终成功,且没有性能衰退。如今,在 Windows 系统目录中,你甚至能找到带有 _rs 后缀的内核模块文件。

Office 与 Azure 云:性能与安全的双重胜利

  • Office (DISKANN 向量搜索): Office 团队将一个前沿的向量搜索算法(DISKANN)从 C++ 移植到 Rust,用于 Office 365 和 Azure Cosmos DB。结果是惊人的:在实现同等 QPS 的情况下,召回率显著提升,内存占用反而下降
  • Azure (CTO 的铁腕): Mark Russinovich 透露,早在发布那条著名推文的两三年前,他就已在 Azure 内部颁布指令:“Azure 中不再有新的 C++ 系统代码”。这一指令推动了 Rust 在 Azure 基础架构中的全面应用:
    • 硬件层面: 云服务器的开源可信根项目 Caliptra、深入每台服务器的 Azure Integrated HSM 硬件安全模块,其固件均由 Rust 编写。
    • 硬件卸载卡: 负责网络和存储处理的智能网卡(DPU)上的新组件,已全部使用 Rust 开发,部分已有 C++ 组件也被迁移到了 Rust。
    • 虚拟化: Hyper-V 的 Arm64 模拟代码已用 Rust 重写;最近开源的 Open VMM(一个准虚拟化监视器)完全由 Rust 构建;而革命性的 Hyper-V Lite 项目,能以微秒级速度启动一个超轻量级虚拟机来运行 WASM 负载,其原型虽为 C#,但最终的开源实现完全是 Rust。
  • Azure 服务:
    • Azure Data Explorer (ADX): 这个每天处理 PB 级数据的日志分析平台,其 V2 版本后完全用 35 万行 Rust 代码 重写,性能超越 C++ 版本,成为微软内部 Rust 实践的标杆案例。
    • Azure SDK for Rust: 顺应客户需求,Azure 官方已发布了 Rust SDK 的 Beta 版本,标志着 Rust 正式成为 Azure 的一等公民语言。

真实反馈:来自一线开发者的收获与挑战

这场变革并非一帆风顺。Mark Russinovich 坦诚地分享了一线开发者的真实反馈:

** 收获 (The Positives):**

  • “如果它能编译,它就能工作”: 这是开发者们提到最多的一点,与 C++ 编译通过后仍充满不确定性的体验形成鲜明对比。
  • 减少摩擦,专注创新: 消除了内存安全和数据竞争等底层心智负担。
  • “两个月的转变”: 一个常见的模式是,C++ 开发者最初会对所有权和借用检查器感到痛苦,但大约两个月后,他们会转变为 Rust 的忠实拥护者。

** 挑战 (The Negatives):**

  • C++ 互操作性是第一大难题: 在逐步替换大型 C++ 项目时,处理两种语言的边界问题耗费了大量精力。
  • 工具链仍有待成熟
  • Crate 生态系统: 开发者不确定应该使用和信任哪些第三方库。
  • 部分依赖的特性尚未稳定
  • 动态链接: 在 Windows 生态中常见的动态链接,与 Rust 的结合存在问题。

尽管存在这些挑战,但 Mark Russinovich 强调,优点已经足够让微软“全身心投入 (all in)”

展望未来:用 AI 加速 “去 C++” 进程

演讲的最后,Mark Russinovich 揭示了微软正在探索的、旨在加速 Rust 迁移的“终极武器”——自动化代码翻译

微软正在从两个方向推进这项工作:

  1. 专用转译器 (Transpiler): 针对特定领域,如经过形式化验证的加密库。微软研究团队已开发出一个工具,能将严格遵循特定规范的 C 代码自动、安全地转译为 100% safe 的 Rust 代码,并确保其数学验证在转译后依然有效。
  2. 通用 AI 翻译器 (GenAI + GraphRAG): 这是更宏伟的目标。传统的 LLM 在处理多文件、复杂的 C++ 项目时效果不佳。微软正在利用一种名为 GraphRAG (图检索增强生成) 的先进技术。该技术能将代码解析为抽象语法树,并构建一个多层次的、包含代码摘要和依赖关系的图谱。当进行翻译时,AI 可以基于这个图谱进行更精准、更具上下文感知的代码生成。

他现场演示了一个将多文件 Python 小游戏翻译为 Rust 的例子。普通的 GPT-4o 生成的代码无法编译,而 GraphRAG 驱动的翻译器则一次性生成了可完美运行的、100% safe 的 Rust 代码

总结:一场自上而下的语言革命

Mark Russinovich 的演讲,标志着 Rust 在主流工业界的应用进入了一个全新的阶段。微软的实践雄辩地证明,用 Rust 替代 C/C++ 不仅是为了安全,更能带来意想不到的性能收益和开发体验提升。

更重要的是,微软的承诺是全方位的:从内部产品的深度重构,到对社区的资金支持,再到投入研发力量攻克 C++ 互操作和自动化迁移这两大核心难题。

正如 Mark 所言,一门语言的成熟需要超过十年的时间。Rust 已经走到了这个节点,其生态和工具链的成熟度已经达到了一个临界点,使得像微软这样的巨头可以放心下注。对于任何想要挑战 Rust 地位的新语言来说,都将面临一座极难逾越的高山。

微软的“All in”,不仅是对 Rust 过去的肯定,更是对未来的巨大投资。这无疑为整个软件行业指明了一个更安全、更高效的方向。


你的Go技能,是否也卡在了“熟练”到“精通”的瓶颈期?

  • 想写出更地道、更健壮的Go代码,却总在细节上踩坑?
  • 渴望提升软件设计能力,驾驭复杂Go项目却缺乏章法?
  • 想打造生产级的Go服务,却在工程化实践中屡屡受挫?

继《Go语言第一课》后,我的《Go语言进阶课》终于在极客时间与大家见面了!

我的全新极客时间专栏 《Tony Bai·Go语言进阶课》就是为这样的你量身打造!30+讲硬核内容,带你夯实语法认知,提升设计思维,锻造工程实践能力,更有实战项目串讲。

目标只有一个:助你完成从“Go熟练工”到“Go专家”的蜕变! 现在就加入,让你的Go技能再上一个新台阶!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats