标签 gomodule 下的文章

“包管理器是万恶之源”:一次来自Odin语言作者的灵魂拷问

本文永久链接 – https://tonybai.com/2025/09/13/package-managers-are-evil

大家好,我是Tony Bai。

“包管理器是万恶之源 (Package Managers are Evil)。”

这句石破天惊的论断,出自Odin语言的创造者Ginger Bill最近发表的一篇博文。在一个npm install、pip install、go get已经成为开发者肌肉记忆的时代,这无异于一篇挑战整个现代软件开发基石的“檄文”。

对于我们这些深度依赖go mod的Gopher来说,这无疑也是一次直击灵魂的拷问。我们早已习惯了Go Modules带来的便利——它解决了版本锁定、依赖传递和可复现构建等核心问题,被公认为Go生态走向成熟的里程碑。但我们是否在享受便利的同时,也正在“自动化我们的依赖地狱”?

Ginger Bill的这篇文章并非无的放矢的抱怨,而是一次对开发者文化、信任模型和软件工程第一性原理的深刻反思。让我们直面这次拷问,并以此为镜,重新审视我们与go mod的关系。

核心论点:包管理器是“依赖地狱的自动化”

首先,Ginger Bill做了一个关键的区分,他的矛头并非指向:

  • 包(Packages): 代码组织单元。
  • 仓库(Repositories): 发现和存储包的地方(如GitHub)。
  • 构建系统(Build Systems): 编译和链接代码的工具。

他精准地将炮火对准了包管理器(Package Managers)的核心功能:自动化地下载、解析和处理依赖关系。

他认为,这正是问题的根源所在。“依赖地狱”(Dependency Hell)是一个真实存在的、困扰着所有大型项目的难题——成千上万个你并不真正了解的传递依赖,版本冲突、潛在的bug、未知的安全漏洞,共同构成了一个巨大的泥潭。

而包管理器的作用,就是“将这个通往地狱的过程自动化了”

他辛辣地指出:“不是所有能被自动化的东西,都应该被自动化,尤其是依赖地狱。”

他的核心观点是,npm install或go get这种一键式的便利,剥夺了开发者一个至关重要的环节:思考

“当你必须手动下载和集成一个库时,你会开始思考:‘我也许并不需要这个’,或者‘我可以用别的方式来实现’。当需要更新时,手动操作会迫使你变得非常小心。”

这种被刻意放慢的、充满“摩擦力”的过程,迫使开发者去审视每一个引入的依赖,将其视为一个严肃的决策,而不是一次随意的命令行敲击。

Go的悖论:一个“幸免于难”的生态?

有趣的是,在Ginger Bill的批判中,Go被作为一个相对正面的例子提及。他观察到,即便Go拥有一个内置的包管理器,但大多数Go开发者似乎并不需要引入大量的第三方包。

“通往地狱的入口似乎又远又难走。”

为什么Go生态在一定程度上抵御了其他生态(如JavaScript)中那种失控的依赖爆炸?答案在于Go语言的设计哲学:“自带电池”(Batteries Included)

Go拥有一个极其强大和全面的标准库。你想构建一个高性能的Web服务器?net/http就在那里。你需要处理JSON、加密、模板或者并发?标准库为你提供了一流的、经过实战检验的工具。你甚至可以在标准库里找到一个完整的Go编译器。

这种设计极大地降低了对外部微小、功能单一的“工具包”的依赖。当标准库就能满足80%的需求时,开发者自然不会像在其他生态中那样,为了实现一个最基本的功能(比如left-pad)就去引入一个外部依赖。

然而,这并不意味着Go开发者可以高枕无忧。go mod依然是一个强大的自动化工具,当我们开始引入大型框架(如Gin、GORM)或复杂的SDK时,我们同样面临着瞬间引入数十甚至上百个传递依赖的风险。

每一个依赖,都是你签下的一份“责任状”

文章中最深刻的观点之一,是对“依赖”一词含义的重新诠释。

“在现实生活中,当你有一个依赖时,你要对它负责。如果你的孩子或你的公司做错了事,你可能会因此进监狱。包依赖与此相去不远,但人们却在几乎没有任何验证的情况下就信任了它们。”

每一个go get下来的包,都是一份你自愿承担的负债。你不仅要为它的安全漏洞负责,还要为它的bug、为它未来可能停止维护的风险负责。

作者以他自己使用著名C库SDL2的痛苦经历为例。尽管SDL2被数百万人使用,但他的团队却不断踩到其中的bug,最终决定自己从头编写窗口和输入处理系统。“至少这是我们自己的代码,当出问题时我们可以依赖和修复它。”

“我不是在提倡一切都从头造轮子,” 作者澄清道,“我只是希望我们能认识到,每一个依赖都是一份负债。”

文化反思:程序员世界里的“盖尔曼遗忘效应”

为什么我们会如此轻易地信任来自互联网的随机代码?文章引用了ThePrimeagen的一个精彩论点:编程界的“盖尔曼遗忘效应”(Gell-Mann Amnesia Effect)

这个效应描述了一种现象:当你在报纸上读到一篇关于你所精通领域的文章时(比如马术),你会发现其中充满了错误和误解。然后,你翻到下一页,读到一篇关于你不了解的领域(比如JavaScript)的文章,你又会理所当然地认为它是完全正确的。你瞬间忘记了刚刚才亲身验证过的、媒体的不可靠性。

程序员也存在同样的问题:

“你会发现工程师们一边说‘我的一些同事太可怕了’,一边又说‘嘿,让我从网上下载这个库,这肯定很棒’。他们看着自己公司三分之一的员工无法写出像样的代码,同时又选择信任他们下载的每一个开源包。”

我们对自己身边代码的质量持怀疑态度,却对那些由“开源大神”(他们可能和我们糟糕的同事是同一水平)编写的代码抱有不切实际的、过高的信任。

小结:给Gopher的启示——如何与go mod共存?

Ginger Bill的结论是激进的:如果可能,应该避免使用包管理器。对于大多数在团队中工作的Go开发者来说,这显然是不现实的。go mod是Go生态协作的基石,我们不可能回到手动管理依赖的蛮荒时代。

然而,这篇文章的价值不在于它的结论,而在于它提出的哲学框架。它像一面镜子,让我们反思我们与go mod的关系。我们可以从中提炼出几条适用于Gopher的行动指南:

  1. 将go get视为一个严肃的架构决策:在引入任何新的依赖之前,进行尽职调查。检查它的代码质量、社区活跃度、issue列表和维护状态,虽然这会给你带来不小的额外工作量。
  2. 永远优先选择标准库:在寻求外部解决方案之前,先问自己:“这个问题,std库里真的没有解决方案吗?” 往往答案是有的,只是需要你多花一点时间去挖掘。
  3. 适当优先地拥抱代码生成,而非黑盒框架:在某些场景下,使用代码生成工具(如sqlc)可能比引入一个庞大的ORM框架(它会带来一整套复杂的依赖和抽象)更“简单”,因为它产出的是你可以直接阅读和控制的代码。
  4. 定期审计你的依赖树:使用go mod graph和go list -m all来审视你的项目究竟依赖了什么。对于那些不再需要,或者有更好替代品的依赖,要勇于清理。别忘了Go Proverbs中的那一条:A little copying is better than a little dependency。

Go的“自带电池”哲学给了我们一个得天独厚的优势,让我们能更容易地践行“少即是多”的依赖管理原则。最好的包管理器,或许就是那个你用得最少的。 而go mod的真正强大之处,可能不在于它能多么轻易地帮我们添加依赖,而在于它通过一个强大的标准库,让我们在很多时候,根本无需想起它。


想系统学习Go,构建扎实的知识体系?

我的新书《Go语言第一课》是你的首选。源自2.4万人好评的极客时间专栏,内容全面升级,同步至Go 1.24。首发期有专属五折优惠,不到40元即可入手,扫码即可拥有这本300页的Go语言入门宝典,即刻开启你的Go语言高效学习之旅!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Go Proxy的“背景刷新”机制,是优化还是“DDoS”?一次社区事件引发的深度复盘

本文永久链接 – https://tonybai.com/2025/09/05/go-proxy-revise-background-refresh-pacing

大家好,我是Tony Bai。

2025年8月14日,Go开发者Ted Unangst发表了一篇措辞犀利的博文——《What is the go proxy even doing?》。他用服务器日志作为证据,公开质疑Go官方模块代理(proxy.golang.org)对其个人代码托管服务humungus.tedunangst.com产生了“洪水般”的、看似毫无意义的巨大流量。这个事件迅速在社区发酵,将一个通常在后台默默工作的核心基础设施,推上了风口浪尖。当然在我的印象中,这已经不是Go社区第一次“抱怨” 官方Go proxy的“诡异”行为给一些小型站点带来的烦恼了。

不过不同的是,这次Go团队的前技术leader、核心成员Russ Cox (rsc) 迅速响应,在Go的官方issue追踪系统中创建了两个关键问题(#75120#75191),不仅承诺调查并解决问题,更罕见地、极其详尽地公开了Go Module Proxy的内部工作原理、缓存策略以及导致此次事件的深层原因。

这场由一篇博文引发的“悬案”及其官方复盘,为我们提供了一个绝佳的机会,去深入理解Go Module Proxy这个我们每天都在使用,却又知之甚少的系统。它背后的“背景刷新”机制,究竟是为了提升开发者体验的“优化”,还是在某些边缘情况下会演变成对小型开源社区的“DDoS”?

事件回顾:来自小型服务器的“呐喊”

Ted Unangst的博文主要控诉了以下几个现象:

  1. 持续的背景流量:即使没有任何新版本发布,proxy.golang.org也会以几分钟一次的频率,持续尝试从他的服务器hg clone(克隆)多个仓库。由于他的服务器设置了24小时内只允许一次克隆的速率限制,这些请求大多被429 Too Many Requests拒绝,但在日志中形成了持续的“背景辐射”。
  2. “惊群效应”(Thundering Herd):当他推送一个新版本(一个新tag)并本地执行go mod tidy后,短短14秒内,他的服务器就遭到了来自Google不同IP地址的、数十个并发的hg clone请求。他将其形容为“洪水来了”。
  3. 低效的拉取策略:Proxy每次都执行完整的hg clone,而不是更高效的hg pull,这对于非Git的VCS(版本控制系统)来说,意味着巨大的带宽浪费。

Unangst的质疑直击要害:“为什么你们要这样构建一个分布式系统?……难道Google认为从我的服务器下载比从他们自己的云存储下载更便宜吗?”

Go官方的深度复盘:揭开代理的神秘面纱

Russ Cox的官方回应堪称透明沟通的典范。他不仅承认了问题的存在,还详细解释了Proxy的设计理念和实现细节,让我们得以一窥其内部运作。

Go Module Proxy的核心目标

  • 可用性与可靠性:作为Go生态的中央缓存,确保开发者在任何上游代码仓库宕机时,依然能获取到模块。
  • 降低延迟:通过主动的背景刷新,提前将热门或近期被访问过的模块信息更新到缓存中,使得开发者在执行go get等命令时,能立即获得响应,而不是等待Proxy实时回源。

缓存与刷新策略的权衡

Proxy缓存多种类型的数据,每种都有不同的刷新策略,而这些策略正是问题的根源:

  • 模块Zip包

    • 有许可证:被认为是可再分发的,永久缓存,从不刷新。
    • 无许可证:被视为不可再分发,缓存30天后过期。为了避免用户请求时缓存失效导致的高延迟,Proxy会在其25天“高龄”时触发刷新,但前提是过去1天内有人请求过这个版本。
  • 版本列表 (go list -m -versions …)

    • 缓存3小时后过期。为了让go get -u能尽快看到新版本,Proxy会在其25分钟“高龄”时触发刷新,但前提是过去3天内有人请求过这个列表。
  • 版本查询 (go get module@main)

    • 缓存1小时后过期。同样,在25分钟时触发刷新,前提是过去1天内有人请求过。

“万恶之源”:不匹配的刷新与访问周期

在issue #75191中,rsc进行了一次深刻的自我反思,指出了这些策略中的一个致命缺陷——读放大(Read Amplification)

  • 模块Zip包(无许可证):刷新周期(25天)与“近期访问”周期(1天)不匹配,但因为时间跨度大,影响不大。
  • 版本列表:刷新周期是25分钟,但触发条件是过去3天内有一次访问即可。这意味着,一个开发者在周一的一次go get -u,将导致Proxy在接下来的72小时内,每25分钟就去上游仓库检查一次更新!

    • 最坏情况下的读取放大:3天 * 24小时/天 * 60分钟/小时 / 25分钟/次 ≈ 172.8次。一次用户请求,可能导致Proxy向上游发起172.8次刷新!
  • 版本查询:类似地,一次go get …@main请求,可能导致24 * 60 / 25 ≈ 57.6次刷新。

rsc坦诚,这种激进的刷新策略源于早期社区对“go get无法立即看到新版本”的普遍抱怨,是当时Go团队为了优化开发者体验而做出的决策。然而,对于那些不常用(比如几天才被访问一次)且托管在非Git(如Mercurial)小型服务器上的模块,这种策略就演变成了一场流量灾难。

解决方案:重新“步调一致”

Go团队提出的解决方案,是让刷新周期与“近期访问”的定义“步调一致”(Pacing)。新的策略是:

  • 版本查询:每25分钟刷新一次,但前提是过去25分钟内必须有用户请求。
  • 版本列表:每25分钟刷新一次,但前提是过去25分钟内必须有用户请求。

这个看似微小的改动,却有着深远的影响:

  • 对于热门模块:几乎没有影响,因为它们每时每刻都有用户在请求。
  • 对于无人问津的模块:没有影响,它们不会被刷新。
  • 对于偶尔被访问的模块:影响巨大。现在,一次用户请求最多只会触发未来25分钟内的一次背景刷新。最坏情况下的读取放大被降至最优的1倍

这意味着,Go Module Proxy因为背景刷新而产生的上游流量,将永远不会超过一个没有缓存、所有请求都实时回源的代理所产生的流量。

对Go开发者和开源维护者的启示

这场事件不仅仅是Go团队的一次内部优化,它为整个生态的参与者都带来了宝贵的经验:

1. 开源模块维护者:如何保护你的服务器?

  • 使用Git:Go Proxy对Git有特殊的轻量级刷新优化。它可以通过git ls-remote来检查更新,而无需克隆整个仓库。对于Mercurial、Bazaar等VCS,目前仍需要完整克隆。 issue #75119 正在追踪为Mercurial添加类似优化的工作。
  • 添加LICENSE文件:如果你的代码允许再分发,务必在仓库根目录添加一个被Go识别的LICENSE文件。这将让你的模块版本被Proxy永久缓存,彻底免除Zip包的刷新流量。
  • 了解求助渠道:Go团队在issue中明确表示,如果你的服务器遭受了来自Proxy的过多流量,应该去Go的官方issue追踪系统报告。他们已经添加了FAQ条目来引导用户。

2. Go模块使用者:如何做一个“好公民”?

  • 理解你命令的“涟漪效应”:下一次你输入go get -u或go get module@main时,请意识到这个简单的命令可能会给模块的源服务器带来持续一段时间的刷新压力。
  • 工具开发者请注意:如果你正在编写扫描或爬取Go模块的工具,请尽可能使用https://proxy.golang.org/cached-only端点。这将只访问Proxy的缓存,不会触发任何到上游服务器的回源或刷新请求。

3. 对Go团队的思考:简单性与复杂性的永恒权衡

这个事件也揭示了Go语言哲学的一个侧面。Go团队为了追求用户体验的“简单”(即时获取最新版本),在Proxy的内部引入了“复杂”的、带有潜在风险的刷新逻辑。当这种复杂性与现实世界的多样性(不同的VCS、不同的模块流行度)碰撞时,问题便暴露出来。

最终的解决方案,回归到了一个更“简单”、更可预测的模型。这再次印证了软件工程的一条黄金法则简单的、可预测的系统,长期来看往往比一个充满“智能”优化的复杂系统更加健壮。

小结:一次迈向成熟的进化

Go Module Proxy的这次“流量悬案”,最终以一次开放、透明的社区互动和深刻的技术改进而告终。它既解决了小型服务器维护者的燃眉之急,又推动了Go核心基础设施向着一个更公平、更健壮、更尊重生态多样性的方向进化。对于我们开发者而言,这是一个了解Go Proxy内部机制的宝贵机会,也是一堂关于分布式系统设计、社区责任和技术权衡的生动课程。

参考资料

  • https://github.com/golang/go/issues/75191
  • https://github.com/golang/go/issues/75120
  • https://flak.tedunangst.com/post/what-is-the-go-proxy-even-doing

想系统学习Go,构建扎实的知识体系?

我的新书《Go语言第一课》是你的首选。源自2.4万人好评的极客时间专栏,内容全面升级,同步至Go 1.24。首发期有专属五折优惠,不到40元即可入手,扫码即可拥有这本300页的Go语言入门宝典,即刻开启你的Go语言高效学习之旅!


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats