标签 github 下的文章

WaitGroup.Go要来了?Go官方提案或让你告别Add和Done样板代码

本文永久链接 – https://tonybai.com/2025/04/03/waitgroup-go-proposal

sync.WaitGroup是Go语言中处理并发任务同步最常用的原语之一。然而,其经典的Add(1)、go func() { defer wg.Done() … }()、Wait()模式虽然强大,却也因其固定写法和潜在的陷阱(如忘记Done或将Add误置于goroutine内部)而让开发者时常感到繁琐,对新手尤其不友好。近日,一项旨在简化这一模式的提案#63796在Go社区引发了广泛关注,并已被标记为Likely Accept,预示着sync.WaitGroup可能很快将迎来一个实用的新方法:Go。这也意味着Go开发者可以告别Add、defer Done的样板代码,并避免它们的“陷阱”可能导致的难以捕捉的代码错误。在这篇文章中,我就来简单介绍一下WaitGroup.Go这个提案。

1. 现有模式的痛点与WaitGroup.Go的提出

当前使用WaitGroup的标准模式通常如下所示:

package main

import (
    "fmt"
    "sync"
    "time"
)

func work(id int) {
    fmt.Printf("Worker %d starting\n", id)
    time.Sleep(time.Second)
    fmt.Printf("Worker %d done\n", id)
}

func main() {
    var wg sync.WaitGroup
    for i := 1; i <= 5; i++ {
        // 注意:在 Go 1.22 之前,需要 i := i 来避免闭包捕获问题
        // i := i
        wg.Add(1) // 必须在启动 goroutine 前调用 Add
        go func(id int) {
            defer wg.Done() // 必须在 goroutine 退出前调用 Done
            work(id)
        }(i)
    }
    wg.Wait() // 等待所有 goroutine 完成
    fmt.Println("All workers done")
}

这种样板使用模式存在几个容器出错的关键点:

  • wg.Add(1) 的位置: 必须在启动goroutine之前调用。如果将其放在goroutine内部,可能会导致Wait在Add执行前就返回,引发panic或竞态条件。这是最常见的错误之一。
  • defer wg.Done(): 必须确保在goroutine逻辑结束时调用Done,否则Wait将永久阻塞。defer是推荐做法,但也可能被遗漏。
  • 闭包变量捕获 (Go < 1.22):Go 1.22之前的版本中,循环变量直接在goroutine的闭包中使用会导致所有goroutine共享同一个变量值,需要i := i 这样的技巧来创建副本。

为了解决这些问题,提案#63796 建议为sync.WaitGroup添加一个Go方法:

// Go calls f on a new goroutine and adds that task to the WaitGroup.
// When f returns, the task is removed from the WaitGroup.
// ... (其他文档细节省略)
func (wg *WaitGroup) Go(f func()) {
    wg.Add(1)
    go func() {
        defer wg.Done()
        f()
    }()
}

这个方法简洁地封装了Add(1)、启动goroutine和defer Done()的逻辑。使用Go方法后,之前的例子可以大幅简化为下面代码:

package main

import (
    "fmt"
    "sync"
    "time"
)

func work(id int) {
    fmt.Printf("Worker %d starting\n", id)
    time.Sleep(time.Second)
    fmt.Printf("Worker %d done\n", id)
}

func main() {
    var wg sync.WaitGroup // 假设WaitGroup已包含Go方法
    for i := 1; i <= 5; i++ {
        // Go 1.22+版本无需i := i
        wg.Go(func() {
            work(i)
        })
    }
    wg.Wait()
    fmt.Println("All workers done")
}

我们可以看到,代码不仅行数减少,而且显著降低了出错的可能性,尤其是避免了Add位置错误这一高频陷阱。

2. 时机成熟:为何现在是引入WaitGroup.Go的好时机?

该提案并非首次提出(相关讨论可追溯至#18022#39863),但之前的提案因各种原因未能被接受。此次能够获得”Likely Accept”的状态,可能主要得益于以下几个因素:

  • Go 1.22循环变量语义变化

Go 1.22正式“修正”了for循环的变量语义,使得每次迭代都会创建新的循环变量实例。这极大地降低了在wg.Go的闭包函数中直接使用循环变量的风险,使得func()形式的API更加安全和自然。正如dsnet在评论中指出的,虽然闭包仍可能引入其他变量修改的风险,但相比wg.Add位置错误,这种风险出现的频率要低得多。

  • 社区实践的验证

许多流行的第三方库(如tailscale.com/syncs和sourcegraph/conc)以及golang.org/x/sync/errgroup都已经实现了类似的Go方法,证明了其在实际开发中的价值和受欢迎程度。这为标准库采纳该模式提供了有力佐证。

  • 错误预防的迫切性

尽管社区曾讨论过通过vet工具检查wg.Add误用(#18022),但此前相关检查迟迟未能落地(直到最近才由adonovan等人推动并合并了相关分析器)。直接在API层面提供更安全的替代方案,被认为是更有效的解决途径。GitHub代码搜索也显示,虽然正确用法占绝大多数,但错误用法(go之后才Add)数量仍然不可忽视(上千例)。

3. 社区讨论焦点

在提案的讨论过程中,社区成员也提出了一些值得思考的问题,这里也找出一些典型的问题供大家玩味:

  • 是否需要新类型?

有人建议创建一个新的类型(如sync.Tasks),以避免WaitGroup同时存在Add/Done和Go两种模式可能带来的混淆。但主流观点认为,将Go方法添加到现有WaitGroup可以方便现有代码的原地升级(gopls甚至已为此添加了自动化重构支持),并且混合使用的风险较低(错误使用Done会快速panic,多余的Add也会导致Wait阻塞,易于发现)。

  • 与errgroup的关系

errgroup.Group也有Go方法,但它还处理了错误传播和context取消。WaitGroup.Go则更纯粹地关注任务同步,两者定位不同,可以共存。将errgroup引入标准库是另一个独立的提案(#57534)。

  • 方法命名

曾有提议使用Start或Run,但Go这个命名与errgroup中的Go保持一致,且能清晰表达“启动新goroutine”的含义,最终获得了更多支持。

  • 文档重塑

Go当前的技术负责人aclements建议将WaitGroup的文档从“计数器”视角转向“任务集合”视角,并将Go作为首选方法进行介绍。对此adonovan提醒WaitGroup本质仍是计数信号量,文档更新需谨慎平衡。

4. 小结

sync.WaitGroup.Go提案的”Likely Accept”状态对于Go开发者来说是一个积极的信号。这个看似简单的补充,有望显著提升Go并发编程的体验,减少Add和Done的样板代码,规避常见错误。它体现了Go团队在保持核心库简洁性的同时,也愿意吸收社区成熟实践、优化开发者体验的务实态度。我们期待在未来的Go版本中看到这一实用特性的正式发布,届时,编写健壮、简洁的并发代码将变得更加容易。

5. 参考资料


Gopher部落知识星球在2025年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。并且,2025年将在星球首发“Gopher的AI原生应用开发第一课”、“Go陷阱与缺陷”和“Go原理课”专栏!此外,我们还会加强星友之间的交流和互动。欢迎大家踊跃提问,分享心得,讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落,享受coding的快乐! 欢迎大家踊跃加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格6$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • Gopher Daily归档 – https://github.com/bigwhite/gopherdaily
  • Gopher Daily Feed订阅 – https://gopherdaily.tonybai.com/feed

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

Go模块发布流程再加固:go mod verify -tag提案详解

本文永久链接 – https://tonybai.com/2025/03/28/go-mod-verify-tag

Go模块(module)在Go 1.11版本中引入,显著简化了依赖管理,使开发者能够通过go.mod文件明确声明和管理库依赖,支持语义版本控制,并提高了构建速度和可移植性。使得Go语言的依赖管理更加现代化和高效,提升了开发者的体验。

同时引入的校验和数据库 (sumdb) 也极大地增强了Go生态的依赖管理的确定性和安全性。然而,在模块作者发布新版本时,从本地代码库打上标签推送到代码托管平台,再到被Go Proxy和sumdb收录,这个过程中仍然存在一个微妙但关键的信任验证环节缺失。近期,Go团队接受了一项备受关注的提案(Issue #68669,旨在通过扩展go mod verify命令来弥补这一空白,为模块作者提供一种官方途径来验证他们本地的代码和标签确实与Go生态系统将收录的版本一致。在这一篇文章中,我就根据issue中的内容,来简单介绍一下这一新增安全机制的背景和运作原理。

注:该机制的提案刚刚被Accept,尚未确定在哪个版本落地,不过大概率是在Go 1.25版本中。

1. 问题背景:发布过程中的信任鸿沟

当前,Go开发者在发布一个新的模块版本时,通常的流程是:

  • 在本地代码库完成开发和测试。
  • 使用git tag (例如git tag v1.2.3) 创建版本标签。
  • 使用git push –tags 将代码和标签推送到代码托管平台 (如 GitHub)。
  • 等待Go Proxy (如proxy.golang.org) 拉取新版本,并将其信息提交给官方sumdb。

虽然sumdb保证了下游用户下载的模块代码未被篡改 (相对于sumdb中的记录),但它无法保证sumdb中记录的版本就精确地是模块作者在本地打标签时所期望的版本。潜在的风险点包括:

  • 代码托管平台被篡改: 拥有强制推送权限的攻击者可能在标签推送后修改了标签指向的提交。
  • 代码托管平台自身问题: 平台自身可能存在Bug或被攻击,导致返回给Go Proxy的代码与原始标签不符。
  • Go Proxy或sumdb问题: 尽管概率较低,但中间环节也可能存在问题。

正如提案贡献者和Go核心团队成员在讨论中指出的,目前缺少一个简单直接的方式让模块作者确认:“我本地标记为v1.2.3的代码,是否就是全世界通过Go工具链获取到的那个v1.2.3?”。

2. 提案核心:go mod verify -tag

为了解决这个问题,提案#68669建议为现有的go mod verify命令增加一个新的-tag标志。go mod verify命令目前用于检查本地缓存的依赖项是否被修改,而新的-tag标志则将关注点转向了当前模块本身

2.1 拟议的功能

$go mod verify -tag=<value>

其中 可以是:

  • : 一个具体的 Git 标签,例如v1.2.3。命令将检查本地仓库中该标签对应的代码树,计算其哈希,并与sumdb中记录的该版本的哈希进行比对。
  • latest: 检查本地仓库中最新的Git标签。
  • all: 检查本地仓库中所有的Git标签。

2.2 核心价值与使用场景

  1. 发布后验证 (主要场景):这是该提案最核心的预期用途。模块作者在推送标签后,可以立即运行此命令来确认他们的代码已经“安全”地进入了Go的模块分发体系,且内容无误。
# 假设已完成开发
$git tag v1.2.3
$git push origin v1.2.3 # 或 git push --tags

# 关键一步:验证刚推送的标签
$go mod verify -tag=v1.2.3

这个操作还有一个重要的副作用:如果v1.2.3 尚未被Go Proxy和sumdb收录,运行go mod verify -tag=v1.2.3 会触发Go工具链去查询这个版本,从而加速它被Go生态系统发现和记录的过程,同时完成验证

  1. 安全审计与代码审查: 当需要对某个模块的特定版本进行安全审计或深入的代码审查时,可以使用此命令验证本地检出的代码副本确实是sumdb中记录的那个“官方”版本,而不是可能已被篡改的某个代码托管平台上的版本。

3 社区讨论与设计考量

在提案的讨论过程中,社区也探讨了该功能是否应该放在go mod verify命令下,因为它与验证依赖项的现有功能有所不同。一些替代方案被提出,例如创建一个新的子命令go mod verify-tags或go mod proxy -check=TAG等。

最终,提案审查小组倾向于并接受了将此功能作为go mod verify的扩展,主要是考虑到:

  • 概念一致性: 虽然对象不同(当前模块 vs 依赖项),但核心都是进行某种形式的“验证” (verify)。
  • 避免命令扩散: 增加标志比增加新子命令更轻量。
  • 文档可更新: 可以通过更新go mod verify 的文档来清晰地说明其扩展后的功能范围。

需要注意的是,该提案主要解决的是模块作者验证自身发布的问题,与验证项目依赖项是否在源头(如GitHub)被篡改(例如Issue #66653讨论的情况)是不同的问题,尽管它们都属于Go模块供应链安全的一部分。

4. 小结

go mod verify -tag提案的接受是Go模块生态系统在安全性方面迈出的又一重要步伐。它为模块作者提供了一个简单、官方的工具来关闭发布流程中的一个关键信任缺口,增强了从代码编写到模块分发的端到端完整性保证。

虽然具体的实现细节仍在进行中 (由 Issue #68669 跟踪),但Go开发者可以期待在未来的Go版本中获得这一实用功能。这不仅有助于提升个别模块的安全性,也将进一步巩固整个Go生态系统的供应链安全基础。

5. 参考资料


Gopher部落知识星球在2025年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。并且,2025年将在星球首发“Go陷阱与缺陷”和“Go原理课”专栏!此外,我们还会加强星友之间的交流和互动。欢迎大家踊跃提问,分享心得,讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落,享受coding的快乐! 欢迎大家踊跃加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格6$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • Gopher Daily归档 – https://github.com/bigwhite/gopherdaily
  • Gopher Daily Feed订阅 – https://gopherdaily.tonybai.com/feed

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 AI原生开发工作流实战 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com
这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats