标签 goroutine 下的文章

Go 1.19新特性前瞻

本文永久链接 – https://tonybai.com/2022/06/12/go-1-19-foresight

美国时间2022年5月7日,Go 1.19版本开发分支进入新特性冻结(freeze)阶段,即只能修Bug,不能再向Go 1.19版本中增加新特性了。由于上一个版本Go 1.18因引入泛型改动较大,推迟了一个月发布,这直接导致了Go 1.19版本的开发周期被缩短。

虽然开发周期少了近一个月,但Go 1.19版本仍然会按计划在2022年8月份发布。而Go 1.19的第一个beta版也于今天凌晨发布了。Go 1.19版本都有哪些重要变化呢,我通过这篇文章带大家先睹为快。

注1:版本特性变化以最终发布为准!
注2:本文仅是前瞻,不会过于深入细节。细节待Go 1.19正式发布后再聊。

泛型问题的fix

尽管Go核心团队在Go 1.18泛型上投入了很多精力,但Go 1.18发布后泛型这块依然有已知的天生局限,以及后续逐渐发现的一些问题,而Go 1.19版本将继续打磨Go泛型,并重点fix Go 1.18中发现的泛型问题。目前Go 1.19开发版本中大约有5-6个泛型问题待解决。之前谈到的可能放开一些泛型约束,在Go 1.19估计不会如期兑现了。

不过可以确定的是Go 1.19将包含Go语法规范中的一处关于泛型的修正,即由下面表述:

The scope of an identifier denoting a type parameter of a function or declared by a method receiver is the function body and all parameter lists of the function.(译文:一个用于表示函数的类型参数或由方法接收器声明的类型参数的标识符的作用域范围包括函数体和函数的所有形式参数列表。)

改为下面更新版的表述:

The scope of an identifier denoting a type parameter of a function or declared by a method receiver starts after the function name and ends at the end of the function body.(译文:一个用于表示函数的类型参数或由方法接收器声明的类型参数的标识符的作用域始于函数名,终止于函数体末尾。)

这样一个改动,使得原本在当前版本Go编译器(Go 1.18.x)下编译报错的源码,在Go 1.19版本中可以正常编译通过:

type T[T any] struct {}
func (T[T]) m() {} // error: T is not a generic type

修订Go memory model

Go memory model是Go文档中最抽象的一篇,没有之一!随着Go的演进,原先的Go memory model描述有很多地方不够正式,也缺少对一些同步机制的说明,如atomic等。

这次修订,参考了Hans-J. Boehm和Sarita V. Adve在“Foundations of the C++ Concurrency Memory Model,(PLDI 2008)”中对C++ memory model的描述方式,对Go memory model做了更正式的整体描述,增加了对multiword竞态、runtime.SetFinalizer、更多sync类型、atomic操作以及编译器优化方面的描述。

修订go doc comment格式

Go内置了将comment直接提取为包文档的能力,这与其他语言通过第三方工具生成文档不同。go doc comment为Gopher提供了很大便利。但go doc comment设计于2009年,有些过时。对很多呈现形式的支持不够或缺少更为精确的格式描述,这次Russ Cox主导了go doc comment的修订,增加了对超链、列表、标题、标准库API引用等格式支持,修订后的go doc comment并非markdown语法,但从markdown语法中做了借鉴,同时兼容老comment格式。下面是Russ Cox提供的一些新doc comment的渲染后的效果图:



同时,Go团队还提供了go/doc/comment包,gopher使用它可以轻松解析go doc comment。

runtime.SetMemoryLimit

在Go 1.19中,一个新的runtime.SetMemoryLimit函数以及一个GOMEMLIMIT环境变量被引入。有了这个memory软限制,Go运行时将通过限制堆的大小,以及更积极地将内存返回给底层os,来试图维持这个内存限制,以尽量避免Go程序因分配heap过多,超出系统内存资源限制而被kill。

默认memory limit是math.MaxInt64。一旦通过SetMemoryLimit自行设定limit,那么Go运行时将尊重这个memory limit,通过调整GC回收频率以及及时将内存返还给os来保证go运行时掌控的内存总size在limit之下。

注意:limit限制的是go runtime掌控的内存总量,对于开发者自行从os申请的内存(比如通过mmap)则不予考虑。limit的具体措施细节可以参考该proposal design文档

另外要注意的是:该limit不能100%消除out-of-memory的情况。

Go 1.19在启动时将默认提高打开文件的限值

经调查,一些系统对打开的文件数量设置了一个人为的soft限制, 主要是为了与使用select和其硬编码的最大文件描述符(由 fd_set 的大小限制)的代码兼容。通常限制为1024,有的更小,比如256。这样即便是gofmt这样的简单程序,当它们并行地遍历一个文件树时,也很容易遇到打开文件描述符超量的错误。

Go不使用select,所以它不应该受这些限制的影响。于是对于导入os包的go程序,Go将在1.19中默认提高这些限制值到hard limit。

Go 1.19 race detector将升级到v3版thread sanitizer

升级后的新版race detector的race检测性能相对于上一版将提升1.5倍-2倍,内存开销减半,并且没有对goroutine的数量的上限限制。

注:thread sanitizer检测数据竞态的工作原理:记录每一个内存访问的信息,并检测线程对这块内存的访问是否存在竞争。基于这种原理,我们也可以知道一旦开启race detect,Go程序的执行效率将受到很大影响,运行的开销将大幅增加。v3版thread sanitizer虽然得到了优化,但对程序的总体影响还是存在的并且依旧很大。

Go 1.19增加”unix” build tag

Go 1.19将增加”unix”构建标签:

//go:build unix

等价于

//go:build aix || linux || darwin || dragonfly || freebsd || openbsd || netbsd || solaris

不过要注意,”*_unix.go”还保留原语义,不能被识别,以便向后兼容现有文件,尤其是go标准库之外的使用

标准库的一些变化

net软件包将使用EDNS

在Go 1.19中,net软件包将使用EDNS来增加DNS数据包的大小,以遵守现代DNS标准和实现。这应该有助于解决一些DNS服务器的问题。

flag包增加TextVar函数

Go flag包增加TextVar函数,这样flag包便可以与任何实现了encoding.Text{Marshaler,Unmarshaler}的Go类型集成。比如:

flag.TextVar(&ipaddr, "ipaddr", net.IPv4(192, 168, 0, 1), "what server to connect to?") // 与net.IPv4类型
flag.TextVar(&start, "start", time.Now(), "when should we start processing?") // 与time.Time类型

其它

  • 在linux上,Go正式支持64位龙芯cpu架构 (GOOS=linux, GOARCH=loong64)。
  • 当Go程序空闲时,Go GC进入到周期性的GC循环的情况下(2分钟一次),Go运行时现在会在idle的操作系统线程上安排更少的GC worker goroutine,减少空闲时Go应用对os资源的占用。
  • Go行时将根据goroutine的历史平均栈使用率来分配初始goroutine栈,避免了一些goroutine的最多2倍的goroutine栈空间浪费。
  • sync/atomic包增加了新的高级原子类型Bool, Int32, Int64, Uint32, Uint64, Uintptr和Pointer,提升了使用体验。
  • Go 1.19中Go编译器使用jump table重新实现了针对大整型数和string类型的switch语句,平均性能提升20%左右。

小结

相对于Go 1.18,Go 1.19的确是一个“小版本”。但Go 1.19对memory model的更新、SetMemoryLimit的加入、go doc comment的修订以及对go runtime的持续打磨依然可以让gopher们产生一丝丝“小兴奋”,尤其是SetMemoryLimit的加入,是否能改善Go应用因GC不及时被kill的情况呢,让我们拭目以待。

Go 1.19的里程碑在这里,所有feature和fix大家可以在该里程碑中看到。


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2022年,Gopher部落全面改版,将持续分享Go语言与Go应用领域的知识、技巧与实践,并增加诸多互动形式。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

我爱发短信:企业级短信平台定制开发专家 https://tonybai.com/。smspush : 可部署在企业内部的定制化短信平台,三网覆盖,不惧大并发接入,可定制扩展; 短信内容你来定,不再受约束, 接口丰富,支持长短信,签名可选。2020年4月8日,中国三大电信运营商联合发布《5G消息白皮书》,51短信平台也会全新升级到“51商用消息平台”,全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博:https://weibo.com/bigwhite20xx
  • 微信公众号:iamtonybai
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • “Gopher部落”知识星球:https://public.zsxq.com/groups/51284458844544

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

评点2021-2022年上市的那些Go语言新书

本文永久链接 – https://tonybai.com/2022/06/01/reviewing-those-new-go-language-books-coming-out-in-2021-2022

计算机科学与技术这个工业大类与传统工业类别相比还很“年轻”,并且由于历史原因,整个计算机科学与技术学科的奠基都是由欧美人完成的,因此但凡诞生一门新IT技术或新编程语言,我们首先参考的都是来自欧美的外文技术书籍(影印或翻译)。

以Go为例,笔者最先接触的Go技术书籍资料是《The Way To Go》

这也是笔者早期学习Go语言时最喜欢翻看的一本书,也是我目前见到的、最全面详实的讲解Go语言的书籍了,可以说是Gopher们的第一本“Go语言百科全书”。可能是由于这本书出版太早了,等国内出版社意识到要引进Go语言方面的书籍的时候,这本书使用的Go版本已经太老了。不过,这本书中绝大部分例子依然可以在今天最新的Go编译器下通过编译并运行起来。

另外一本不得不提的就是由K&R C中的K:Brian W. Kernighan老爷子参与编写的《The Go Programming Language》

这本书模仿并致敬《The C Programming Language》的经典结构,从一个”hello, world”示例开始带领大家开启Go语言之旅。作者行文十分精炼,字字珠玑,这与《The C Programming Language》的风格保持了高度一致。而且,书中的示例在浅显易懂的同时,又极具实用性,还突出Go语言的特点(比如并发web爬虫、并发非阻塞的缓存系统等)。读完这本书后,你会有一种爱不释手,马上还要从头再读一遍的感觉,这也许这就是“Go语言圣经”的魅力吧!

不过,随着Go语言在国内的扎根和广泛应用,国内接纳Go较早的一批Gopher以及国内大厂“身经百战”的Gopher开始将Go语言沉淀下来,并陆续上线了自己的作品。从2020年开始,国内作者出版的Go语言相关书籍已经逐渐多了起来,并且质量也在逐渐提升。就像我在《Go语言第一课》 的加餐文章《我“私藏”的那些优质且权威的Go语言学习资料》中预测的那样:将有更多Gopher加入Go技术书籍的写作行列,从2021开始的3年,国内Go语言技术书籍也会迎来一波小高峰

618购物节前夕,我就来简单评点一下2021年至今出版的口碑还不错的Go语言新书(按出版时间顺序),大家可以趁打折力度较大的窗口按需从电商平台购买纸版书或电子书渠道购买电子书阅读^_^。


1. 《Go语言底层原理剖析》 2021.8

Go语言是带有GC与运行时的语言,这就意味着很多东西不是“表面”看到的那样,比如string、切片、map等类型在运行时的表示与我们在源码中看到的有很大不同。要想玩转Go语言,不下沉到“原理”这一层还真不行。

《Go语言底层原理剖析》这本书显然也是定位了那些对Go原理有述求的这部分gopher群体。书的作者郑建勋老师是滴滴的高级研发工程师。大家知道,滴滴公司内部使用Go技术栈实现的服务比例是很高的,因此这本书也是郑老师在滴滴“摸爬滚打”后的实践检验的沉淀与总结。

这本书从Go编译构建原理起步,然后过渡到Go的几种常见复合类型(数组、字符串、切片、map)的实现原理的讲解,再到对Go核心语法函数、接口、异常处理的原理说明,最后是Go的精华,也是最难啃的部分:goroutine调度、内存分配与GC。如果从覆盖的内容全面性上,应该说基本都包含到了。

笔者在微信读书上对整本书做了阅读,从阅读体验来看,郑老师的技术十分扎实,讲解也很到位。美中不足的是,有些内容刚刚引发你想继续深入的兴趣时,书籍内容却在这里戛然而止了。如果能继续展开就更好了,也许这是基于书籍篇幅上的考量。

✩豆瓣评分:8.5
✩微信读书推荐值:57.7%

本书在豆瓣口碑与微信读书推荐上存在一些分化,原因这个还不得而知。

2. 《Go语言设计与实现》 2021.11

《Go语言设计与实现》一书是作者左书祺(Draven)在其同名开源电子书《Go语言设计与实现》的基础上进一步系统整理和丰富而成。左老师的开源电子书在国内Gopher圈内有着相当好的口碑,他擅长以精美插图的方式对技术细节进行细致入微的讲解,作者甚至还专门出过一篇《技术文章配图指南》来说明其文章中插图制作使用的工具以及方法。

和《Go语言底层原理剖析》一样,《Go语言设计与实现》同样聚焦在Go编译器、类型系统与运行机制的原理层面,两本书对原理的说明角度和风格各有特点,就看读者喜欢哪种。更好的方法是主题阅读,两个相互参照的看。

编写面向Go底层原理的书是有一定“风险”的,很容易随着时间的流逝而变得“outdated”,这是因为Go语言还在快速演进中,其底层实现也在不断变化,远没有Java那样成熟,所以很难像神作《深入理解java虚拟机》那般“稳定”,需要不断更新。在这一点上,纸板书反倒没有开源电子书优势明显,后者可做到以快速持续的迭代更新。

不过笔者觉得:要想对一个语言机制的底层原理理解透彻,光是掌握其当前的实现机制还不够,了解其实现机制的历史演进过程将大有裨益,而上面的两本书的价值恰恰还可以体现在这个方面,尤其是当书中的实现机制在将来过时的时候。

✩豆瓣评分:8.5
✩微信读书推荐值:未上架

3. 《Go语言精进之路》 2021.12.17

写Go语言语法方面的书风险小,Go书籍的寿命都很长,这是因为Go1兼容性承诺的存在,这也是Go书籍作者的幸运。

《Go语言精进之路》笔者的作品,该作品主要面向一个刚刚Go入门后的Go新手,就像副标题描述的那样,聚焦于告诉一个Go入门新手如何能像Go开发团队那样写出符合Go思维和语言惯例的高质量代码。书中也有一部分底层原理的介绍,但这些介绍也都是为了配合主线的讲解。由于是偏思维、方法与技巧方面的讲解,里面的绝大部分知识点,即使是几年后,依然是有效的。这就像出版于2015年的Go语言圣经《The Go Programming language》目前看毫不过时一样。

笔者自己的书不好自作点评,下面是近期一位读者在weibo上主动at我的评价

其他评价/评论大家也可以在书籍的豆瓣页面或微信读书页面上自行查看。

✩豆瓣评分:8.9
✩微信读书推荐值:84.1%

4. 《Go语言定制指南》 2022.2.1

《Go语言定制指南》是国内Go技术专家柴树衫老师既《Go语言高级编程》后的又一力作,这次内容更加聚焦:围绕Go语法分析树学习Go词法分析、语法分析、语义分析以及中间代码生成的原理,并基于Go语法树对Go语言进行二次改造,基于Go语言语法裁剪出一个极小子集——凹语言,并实现其的解释执行。

更具体来说,书中主要讲解的是go/ast和go/types等Go编译器相关包的用法,比如:结合Go语言的文法、语法与go/ast包输出的语法树的对应关系;使用go/types进行语义检查的方法等。

这也是目前国内第一本以Go编译器前端为中心的Go语言技术书籍,即便放眼全世界,这也是稀有的。如果你对Go编译器的工作原理、对定制Go语言十分感兴趣,那么此书是你的不二之选。

不过编译器和语言开发是门槛较高的领域,不免会出现“曲高和寡”的境遇,这本书注定是本已是小众的Go社区中的小众群体的菜。

✩豆瓣评分:暂无
✩微信读书推荐值:暂无

5. 引进版新书简评

在豆瓣图书搜索Go技术书籍,看到下面几本刚刚出版不久(可能尚未上架)以及即将出版的几本引进版的新书,这里顺便说说。

这是O’Reilly出版社于2021年3月出版的《Learning Go: An Idiomatic Approach to Real-World Go Programming》的中译版,中文版我还没有来得及读,不过原版我是粗略读过的。这本书面向Go入门群体,同时结合一些实战的例子,与《The Go Programming Language》的受众群体相似度很高。

这本书(原版)整体质量很高,语言精炼,讲解全面,更重要的是它似乎也是第一个包含Go泛型内容的Go入门书,只不过出版时,Go泛型尚未正式发布。今年3月份Go 1.18泛型落地后,该书作者还对泛型章节做了修订,并在网上提供电子版供读者下载。

这两本都是索斯藤·鲍尔(Thorsten Ball)在2018年自出版的书!作者使用Go语言手把手教你实现了一门类C语法的Monkey语言,从词法分析、语法分析、建立语法树并进行语法分析,到生成字节码,并实现可以执行该字节码的虚拟机,实现Monkey语言的真实执行。这本书在国外颇受好评。

作者在书中采用的是手写词法分析器和语法分析器的方式,而不是借助像ANTLR这样的parser生成工具,这可以让读者更加深刻的理解和认知一门编程语言的实现过程,酷感十足。

6. 小结

我们看到,2021年来出品的Go技术书籍都获得了不错的口碑,这也说明国内Go语言的整体水准在提升,对于刚刚加入Go社区的小伙伴们,这是真金白银般的好消息,看好书可以避免走弯路,节省大量时间与精力!

挑一本适合你的,该出手时就出手吧!

注意:以上豆瓣评分与微信读书推荐值都是2022.5.31的快照值,不代表后续不会发生变化


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2022年,Gopher部落全面改版,将持续分享Go语言与Go应用领域的知识、技巧与实践,并增加诸多互动形式。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

我爱发短信:企业级短信平台定制开发专家 https://tonybai.com/。smspush : 可部署在企业内部的定制化短信平台,三网覆盖,不惧大并发接入,可定制扩展; 短信内容你来定,不再受约束, 接口丰富,支持长短信,签名可选。2020年4月8日,中国三大电信运营商联合发布《5G消息白皮书》,51短信平台也会全新升级到“51商用消息平台”,全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博:https://weibo.com/bigwhite20xx
  • 博客:tonybai.com
  • github: https://github.com/bigwhite

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats