指针 - Tony Bai

标签指针下的文章

Go 1.24新特性前瞻：语法、编译器与运行时

十二月 16, 2024
0 条评论

本文永久链接 – https://tonybai.com/2024/12/16/go-1-24-foresight-part1

自2020年底撰写《Go 1.16版本新特性前瞻》以来，四年转瞬而逝。在这段时间里，每当Go的大版本开发进入新特性冻结(freeze)阶段，我都会为大家带来该版本的特性前瞻，旨在让大家更早地了解和实验这些新特性，从而在版本正式发布时能够准确评估是否应用它们。

11月末，Go 1.24的新特性开发已经冻结，我认为是时候对Go 1.24新特性进行前瞻了。本次前瞻将分为两篇进行，本文，也就是第一篇将讲解语法、编译器与运行时方面的变化，而第二篇将聚焦工具链和标准库。本次前瞻可以引导大家了解即将在明年3月份发布的Go 1.24版本中的重要变化，希望能给大家带去帮助。

注：Go每六个月发布一次。每个发布周期都分为持续约4个月的开发阶段，然后是为期3个月的测试和完善阶段（称为发布冻结期）。当前的发布周期预计于每年一月中旬和七月中旬开始，如下图所示。以Go 1.24为例，2024年7月开始plan，经过4个月开发，11月下旬冻结，再经历3个月的测试完善，预计2025年2月发布。

图来自go.dev/wiki/Go-Release-Cycle

注：大家可以使用Go playground体验dev branch的最新特性，或在本地安装GoTip版本进行体验。2024年12月14日，Go 1.24RC1版本发布，大家也可以直接用go install golang.org/dl/go1.24rc1@latest体验，或到Go官方下载站unstable version中直接下载安装。

1. 语法

Go 1.18引入了泛型，Go 1.21版本新增了max、min和clear等预定义函数，而Go 1.23版本则引入了自定义迭代器。与这些创新相比，Go 1.24似乎又回归到了我们熟悉的“静默期”，没有显著的语法特性更新。

唯一一个值得提及的还是Go 1.23版本引入的实验特性：“带有类型参数的type alias”。如果你已经忘记这是一个什么语法特性，下面我就带你简单地回顾一下。

传统的类型别名的形式是这样的：

type P = Q

在《“类型名称”在Go语言规范中的演变》一文中我们介绍过，Q是Named Type，包括Predeclared Type、Anonymous Type、Existing Defined Type以及Existing Alias Type，甚至可以用泛型类型实例化后的类型作为Q，比如：

type MySlice[T any] []T

func main() {
    type P = MySlice[int]  // MySlice[int]作为Q
    var p P
    fmt.Println(len(p)) // 0
}

但P中不能包含类型参数！下面这样的类型别名定义是不合法的：

type P[T any] = []T

不过Go 1.23版本以实验特性(需显式使用GOEXPERIMENT=aliastypeparams)支持了带有类型参数的类型别名，在Go 1.24中，这个实验特性转正了，成为了默认特性。我们看看下面这个示例：

// go1.24-foresight/lang/generic_type_alias.go

package main

import "fmt"

type MySlice[T any] = []T

func main() {
    // 使用int类型实例化MySlice
    intSlice := MySlice[int]{1, 2, 3, 4, 5}
    fmt.Println("Int Slice:", intSlice)

    // 使用string类型实例化MySlice
    stringSlice := MySlice[string]{"hello", "world"}
    fmt.Println("String Slice:", stringSlice)

    // 使用自定义类型实例化MySlice
    type Person struct {
        Name string
        Age  int
    }

    personSlice := MySlice[Person]{
        {Name: "Alice", Age: 30},
        {Name: "Bob", Age: 25},
    }

    fmt.Println("Person Slice:", personSlice)
}

使用Gotip直接运行上面示例，我们可以得到如下结果：

Int Slice: [1 2 3 4 5]
String Slice: [hello world]
Person Slice: [{Alice 30} {Bob 25}]

怎么理解带有类型参数的类型别名呢？在《Go 1.23中值得关注的几个变化》一文中，我们也介绍了Russ Cox给出的理解，即可以将其看成是一种“类型宏”(类似c中的#define)：

type MySlice[T any] = []T

就是在任何出现MySlice[T]的地方，将其换成[]T。

在Go 1.23以实验特性出现的带类型参数的别名还有一些问题，比如下面这个本不该正常运行的示例(int切片类型是不满足comparable的)，在Go 1.23.0版本中是可以正常编译运行的：

// go1.24-examples/lang/strict_alias.go

package main

import "fmt"

type MySlice[T any] = []T
type YourSlice[T comparable] = MySlice[T]

func main() {
    // 使用int类型实例化MySlice
    intSlice := MySlice[int]{1, 2, 3, 4, 5}
    fmt.Println("Int Slice:", intSlice)

    intsliceSlice := YourSlice[[]int]{
        []int{1, 2, 3},
        []int{4, 5, 6},
    }
    fmt.Println("IntSlice Slice:", intsliceSlice)
}

不过在Go 1.24中该问题被修正，如果你使用gotip运行该示例，你将得到类似下面编译错误：

./strict_alias.go:13:29: []int does not satisfy comparable

在gotip版go spec(截至2024.12.09)中，对带有类型参数的type alias有如下约束：

type A[P any] = P    // illegal: P is a type parameter

即类型别名声明中的右侧已知类型不能是类型参数自身。但目前的gotip实现似乎忽略了这一条，下面代码在gotip下是可以正常编译运行的：

package main

import "fmt"

type A[P any] = P

func main() {
    var a A[int] = 5 // identical to int
    fmt.Println(a) // 5
}

此外Go 1.23.0中，带有类型参数的别名类型是不能跨包使用的，但Go 1.24中这条限制被取消了，带有类型参数的别名类型可以与常规类型别名一样跨包使用。

在Go 1.24中，你也可以通过设置GOEXPERIMENT=noaliastypeparams来禁用这一特性，但该设置将在Go 1.25中被移除。

2. 编译器与运行时

2.1 运行时性能优化

Go 1.24版本在运行时方面实现了多个优化，包括采用基于Swiss Tables的原生map实现(#54766)、更高效的小对象内存分配以及改进的内部互斥锁实现，整体降低了2-3%的CPU开销。

Swiss Table是由Google工程师于2017年开发的一种高效哈希表实现，旨在优化内存使用和提升性能，解决Google内部代码库中广泛使用的std::unordered_map所面临的性能问题。目前，Swiss Table已被应用于多种编程语言，包括C++ Abseil库的flat_hash_map(可替换std::unordered_map)、Rust标准库Hashmap的默认实现等。在字节工程师的提案下，Go runtime团队决定替换原生map的底层实现，改为基于Swiss Table。通过基于gotip的实测，大多数测试项中，新版基于swiss table的map的性能都有大幅提升，有些甚至接近50%！之前写过一篇《Go map使用Swiss Table重新实现，性能最高提升近50%》，大家可以移步到那里了解关于基于Swiss Table实现的map的原理的详情，这里就不赘述了。

另外一个重要的性能优化是runtime: improve scaling of lock2中的提案，旨在针对当前runtime.lock2实现的问题进行优化，具体的propsal在design/68578-mutex-spinbit.md文件中。下面简略说一下该优化的背景、方案原理以及取得的效果。

当前runtime.lock2的实现通过三态设计（未锁定、锁定、锁定且有等待线程），在高竞争情况下，多个线程反复轮询mutex的状态字，产生大量缓存一致性流量。每个轮询线程需要从内存中加载状态字，并在更新时触发缓存行失效，这导致性能大幅下降。而每次释放锁时，无论是否已有线程在轮询mutex状态字，都会尝试唤醒一个线程，这进一步增加了系统负载。总之，现有的三态设计不能有效限制线程的忙等待行为。即使锁的临界区操作非常短，线程依然会因为抢占资源而竞争加剧。

新提案引入“spinbit”机制，扩展mutex状态字，增加一个”spinning”位，表示是否有线程处于忙等待状态。一个线程可以独占此位，在轮询状态字时拥有优先权。其他线程无需忙等待，直接进入休眠。同时提案优化了唤醒逻辑，当unlock2检测到已有线程正在忙等待时，不再唤醒休眠线程，从而减少不必要的线程切换和上下文切换。

目前该优化提供了基于futex和非futex系统调用的两个实现，基于futex的版本适用于Linux平台，通过精细控制休眠线程的列表，进一步减少竞争。

状态字中使用独立的位分别表示锁定状态、休眠线程存在与否、忙等待标志等，并通过位操作和Xchg8原子操作，确保性能和线程安全。

新方案在高竞争状况下取得了显著的可扩展性提升，新实现的spinbit机制能维持性能稳定，而不是像现有实现那样随线程数增加而急剧下降。基准测试表明，在GOMAXPROCS=20时，性能提升达3倍。大部分线程可以按设计预期那样，直接休眠而非忙等待，减少了电力消耗和处理器资源占用。同时，通过对休眠线程的显式管理，可实现有针对性的唤醒，降低线程长期休眠的风险(避免饿死)。

上述的基于Swiss table的map实现以及lock2优化是实验特性，但都是默认生效的，在Go 1.24中，你可以在构建阶段，通过显式设置GOEXPERIMENT=noswissmap和GOEXPERIMENT=nospinbitmutex关闭这两个实验特性。

2.2 cgo：优化C代码调用

如果你决定不碰cgo，那么你大可略过这节的说明。

传统cgo机制下调用c函数时，Go会保证传递给C函数的go指针指向的对象位于堆上。但如果C函数不保留Go指针的副本，并且不将该指针传递回Go代码，那么这个保证就是没有必要的。Go 1.24增加了下面注解用于显式告诉go编译器：不会有指针通过特定的C函数逃逸。

// #cgo noescape cFunctionName

此外，当Go函数调用C函数时，它默认会为C函数中再调用Go函数做好准备，这当然会有一些额外开销。这对于那些不会调回Go函数的C函数也是没有必要的。在Go 1.24中新增的#cgo nocallback注解就是用于告诉编译器这些准备工作不是必需的：

// #cgo nocallback cFunctionName

更多关于上述cgo优化c代码调用的新机制的说明，请参见cgo增加#cgo noescape和#cgo nocallback注解(#56378)。

2.3 编译器禁止为C类型别名添加方法

Go 1.24之前，Go编译器允许在C类型的别名上声明方法，虽然某些时候它可以正常工作，如下面示例：

package main

/*
typedef int foo;
*/
import "C"

type foo = C.foo

func (foo) method() int { return 123 }

func main() {
    var x foo
    println(x.method()) // "123"
}

但这可能引入了潜在的类型安全性以及运行时错误问题，尽管目前为C类型别名添加方法的情形非常少。

Go 1.24通过引入了一个新的编译器检查修复了该问题，该检查利用了isCgoGeneratedFile函数和类型名称的特征（如_Ctype_前缀）来识别C类型别名，并禁止在C类型别名上声明方法。

3. 小结

本文对即将发布的Go 1.24版本的新特性进行了全面的展望。主要内容包括：

语法更新：Go 1.24未显著增加新语法特性，但实验性特性“带有类型参数的类型别名”已转正为默认特性，允许更灵活的类型别名定义。

编译器与运行时优化：

运行时性能优化：引入了基于Swiss Tables的新原生map实现，显著提高了性能。还优化了内部互斥锁的实现，改善了高竞争情况下的性能。
cgo改进：新增了#cgo noescape和#cgo nocallback注解，优化C代码调用的效率。
编译器限制：禁止在C类型别名上声明方法，以提高类型安全性。

Go 1.24版本在语法上保持稳定，但在性能和安全性方面进行了多项关键优化，旨在提升开发者的体验和代码的效率。

在接下来的“Go 1.24新特性前瞻：工具链和标准库”一文中，我将继续为大家带来更丰富详尽的Go 1.24新特性，敬请期待！

本文涉及的源码可以在这里下载。

4. 参考资料

Go 1.24 milestone – https://github.com/golang/go/milestone/322
Go 1.24 Release Notes Draft – https://tip.golang.org/doc/go1.24
Go Release Dashboard – https://dev.golang.org/release
Go spec tip – https://tip.golang.org/ref/spec

Gopher部落知识星球在2024年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。同时，我们也会加强代码质量和最佳实践的分享，包括如何编写简洁、可读、可测试的Go代码。此外，我们还会加强星友之间的交流和互动。欢迎大家踊跃提问，分享心得，讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落，享受coding的快乐! 欢迎大家踊跃加入！

img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划，入门级Droplet配置升级为：1 core CPU、1G内存、25G高速SSD，价格5$/月。有使用DigitalOcean需求的朋友，可以打开这个链接地址：https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式：

微博(暂不可用)：https://weibo.com/bigwhite20xx
微博2：https://weibo.com/u/6484441286
博客：tonybai.com
github: https://github.com/bigwhite
Gopher Daily归档 – https://github.com/bigwhite/gopherdaily
Gopher Daily Feed订阅 – https://gopherdaily.tonybai.com/feed

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

“类型名称”在Go语言规范中的演变

九月 24, 2024
0 条评论

本文永久链接 – https://tonybai.com/2024/09/24/the-evolution-of-type-name-in-go-spec

Go语言规范（The Go Programming Language Specification）是Go语言的核心文档，定义了该语言的语法、类型系统和运行时行为。Go语言规范的存在使得开发者在实现Go编译器时可以依赖一致的标准，它确保了语言的稳定性和一致性，特别是在类型系统设计中，Go团队通过规范推动了语言的简洁性、稳定性与可维护性。对于Go开发者而言，Go语言规范也是语法特性使用的参考手册(虽然语言规范读起来比较抽象和晦涩)。

Go语言规范由Google的Go核心开发团队维护和演进，这与ISO标准的C/C++语言规范有所不同。C和C++语言的ISO标准更新较慢，需经过复杂的全球共识和审核流程，而相比之下，Go语言的管理方式就显得更加灵活，也能够迅速适应新需求。

然而，这种灵活性也带来了潜在的弊端。随着新语法特性的引入和演进，一些已有的概念的含义可能会发生变化，导致前后的不一致性，从而让开发者感到困惑。例如，Go中的Type Name(类型名称)就经历了从最初的Named Type，到Defined Type和Alias Type，最终又回归到Named Type的过程。

近期Go语言之父之一的Robert Griesemer在Go官博发表了一篇名为”What’s in an (Alias) Name?“的文章，其中就对Go spec中Type Name的历史演进做了回顾，这里我们就基于这段回顾对“类型名称(Type Name)”在Go语言规范中的演变做一下简要梳理，希望能帮助大家更好的理解Go。

1. Go规范中的Type Name（类型名称）

在Go语言规范中，Type Name是指给定类型的标识符，它为一个类型提供了唯一的名称。Type Name用于识别和引用各种类型，这包括Go内置(也叫预声明Predeclared Type)的基础类型(比如int、string)和用户自定义的类型，比如：

var x int       // int是基础类型的Type Name
type MyInt int  // MyInt是用户定义类型的Type Name

你可能会问，Go还有没有类型名称的类型吗？当然有了，有一些特殊的类型没有直接的类型名称。通常，这些类型是匿名类型(Anonymous Type)，即它们并没有通过命名来标识，主要的匿名类型包括：

字面量定义的复合类型（Composite Literals）

Go支持在代码中使用复合字面量来定义结构体、数组、切片、map等类型，而不为这些类型显式地定义名称。这些类型是在使用时定义的，并没有为其单独声明一个类型名称。

var data = struct { Name string; Age int }{"Alice", 30}  // 匿名结构体类型
var arr = [5]int{1,2,3,4,5} // 匿名数组类型
var arr = []int{1, 2, 3}  // 匿名切片类型
var m = map[string]int{"foo": 1, "bar": 2}  // 匿名map类型

匿名函数类型

Go支持函数作为一等公民，函数本身可以作为类型，当定义匿名函数（即未命名函数）时，这些函数没有类型名称。

var f = func() int { //匿名函数类型func() int
    return 42
}

Type Name是一个广泛的概念，在Go spec中，Go设计者们将其做了细分，比如Named Type、Defined Type等。那么随着Go版本的变化，Go中的Type Name的分类有哪些重要的演进和变化呢，下面我们就重点说明一下Go spec中Type Name分类的三次重要变化。

2. 初始阶段：简单而明确的Named Type (2009-2017)

Go 1.0是Go语言的首个正式发布版本，其中确立了类型名称的基础概念。在这一阶段，Go的类型系统已经具备了高度的简洁性和一致性，这也是该语言设计的核心原则之一。

在Go语言的早期阶段(2009-2017)，Go规范就确定了简单明确的Named Type的概念，它指的是通过下面语法定义的类型T：

type T existingType

这些通过类型声明定义的T被称为Named Type。而这里的existingType可以Predeclared的预声明类型（比如int、string），可以是已存在的Named Type，也可以是前面提到的匿名类型。

通过给现有类型赋予新名称来定义新的类型，与匿名类型等未命名类型形成鲜明对比。这种简单的分类满足了早期Go程序员的需求，为代码组织和类型系统提供了清晰的基础，提升了代码的可读性和模块化。

我们可以用示意图来展示这个阶段的Go类型名称分类：

而Named Type的定义方式也可以用下图表示：

我们看到，可以基于Predeclare Type、匿名类型以及已存在的Named Type来定义一个新的Named Type。并且，Named Type具有一些专有特性，比如可拥有自己的方法、只与自身类型赋值兼容，不与其底层类型直接兼容（除非进行显式类型转换）等。

3. 变革之始：别名类型的引入 (Go 1.9, 2017)

然而，随着Go 1.9在2017年引入别名类型(Alias Type)，情况开始变得复杂：

type T = Q // T为Q类型的别名类型

别名类型的引入是为了支持大规模代码库的重构，但它也模糊了Named Type的界限，因为别名也是一个类型名称。

为了应对这一变化，Go团队引入了”Defined Type”的概念以代替界限模糊的Named Type，用以特指通过类型定义(type T Q)创建的新类型。

这样改动后，整个Go类型系统的类型名称分类就变成如下示意图中的状态了：

Defined Type定义和Alias Type的定义分别如下：

两者看起来差别不大，但只有Defined Type才拥有专有属性，比如可拥有自己的方法、只与自身类型赋值兼容等。我们也可以为Alias Type定义方法，但那个方法属于原类型。

4. 泛型时代的到来：概念的重塑 (Go 1.18, 2022)

2022年，Go 1.18的发布标志着Go语言进入了泛型时代，这一重大特性的引入再次挑战了现有的类型分类方式。

比如类型参数也是类型，它们有名称，与Defined Type一样，两个不同命名的类型参数表示不同的类型。换句话说，类型参数是Named Type，而且它们的行为在某些方面与Go原始的Named Type类似。更重要的是，Go的Predeclare Type（如int、string等）只能通过它们的名称来访问，并且像Defined Type和类型参数一样，如果它们的名称不同，它们也会不同，这样预声明的类型也变成了Named Type。

为了适应泛型，Go规范重新引入了Named Type，并将其范围扩大到包括预声明类型、Defined Type、类型参数以及部分情况下的别名类型。

重新引入Named Type后，Defined Type依然得以保留，整个Go系统类型的最新类型名称分类状态如下图所示：

5. 当前的权衡

在”What’s in an (Alias) Name?“的文章中，Robert还提到了学院派类型系统理论中的Nominal type（名义类型）和Structural type（结构类型)两个概念，虽然Go spec目前完全没有使用这两个概念。

Nominal type，也叫名义类型。这种类型的身份（identity）明确地与其名称相关联。两个类型即使结构完全相同，如果名称不同，也被视为不同的类型。像Go 1.18以后spec中的预声明类型（如int、string等）、Defined types（通过type关键字定义的类型）和类型参数都属于这种类型，这大体与Named Type是重叠的。

而Structural type（结构类型）的类型的身份仅取决于其结构或组成，而不依赖于名称。如果两个类型的结构相同，它们就被视为相同的类型，即使它们可能有不同的名称，像Go中的接口类型(在某种意义上)、通过类型字面量创建的类型（如匿名结构体、函数类型等）等都可以归属与这种类型。值得注意的是，指向类型字面量的别名类型（如type AliasName = struct{ … }）也可看作是structural type。

不过Robert也提到了，后续Go还会继续沿用Named Type、Defined Type等术语，而不会用这些学院派的类型术语来更新Go spec，这主要有几方面考虑：

历史一致性：Go语言从早期就使用了named type、defined type等术语。突然改变可能会导致现有文档、教程和代码库的混乱。
概念特殊性：Go的类型系统有其特殊性，不完全符合传统的nominal/structural二分法。例如，Go的接口类型结合了nominal和structural的特性。这么做，也可以避免引起其他语言中该术语用法的混淆。
实用性考虑：”named type”、”defined type”等术语在Go的上下文中有明确的含义，直接对应于语言的特定特性和语法结构。这使得它们在讨论Go特定概念时更加实用。

6. 小结

本文基于Robert的文章讲述了Go语言类型系统中的类型名称的演变历程。我们回顾了Type Name在Go语言规范中的重要变化，从最初的简单Named Type到后来的Defined Type和Alias Type，再到引入泛型时代后的重新定义Named Type。每一次变化不仅反映了Go语言的不断发展，也展示了Go团队在应对复杂性和保持语言简洁性之间的平衡。

img{512x368}

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式：