标签 gomodule 下的文章

Go 1.21新特性前瞻

本文永久链接 – https://tonybai.com/2023/04/26/go-1-21-foresight

Go 1.21版本正在如火如荼地开发当中,按照Go核心团队的一年两次的发布节奏来算,Go 1.21版本预计将在2023年8月发布(Go 1.20版本是在2023年2月份发布的)。

本文将和大家一起看看Go 1.21都会带来哪些新特性。不过由于目前为时尚早,下面列出的有些变化最终不一定能进入到Go 1.21的最终版本中,所以切记一切变更要以最终Go 1.21版本发布时为准。

在细数变化之前,我们先来看看Go语言的当前状态。

1. Go语言当前状态

《2022年Go语言盘点》一文中,我们提到年初Go语言的2022年终排名为12位,同时TIOBE官方编辑也提到:“在新兴编程语言中,Go是唯一一个可能在未来冲入前十的后端编程语言”。Go语言的发展似乎应验了这一预测,在今年的3月份,Go就再次进入编程语言排行榜前十:

一个月后的四月初,TIOBE排行榜上,Go稳住了第10名的位次:

在国内,在鹅厂前不久发布的《2022年腾讯研发大数据报告》中,

在国内,继Go在2021年从C++手中夺过红旗首次登顶鹅厂最热门编程语言之后,在鹅厂前不久发布的《2022年腾讯研发大数据报告》中,Go蝉联鹅厂最热门编程语言,继续夯实在国内头部互联网公司内的优势地位:

Go于2009年开源,在经历多年的宣传和鼓吹后,Go目前进入了平稳发展的阶段。疫情结束后,原先线上举办或取消的国内外的Go技术大会现在陆续又都开始恢复了,相信这会让更多开发人员接触到Go。像Go这样的能在世界各地持续多年举办技术大会的语言真是不多了。

接下来,我们就来聚焦到Go 1.21版本,挖掘一下这个版本都有哪些新特性。

2. 语言变化

目前Go 1.21版本里程碑中涉及语言变化的有大约2项,我们来看看。

2.1 增加clear预定义函数

Go 1.21增加了一个clear预定义函数用来做切片和map的clear操作,其原型如下:

// $GOROOT/src/builtin.go

// The clear built-in function clears maps and slices.
// For maps, clear deletes all entries, resulting in an empty map.
// For slices, clear sets all elements up to the length of the slice
// to the zero value of the respective element type. If the argument
// type is a type parameter, the type parameter's type set must
// contain only map or slice types, and clear performs the operation
// implied by the type argument.
func clear[T ~[]Type | ~map[Type]Type1](t T)

clear是针对map和slice的操作函数,它的语义是什么呢?我们通过一个例子来看一下:

package main

import "fmt"

func main() {
    var sl = []int{1, 2, 3, 4, 5, 6}
    fmt.Printf("before clear, sl=%v, len(sl)=%d, cap(sl)=%d\n", sl, len(sl), cap(sl))
    clear(sl)
    fmt.Printf("after clear, sl=%v, len(sl)=%d, cap(sl)=%d\n", sl, len(sl), cap(sl))

    var m = map[string]int{
        "tony": 13,
        "tom":  14,
        "amy":  15,
    }
    fmt.Printf("before clear, m=%v, len(m)=%d\n", m, len(m))
    clear(m)
    fmt.Printf("after clear, m=%v, len(m)=%d\n", m, len(m))
}

运行该程序:

before clear, sl=[1 2 3 4 5 6], len(sl)=6, cap(sl)=6
after clear, sl=[0 0 0 0 0 0], len(sl)=6, cap(sl)=6
before clear, m=map[amy:15 tom:14 tony:13], len(m)=3
after clear, m=map[], len(m)=0

我们看到:

  • 针对slice,clear保持slice的长度和容量,但将所有slice内已存在的元素(len个)都置为元素类型的零值;
  • 针对map,clear则是清空所有map的键值对,clear后,我们将得到一个empty map。

2.2 改变panic(nil)语义

使用defer+recover捕获panic是Go语言唯一处理panic的方法,其典型模式如下:

package main

import "fmt"

func foo() {
    defer func() {
        if err := recover(); err != nil {
            fmt.Printf("panicked: %v\n", err)
            return
        }
        fmt.Println("it's ok")
    }()

    panic("some error")
}

func main() {
    foo()
}

运行上面程序会输出:

panicked: some error

例子中我们向panic传入了表示panic原因的字符串,panic的参数是一个interface{}类型,可以传入任意值,当然也可以传入nil

比如上面例子,当我们给foo函数的panic调用传入nil时,我们将得到下面结果:

it's ok

这可能会给开发者带去疑惑:明明是触发了panic,但函数却按照正常逻辑处理!2018年,前Go核心团队成员bradfitz就提出了一个issue:spec: guarantee non-nil return value from recover,提出当开发者调用panic(nil)时,recover应该返回某种runtime error,而不是nil。这个issue在今年被纳入了Go 1.21版本,现在该issue的实现已经被merge到了主干。

新的实现在src/runtime/panic.go中定义了一个名为PanicNilError的新Error:

// $GOROOT/src/runtime/panic.go

// A PanicNilError happens when code calls panic(nil).
//
// Before Go 1.21, programs that called panic(nil) observed recover returning nil.
// Starting in Go 1.21, programs that call panic(nil) observe recover returning a *PanicNilError.
// Programs can change back to the old behavior by setting GODEBUG=panicnil=1.
type PanicNilError struct {
    // This field makes PanicNilError structurally different from
    // any other struct in this package, and the _ makes it different
    // from any struct in other packages too.
    // This avoids any accidental conversions being possible
    // between this struct and some other struct sharing the same fields,
    // like happened in go.dev/issue/56603.
    _ [0]*PanicNilError
}

func (*PanicNilError) Error() string { return "panic called with nil argument" }
func (*PanicNilError) RuntimeError() {}

Go编译器会将panic(nil)替换为panic(new(runtime.PanicNilError)),这样我们用Go 1.21版本运行上面的程序,我们就会得到下面结果了:

panicked: panic called with nil argument

如果你的遗留代码中调用了panic(nil)(注:显然这不是一种很idiomatic的作法),升级到Go 1.21版本后你就要小心了。如果你想保留原先的panic(nil)行为,可以用GODEBUG=panicnil=1。

有童鞋可能会质疑这违反了Go1兼容性承诺,但实际上Go1兼容性规范保留了对语言规范中不一致或错误的修订权力,即便这种修订会导致遗留代码出现与原先不一致的行为。

3. 编译器与工具链

每个Go版本中,编译器和工具链的改动都不少,我们挑重点看一下:

3.1 一些OS的最小支持版本的更新

Go 1.21开始,go installer支持最小macOS版本更新为10.15,而最小Windows版本为Windows 10

3.2 低版本的go编译器将拒绝编译高版本的go module

从Go 1.21版本开始,低版本的go编译器将拒绝编译高版本的go module(go.mod中go version标识最低版本) ,这也是Russ Cox策划的Go扩展的向前兼容性提案的一部分。此外,Go扩展向前兼容性提案感觉比较复杂,可能不会全部在Go 1.21版本落地。

3.3 支持WASI

Go从1.11版本就开始支持将Go源码编译为wasm二进制文件,并在支持wasm的浏览器环境中运行。

不过WebAssembly绝不仅仅被设计为仅限于在Web浏览器中运行,核心的WebAssembly语言是独立于其周围环境的,WebAssembly完全可以通过API与外部世界互动。在Web上,它自然使用浏览器提供的现有Web API。然而,在浏览器之外,之前还没有一套标准的API可以让WebAssembly程序使用。这使得创建真正可移植的非Web WebAssembly程序变得困难。WebAssembly System Interface(WASI)是一个填补这一空白的倡议,它有一套干净的API,可以由多个引擎在多个平台上实现,并且不依赖于浏览器的功能(尽管它们仍然可以在浏览器中运行)。

Go 1.21将增加对WASI的支持,初期先支持WASI Preview1版本,之后会支持WASI Preview2版本,直至最终WASI API版本发布!目前我们可以使用GOOS=wasip1 GOARCH=wasm将Go源码编译为支持WASI的wasm程序,下面是一个例子:

// main.go
package main            

func main() {
    println("hello")
}

下载最新go dev版本后(go install http://golang.org/dl/gotip@latest),可以执行下面命令将main.go编译为wasm程序:

$ GOARCH=wasm GOOS=wasip1 gotip build -o main.wasm main.go

开源的wasm运行时有很多,wazero是目前比较火的且使用纯Go实现的wasm运行时程序,安装wazero后,可以用来执行上面编译出来的main.wasm:

$curl https://wazero.io/install.sh
$wazero run main.wasm
hello

3.4 Go 1.21可能推出纯静态工具链,不再依赖glibc

使用纯Go实现的net resolver,原先DNS的问题也将被解决,这样Go团队很可能在构建工具链的时候使用CGO_ENABLED=0构建出静态工具链,没有动态链接库的依赖。

3.5 go test -c支持为多个包同时构建测试二进制程序

Go 1.21版本之前,go test -c仅支持将单个包的测试代码编译为测试二进制程序,Go 1.21版本则允许我们同时为多个包构建测试二进制程序

下面是官方给出的例子:

$ go test -c -o /tmp ./pkg1 ./pkg2 ./pkg2
$ ls /tmp
pkg1.test pkg2.test pkg3.test

3.6 增加\$GOROOT/go.env

今天使用go env -w命令修改的默认环境变量会写入:filepath.Join(os.UserConfigDir(), “go/env”)。在Mac上,这个路径是\$HOME/Library/Application Support/go/env;在Linux上,这个路径是\$HOME/.config/go/env。

Go 1.21将增加一个全局层次上的go.env,放在\$GOROOT下面,目前默认的go.env为:

// $GOROOT/go.env

# This file contains the initial defaults for go command configuration.
# Values set by 'go env -w' and written to the user's go/env file override these.
# The environment overrides everything else.

# Use the Go module mirror and checksum database by default.
# See https://proxy.golang.org for details.
GOPROXY=https://proxy.golang.org,direct
GOSUMDB=sum.golang.org

我们仍然可以通过go env -w命令修改user级的env文件来覆盖上述配置,当然最高优先级的是OS用户环境变量,如果在OS用户环境变量文件(比如.bash_profile、.bashrc)中设置了Go的环境变量值,比如GOPROXY等,那么以OS用户环境变量为优先。

4. 标准库

我们接下来再来看看变更最多的一部分:标准库,我们将对主要变更项作简要介绍。

4.1 slices和maps进入标准库

Go 1.18版本泛型落地发布前的最后一刻,Rob Pike叫停了slices、maps等泛型包的入库,后来这两个包先放置在golang.org/x/exp下作为实验包。随着Go泛型日益成熟以及Go团队对泛型使用经验的增多,Go团队终于决定将golang.org/x/exp/slicesgolang.org/x/exp/maps在Go 1.21版本中将挪入标准库。

4.2 log/slog加入标准库

log/slog是Go官方版结构化日志包,大致与uber的zap包相当。在我之前的一篇文章《slog:Go官方版结构化日志包》有对slog的详尽说明,大家可以移步到那篇文章看看。不过slog的proposal依旧很多,后续slog可能会有持续改进和变更,与那篇文章中的内容可能会有一些差异。

4.3 sync包增加OnceFunc、OnceValue和OnceValues

在sync.Once的基础上,这个issue增加了三个与Once相关的”语法糖”API,用在一些对Once有需求的最常见的场景中。

4.4 增加testing.Testing函数

Go 1.21为testing包增加了func Testing() bool函数,该函数可以用来报告当前程序是否是go test创建的测试程序。使用Testing函数,我们可以确保一些无需在单测阶段执行的函数不被执行。比如下面例子来自这个issue:

// file/that/should/not/be/used/from/testing.go

func prodEnvironmentData() *Environment {
    if testing.Testing() {
        log.Fatal("Using production data in unit tests")
    }
    ....
}

4.5 一些变更点

5. 参考资料


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2023年,Gopher部落将进一步聚焦于如何编写雅、地道、可读、可测试的Go代码,关注代码质量并深入理解Go核心技术,并继续加强与星友的互动。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

一文告诉你当module path为main时执行go test失败的真正原因

本文永久链接 – https://tonybai.com/2023/04/08/the-reason-why-go-test-fails-when-module-path-is-main

近期收到新加入“Gopher部落”知识星球的星友“凌风”的一个问题,内容如下:

在一个目录下,我编写了a.go和a_test.go,在go mod init main后执行go test,会报错:could not import main( can not import "main")。我知道它的解决方法是改变包名。我的问题是:
1. 难道无法对 main 包执行包内测试了么。
2. 这里的报错的底层原因是什么。

本文将针对这个问题做一个简要的分析,这将涉及到go module、go package和package import的相关概念以及go test的工作原理等内容。

1. 建立试验环境,复现问题

我们先搭建一个试验环境,复现一下这位星友遇到的问题:

// https://github.com/bigwhite/experiments/blob/master/module-path-main
$tree module-path-main
module-path-main
├── go.mod
├── pkg.go
└── pkg_test.go

$cat go.mod
module main

go 1.20

$cat pkg.go
package main

func Add(a, b int) int {
    return a + b
}

$cat pkg_test.go
package main

import (
    "testing"
)

func TestAdd(t *testing.T) {
    n := Add(5, 6)
    if n != 11 {
        t.Errorf("want 11, got %d\n", n)
    }
}

好了!我们执行go test运行测试:

$go test
# main.test
/var/folders/cz/sbj5kg2d3m3c6j650z0qfm800000gn/T/go-build1902276879/b001/_testmain.go:14:8: could not import main (cannot import "main")
FAIL    main [build failed]

我们看到:这里使用Go 1.20版本执行的go test命令报错!报错内容与星友的问题一致!问题复现了!接下来我们就来分析一下为何会报错!

2. go module、go package与import path

分析问题之前,我们还是要理清楚go module、go package与import path这几个概念。

go package的概念大家已经很熟悉了,这是Go的基本编译单元,是go从娘胎里就带的概念。后面的go module、import path与package概念都相关。

Go在1.11版本引入go module,之后go module就替代gopath构建模式成为了Go标准构建模式。

Go mod参考手册中关于go module的定义是:“一个module由一个module path来识别,go.mod文件中声明了module path以及关于该module的依赖信息(require、replace等)。包含go.mod文件的目录被称为module root directory。main module是包含调用go命令的目录的module。

注:本文只讨论go module模式,过时的GOPATH模式不再讨论之列。
注:main module的说法极易造成概念混淆,在Go 1.21版本或后续版本中可能会改为work module

Go module的引入是为了解决依赖管理问题,所以go module是一组package的集合,这组package的版本与module版本绑定。但go module的引入,也对package的import path的确定与含义产生了些许影响。

GOPATH构建模式时代,go package的导入路径(import path)是该package所在目录相对于\$GOPATH/src的路径来确定的。比如你的package放在了\$GOPATH/src/github.com/user/repo下,那么你的package的导入路径就是import “github.com/user/repo”。这和当时go get下载包的路径规则是一致的。

在Go module时代,\$GOPATH/src不再强制,go module与\$GOPATH/src也没有任何耦合关系了。这时,go package的导入路径由go module path和package在module中的相对路径共同确定

  • 如果你的module path(go.mod文件中声明)为github.com/user/yourmodule,你的package在yourmodule根路径下的foo/bar目录下,那么你的package的导入路径就是github.com/user/yourmodule/foo/bar。
  • 如果你的module使用了自定义module路径,比如:example.com/go/yourmodule,那么同样,如果你的package在yourmodule根路径下的foo/bar目录下,这个package的导入路径将为example.com/go/yourmodule/foo/bar。
  • 如果你的module采用的不是上述两种url的方式,而是使用tonybai/yourmodule这样的“本地路径”形式,那么如果你的package在yourmodule根路径下的foo/bar目录下,这个package的导入路径将为tonybai/yourmodule/foo/bar。

注:除了做包导入路径的前缀,module path还可以用来指示module存放的版本托管服务的url地址。

上面概念与它们的关系对解决我们文首处的问题有什么帮助呢?别急!下面这个推论与本文那个问题强相关。

3. module root directory的包的导入路径是什么

好了,下面就是与本文开头那个问题最相关的一个问题了:go module的根目录(module root directory)下的package的导入路径是啥?根据上面对go module模式下package导入路径的定义:go module根目录下包的导入路径就是module path

以我们上面的试验项目为例,main module的根路径为module-path-main目录,该目录下面存放了一个包main(pkg.go),那么该main包的导入路径就为go module的module path:”main”。即便你将pkg.go中的包名由”main”改为”demo”,demo包的包导入路径依旧为”main”。

注:《Go语言第一课》专栏04讲和06讲有关于包导入路径的深入理解。
注:星友凌风在问题中说:改变go包名可以解决这个问题,这个说法是不正确的。将上面的包名main改为demo,go test依然会报同样的错误。

4. go test的原理

好了!关于go module、package以及package import路径的概念复习的差不多了,这些概念的复习是解决文首问题的一个前提,我们先把它们暂存在大脑里。我们再聊看另一半知识:go test

Go test是Go内置的测试框架,我们可以用它来驱动单元测试、集成测试甚至是自动化测试

在一个包内执行go test后,go test会首先编译目标包,然后编译测试包(测试包和目标包可能是一个包,也可能是不同包),即目录下所有以_test.go为后缀的源文件。go test会将测试包编译为一个可执行文件,这个可执行文件的main包会依赖并导入测试包,并会调用测试包中的TestXxx导出方法执行测试。

注:go test -c可以得到这个可执行文件pkg.test

5. 真相大白

好了,有了上述关于两个知识准备后,我们来揭开问题的真相!

我们使用go test -work来查看go test执行生成的可执行文件的main函数所在文件(传入-work标志的目的是让go编译器在编译后依然保留构建测试源文件的临时目录):

// 在module-path-main下执行

$go test -work
WORK=/var/folders/cz/sbj5kg2d3m3c6j650z0qfm800000gn/T/go-build2039841248
# main.test
/var/folders/cz/sbj5kg2d3m3c6j650z0qfm800000gn/T/go-build2039841248/b001/_testmain.go:14:8: could not import main (cannot import "main")
FAIL    main [build failed]

打开临时路径下b001下面的_testmain.go,这个文件是go test工具生成的:

// Code generated by 'go test'. DO NOT EDIT.

package main

import (
    "os"

    "testing"
    "testing/internal/testdeps"

    _test "main"

)

var tests = []testing.InternalTest{

    {"TestAdd", _test.TestAdd},

}

var benchmarks = []testing.InternalBenchmark{

}

var fuzzTargets = []testing.InternalFuzzTarget{

}

var examples = []testing.InternalExample{

}

func init() {
    testdeps.ImportPath = "main"
}

func main() {

    m := testing.MainStart(testdeps.TestDeps{}, tests, benchmarks, fuzzTargets, examples)

    os.Exit(m.Run())

}

我们看到这就是我们要编译出来的测试可执行文件的main包和main函数的内容,其中最关键的一行是:

import (
    ... ...

    _test "main" // 这行是导致go test执行出错的“罪魁祸首”

    ... ...
)

根据我们之前复习的go module下package导入路径的定义,这里的”main”其实是module-path-main这个module根路径下的包的导入路径,前面说了:这个顶层包(无论包名是什么,是main也好,是demo也罢)的导入路径就是module path,而这里我们定义的module path是main,因此这里的路径为”main”。

根据包导入路径规则,如果是像”fmt”、”io”这样的导入路径,go编译器会从标准库中搜索;如果是”main”,则认为是main包。

好了,问题来了!这个_testmain.go是go test生成的测试可执行程序的main包,它现在又导入了一个”main”包,而Go语言是不允许导入main包的。因为main包以及main函数通常是用来集成你的各个代码单元(也就是包)的,如果你的其他代码单元再依赖main,就会造成“循环导入”,这在Go中是绝对禁止的。这就是文首问题的真正原因。

注:main包支持单元测试,但通常建议不要针对main包进行单元测试。如果你在main里有值得测试的代码(用于单元测试;而不是用于集成测试),可以考虑把它移到一个库包里。

知道了真因后,解决方法也十分简单,那就是重命名module path,比如改为demo,这样go test就会成功执行了。而改为demo后,_testmain中导入代码变成了:

import (
    ... ...

    _test "demo" 

    ... ...
)

这显然不会导致go编译器报错!

6. 参考资料

  • go mod reference – https://go.dev/ref/mod
  • “Tests in main package don’t work with GO111MODULE=on” – https://github.com/golang/go/issues/28514

本文涉及的代码可以在这里下载 – https://github.com/bigwhite/experiments/blob/master/module-path-main


“Gopher部落”知识星球旨在打造一个精品Go学习和进阶社群!高品质首发Go技术文章,“三天”首发阅读权,每年两期Go语言发展现状分析,每天提前1小时阅读到新鲜的Gopher日报,网课、技术专栏、图书内容前瞻,六小时内必答保证等满足你关于Go语言生态的所有需求!2023年,Gopher部落将进一步聚焦于如何编写雅、地道、可读、可测试的Go代码,关注代码质量并深入理解Go核心技术,并继续加强与星友的互动。欢迎大家加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats