Http | Tony Bai

标签 http 下的文章

给expvarmon插上数据持久化的“翅膀”

四月 14, 2021
0 条评论

本文永久链接 – https://tonybai.com/2021/04/14/expvarmon-save-and-convert-to-xlsx

1. expvar包与expvarmon

Go在标准库中为暴露Go应用内部指标数据提供了标准的对外接口，这就是expvar包。expvar包通过init函数将内置的expvarHandler(一个标准http HandlerFunc)注册到http包ListenAndServe创建的默认Server上。

// $GOROOT/src/expvar/expvar.go
func init() {
        http.HandleFunc("/debug/vars", expvarHandler)
        Publish("cmdline", Func(cmdline))
        Publish("memstats", Func(memstats))
}

这样如果一个Go应用要想利用expvar默认暴露的内部指标数据，仅需做到两点：

以副作用方式导入expvar包

import _ "expvar"

启动默认HTTP Server

http.ListenAndServe("localhost:8080", nil)

我们来建立的使用expvar包暴露指标的最简单的例子：

// expvar_demo1.go
package main

import (
    _ "expvar"
    "net/http"
)

func main() {
    http.ListenAndServe(":8080", nil)
}

这样expvar包的expvarHandler会自动响应到localhost:8080/debug/vars上的http请求：

$go build expvar_demo1.go
$./expvar_demo1 -w=1 -r=2

$curl localhost:8080/debug/vars
{
"cmdline": ["./expvar_demo1","-w=1","-r=2"],
"memstats": {"Alloc":227088,"TotalAlloc":227088,"Sys":71650320,"Lookups":0,"Mallocs":730,"Frees":13,"HeapAlloc":227088,"HeapSys":66715648,"HeapIdle":65937408,"HeapInuse":778240,"HeapReleased":65937408,"HeapObjects":717,"StackInuse":393216,"StackSys":393216,"MSpanInuse":37536,"MSpanSys":49152,"MCacheInuse":9600,"MCacheSys":16384,"BuckHashSys":3769,"GCSys":3783272,"OtherSys":688879,"NextGC":4473924,"LastGC":0,"PauseTotalNs":0,"PauseNs":[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],"PauseEnd":[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0],"NumGC":0,"NumForcedGC":0,"GCCPUFraction":0,"EnableGC":true,"DebugGC":false,"BySize":[{"Size":0,"Mallocs":0,"Frees":0},{"Size":8,"Mallocs":14,"Frees":0},{"Size":16,"Mallocs":297,"Frees":0},{"Size":24,"Mallocs":32,"Frees":0},{"Size":32,"Mallocs":20,"Frees":0},{"Size":48,"Mallocs":105,"Frees":0},{"Size":64,"Mallocs":31,"Frees":0},{"Size":80,"Mallocs":9,"Frees":0},{"Size":96,"Mallocs":13,"Frees":0},{"Size":112,"Mallocs":2,"Frees":0},{"Size":128,"Mallocs":7,"Frees":0},{"Size":144,"Mallocs":3,"Frees":0},{"Size":160,"Mallocs":16,"Frees":0},{"Size":176,"Mallocs":5,"Frees":0},{"Size":192,"Mallocs":0,"Frees":0},{"Size":208,"Mallocs":33,"Frees":0},{"Size":224,"Mallocs":3,"Frees":0},{"Size":240,"Mallocs":0,"Frees":0},{"Size":256,"Mallocs":10,"Frees":0},{"Size":288,"Mallocs":8,"Frees":0},{"Size":320,"Mallocs":2,"Frees":0},{"Size":352,"Mallocs":10,"Frees":0},{"Size":384,"Mallocs":24,"Frees":0},{"Size":416,"Mallocs":7,"Frees":0},{"Size":448,"Mallocs":0,"Frees":0},{"Size":480,"Mallocs":1,"Frees":0},{"Size":512,"Mallocs":0,"Frees":0},{"Size":576,"Mallocs":3,"Frees":0},{"Size":640,"Mallocs":3,"Frees":0},{"Size":704,"Mallocs":5,"Frees":0},{"Size":768,"Mallocs":0,"Frees":0},{"Size":896,"Mallocs":7,"Frees":0},{"Size":1024,"Mallocs":7,"Frees":0},{"Size":1152,"Mallocs":10,"Frees":0},{"Size":1280,"Mallocs":4,"Frees":0},{"Size":1408,"Mallocs":1,"Frees":0},{"Size":1536,"Mallocs":0,"Frees":0},{"Size":1792,"Mallocs":5,"Frees":0},{"Size":2048,"Mallocs":1,"Frees":0},{"Size":2304,"Mallocs":2,"Frees":0},{"Size":2688,"Mallocs":2,"Frees":0},{"Size":3072,"Mallocs":0,"Frees":0},{"Size":3200,"Mallocs":0,"Frees":0},{"Size":3456,"Mallocs":0,"Frees":0},{"Size":4096,"Mallocs":4,"Frees":0},{"Size":4864,"Mallocs":0,"Frees":0},{"Size":5376,"Mallocs":1,"Frees":0},{"Size":6144,"Mallocs":1,"Frees":0},{"Size":6528,"Mallocs":0,"Frees":0},{"Size":6784,"Mallocs":0,"Frees":0},{"Size":6912,"Mallocs":0,"Frees":0},{"Size":8192,"Mallocs":1,"Frees":0},{"Size":9472,"Mallocs":0,"Frees":0},{"Size":9728,"Mallocs":0,"Frees":0},{"Size":10240,"Mallocs":8,"Frees":0},{"Size":10880,"Mallocs":0,"Frees":0},{"Size":12288,"Mallocs":0,"Frees":0},{"Size":13568,"Mallocs":0,"Frees":0},{"Size":14336,"Mallocs":0,"Frees":0},{"Size":16384,"Mallocs":0,"Frees":0},{"Size":18432,"Mallocs":0,"Frees":0}]}
}

如果我们不使用http.ListenAndServe建立的默认Server呢？expvar包也提供了相应的方法帮助你在自定义http server以及自定义请求路径上使用expvarHandler，我们看看下面示例：

// expvar_demo2.go
package main

import (
    "expvar"
    "net/http"
)

func main() {
    mux := http.NewServeMux()
    mux.Handle("/mydebug/myvars", expvar.Handler())
    var server = &http.Server{
        Addr:    "localhost:8081",
        Handler: mux,
    }

    server.ListenAndServe()
}

在这个示例中，我们利用http.ServeMux建立了expvarHandler响应的自定义路径(/mydebug/myvars)，并自定义了一个http.Server，这样当expvar_demo2运行起来后，我们就可以在localhost:8081/mydebug/myvars上获取该应用暴露的指标数据了。

通过expvar_demo1的输出结果，我们看到expvar默认将命令行字段和runtime包的MemStats结构暴露给外部。我们也可以自定义要暴露到外部的数据，expvar包提供了常用指标类型的便捷接口以帮助我们更容易的自定义要暴露到外部的数据，看下面示例：

// expvar_demo3.go
package main

import (
    "expvar"
    _ "expvar"
    "net/http"
)

var (
    total *expvar.Int
)

func init() {
    total = expvar.NewInt("TotalRequest")
}

func main() {
    http.Handle("/", http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
        total.Add(1)
        w.Write([]byte("hello, go\n"))
    }))
    http.ListenAndServe(":8080", nil)
}

在这个示例中，我们自定义了一个公开指标TotalRequest，用于描述该Server总共处理了多少个请求。我们用*expvar.Int作为TotalRequest的类型，expvar.Int类型提供了并发安全的Add方法，利用该方法我们可以对指标做运算。运行上面示例后，我们就可以获取TotalRequest这个指标了：

$curl localhost:8080/debug/vars
{
"TotalRequest": 2,
... ..
}

expvar包提供了对外的数据接口，但观测方式却是你决定的。图形化的观测方式是对人类友好的，一位名为divan的gopher开发了expvarmon工具，该工具可以在命令行终端以图形化的方式实时展示特定的指标数据的变化，我们可以执行如下命令实时查看应用指标变化；

$expvarmon -ports="http://localhost:8080/debug/vars" -i 1s

命令执行的效果如下：

如果不指定指标，那么expvarmon默认展示上述图中的memstats的几个指标！

expvarmon支持实时获取数据并展示数据的实时变动趋势。但有些时候，我们不仅要看实时趋势，可能还需要将数据存储起来便于事后分析。但expvarmon不支持将数据序列化到磁盘并做历史数据查看和分析。笔者曾提过issue，但作者似乎认为这个项目完成度已经很高了，该项目到2019年后就没有更新了。因此自然也没人理我的issue。我也只能自己动手丰衣足食了。

2. expvarmon的大致原理

要想基于expvarmon二次开发出支持数据持久化的版本，我们首先需要大致弄清楚expvarmon的工作原理，这里我将其工作原理大致总结为下面这幅示意图：

expvarmon执行时的两个命令行标志参数很重要：-ports和-vars。前者决定了expvarmon启动多少个Service(每个Service一个goroutine承载)：

// https://github.com/divan/expvarmon/blob/master/main.go

        for _, port := range ports {
                service := NewService(port, vars)
                data.Services = append(data.Services, service)
        }

后者用于指定expvarmon要实时显示的数据项：

// https://github.com/divan/expvarmon/blob/master/service.go

// NewService returns new Service object.
func NewService(url url.URL, vars []VarName) *Service {
        values := make(map[VarName]*Stack)
        for _, name := range vars { //根据vars建立存储对应var数据的Stack
                values[VarName(name)] = NewStack()
        }
    ... ...
}

expvar定时采集各个目标app的指标数据

// https://github.com/divan/expvarmon/blob/master/service.go

func main() {
    ... ...
    UpdateAll(ui, data)
        for {
                select {
                case <-tick.C:
                        UpdateAll(ui, data)
                case e := <-termui.PollEvents():
                        if e.Type == termui.KeyboardEvent && e.ID == "q" {
                                return
                        }
                        if e.Type == termui.ResizeEvent {
                                ui.Update(*data)
                        }
                }
        }
}

// UpdateAll collects data from expvars and refreshes UI.
func UpdateAll(ui UI, data *UIData) {
        var wg sync.WaitGroup
        for _, service := range data.Services {
                wg.Add(1)
                go service.Update(&wg) // 每个服务单独获取对应port的数据
        }
        wg.Wait()

        data.LastTimestamp = time.Now()

        ui.Update(*data) // 更新并刷新命令行终端ui
}

3. 持久化到csv文件中

大致了解expvarmon的运作原理后，我们就来设计和实现将expvarmon启动后针对每个port得到的指标数据存储到磁盘文件中留待后续分析之用，这里选择持久化到csv文件中，csv文件不仅便于直接打开并肉眼查看，也便于后续转换为其他文件格式，比如：Microsoft的excel文件。

下面是对expvarmon的设计与实现改动点：

增加-w命令行标志参数(布尔型)，如果为true，则持久化获取到的指标数据

// https://github.com/bigwhite/expvarmon/blob/master/main.go
var (
        ... ...
        serialize = flag.Bool("w", false, "Serialize the data into a disk file")
)

在Service结构中增加持久化数据所需字段

// https://github.com/bigwhite/expvarmon/blob/master/service.go

// Service represents constantly updating info about single service.
type Service struct {
        ... ...
        vars    []VarName
        // for serializing the data
        // controlled by cmd option: serialize
        f *os.File
        w *csv.Writer // csv writer
}

vars用于存储该Service对应的指标名；f为文件名；w是创建的csv.Writer结构。

在创建Service的时候，根据-w的值来决定是否创建持久化文件：

// https://github.com/bigwhite/expvarmon/blob/master/service.go
func NewService(url url.URL, vars []VarName) *Service {
    ... ...
    if *serialize {
                f, err := os.Create(s.Name + ".csv")
                if err != nil {
                        panic(err)
                }
                s.f = f
                s.w = csv.NewWriter(f)

                // write first record: category line
                record := []string{"time"}
                for _, v := range vars {
                        record = append(record, string(v))
                }
                s.w.Write(record)
                s.w.Flush()
        }
        ... ...
}

我们看到：当-w为true时，NewService创建了持久化文件，并用Service的Name+.csv后缀为其命名。文件创建成功后，我们将写入第一行csv数据，这一行数据为数据类别，就像下面这样：

// 10.10.195.133:8080.csv
time,mem:memstats.Alloc,mem:memstats.Sys,mem:memstats.HeapAlloc,mem:memstats.HeapInuse,duration:memstats.PauseNs,duration:memstats.PauseTotalNs

除了第一列为时间(time)外，其余列都是以指标名命名的，如：mem:memstats.Alloc。

我们在Service的Update方法中定时写入指标数据

// https://github.com/bigwhite/expvarmon/blob/master/service.go

// Update updates Service info from Expvar variable.
func (s *Service) Update(wg *sync.WaitGroup) {
        ... ...
        if *serialize {
                // serialize the values to csv
                tm := time.Now().Format("2006-01-02 15:04:05")
                values := []string{tm}
                for _, name := range s.vars {
                        values = append(values, s.Value(name))
                }
                s.w.Write(values)
                s.w.Flush()
        }
}

增加Service的Close方法以优雅关闭csv文件

和原expvarmon不同的是，我们二次开发的expvarmon在-w为true时会为每个Service创建一个磁盘文件，这样我们就需要记着在适当的时候优雅的关闭这些csv格式的磁盘文件。

// https://github.com/bigwhite/expvarmon/blob/master/service.go

// Close does some cleanup before service exit
func (s *Service) Close() {
        if *serialize {
                if s.f != nil {
                        s.f.Close()
                }
        }
}

我们在程序退出前通过defer来调用Service的关闭方法：

// https://github.com/bigwhite/expvarmon/blob/master/main.go

func main() {
    ... ...
        // Init UIData
        data := NewUIData(vars)
        for _, port := range ports {
                service := NewService(port, vars)
                data.Services = append(data.Services, service)
        }

        defer func() {
                // close service before program exit
                for _, service := range data.Services {
                        service.Close()
                }
        }()
    ... ...
}

按照上述这几点改造后，我们再执行如下命令：

$expvarmon -ports="http://10.10.195.133:8080/debug/vars" -i 1s -w=true

我们将得到10.10.195.133:8080.csv文件(如果-ports由多个值组成，那么将生成多个.csv文件)，内容如下：

$cat 10.10.195.133:8080.csv
time,mem:memstats.Alloc,mem:memstats.Sys,mem:memstats.HeapAlloc,mem:memstats.HeapInuse,duration:memstats.PauseNs,duration:memstats.PauseTotalNs
2021-04-09 16:55:58,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:55:59,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:00,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:01,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:02,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:03,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:04,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:05,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:06,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:07,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:08,16MB,88MB,16MB,25MB,159µs,1m50s
2021-04-09 16:56:09,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:10,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:11,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:12,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:13,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:14,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:15,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:16,15MB,88MB,15MB,25MB,159µs,1m50s
2021-04-09 16:56:17,15MB,88MB,15MB,25MB,159µs,1m50s
... ...

4. 将csv数据转换为excel图表

csv存储了各个应用暴露给外部的分时指标数据，但要对这些数据进行分析，我们需要将csv中的数据以可视化的形式展示出来，而excel图表是一个不错的选择。

为此，我建立了一个csv2xls的工具项目，专门用来将expvarmon生成的csv文件转换为excel图表。

csv2xls的用法如下：

$./csv2xls -h
Usage of ./csv2xls:
  -col int
        the column which we draw a chart based on, default: 1 (range 0~max-1) (default 1)
  -i string
        the name of csv file
  -o string
        the name of xls file

Examples:
        ./csv2xls -i xxx.csv
        ./csv2xls -i xxx.csv -o yyy.xlsx

csv2xls将csv文件中的数据读取并存储在xls中，并支持基于其中某列数据生成对应的折线图。以上面的10.10.195.133:8080.csv为例，我们通过命令：csv2xls -i 10.10.195.133:8080.csv即可生成如下excel图表文件：

csv2xls使用p著名的excelize(go语言execl操作库)](github.com/360EntSecGroup-Skylar/excelize)生成excel文件。

5. 小结

至此，我们给expvarmon插上数据持久化的“翅膀”的目的算是初步达到了。但是由于app指标数据千变万化，expvarmon使用的byten包又给解析指标数据单位带来了一些复杂性，因此csv2xls还不完善，后续还有很大的改进的空间。

支持公开指标持久化的expvarmon的代码在这里(https://github.com/bigwhite/expvarmon)。
csv2xls的代码在这里(https://github.com/bigwhite/csv2xls)。

“Gopher部落”知识星球正式转正（从试运营星球变成了正式星球）！“gopher部落”旨在打造一个精品Go学习和进阶社群！高品质首发Go技术文章，“三天”首发阅读权，每年两期Go语言发展现状分析，每天提前1小时阅读到新鲜的Gopher日报，网课、技术专栏、图书内容前瞻，六小时内必答保证等满足你关于Go语言生态的所有需求！部落目前虽小，但持续力很强。在2021年上半年，部落将策划两个专题系列分享，并且是部落独享哦：

Go技术书籍的书摘和读书体会系列
Go与eBPF系列

欢迎大家加入！

Go技术专栏“改善Go语⾔编程质量的50个有效实践”正在慕课网火热热销中！本专栏主要满足广大gopher关于Go语言进阶的需求，围绕如何写出地道且高质量Go代码给出50条有效实践建议，上线后收到一致好评！欢迎大家订
阅！

img{512x368}

我的网课“Kubernetes实战：高可用集群搭建、配置、运维与应用”在慕课网热卖中，欢迎小伙伴们订阅学习！

img{512x368}

我爱发短信：企业级短信平台定制开发专家 https://tonybai.com/。smspush : 可部署在企业内部的定制化短信平台，三网覆盖，不惧大并发接入，可定制扩展；短信内容你来定，不再受约束, 接口丰富，支持长短信，签名可选。2020年4月8日，中国三大电信运营商联合发布《5G消息白皮书》，51短信平台也会全新升级到“51商用消息平台”，全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划，入门级Droplet配置升级为：1 core CPU、1G内存、25G高速SSD，价格5$/月。有使用DigitalOcean需求的朋友，可以打开这个链接地址：https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式：

微博：https://weibo.com/bigwhite20xx
微信公众号：iamtonybai
博客：tonybai.com
github: https://github.com/bigwhite
“Gopher部落”知识星球：https://public.zsxq.com/groups/51284458844544

微信赞赏：
img{512x368}

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

Go语言“十诫”[译]

四月 9, 2021
0 条评论

本文永久链接 – https://tonybai.com/2021/04/09/ten-commandments-of-go

本文翻译自John Arundel的《Ten commandments of Go》。全文如下：

作为一名全职的Go语言作家和老师，我花了很多时间和学生们一起，帮助他们写出更清晰、更好、更有用的Go程序。我发现，我给他们的建议可以归纳总结为一套通用原则，在这里我将这些原则分享给大家。

1. 你应该是无聊的

Go社区喜欢共识(consensus)。比如：Go源代码有一个由gofmt强制执行的统一的代码格式规范。同样，无论你要解决什么问题，通常都有一个标准的、类似于Go行事风格的方法来解决。有时它是标准的方式，因为它是最好的方式，但通常它只是最好的方式，因为它是标准的方式。

要抵制住创意、时尚或（最糟糕的是）聪明的诱惑，这些不是Go的行事风格。Go行事风格的代码简单、无聊，通常相当啰嗦，而且最重要的是显式的风格(由于这个原因，有些人把Go称为面向显式(obviousness-oriented)风格的编程语言)。

当有疑问时，请遵循最小惊喜原则。争取做到一目了然。要直截了当，要简单，要显式，要无聊。

这并不是说在软件工程层面没有展示令人叹为观止的优雅和风格的空间了；当然有。但那是在设计层面上，而不是单个代码行。代码并不重要，它应该以被随时替换。重要的是程序。

2. 你应该以测试为先

在Go中，一个常见的错误是先写了一些函数(比如：GetDataFromAPI)，然后在考虑如何测试它时不知所措。函数通过网络进行了真正的API调用，它向终端打印东西，它写磁盘文件了，这是一个可怕的的不可测试性的坑。

不要先写那个函数，而是先写一个测试(比如：TestGetDataFromAPI)。如何写这样一个测试呢？它必须为函数的调用提供一个本地的TLS测试服务器，所以你需要一种方法来注入这种依赖。它要写数据到io.Writer，你同样需要为此注入一个模拟外部世界的本地依赖，比如：bytes.Buffer。

现在，当你开始编写GetDataFromAPI函数时，一切都将变得很容易了。它的所有依赖关系都被注入，所以它的业务逻辑与它与外部世界的交互和监听方式完全脱钩。

HTTP handler也是如此。一个HTTP handler的唯一工作是解析请求中的数据，将其传递给某个业务逻辑函数来计算结果，并将结果格式化到ResponseWriter。这几乎不需要测试，所以你的大部分测试将在业务逻辑函数本身，而不是handler。我们知道HTTP的工作原理。

3. 你应该测试行为，而不是函数

如果你想知道如何在不实际调用API的情况下测试这个函数，那么答案很简单：”不要测试这个函数”。

你需要测试的不是一些函数，而是一些行为。例如，一个可能是”给定一些用户输入，我可以正确地组合URL并以正确的参数调用API。” 另一个可能是”给定API返回的一些JSON数据，我可以正确地将其解包到某个Go结构体中。”

当你沿着这样的思路考量问题的解决方法的时候，写测试就容易多了：你可以想象一些这类函数，它们每个函数都会接受一些输入，并产生一些输出，并且很容易给它们编写单元测试。有些事情它们是不会做的，例如进行任何HTTP调用。

同样，当你试图实现”数据可以持久地存储在数据库中并从数据库中检索”这样的行为时，你可以将其分解成更小的、更可测试的行为。例如，”给定一个Go结构体，我可以正确地生成SQL查询，并将其内容存储到Postgres表中”，或者 “给定一个对象，我可以正确地将结果解析到Go结构体切片中”。不需要mock数据库，不需要真正的数据库！

4. 你不应制造文书工作

所有的程序都会在某一点上涉及到一些繁琐的、不可避免的数据倒换重组活动；我们可以把所有这类活动归入文书工作的范畴。对程序员来说，唯一的问题是，这些文书工作在API边界的哪一边？

如果是放在用户侧，那就意味着用户必须编写大量的代码来为你的库准备文书工作，然后再编写大量的代码来将结果解压成有用的格式。

相反(将文书工作放在API实现侧)，写零文书工作的库，可以在一行中调用：

game.Run()

不要让用户调用一个构造函数来获取某个对象，然后再基于这个对象进行方法调用。那就是文书工作。只要让一切在他们直接调用时发生就可以了。如果有可配置的设置，请设置合理的默认值，这样用户根本不用考虑，除非他们因为某些原因需要覆盖默认值。功能选项(functional option)是一个很好的模式。

这是另一个先写测试的好理由，如果你写的API中创造了文书工作，那么在测试时你将不得不自己做所有的文书工作，以便使用你自己的库。如果这被证明是笨拙、啰嗦和耗时的，可以考虑将这些文书工作移到API边界内。

5. 你不应该杀死程序

你的库没有权利终止用户的程序。不要在你的包中调用像os.Exit、log.Fatal、panic这样的函数，这不是你能决定的。相反，如果你遇到了不可恢复(recover)的错误，将它们返回给调用者。

为什么不呢？因为它迫使任何想使用你的库的人去写代码，不管panic是否真的被触发。出于同样的原因，你永远不应该使用会引起panic的第三方库，因为一旦你用了，你就需要recover它们。

所以你千万不要显式调用(这些可以杀死程序的函数)，但是隐式调用呢？你所做的任何操作，在某些情况下可能会panic（比如：索引一个空的片断，写入一个空map，类型断言失败）都应该先检查一下是否正常，如果不正常就返回一个错误。

6. 你不要泄露资源

对于一个打算永远运行而不崩溃或出错的程序来说，对其的要求要比对单次命令行工具要严格一些。例如，想想太空探测器：在关键时刻意外重启制导系统，可能会让价值数十亿美元的飞行器驶向星系间的虚空。对于负责的软件工程师来说，这很可能会导致一场没有咖啡的面谈，让人有些不舒服。

我们不是都在为太空器写软件，但我们应该像太空工程师一样思考。自然，我们的程序应该永远不会崩溃（最坏的情况下，它们应该优雅地退化，并提出退出过程的详实信息），但它们也需要是可持续的。这意味着不能泄露内存、goroutines、文件句柄或任何其他稀缺资源。

每当你有一些可泄漏的资源时，当你知道你已经成功获得它的那一刻，你应该想着释放它。无论函数如何退出或何时退出，保证将其清理掉，我们可以用Go带给我们的礼物：defer。

任何时候启动一个goroutine，你都应该知道它是如何结束的。启动它的同一个函数应该负责停止它。使用waitgroups或者errgroups，并且总是向一个可能被取消的函数传递一个context.Context。

7. 你不应该限制用户的选择

我们如何编写友好、灵活、强大、易用的库呢？一种方法是避免不必要地限制用户对库的操作。一个常见的Gopherism(Go主义)是 “接受接口，返回结构”。但为什么这是个好建议呢？

假设你有一个函数，接受类似于一个*os.File的参数，并向其写入数据。也许被写入的东西是一个文件并不重要，具体来说，它只需要是一个 “你可以写入的东西”（这个想法由标准库接口，如io.Writer表达）。有很多这样的东西：网络连接、HTTP response writer、bytes.Buffer等等。

通过强迫用户传递给你一个文件，你限制了他们对你的库的使用。通过接受一个接口(如 io.Writer)来代替，你将打开新的可能性，包括尚未被创造的类型，后续它们仍然可以满足(接口) ，可以与你的代码io.Writer一起工作。

为什么要 “返回结构体”？好吧，假设你返回一些接口类型。这极大地限制了用户对该值的操作（他们能做的就是调用其上的方法）。即使他们事实上可以用底层的具体类型做他们需要做的事情，他们也必须先用类型断言来解包它。换句话说，这就是额外的文书工作(应该避免)。

另一种避免限制用户选择的方法是不要使用只有当前Go版本才有的功能。相反，考虑至少支持最近两个主要的Go版本：有些人不能立即升级。

8. 你应该设定边界

让每一个软件组件在自己的内部是完整的、有能力的；不要让它的内部关注点暴露出来，越过它的边界渗入到其他组件中。这一点对于与其他人的代码的边界来说，是双倍的。

例如，假设你的库调用了某个API。这个API会有自己的模式和自己的词汇，反映自己的关注点和自己的领域语言。

边界是那些与你的代码接触的点：例如，调用API并解析其响应的函数。我把它称为 “airlock “函数，因为它的工作部分是确保你的内部类型和关注点不会泄露出去，并防止外来数据泄露进来。

一旦你让一点外来数据在你的程序内部自由运行，它很快就会到处乱跑。你的其他包都需要导入这些外来类型，这很烦人，而且代码将会有一股糟糕的味道。

相反，你的airlock函数应该做两件事：它应该将外来数据转化为你自己的内部格式，而且应该确保数据是有效的。现在，你的所有其他代码只需要处理你的内部类型，它不需要担心数据是否会出错、丢失或不完整。

另一种执行良好边界的方法是始终检查错误。如果你不这样做，无效的数据可能会泄露进来。

9. 你不应该在内部使用接口

一个接口值说：”我不知道这个东西到底是什么，但也许我知道有些事情我可以用它来做。” 这在Go程序中是一种超级不方便的值，因为我们不能做任何没有被接口指定的事情。

对于空接口(interface{})来说，这也是双倍的，因为我们对它一无所知。因此，根据定义，如果你有一个空的接口值，你需要把它类型化为具体的东西才能使用它。

在处理任意数据（也就是在运行时类型或模式未知的数据）时，不得不使用它们是很常见的，比如无处不在的map[string]interface{}。但是，我们应该尽快使用airlock将这一团无知转化为某种具体类型的有用的Go值。

特别是，不要用interface{}类型值来模拟泛型（Go有泛型）。不要写一个函数，接受一些可以是七种具体类型之一的值，然后对其进行类型转换，为该类型找到合适的操作。相反，写七个函数，每个具体类型一个。

不要仅因为你可以在测试中注入mock，就创建一个公共的接口，这是一个错误。创建一个真正的用户在调用你的函数之前必须实现的接口，这违反了“无文书工作原则”。不要在一般情况下写mock；Go不适合这种风格的测试。(当Go中的某些东西很困难时，这通常是你做错事的标志。)

10. 你不要盲目地遵从诫命，而要自己思考

人们说：”告诉我们什么是最佳做法”，仿佛有一本小秘籍，里面有任何技术或组织问题的正确答案。(是有的，但不要说出去。我们不希望每个人都成为顾问)。

小心任何看似清楚、明确、简单地告诉你在某种情况下该怎么做的建议。它不会适用于每一种情况，在适用的地方，它都需要告诫，需要细微的差别，需要澄清。

每个人都希望得到的是不需要真正理解就能应用的建议。但这样的建议比它能带来的帮助更危险：它能让你走到桥的一半，然后你会发现桥是纸做的，而且刚开始下雨。

非常感谢比尔-肯尼迪（Bill Kennedy）和伊南克-古姆斯（Inanc Gumus）对这篇文章的有益评论。

“Gopher部落”知识星球正式转正（从试运营星球变成了正式星球）！“gopher部落”旨在打造一个精品Go学习和进阶社群！高品质首发Go技术文章，“三天”首发阅读权，每年两期Go语言发展现状分析，>每天提前1小时阅读到新鲜的Gopher日报，网课、技术专栏、图书内容前瞻，六小时内必答保证等满足你关于Go语言生态的所有需>求！部落目前虽小，但持续力很强。在2021年上半年，部落将策划两个专题系列分享，并且是部落独享哦：