Google | Tony Bai

标签 Google 下的文章

究竟是什么让Go语言成为恶意软件作者的最爱

三月 7, 2021
2 条评论

2020年5月份，Go语言之父Rob Pike接受了evrone.com的专访。当Rob Pike老爷子被问及多年来他看到过最奇怪、最有创意或有趣的Go用法或最让他惊讶的是什么时，老爷子是这么回答的：

Rob：最大的惊喜是当我们得知Go被用于编写恶意软件时。您无法控制谁将使用您的作品或他们将如何使用它。

近期安全技术公司Intezer发布了一份名为《Year of the Gopher, A 2020 Go Malware Round-Up》的报告，该报告称在过去几年中，安全人员发现的用Go编写的新恶意软件几乎增加了2000%，这一标题迅速引爆程序员社区，有人唾弃Go踏入“歧途”，也有人膜拜Go的niubility：能被黑客看中和使用的都是精华！

那么究竟是什么让黑客们这么青睐Go并用之去编写恶意软件呢？估计但那份几十页的报告没几个人会完整的读一遍，本文我们就结合报告的内容(分类、整理、摘录)做一些探究。

1. Go语言的简介

报告首先简单介绍了Go的前世今生。

Go是一种开源的编程语言，由Robert Griesemer、Rob Pike和Ken Thompson于2007年在Google开发。它于2009年11月向公众发布。开发新语言的动机来自于使用当前编程语言(当时三巨头都是用C++)的挫折感。由于CPU不再通过增加时钟周期的数量来提高速度。相反，更多的速度开始通过添加更多的CPU核并允许更多的并行执行来获得。这种硬件上的进化并没有很好地反映在通用编程语言中。虽然C、C++和Java等语言提供了在多核上并行执行事务的功能，但它们为程序员提供的帮助却很少，无法高效、安全地完成这项工作。

Google的程序员们于是开始设计一种新的编程语言，为方便和安全的使用并发或并行提供“原生/一等公民地位”的支持。另一个目标则是要将解释型语言的编程便利性与静态类型和编译型语言的效率和安全性结合起来。另外在设计时，Google是将其用于Google基础设施运行的一部分网络服务中，因此对网络的支持也很重要。

为了提供在解释语言中编程的感觉，Go使用垃圾收集并处理所有的内存管理。所有的Go二进制文件都包含一个称为运行时的通用库，这导致Go二进制文件的大小比用C语言编写的类似的静态链接的程序要大。该库负责处理垃圾收集、执行线程的调度以及该语言的所有其他关键功能。虽然它被称为运行时，但比起Java运行时，它更像C语言的libc，它已经与二进制文件进行了静态编译。Go二进制文件被编译成本地机器代码，但也可以被编译成以JavaScript为运行时的WebAssembly。

Go 1.4版本及更早版本的编译器是用C语言实现的，但随着2015年1.5版本的发布，编译器完全用Go语言编写，并实现了自举。转为自举编译器后，给用户在交叉编译方面的体验带来了巨大的改善。之前使用基于C语言的编译器时，需要在编译代码的机器上安装一个针对目标操作系统和架构的C编译器。和针对不同目标的C代码进行交叉编译时的方式非常相似。从1.5版本开始，只需要向编译器指明它的编译目标架构，就可以实现对不同操作系统和架构的交叉编译。不需要针对目标的特殊编译器。Go可以通过不依赖主机上的库来执行例如syscalls(系统调用)。本来由libc提供的功能由Go的标准库提供和处理。这种方便的交叉编译有一个限制，那就是当Go程序需要通过其外函数接口（FFI）与C语言编写的库进行交互时。

新的功能和解决方案使得程序员在新项目中采用Go。2016年，TIOBE授予Go“年度最佳编程语言”，这是一个授予评分上升幅度最高的语言的奖项。随着软件开发者因其功能而开始采用Go，恶意软件作者也开始采用Go也就不足为奇了。

人们注意到使用Go开发的恶意软件增多是从2019年Palo Alto Networks公司发布的一份分析报告开始的。2019年7月，Palo Alto Networks公司的Unit 42发布了对当时发现的用Go编写的恶意软件的分析报告。研究发现，2017年至2019年期间，人们发现的Go恶意软件样本增加了1944%，这量化了一个很容易发现的趋势。在2019年之前，发现用Go编写的恶意软件更多的是一种罕见的现象，而在2019年期间，这成为了一种日常现象。报告中分析的恶意软件中，大部分，92%的恶意软件针对Windows，而4.5%针对Linux，3.5%针对macOS。
人们观察到的另一点是，渗透测试(pen-testing)团队采用Go来开发他们的工具，这在Unit 42的研究中很突出。

最常见的恶意软件家族类型是开源或渗透测试后门。其次是coinminer(挖矿)、窃取者和僵尸网络。这篇报告涵盖了2020年期间活跃的用Go编写的已知恶意软件的活动。

2. 使用Go的嵌入文件功能实现恶意加载器

与其他语言产生的二进制文件相比，Go编译器产生的二进制文件相对较大。例如，一个Hello World二进制文件有1700多个函数。由于二进制文件中有这么多的常用代码，因此在寻找可疑代码时就像大海捞针一样。这可能是为什么恶意Go二进制文件有时不被反病毒引擎检测到的原因之一。这导致一些威胁行为者在Go中开发加载器，并利用它们来提供其他较老的、易被检测到的恶意软件。这种技术可以降低被检出率，甚至有时会使恶意软件完全无法被检测到。在Go二进制文件中嵌入其他二进制文件相对容易。有很多开源库已经解决了这个问题。下面是其中的一些列表：

https://github.com/gobuffalo/packr
https://github.com/rakyll/statik
https://github.com/GeertJohan/go.rice
https://github.com/UnnoTed/fileb0x
https://github.com/mjibson/esc
https://github.com/kevinburke/go-bindata
https://github.com/lu4p/binclude
https://github.com/omeid/go-resources
https://github.com/pyros2097/go-embed
https://github.com/wlbr/mule
https://github.com/miscing/embed
https://github.com/kyioptr/gassets

上述包的大部分的设计都是为了允许嵌入网络服务的静态资源文件(asset)，但使用案例并不限于此。嵌入文件的功能受到了广泛的好评，以至于今年2020年早些时候有人建议将该功能直接添加到Go编译器中。该建议已被接受，并已与2021年2月发布的Go 1.16版本一起发布了。从这个角度来看，Go 1.16版本加入嵌入文件功能，颇有些“助纣为虐”之嫌^_^。

3. 使用Go标准库强大的加密库和便捷的跨主机交叉编译特性实现恶意加密器和勒索软件

Go的标准库提供了一套非常强大的加密库，允许开发者在不需要使用任何第三方库的情况下，在应用中加入加密功能。

一个开源的加密加载器是Go shellcode LoaDer。它用AES对有效载荷进行加密。它对有效载荷进行解密，并在执行之前使用ZwProtectVirtualMemory将解密缓冲区标记为读取/执行。

我们还观察到威胁行为者编写自己的加密器和加载器。例如，我们看到一个名为gocrypter的加载器被用于加密商品恶意软件；大多数是RAT(Remote Access Trojans，远程访问木马)和键盘记录器。有效载荷已经用AES加密，并作为base64编码的blob存储在二进制内部。加密器将其解码成字节，并在写入磁盘和执行之前进行解密。

在2020年仍有一些活动的勒索软件，比如：RobbinHood。RobbinHood在2019年春季被发现，当巴尔的摩市被发现受到该勒索软件攻击时，得到了很多媒体的关注。Sophos在2月份发布了一份报告，详细介绍了该威胁行为者的一些演变过程。通过利用技嘉公司的一个脆弱的驱动程序，威胁行为者开始加载一个未签名的驱动程序。一旦驱动程序被加载，它将杀死进程和篡改保护软件，以确保勒索软件可以在不被中断的情况下加密硬盘驱动器的其余部分。但在2020年11月，仍有新的样本被发现，但勒索说明没有改变。11月的一个样本的PDB字符串为C:/Users/User/go/src/Robbinhood7，这表明根据恶意软件作者的说法，它可能是第7个版本的勒索软件。

另一个用Go编写的、仍然活跃的老牌勒索软件是Snatch。Snatch是在2018年12月被发现的，到现在似乎还在使用。该勒索软件由Snatch Team使用，他们通过远程访问服务（例如RDP）瞄准企业环境。一旦进入网络，该组织就会尝试在所有机器上部署勒索软件，并对文件进行加密。该勒索软件在加密文件时有一个有趣的技术，该技术在2019年10月被引入到勒索软件中。该勒索软件将自己安装为一项服务，即使Windows启动到安全模式，也可以启动。在此之后，勒索软件将Windows重新启动到安全模式，允许它加密硬盘上的所有文件，而不会被安装的任何潜在的安全保护软件阻止。

Nefilim是一款勒索软件，最早出现在2020年3月。它是另一款名为Nemty的勒索软件的前身。最初的版本是用C++编写的，但在7月，该恶意软件用Go重新编写。除了加密受害者机器上的文件外，Nefilim背后的威胁行为者还窃取受害者的数据，并用于勒索。

由于Go提供了一种针对不同架构和操作系统交叉编译二进do制文件的简单方法，因此它被用于RaaS(Ransomware as a Service)勒索软件并不奇怪。它允许威胁行为者使用单一的代码库，以极低的工作量制作针对不同操作系统的二进制文件。Go已经被用于RaaS。在2020年的春天，一个新的RaaS被宣布，名为Smaug。Smaug是一个相对简单的勒索软件，但它为Windows、Linux和macOS提供”用户”的勒索软件服务。它可以在”企业”模式下运行，即所有机器使用一个密钥，或者每台机器模式下使用一个密钥。

Go可以为其他操作系统和架构制作二进制文件，这使得威胁行为者可以轻松地针对不同类型的设备，例如，嵌入式系统。在2019年夏天，我们发现了QNAPCrypt，也就是eCh0raix，这是一款针对QNAP NAS设备的勒索软件。后来，它还被用来针对Synology NAS设备。2020年，又发现了一款针对QNAP设备的新勒索软件。新的勒索软件被称为AgeLocker，因为它使用了开源的加密工具和库age。

在2020年期间发现的其他用Go编写的勒索软件包括。1月发现的Betasup，2月发现的Sorena也就是HackForLife和Vash，3月发现的GoGoogle。

4. 使用Go优秀的网络协议栈实现开发RAT(远程访问木马)、恶意偷窃程序、恶意机器人和僵尸网络

Go的网络协议栈写得非常好，易于操作。Go已经成为云计算的编程语言之一，很多云原生应用都是用它编写的。例如，Docker、Kubernetes、InfluxDB、Traefik、Terraform、CockroachDB、Prometheus和Consul都是用Go编写的。这是有道理的，因为创建Go背后的原因之一正是要发明一种更好的语言，可以用来取代Google内部使用的C++网络服务。因此远程访问木马(RAT)是用Go编写的，这并不奇怪。毕竟，它们非常需要优良的网络服务功能。

在这一年中，既有新的RAT出现，也有老的RAT不断被使用。早在2020年8月，我们发现了一个Linux版本的Carbanak威胁行为体使用的后门。该样本使用2017年2月发布的Go 1.8版本编译器进行编译。同样的编译器版本和构建环境被用于2017年RSA报告的一部分的初始Windows样本。

Glupteba是一个自2011年以来一直存在的恶意软件，但在2019年9月，发现了一个用Go改写的新版本。在整个2020年，这个新版本出现的更为频繁。该恶意软件在感染机器时，会尝试安装一个root-kit。为了绕过Windows中防止安装内核驱动程序的保护措施，恶意软件利用了一个脆弱的VirtualBox驱动程序。恶意软件会安装该驱动程序，由于该驱动程序是经过签名的，所以Windows会允许安装，并使用它在Ring-0中执行代码，以禁用Kernel Patch Protection（KPP）。这种技术并不新鲜，它最早被APT组织Turla使用。除此之外，该恶意软件还试图通过利用EternalBlue在本地网络内进行传播。

Windows并不是唯一一个被用Go编写的RAT攻击的操作系统。2020年10月，Bitdefender发布了一个针对Linux的新RAT的发现。Bitdefender的研究人员认为，它可能与2019年的PowerGhost活动有关。该威胁行为体针对的是易受CVE-2019-2725影响的WebLogic服务器。该RAT似乎被作者命名为NiuB。该恶意软件由两个二进制文件组成，即主恶意软件和一个防护恶意软件。该恶意软件收集受感染机器的信息，并将其发送到C2服务器。它可以执行shell命令，下载并执行其他二进制文件。

2020年1月，FireEye发布了一份针对NetScaler设备的攻击报告。攻击是利用CVE-2019-19781漏洞。作为攻击的一部分，威胁行为者使用了一种新的恶意软件，以前从未见过。FireEye将该恶意软件命名为NOTROBIN。它是用Go编写的，并被编译成在*BSD上运行，这是NetScaler使用的底层操作系统。一个有趣的功能是，该恶意软件通过扫描新的NetScaler模板文件并将其删除来阻止其他恶意软件利用相同的漏洞，这些文件可能是作为利用尝试的一部分添加的。它在18634端口上打开一个UDP监听器，但忽略发送到它的数据。它基本上充当了一个mutex，以确保受感染的机器上只运行一个恶意软件的副本。

已经有一些用Go编写的窃取器。在2019年，Malwarebytes报告了一个名为CryptoStealer.Go的窃取器。它旨在窃取加密货币钱包和存储在浏览器中的数据，如信用卡信息。

同样在2020年期间，发现了一个用Go编写的剪贴板窃取器。它似乎自2019年以来一直活跃。根据上传到VirusTotal的样本的文件名，该窃取器被伪装成黑客工具，表明它被用来针对其他威胁行为者。该恶意软件的设计很简单。它将自己安装在App/DataLocal/Support下，并隐藏文件或文件夹。它读取剪贴板并检查它是否看起来像加密货币地址。如果是，恶意软件就会用攻击者自己的比特币、莱特币、Monero或Ethereum钱包替换剪贴板内容。

该恶意软件中的比特币钱包地址自2018年秋季以来一直处于活跃状态。截至本文撰写时，它已经收到了534笔交易，价值近11BTC。

随着Go作为标准库的一部分支持许多网络协议，以及为不同架构编译二进制文件的便利性，越来越多的机器人用Go编写也就不足为奇了。另外，二进制文件包含了正常运行所需的一切，这也为代码作者提供了更多的保证，例如，它可以在不同的Linux发行版上运行。它不用担心机器上是否已经安装了库。因为它需要什么，就自带什么。还有很多第三方库，提供了访问其他服务的功能。

比如这里列出了一些机器人库，可以用来开发不同服务的机器人。

https://github.com/go-joe/joe
https://github.com/bot-api/telegram
https://github.com/shomali11/slacker
https://github.com/go-chat-bot/bot
https://github.com/frodsan/fbot
https://github.com/go-telegram-bot-api/telegram-bot-api
https://github.com/tucnak/telebot

随着开源机器人库的出现，它们被恶意软件作者滥用的情况并不少见。IRCFlu就是一个例子。IRCFlu是一个托管在GitHub上的IRC机器人。该机器人提供了在托管机器人的机器上执行任意代码的功能，这使得威胁行为者可以利用这个机器人远程控制多台受感染的机器。

除了开源项目被滥用外，2020年还出现了老牌知名僵尸网络的攻击行为。被称为ddg的僵尸网络是由Netlab在360首次报道的。他们在2017年10月检测到该僵尸网络对托管OrientDB的服务器的攻击。该僵尸网络的目标是安装Monero矿机。2020年，该僵尸网络进行了更新，通过增加一个p2p网络支持的C2基础设施，使其更有弹性地抵御击杀。混合的p2p网络基础设施允许威胁行为者在正常的C2服务器瘫痪时保持对机器人的控制。

另一个仍然活跃的老僵尸网络是StealthWorker，也被称为GoBrut。StealthWorker是Malwarebytes在2019年2月首次报道的。它是一个以Stealth Bomber为名在暗网论坛上销售的僵尸，用于通过凭证式蛮力攻击获得网络服务的访问权限。

僵尸网络r2r2是另一个通过蛮横强迫凭证传播的僵尸。它最早是在2018年被发现的。它随机生成IP地址，并试图通过弱凭证访问运行SSH的服务。一旦它获得了一个立足点，它就会在机器上安装一个密码器。该僵尸的功能非常有限，它由不到200百行的代码组成。

其他僵尸网络也在不断进化，以增加其潜在的目标。在2020年，Orthrus，也被称为Golang，演变为也针对Windows服务器。该僵尸是Antiy在2019年6月首次报道的。它主要针对未受保护或凭证薄弱的Redis服务器。一旦它获得远程代码执行，它就会安装一套二进制文件。一个是针对其他易受攻击服务的扫描器，一个看门狗服务和一个密码器。扫描器试图破坏其他有已知漏洞的网络服务。例如，Weblogic，Elasticsearch和Drupal是目标。在2020年，该恶意软件还增加了针对微软SQL服务器的目标。它试图通过强行获取凭证来获得访问权。该恶意软件包括一个近3000个密码的列表，它只针对SQL服务器使用。

12月，我们发现了另一个跨操作系统的挖掘机器人，我们称之为XMRig Miner Dropper。它的目标是运行MySQL、Tomcat和Jenkins的服务器以及凭证较弱或脆弱的WebLogic。根据底层操作系统的不同，该机器人提供了一个用于执行shell脚本或PowerShell脚本的有效载荷。一旦它入侵机器，它就会安装一个密码器，并试图利用其他服务器。

2016年9月，Mirai的源代码被发布。这导致许多新的僵尸网络从Mirai源代码中衍生出来。虽然该僵尸代码是用C++编写的，但该代码的发布为其他恶意软件作者用不同语言编写类似的僵尸提供了蓝本。2020年1月，Bitdefender发布了一份报告，介绍了一个用Go编写的受Mirai启发的新僵尸网络，他们将其命名为LiquorBot。该僵尸网络本质上是Mirai在Go中的重新实现，目标是运行在ARM（32位和64位）、x86（32位和64位）和MIPS上的Linux设备。该僵尸通过强行获取SSH证书和利用路由器的已知漏洞进行传播。一旦它获得了设备的访问权限，它就会试图感染其他人，并且还安装了一个Monero密码器。

LiquorBot并不是唯一受Mirai启发的僵尸网络。4月，我们发现了Kaiji，这是一个通过SSH蛮横强迫来针对Linux服务器和物联网设备的僵尸网络。除了强行插入薄弱的凭证外，该僵尸还试图使用在受感染机器上发现的本地SSH密钥来传播到企业内的其他机器。与Mirai类似，Kaiji允许僵尸管理员对他们选择的任何基础设施发起DDoS攻击。攻击包括两个TCPFlood实现（一个带有原始套接字）、两个UDPFlood实现（一个带有原始套接字）、IPSpoof攻击、SYNACK攻击、SYN攻击和ACK攻击。

2020年6月，Kaiji将其目标方法扩大到包括暴露API套接字的服务器。该恶意软件开始在互联网上扫描端口2375暴露的主机。如果它找到了一个，它会尝试部署一个流氓Docker容器，并在容器中执行Kaiji。

Kaiji不是唯一一个针对暴露的Docker API的僵尸网络。2020年11月，NetLab 360报告发现了一种名为Blackrota的新恶意软件。Kinsing，也被称为h2Miner，已经被称为针对Docker API。2020年1月，阿里巴巴云的研究人员首次报道了Kinsing。该僵尸网络正在使用masscan寻找暴露Hadoop Yarn、Redis和Docker的机器。当它发现一台运行这些服务的服务器时，它会试图利用服务中的已知漏洞来进一步传播自己。5月，我们观察到Kinsing利用SaltStack的两个漏洞CVE-2020-11651和CVE-2020-11652进行传播。该恶意软件还开始使用LD-PRELOAD用户地rootkit来隐藏其进程。

SSH brute-force已经成为用Go编写的僵尸网络采用的主要攻击方式之一。我们发现了IPStorm的一个新的Linux变种，其中包括这种攻击向量。IPStorm是一个点对点(p2p)僵尸网络，于2019年5月首次被发现。它使用开源项目IPFS作为其网络骨干。除了原始的Windows变体，我们还发现了作为Linux变体的一部分，针对Android和物联网设备的变体。与本报告中的其他僵尸网络不同，IPStorm的目标不是安装矿机。相反，该僵尸网络似乎提供了一个代理网络。这个代理网络是作为互联网上的匿名代理网络出售的。

IPStorm不是唯一一个在2020年活跃的Go编写的p2p网络。2020年8月，Guardicore发布了一份关于他们从同年1月开始追踪的一个新的p2p僵尸网络的报告。该僵尸网络被命名为FritzFrog，通过强行使用弱小的凭证来感染机器。Guardicore称，该僵尸网络已经成功入侵了超过500台服务器，其中包括 “美国和欧洲的知名高教机构，以及一家铁路公司”。

5. 未来预测与结论

虽然与用其他语言编写的恶意软件相比，用Go编写的恶意软件数量相对较少，但同比增长幅度很大。这种增长速度很可能会继续下去，这意味着用Go编写的恶意软件将变得更加频繁。对于针对Linux环境的恶意软件来说，用Go编写的部分比针对Windows的恶意软件要大。这很可能导致，在根据针对特定系统的恶意软件总量统计中，针对Linux系统的恶意软件的比例将可能变得最大。

在目前用Go编写的Linux恶意软件中，有很大一部分是用于DDoS或安装密码器的机器人。这种趋势可能会持续下去。其他类型也可能会变得更加频繁。我们已经看到了针对Linux系统的Go勒索软件，而且有可能会出现更多的以窃取和加密有价值数据为目标的勒索软件。这与Proofpoint对2021年的预测一致，即勒索软件威胁行为者将开始更加关注攻击云端。这意味着企业应该采用专注于云的检测和预防产品，以确保他们的云环境受到保护。许多传统的防病毒和保护解决方案都是为了保护Windows环境而设计的，而Linux环境则更多地成为了”二等公民”。

根据CrowdStrike从2020年开始的事件报告，在40%的事件中，恶意软件没有被反病毒产品检测到。除此之外，Go恶意软件一直很难被反病毒产品检测到，所以这种趋势很可能会继续下去。我们已经看到威胁行为者以相同的恶意软件代码库为中心，针对不同的操作系统进行攻击，导致恶意软件样本较少或未被检测到。由于恶意软件来自相同的代码库，因此使用代码基因的检测方法非常有效。未来我们很可能会看到更多针对多个操作系统的恶意软件，因为像Go这样的编程语言为恶意软件作者提供了一种简单的交叉编译恶意软件的方法。

在Windows方面，许多威胁行为者已经使用Go来制作勒索软件。未来这种趋势很可能会继续下去。随着更多RaaS产品的出现，用Go编写勒索软件也不是不可能。由于能够轻松地进行交叉编译，RaaS运营商可以为他们的”客户”提供更广泛的目标。

Go是一种开源的编程语言，它是在Google内部开发的，目的是利用过去几十年在硬件上取得的进步。它的设计是为了让开发者能够轻松地制作快速、安全、以网络为中心的代码，并在当今的多核CPU上获益。这使得该语言得到了极大的应用，尤其是在云环境中。开发者并不是唯一采用Go的人。Go强大的跨平台交叉编译、优秀的网络实现和加密库以及原生的文件嵌入功能让其颇受恶意软件开发者的青睐！ 在过去几年中，在市面上发现的用Go编写的新恶意软件几乎增加了2000%。这些恶意软件中有许多是针对Linux和物联网设备的僵尸网络，以安装加密矿机或将受感染的机器注册到DDoS僵尸网络中。此外，用Go编写的勒索软件似乎也变得更加普遍。一些用Go编写的著名勒索软件是Nefilim、EKANS和RobbinHood，这些勒索软件用于所谓的大型猎物攻击。

传统的反病毒解决方案似乎仍然难以检测到用Go编写的恶意软件。较新的技术不仅可以根据代码重用来判断恶意，还可以对威胁进行分类，已经取得了较大的成功，因为它们甚至可以处理Linux和Windows二进制文件之间的相似性。虽然用Go编写的恶意软件可能仍处于初级阶段，但它可能很快就会进入青春期，从而导致大量增加。

“Gopher部落”知识星球正式转正（从试运营星球变成了正式星球）！“gopher部落”旨在打造一个精品Go学习和进阶社群！高品质首发Go技术文章，“三天”首发阅读权，每年两期Go语言发展现状分析，每天提前1小时阅读到新鲜的Gopher日报，网课、技术专栏、图书内容前瞻，六小时内必答保证等满足你关于Go语言生态的所有需求！部落目前虽小，但持续力很强。在2021年上半年，部落将策划两个专题系列分享，并且是部落独享哦：

Go技术书籍的书摘和读书体会系列
Go与eBPF系列

Go技术专栏“改善Go语⾔编程质量的50个有效实践”正在慕课网火热热销中！本专栏主要满足广大gopher关于Go语言进阶的需求，围绕如何写出地道且高质量Go代码给出50条有效实践建议，上线后收到一致好评！欢迎大家订阅！目前该技术专栏正在新春促销！关注我的个人公众号“iamtonybai”，发送“go专栏活动”即可获取专栏专属优惠码，可在订阅专栏时抵扣20元哦(2021.2月末前有效)。

我的网课“Kubernetes实战：高可用集群搭建、配置、运维与应用”在慕课网热卖中，欢迎小伙伴们订阅学习！

img{512x368}

我爱发短信：企业级短信平台定制开发专家 https://tonybai.com/。smspush : 可部署在企业内部的定制化短信平台，三网覆盖，不惧大并发接入，可定制扩展；短信内容你来定，不再受约束, 接口丰富，支持长短信，签名可选。2020年4月8日，中国三大电信运营商联合发布《5G消息白皮书》，51短信平台也会全新升级到“51商用消息平台”，全面支持5G RCS消息。

著名云主机服务厂商DigitalOcean发布最新的主机计划，入门级Droplet配置升级为：1 core CPU、1G内存、25G高速SSD，价格5$/月。有使用DigitalOcean需求的朋友，可以打开这个链接地址：https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻)归档仓库 – https://github.com/bigwhite/gopherdaily

我的联系方式：

微博：https://weibo.com/bigwhite20xx
微信公众号：iamtonybai
博客：tonybai.com
github: https://github.com/bigwhite
“Gopher部落”知识星球：https://public.zsxq.com/groups/51284458844544

微信赞赏：
img{512x368}

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

Hugo作者、Go核心开发团队成员谈诞生13年的Go语言：生态系统、演化与未来[译]

一月 2, 2021
0 条评论

img{512x368}

本文翻译自《Go Language at 13 Years: Ecosystem, Evolution, and Future in Conversation with Steve Francia》。

译注：Go开源于2009年，如果从那时算起，Go才11岁；但在Go核心开发团队眼中，Go的真正诞生年份是2007年，至今13个年头了。关于Go的演化简史可以参见我的专栏文章：《Go语言的前生今世》。

本文要点：

Go的简单性让你可以快速上手使用它–你可以在一个下午就消化掉整个Go语言规范；
作者认为Go是当今最好的现代语言之一（其他的还包括：Dart、Flutter和Rust）；
Go的未来是由它的开源社区决定的，它对所有的功能建议进行讨论和辩论。除非达成明确的共识，否则该功能不会被实现。
社区的规模大约每18个月翻一番。
最初，Go的早期采用者多来自python或ruby等动态语言的开发人员，现在随着语言的成熟，来自Java、.NET和C++程序员也开始接纳并使用Go。
在充满挑战的一年里，社区适应了相互支持，出现了多个meetup，并出现了新的资源。

编程语言的历史只朝着一个方向发展，每一种新的语言的出现都让事情都变得越来越复杂，越来越抽象。然而，就在十几年前，Go在Google诞生了。这种编程语言走的是另外一条路，它把赌注押在了简单和精心的设计和实现上。这个配方一直保留到今天，你可以直接开始写Go代码，没有太大的障碍。当你想到现代软件的大部分流行和可靠的作品都是用Go编写的，比如Docker、Kubernetes、Prometheus等，这就足以让你印象深刻。这个列表还在持续增加。为了了解Go从哪里来，更重要的是它要往哪里去，InfoQ联系了Google负责战略和产品的Go编程语言团队核心成员Steve Francia(译注：他也是知名静态站点生成工具gohugo的作者)。

InfoQ：非常感谢您抽出宝贵时间回答读者的几个问题。我们能否首先请您介绍一下自己并描述您在Google的角色和日常工作？

Steve Francia：我是Steve Francia，是Google Go编程语言团队的核心成员，负责产品和策略。

InfoQ：您将技术挑战和工程挑战归因于十三年前点燃了Go的火花。还有其他吗？当时Google的官方编程语言是什么，缺少什么？

Francia：创建Go的主要动机是认识到我们的系统已经变得越来越复杂。为了跟上“Google规模”的指数增长，我们设计了复杂的系统来满足我们的需求。随着时间的流逝，我们又在这些基础系统/库和语言的基础上构建了新的复杂系统。人们通常不会想到复杂性的隐性成本。事实是，代码被读取的次数比其编写的次数多。复杂性给团队效率带来了极大的负担。相反，Go很简单。你仅需要花一个下午的时间来学习。Go代码非常简单易读。这种简单性使团队能够以前所未有的方式进行协作。

InfoQ：这一切是如何开始的？是自上而下的请求（管理人员要求一种语言来满足需求），还是自下而上的请求？来自Google的20％著名的创新？工程师尽其所能-解决问题？

Francia：没人要求过。这实际上不是一个20％的项目。是一次谈话导致一个研究项目获得了关注，并且被广泛采用，超出了所有人的想象。当然，Google从上到下都对寻找降低复杂性和提高生产力的方法感兴趣。

InfoQ：在起步阶段，有一种说法是，如果您在发布之日不为自己的产品感到羞耻，那么您可能为时已晚。Go于2011年发布1.0版本，当时Google为了支持它，将其添加到Google App Engine中，YouTube也开始使用Vitess(译注：一种Go实现的Mysql前置代理，用于建立mysql集群）。Go在发布时就已经准备好投入生产了吗？还是人们努力用它来构建产品？

Francia：Go发布的恰逢其时。有很多Go的基础设计是正确的，但是今天Go中有很多东西不在早期版本中-这在开源中很常见。最明显的是，当时没有“go”命令，所以在如今的Go版本中可以很自然做的事情（例如“go build”）在早期则要困难得多。

提前发布的最大好处是它使社区能够参与Go的设计过程。社区为Go的成功做出了很大的贡献。

我们的Go的第一个公开发行版就可以应用于生产环境了，这表现在用Go构建的程序在生产环境中的高性能和稳定的，但是Go仍然缺乏很多完善之处，Go团队和社区随后可以共同塑造和打磨。

InfoQ：回顾一下，构建Go时需要解决的最技术性问题是什么？

Francia：这个问题很难讲。这有点暗示我们已经完成了Go。我认为Go项目多年来解决了许多“最棘手”的技术问题，我们将继续解决非常具有挑战性的技术问题。我们目前正在努力为Go添加泛型支持。添加泛型本身就是一项艰巨的任务，但是我们也希望它仍然看起来像Go，这意味着使用泛型可以提高可读性。这是一件非常困难的事情，而且我们的一些关键人员已经思考了十多年。

在过去的几年中，我们解决了有关如何管理Go依赖的一些最大挑战。我们在Go中添加了module支持，但却没有引入菱形依赖项或依赖项地狱，这是以前的编程语言所没能做到过的。

另一个挑战是Go在每个版本中持续改进其性能。其体现之一是将垃圾收集的暂停时间延迟(STW)从几秒减少到几毫秒再到几微秒。这对于Go而言是具有变革性的，对于其在服务中的成功至关重要。

InfoQ：如果您必须重新实现一次Go，您会采取什么不同的措施？为什么？

Francia：借助事后观察的优势，作为今天帮助塑造Go的人，但在最初的几年中我并没有出现，我真的不会改变。这是一种美丽的，经过深思熟虑的语言，虽然它并不完美，但使用起来非常好。

我希望我们进行一些小调整，但讨论它们会把太多的焦点放在这些微不足道的事情上。相反，如果我们可以重来一次，我希望我们会犯同样的错误，只是更早而已。Go的发展速度非常快，大约每18个月，Go的用户群的规模就会增加一倍。这意味着，今天与五年前相比，一个变化会影响大约10倍的人。

今天的Go依赖管理机制非常棒，但它可能比预期的晚了五年。这种延误使本来已经很困难的问题变得更加困难，结果给社区造成了不必要的压力。

同样，我们现在正在努力进行的重大语言更改是泛型。这将对社区产生重大影响。如果我们能够重新做一遍，而事后才明白此功能的重要性，我希望我们早在七年前就可以认真地开始这项工作。

InfoQ：Go编程语言还缺少什么？

Francia：作为一种语言，泛型确实是我们所缺少的唯一主要功能，正如我之前所说，我们目前正专注于此。现在有一个支持新泛型语法的playground，您可以在其中使用新泛型语法原型并提供反馈。

除此之外，大部分要做的工作是改进和完善，主要是在语言本身的周边。对于工具，我们计划改善创作，发布和编辑体验。我们还致力于帮助人们做出有关其依赖关系的更好决策。

InfoQ：Go始于Google，但现在是开源的。如今，谁才是幕后的决策人呢？

Francia：2020年11月，Go庆祝了自己开源11周年。Go有一个定义明确的提案流程决定了整个项目的方向。想法和经验来自社区的每个角落。它们作为提案发布到Github上的项目中。从那里社区可以评估他们对提案的看法，并帮助进一步完善提案。提案委员会每周开会，审查未完成的提案。目前，委员会有六名成员，其中四名是Google员工。但决策几乎总是来自社区对提案问题本身的讨论。除非问题讨论明确同意，否则该提议将被拒绝。通过设计和意图，Go的更改会在公开环境中缓慢而有意识地发生。该过程旨在加强这一点。

InfoQ：随着Go的普及，Go的生态系统如何演变？Go最初主要专注于网络和基础架构。这些年来其用法是如何演变的？

Francia：关于Go的一个有趣的事情是Go语言走了一条与其创始人最初计划不同的途径。Go语言之父们创建Go的最初目的是构建流行的高性能服务器端编程语言（当时为Java和C++）的替代品。创始人们认为，一种简单的语言可以在保持性能的同时，极大地提高此类开发人员的生产率。

尽管Go在争取到了一些Java和C++工程师的支持和早期采纳，但Go的大部分早期采用者都来自动态语言程序员群体，这些语言来自Python，Javascript，Ruby和PHP等语言。事实证明，Go最初对动态语言类的吸引力更大，动态语言类看到了在保持生产力的的同时大幅提高性能的机会。

随着Go及其生态系统的成熟，Go的采用已扩展到企业中，并且Java，C++和C＃工程师的最初受众也加快了他们对Go的采用。

Go的独特魅力之一是，它是一种小语言，其大多数创新就发生在其生态系统中。我们一直对社区采用Go的创造性和多样化方向感到惊讶。Go的优势仍然是Go十分适合的云/服务器应用程序，但事实证明Go确实也非常适合许多其他类型的应用程序。DevOps / SRE，CLI，Web应用程序和数据处理已全部转到Go。现在，我们看到Go用于微控制器，机器人技术，游戏等。

InfoQ：Kubernetes，Docker和Prometheus都是用Go编写的。还有其他用该语言编写的工具吗？

Francia：这里能列出的工具太多了。我个人经常使用的一些比较流行的工具是：

Hugo，一个静态网站生成器（我几年前创建的）。

Syncthing，一种分布式同步工具（请考虑Dropbox / Google驱动器，但不带服务器）。

服务网格Istio

Terraform，基础架构即代码

InfluxDB，时间序列数据库

在Awesome Go上可以找到更详细的列表。

InfoQ：在网络和系统编程方面，Go是高效且可靠的，但是Go所不适合的领域是什么呢？

Francia：对我自己来说，今天只有三种现代语言。每种语言都经过精心设计，以解决前代语言的不同缺点，从而使每种语言在不同方面都具有出色的表现，并且是其他语言的很好补充。这是我看这三种语言的方式：

Go是一种很好的默认语言。它是系统，服务器，API，守护程序，数据库，网站，工具等的理想选择。Go达到了性能与开发人员生产力之间的关键平衡。

Dart + Flutter，用于基于GUI的应用程序（移动+桌面）。Flutter在编写一个可以在多种操作系统和多种格式下工作的客户端应用程序的想法方面表现出色。

需要精细控制时可以使用Rust。对于低级编程、内核之类的东西，Rust提供了更高的精度，但代价是增加了复杂性。有时候，这种权衡是有意义的，而当这样做时，Rust是一个不错的选择。

我认为，未来10年以上的大多数“现代”工作负载将以其中一种语言编写。当然，总会有需要支持的旧工作负载，因此请不要认为我在这里的观点暗示了任何语言的消亡。肯定还存在在某些领域中，诸如R，SQL甚至Javascript之类的利基语言可以发挥作用。

InfoQ：史蒂夫，我记得几年前在布达佩斯参加了一次会议，在那里您举办了有关使用Go的研讨会。我有种感觉，您会更多向对手推销并建议Go，而不是向朋友-为什么？

Francia：那是一次很棒的会议，也是我第一次在布达佩斯。从那以后我已经回来过几次了，这是我最喜欢的城市之一，如此充满魅力。

许多年前，我在MongoDB工作。我的角色是领导开发人员体验团队，这意味着我应对与用户相关的一切负责。其中包括文档，网站，开发人员关系，MongoDB界面，以及设计和设计我们与语言和框架的集成。这是一个非常广泛且具有挑战性的角色，需要我的团队使用10多种不同的编程语言（以及几种人类语言）进行编写。到那时为止，我在职业生涯中一直使用多种语言，并以能够为我们的每种语言做出贡献为目标。当时，我认为自己是一个会说多种语言的人，并且很高兴能借此机会扩展自己的经验并了解这些不同的语言。

首先，我们专注于支持最受欢迎的语言，而我一直在寻找“下一种语言”可能是什么。由于马丁·奥德斯基（Martin Odersky）在Scala上的免费在线课程，我学到的第一门“下一门语言”是Scala。我喜欢学习语言，并且一直在搜寻。我尝试的下一种语言是Go。我恋爱了。就像有人为我设计了一种语言。我花了大量的空闲时间，大部分时间每天花3个小时以上，坐火车去曼哈顿，写Go软件。这就是Hugo，Cobra，Viper，Afero和许多其他库。

在此过程中，我了解到我不是一个会说多种语言的人，只是我还没有发现自己的语言。从我第一次使用Go的那一刻起，我就沉浸在Go社区和生态系统中，在世界各地进行培训，在许多会议上发表演讲并组织一些活动。在过去的七年中，我一直在告诉任何尝试了解Go语言的人，在此过程中，我以某种方式说服了Go团队和Google让我加入他们。除此之外，我还帮助了无数其他人讲述他们的故事，其中许多故事都在Go.dev上。

InfoQ：Go语言才13岁，所以还是个少年(译注：在编程语言领域)。你怎么看待这件事？它是可靠的类型，它使用户的生活变得更轻松，还是仍然叛逆而喜怒无常，使操作变得棘手？

Francia：作为用户，我认为Go从来没有比现在更好。向module的迁移非常顺利。Go非常稳定，性能不断提高。Go工具也越来越好。Go.dev是一个很棒的一站式资源，它将来自整个社区的所有最终用户的参考资料，教程，文档和库集中在一个地方。我可能有偏见，但是作为Go的用户，在加入Go团队很久之前，我对Go的现状和发展方向感到非常满意。

InfoQ：对于Go开发要使用的工具箱，您会推荐哪些？

Francia：Go的一大优点是，它真正满足了您的需求。Go开发在Mac，Linux或Windows上几乎完全相同，并且Go的交叉编译使其可为任何架构和OS轻松构建。随着gopls语言服务器的引入，所有编辑器和IDE都将具有很棒的编写Go语言的体验。Go发行版中附带的Go工具包含开发人员开始使用该语言所需的一切。

尽管我主要在Windows上使用VSCodium或Vim进行开发，但我将时间分配在这三个OS之间。我经常使用Cobra工具和库，但是这些天我个人对Go的使用主要是构建一些小的CLI应用程序和实用程序来自动化或简化任务，因此非常适合。

InfoQ：对于从零开始学习Go的程序员来说，Go的学习曲线有多陡峭？您对新手的建议是什么？

Francia：正如我之前提到的，Go的最大优势之一就是入门非常容易。人们常常会感到震惊，但这确实是事实-您可以在一个下午阅读并消化整个Go规范。您可以在周末学习Go。在几周内，您将精通Go语言。有些甚至比这快。如果您以其他几种语言的经验来学习该语言，则可以很快选择Go。

当我们与采用Go的公司会面时，这是他们告诉我们的最一致的内容之一。Go非常容易上手。

InfoQ：对于新手而言，学习Go的前提是什么？

Francia：老实说，只是时间和兴趣。Go适合所有人。来自社区的go.dev上有一些很棒的入门资源。

InfoQ：Go的发展让所有人（包括您自己）都感到惊讶。在接下来的十年中，您认为Go会如何发展？

Francia：如果回顾一下计算机编程语言的历史，我们会发现绝大多数主流编程语言将在其15至20年间大步前进。Java，Python，Ruby，JavaScript和许多其他语言都是如此。自诞生以来的13年中，Go奠定了坚实的基础，并正在成为主流语言。Go的杰出之处在于可以同时提供高性能和高开发人员生产力。

在接下来的10年中，向云计算的大规模转变只会继续加速。公司希望缩短上市时间，降低运营成本并提高安全性。迁移的第一阶段将主要是将其现有工作负载迁移到云中。Go在这里起着关键的支持作用，提供API桥接能力，以使“传统”工作负载能够在云服务上运行。第二个更重要的阶段将是行业转变为利用独特的云产品，逐渐转向云原生应用程序开发。在这些情况下，Go是明智的选择。

所有云提供商都在Go中编写其关键基础架构。随着公司寻求现代化，有哪家公司不想使用一种安全可靠的语言以及经过十多年来来自全球一些最大公司的关键工作负载的测试，既可以降低开发成本，又可以大大降低其运营成本的语言呢？简而言之，Go将成为云开发的代名词，而云开发将发展成为该行业绝大多数的业务。

InfoQ：我应该问你什么，但没有问？

Francia：谈论一种语言而不谈论其社区是不可能的。实际上，Go之所以存在，是因为全世界有数百万人使用Go开发。Go社区强大，热情且多样化。与所有人一样，今年Go社区进行了调整，并且也做了调整。在世界各地，gopher聚在一起并互相帮助。召开了30次（虚拟）会议。数百次聚会（主要是虚拟聚会）以及/r/golang和Gopher slack的参与度显着增长。我们启动了两个值得注意的新的社区主导程序，以帮助新的Gophers play-with-go.dev和mentoring.gobridge.org。

我们感谢世界上所有为Go蓬勃发展的生态系统做出贡献的Gopher，并共同期待Go的美好未来。