标签 Java 下的文章

从零到生产:Go在Google的历程[译]

本文永久链接 – https://tonybai.com/2024/04/24/go-journey-at-google

2007年Go诞生于Google,2009年Google正式对外宣布了Go语言的开源!时至今日,距离Go开源已经过去了近15个年头了!Go在Google公司内部究竟是怎样的一个状态呢?前Google员工Yves Junqueira近期撰文从其个人所见所闻谈了Go在Google的历程!这里简单翻译,供大家参考!


最近,Jeremy MasonSameer Ajmani撰写了有关使Go成为Google内部语言之一的传奇故事。Go目前是世界上第八大最受欢迎的编程语言(译者注:2024.4,Go已经攀升到第7位,见下图),并且仍在增长,因此人们有兴趣了解Go早期以及它是如何走到这一步的。


Go在TIOBE排名升至第7(译者配图)

我想我应该从SRE、框架开发人员和早期采用者的角度来写。我分享的所有信息都与谷歌已经公开记录的系统相关,所以我不认为我泄露了任何秘密。这个故事有一些重要的部分(例如:envelopei(译者注:不知道是什么鬼))我在其他地方没有看到提到过,所以我不会讨论它们。

破冰:我在Google的Go编程简介

在Go公开发布之前我就开始关注它,当它发布时,我立即成为了它的粉丝和Google内部的早期用户。我喜欢它的简单性。

我在核心库上做了一些工作,并且在社区中很活跃,早期经常帮助go-nuts邮件列表中的用户,并编写开源库。后来,我帮助组织了西雅图的Go Meetup,并与他人共同组织了备受喜爱的会议Go Northwest

据我所知,我在Google编写了第一个生产关键型工具,后来又用Go编写了第一个面向用户的服务。

第一个是用于监控Google+ Bigtable服务器运行状况的服务。这是我作为SRE的工作之一。Bigtable拥有有关每个tablet性能的详细内部统计数据,但有时我们需要了解为什么某个tablet如此过载以及系统其他地方发生了什么,以便我们能够了解根本原因。我们需要随着时间的推移收集这些数据并进行分析。因此,我构建了一个爬虫,可以检查数千台服务器并在全局仪表板中显示详细的统计数据。

2011 年,Andrew Gerrand在接受The Register采访时提到了这项工作。他当时向我证实,这指的是我的项目。我很兴奋!他在采访中这样说道:

谷歌有管理应用程序和服务的人员,他们需要编写工具来抓取几千台机器的状态并聚合数据,”他说。“以前,这些操作人员会用Python编写这些内容,但他们发现Go在性能和实际编写代码的时间方面要快得多。”

Go的运行速度和编写速度确实更快。最重要的是,使用起来很有趣。它让我更有效率,所以我迷上了Go!

低级库:节点身份验证和RPC

当Go启动时,它无法与Google的内部基础设施通信。

首先,团队必须构建一个基于proto buffer的stubby RPC 系统。这需要实现LOAS来加密和验证与远程节点的通信,并使用Chubby 进行名称解析(类似于kubernetes中使用的etcd)。

Stubby和Chubby是出了名的复杂。Stubby需要一个复杂的状态机来管理连接,但大部分繁重的工作都是由Chubby完成的,即使Borg 节点耗尽CPU,或者因为有人正在运行map reduce而占用了所有机架的交换机带宽而导致暂时的网络断开连接,Chubby也需要提供一致的world view,这很容易陷入死锁或可靠性问题。

根据海勒姆定律,系统的所有可观察行为都将取决于某人,因此团队必须确保与现有生产网络预期的行为完全匹配,并注意极端情况。例如,众所周知,健康检查很容易出错,不应该太严格,否则当网络的一部分暂时过载或与另一部分断开连接时,它们会为级联故障敞开大门。必须实现的其他的分布式系统功能,例如backend subsetting和负载均衡。我们需要诊断何时出现问题,因此很早就添加了日志记录和指标库。

为了找到要通信的host:port,服务使用Chubby进行名称解析(name resolution)。它作为少量数据的完全一致的存储系统,其最常用的功能是解析BNS 地址 – 类似于你今天在kubernetes中使用etcd看到的功能。

系统使用Stubby协议向其他服务发送数据并从其他服务接收数据。在Stubby(如gRPC)中,消息使用proto buffer wire format进行编码。使用反射在运行时创建proto buffer有效负载会太慢并且占用大量资源。工程师还会错过来自强类型系统的反馈。出于这些原因,谷歌为所有语言使用了生成代码库。幸运的是,proto buffer与语言无关。团队只需为现有构建系统逻辑编写Blaze 扩展,瞧,我们就为所有内部RPC服务提供了高质量的客户端库代码。

奇怪的是,为另一种语言生成代码会产生少量的增量构建时间成本,而Google拥有成千上万的RPC服务。因此,我们决定每个RPC服务的所有者必须选择允许构建系统为其特定服务生成Go代码。虽然有点官僚主义,但随着时间的推移,我们看到数千个CL(谷歌的等效Pull请求)飞来飞去,将Go添加到每个服务的生成代码集中。这对于我们的社区来说是一个愚蠢但有趣的进度衡量标准,因为我们可以计算代码库中“启用 Go”标志的实例数量。

影响全局Master选择和Bigtable引流执行

作为这些早期库的早期采用者和专注于生产系统的工程师,我能够了解内部系统的工作原理。我帮助调试并解决了许多奇怪的问题。随着时间的推移,我获得了构建系统来自动化运维SRE工作的信心。注意到我们的服务中大多数面向用户的中断发生在存储层(Bigtable 或 Colossus),我产生了创建一个控制系统的想法,该系统可以监视Bigtable分区的运行状况,并在检测到问题时在GSLB中小心地清空它们。当时,当发生中断时,SRE会进行分页,在确认这是存储问题后,他们会简单地清空集群并返回睡眠状态。

我想用适当的控制系统取代这个手动whackamole。抽取流量可能会导致级联故障,因此这是一项危险的操作。当时,大多数SRE不想在自动化系统中冒这种风险。幸运的是,我有一个很好的团队。他们仔细审查了我的提案,提供了有关潜在故障模式的大量反馈,我们最终提出了一个我们有足够信心的设计。我们需要仔细聚合来自不同监控系统的信息(这可能会失败或提供不正确的数据),使用全局负载均衡器安全地离开集群,然后最终在Buganizer 中开具ticket,以便待命的SRE在工作期间进行处理。

系统需要多个副本始终处于运行状态以对中断做出反应,但一次只有一个副本保持活动状态至关重要。为了支持这一点,我为Go编写了一个全局“主选举(master election)”库,它将确保系统的单个副本一次处于活动状态。它使用全局Chubby锁服务来提供一个高级库来告诉应用程序开始运行或在无法证明我们持有“全局锁”时自行关闭。

为了支持这项工作,我还到处编写了一些小实用程序,并与Go团队合作修复错误。我报告了我发现的问题,他们修复了这些问题。

当时,Go团队的重点是外部用户。他们所有的注意力都集中在发布Go 1.0上。这是一个资源很少的小团队,但他们的“秘密武器”是他们是杰出的工程师,而且团队非常高效。不知何故,尽管针对内部用户的支持时间非常有限,但他们还是很好地完成了支持工作。内部邮件列表非常活跃,谷歌员工大多在业余项目中使用Go,但Go团队采用了非常强大的内部流程来使事情顺利运行。他们仔细审查了每个人的代码,并帮助建立了强大的内部代码质量文化。每当他们发布新的Go候选版本时,他们都会使用新版本重建所有内部项目并重新运行我们的测试以确保一切正常。他们总是以正确的方式做事。

生产中JID代理部署的最初洞察

几个月后,我在Google用Go编写了第一个面向用户的服务。我所说的面向用户的意思是,如果它停止工作,许多面向用户的产品将停止工作。这是一个简单的RPC服务,但所有Google消息服务都使用它。

该服务根据从另一个RPC服务获取的内部用户ID将数据与JID格式 相互转换。该服务很简单,但规模很大,当时每秒执行数十万个请求。它对于为Android、Hangouts和其他产品提供支持的Google消息服务核心至关重要。

这次迁移是Google Go的一个非常重要的测试平台。重要的是,它为我们提供了一个令人难以置信的基础来比较Go与其他生产语言(特别是 Java)的性能。该服务正在取代难以维护的基于Java的服务(不是因为Java,而是因为其他原因),因此我们使用实际生产流量同时运行这两个服务,并密切比较它们的性能。

我们从第一个大规模实验中吸取了重要的教训:Go使用比Java更多的CPU内核来服务相同的流量,但垃圾收集(GC) 暂停非常短。作为一个努力减少GC暂停以改善面向用户的服务的尾部延迟的SRE,这是非常有希望的。Go团队对这个结果很满意,但他们并不感到惊讶:Go只是在做它设计的事情!

事实上,几年后,当SRE领导层正式审查Go的生产就绪情况并要求Go团队确保Go具有良好的GC性能时,我认为这很大程度上只是形式上的。Go很早就证明了Go具有出色的GC性能,并且多年来它不断变得更好。

遇到内部库缺失的情况

在早期,在Flywheel之前,在dl.google.com 服务之前,在Vitess之前,Go被Google的大多数工程师忽视了。如果有人想向用户交付产品,他们首先必须编写基本构建块,让他们连接到谷歌的其他服务。对于大多数人来说,这是不可能的。

锁服务(chubby)和RPC系统(stubby)的底层库相对较快地出现(同样,Go团队非常优秀),Google最重要的库是与我们存储系统的接口:Bigtable、 Megastore、Spanner、Colossus。如果你想读取或写入数据,你基本上还不能使用Go。但是,慢慢地,Go团队(有时与核心基础设施团队合作)开始应对这一挑战。

他们最终一一为Bigtable、Colossus甚至Spanner 创建了库(不是Megastore,因为它很大程度上是一个被Spanner 取代的库)。这是一项重大成就。

Google的Go 使用量仍然有限,但我们的社区正在不断壮大。我在Google开设了第一门官方的Go编程简介课程,并帮助位于苏黎世的Google员工找到了可以使用Go进行工作的有趣项目。大约在这个时候我终于获得了Go的“可读性”(译者注:这似乎是Go团队对代码review者资格的一种认可),后来加入了Go可读性团队。

需要站点可靠性工程师来指导应用程序功能

Go中缺少的另一件事是与生产相关的功能,我们多年来了解到这些功能对于生产团队来说是必需的。也就是说,如果你想运行大型系统而不需要一直处于运维和救火模式。

每当发生中断并诊断根本原因时,随着时间的推移,我们会了解到系统中应该改进的弱点。目标是减少停机和运维开销。很多时候,为了使系统更加可靠,我们必须对应用程序运行时进行更改。我们很难理解我们需要观察和控制系统以使其真正可靠的细节深度。

例如,我们需要确保,除了记录传入请求之外,应用程序还应该记录有关该操作中涉及的传出请求的详细信息。这样,我们就可以确定地指出,比如说,我们的“CallBob”服务在上午 11:34 变慢是因为“FindAddress”调用的延迟增加。当我们操作大型系统时,我们不能满足于猜测工作和弱相关性。有太多的转移注意力和根本原因查找工作需要处理。我们需要对原因有更高的确定性:我们希望看到失败的特定请求确实经历了高延迟,并排除其他解释(即:未触发缓慢的 FindAddress 调用的传入请求不应失败)。

同样,多年来我们注意到SRE的大部分时间都花在团队之间的协调上,以确定一个服务每秒应发送到另一个服务的确切连接数和请求数,以及如何准确建立这些连接。例如,如果多个服务想要连接到后端,我们希望清楚哪些节点正在连接到哪些其他节点。这称为后端子集化(backend subsetting)。需要仔细调整,考虑整个系统的健康状况,而不仅仅是一个节点或一对节点的健康状况,而是整个网络的健康状况。太大的子集会导致资源占用过多,太小的子集会导致负载不平衡。因此,随着时间的推移,SRE团队开始帮助维护用于与其服务通信的客户端库,以便他们可以检测正在发生的情况,并保留对其他节点与其系统通信方式的一些控制。

揭开魔法:Go服务器工具包

SRE共同拥有客户端库的模型在实践中运行得非常好,随着时间的推移,我们了解到向这些库添加流量和负载管理是一个好主意。

  • 当你的系统开始过载时,你会如何处理传入的RPC?
  • 你应该将这些请求保留在队列中,还是立即拒绝它们?
  • 你应该使用哪些指标来确定你的系统是否过载?
  • 当系统的太多部分认为它们过载时,如何避免进入级联故障?

Alejo Forero Cuervo 在SRE书籍章节“处理过载”中写了一些经验教训,值得一读。我们一一向库中添加了谨慎的逻辑,以根据经验和内部传感器自动设置这些参数。

在《不断发展的SRE参与模型》中,我的前同事 Ashish Bhambhani和我的前老板Acacio Cruz解释说,我们最终发展了SRE参与模型,以包括服务器框架(server framework)的工作和采用。该模型使SRE能够直接影响系统在细微差别领域的行为,这得益于我们丰富的现场经验。

我和我的SRE团队希望将这些功能引入Go,但它们对于Go团队来说太过奇特和专业,无法处理。我设立了一个20%的项目(后来变成了一个全职项目),并招募了一群愿意做出贡献的经验丰富的工程师。我飞往纽约,会见了一位非常出色的Go团队成员,我们共同努力为Go中的“服务器框架”构建了路线图。

Go团队一开始不太愿意接受我们的方法。整个“框架”概念对他们来说有点危险。这可能会成为一场宗教战争,但Go团队花时间详细解释了他们担心的原因。Sameer尤其具有一种不可思议的能力,能够用技术术语反思和解释为什么他认为某件事以某种方式比另一种方式效果更好。

Sameer强烈认为,Go不应该有不一致的开发人员体验,无论是内部还是外部,无论是否有“框架”。如果Google有不同的方法来构建Go应用程序,那将对内部Go社区造成损害。与他的担忧一致,我们的20%人组成的乌合之众团队竭尽全力确保我们的“框架”感觉更像是另一个库,而不是一个框架,并且它不会为Go引入不同的编程模型。目标是通过简单的库导入来引入我们的可靠性功能。如果你使用我们的库包装你的Go HTTP或Stubby服务器,所有内容在代码中看起来都一样,但你神奇地获得了开箱即用的日志记录、检测、负载卸载、流量管理,甚至每请求级别的实验性支持。

为了创建这个让服务变得更好的神奇库,我们必须对Google的内部RPC库甚至构建系统进行重大更改 – 以使我们的框架团队能够为RPC系统创建任意“扩展”,从而无需任何操作即可无缝运行,并避免接收和发送请求时产生显着的性能开销。

结果是值得的。效果非常好。我们的项目使服务变得更容易管理,而无需强加与Go团队想要的不同的编程风格。为了避免混淆,我们将其称为服务器“工具包”,它成为在Google构建生产就绪系统的正确方法。人们经常在他们的LinkedIn个人资料中引用我们的内部服务器框架:)。它被称为Goa,不要与不相关的外部Goa 框架混淆。以下是某人LinkedIn个人资料中的示例:

凭借其生产就绪功能,我们的Go工具包消除了Go内部增长的主要障碍。工程师现在可以确信他们的Go项目的性能与旧的Java和C++项目一样好,并且可调试。也就是说,增长还没有完全发生。Go需要一个杀手级用例才能在Google流行起来。

Go在多个SRE团队中的采用

当时,我所在的SRE团队在Google具有特殊地位,即社交SRE团队。我们在SWE和SRE都有出色的工程师和出色的管理人员。所以我们能够以正确的方式做事。一些SRE团队正在追尾救火,但我们有幸能够正确地进行工程设计。这创造了一个良性循环,我们在问题变得严重之前不断解决问题,这意味着我们有时间进一步优化运维,等等。

结果,我们的SRE团队编写了很多有用的代码。像我的高级工程师同事一样,我帮助人们找到要做的事情,因此我帮助启动了许多早期的Go中与生产相关的工具。如果其中一个工具发现有问题,它会自动、安全地从整个Bigtable集群中删除流量。

还有其他与流量和负载管理相关的Java和C++项目,由其他高级工程师领导。这种创新环境吸引了人才,我们不断取得良好的成果,因此我们的SRE团队不断壮大。

我们的工程总监Acacio Cruz(负责我们团队以及山景城的同事所发生的许多积极的事情)非常关注工程效率:我们是否将工程时间用于最有影响力的事情?他明白标准化可以提高效率,而且他看到我们的工程师很高兴并且富有成效。他的想法是推动Go成为我们团队中任何自动化的首选工具。该建议是避免使用Python并使用Go来编写生产工具。令我惊讶的是,我的队友没有人反对。这加速了Go在我们的社交SRE团队中的使用,很快我们区域之外的人们就注意到了。

核心库、服务器框架、成功的生产工具和围绕Go的社交SRE标准化——它们都促成了人们对Go正在成为Google的一种严肃语言的看法的改变。

与此同时,SRE已经看到了几代用Python编写的工具,这些工具运行得非常好,但随着时间的推移变得非常难以维护。Google SRE喜欢Python,我们编写了大量的Python代码。不幸的是,当时缺乏类型和编译时语法错误检查导致了许多难以修复的问题:

  • 当你从事其他人启动的项目时,该项目可能有也可能没有良好的测试覆盖率。为不是你编写的代码添加测试是很困难的。你并不真正知道正在使用什么以及如何使用。所以你最终会测试太多的东西或测试太少的东西。在生产关键型工具中,我们在进行更改时不能冒险。

  • 当时,人们通常一会儿编写代码,一会儿运行测试。如果你在运行测试时才意识到有语法错误,也许你已经将上下文切换到执行其他操作,所以现在你必须返回并修复它。这会浪费时间并增加不确定性。

随着越来越多的SRE开始用Go编写自动化,很明显这些团队很高兴并且富有成效,并且不太可能陷入难以维护的代码中。人们开始意识到,Go项目更容易发展和维护,而这不仅仅是这些项目更新、更干净或设计得更好的结果。

SRE领导层注意到了这种影响,并决定采取行动并在组织内进行广泛的沟通:SRE团队最好使用Go进行与生产相关的项目,并避免使用Python。我不知道这在谷歌现在是否被视为独裁,但当时我认为这感觉像是整个组织范围内良好的沟通和决策。

Go生产平台和爆炸式增长

此后事情进展得很快。我们创建了一个从早期就对Go提供强大支持的生产平台,并用高级抽象取代了许多样板配置和重复过程。该平台出现了强劲增长,最终其他平台也出现了。Go和我们的服务器框架变得无处不在。我最终离开了谷歌,但我仍然快乐地记得那些日子。

虽然我只是该语言的用户,但观看一个项目从零到成为前10名的编程语言的经历教会了我很多东西。我亲眼看到,一个强大的团队,周围有一个强大的社区,真的可以做出大事。

观察Go的崛起

我在Google从事Go编程工作改变了游戏规则,让我对项目的技术方面以及世界著名团队的运作方式有了深入的了解。随着项目的进行,我可以清楚地看到Go如何使项目和团队扩展变得更容易。

Go对简约设计的强调促进了统一编码,使新程序员可以轻松地集成到项目中,这一功能在时间紧迫的项目中特别有用。随着项目的发展,新的库和工具包也出现了,提高了它的受欢迎程度,并促进了包括Apple、Facebook和Docker在内的几家大型科技公司的采用。

尽管Rust具有更为广泛和丰富的功能特性,但Go在各个行业的广泛接受表明,强大的软件不一定需要复杂。

回顾过去,很明显,虽然我们的旅程充满了挑战,但每一次的曲折、每一次的调整和进步,都是塑造今天Go的关键。随着社区不断向前发展,我很高兴看到我们下一步的发展方向。

Go gopher由Renee French设计,并根据 Creative Commons 3.0 属性许可证获得许可。


Gopher部落知识星球在2024年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。同时,我们也会加强代码质量和最佳实践的分享,包括如何编写简洁、可读、可测试的Go代码。此外,我们还会加强星友之间的交流和互动。欢迎大家踊跃提问,分享心得,讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落,享受coding的快乐! 欢迎大家踊跃加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • Gopher Daily归档 – https://github.com/bigwhite/gopherdaily

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

Gopher的Rust第一课:Rust的那些事儿

本文永久链接 – https://tonybai.com/2024/04/22/gopher-rust-first-lesson-all-about-rust

要说这两年后端编程语言谁最火,Rust说自己第二,没人敢说第一。Rust连续8年霸榜stackoverflow最受推崇的编程语言,甚至被推特之父Jack Dorsey称为“完美的编程语言”:

注:最火:仅代表人气最旺,最受欢迎,但并不代表使用者最多。

如果你经常读我的博客,你可能会问:“你不是Go语言布道师吗?怎么也要转Rust了?”其实不然,学习Rust不是要蹭热度,而是实际开发的需要。这些年在汽车行业这个赛道上,云端和车端都要兼顾。目前车端基础软件的开发语言主要是C/C++,但内存安全、性能不输C且高可靠的Rust日益受到车载软件开发的青睐,AUTOSAR组织在2022年成立了Rust工作组就是一个重要的信号。并且据我所知,一些国内造车新势力已经或正在将一些Rust开发的中间件或应用放到了量产车或即将量产的车上。

注:AUTOSAR (Automotive Open System Architecture) 是一个面向汽车电子系统的开放式软件架构标准,由汽车制造商、零部件供应商和电子供应商共同发起并持续维护的一个全球性标准化组织。

不过,Rust语言在某些领域的崛起确实引发了其他编程语言社区的一些不满和争议。特别是Rust社区的一些人提出“Rewrite Everything in Rust”的观点,让很多编程语言社区,尤其是C++社区十分不安。Go社区则相对更加开放和友好的,主流观点是Go与Rust是可以互补的,两种语言在各自的优势领域发挥作用,通过合作而非对抗的方式,能为开发者提供更好的选择。更多细节,可以参考几年前我曾翻译过的前Go团队产品经理、gohugo的作者Steve Francia联合创作的一篇文章《Rust vs. Go:为什么强强联合会更好》。

也就是说Go依然是我的主力语言,但考虑工作上的需要,我要系统学学Rust了。为了避免“从入门到放弃”,我打算采用边学习边输出的方式,一方面可以督促自己学习,另一方面也希望能和读者及时互动,纠正学习中的错误理解。

我的Go语言第一课专栏广受欢迎,其知识结构想必也是大家认可的,这里我就仿照其形式,写一下学习Rust的第一课这个入门系列。

正如我在Go语言第一课专栏所说的那样:我一直认为,当你开始接触一门新语言的时候,你一定要去了解它的历史和现状。因为这样,你才能建立起对这门语言的整体认知,了解它未来的走向。而且,也能建立起学习的“安全感”,即相信它能够给你带来足够的价值和收益,更加坚定地学习下去。

在这篇文章中,我就先来了解一下Rust的诞生历史和现状发展,以及它独特的设计哲学。并与Go语言做个简单对比,希望能够让自己和读者对Rust有一个初步的认识。

1.1 Rust的历史与现状

1.1.1 Rust的诞生与演进

Rust诞生于2006年,这比Google三巨头“密谋”创建Go语言还要早上一年。不过和Go的三位创始人:图灵奖获得者、C语法联合发明人、Unix之父肯·汤普森(Ken Thompson),Plan 9操作系统领导者、UTF-8编码的最初设计者罗伯·派克(Rob Pike),以及Java的HotSpot虚拟机和Chrome浏览器的JavaScript V8引擎的设计者之一罗伯特·格瑞史莫(Robert Griesemer)相比,Rust之父格雷登·霍尔(Graydon Hoare)的身份和江湖地位却没有那么“显赫”。彼时的他只是Mozilla Research的一位加拿大籍的、不到30岁的开发人员:

注:Graydon Hoare这个人非常低调,极少在公开场合露面,因此在网络上很难找到他的肖像,上面图中的肖像来自https://www.crunchbase.com/person/graydon-hoare,我这里甚至不能保证这个肖像就是Hoare本人的。

新生代编程语言的诞生都伴随着一段轶事,比如Go语言的创始人们在Google内部经常遇到C++项目漫长的编译时间问题,每当他们启动一个C++项目的编译,都要等很长时间,期间都能喝上几杯咖啡。这让他们深有感触并意识到需要设计一门编译速度更快的新语言,于是Go语言就这样诞生了。和Go语言“喝咖啡,等C++项目编译”类似,Rust的诞生也有一段轶事:

2006年,29岁的Hoare有一天回到温哥华的家中,但他发现电梯坏了,电梯软件崩溃了!他不得不爬楼梯回到位于21层的家中。当他爬上楼梯时,他感到很恼火。他想:“我们做计算机编程的人居然无法制造出一部可以正常工作而不崩溃的电梯!” Hoare知道,许多此类崩溃都是由于程序使用内存的问题造成的。电梯等设备内部的软件通常是用C++或C语言编写的,这些语言以允许程序员编写运行速度非常快且相当紧凑的代码而闻名。问题是这些语言也很容易意外引入内存错误,这些错误会导致崩溃。Hoare决定对此做点什么。于是他打开笔记本电脑,开始设计一种新的计算机语言,他希望这种语言能够编写小而快速的代码,而不会出现内存错误,他将其命名为Rust

这段轶事显然不可考证了。但可以确定的是从2006年开始的若干年里,Hoare创建的个人语言项目Rust并没有真正的用于改善电梯系统的程序,而是在得到了Mozilla的赞助下,用在了持续开发Mozilla的浏览器引擎Servo上了,Mozilla在2010年官宣了该项目,Hoare在2010年的一次演讲中也第一次介绍了Rust语言:

Rust开源的第一行代码也是在2010年完成的:

此外,最初的Rust编译器是由OCaml实现的,2011年Rust团队使用Rust基于LLVM重新实现了编译器并实现了自举。同年,Rust也有了自己的LOGO,其设计灵感来自于自行车齿盘

2012年,Graydon Hoare接受InfoQ专访,谈及他带领Rust team在Mozilla开发的系统编程语言Rust,包括Rust的特性、Rust相对于C/C++/Java/Go的优势与不同以及Rust的1.0版本发布计划。

但是,就在下一年,即2013年,Graydon Hoare就因为精力耗尽而辞去了Rust team的领导职务,离开了自己的Rust team,并从此远离了Rust开发。Hoare的离开对Rust team和语言本身来说是一次重大的损失,但Rust社区和团队采取了积极的措施来确保Rust的持续发展和演进。

2014年11月,Rust官宣了cargo和crates.io,前者是Rust项目构建管理器,后者则是Rust官方维护的Rust代码的中央包存储库,通过cargo可以轻松构建和发布包到crates.io,或从crates.io上拉取Rust代码的依赖。

2015年5月15日,Rust迎来了一个里程碑的时刻:Rust 1.0正式发布! ,这要比Go发布1.0版本迟了3年。但正如官博所说:“1.0版本的发布标志着混乱的结束。此版本是我们对稳定性承诺的正式开始,因此它为构建应用程序和库提供了坚实的基础。从现在开始,重大更改基本上超出了范围(一些小的警告适用,例如编译器错误)”。

Rust 1.0发布后,Rust的版本发布周期与节奏也得以确定下来,即每6周发布一个稳定版本,按照这个节奏,与Rust 1.0同时发布的还有Rust 1.1 Beta版本。经过六周的测试后,Rust 1.1 Beta转为Rust 1.1稳定版本,同时发布Rust 1.2 Beta版本,依次类推。当然,Rust还有一个nightly build版本,这个版本包含了最新但不稳定的特性。和Go社区和开发人员每年只能high两次相比,Rust开发者和社区更加幸运,每六周就能high一次!

Rust的演进是基于RFC(Request For Comments)驱动的,并且这一措施是早于Rust 1.0发布前就基于RFC确定下来的。这与Go的Proposal process类似,但感觉比Go的流程更规范和严谨,当然这与两种语言的治理结构的组成和规则有关。

然而,Rust 1.0的发布只是Rust语言发展的一个新起点,这件事并没有像Go语言在2009年宣布开源那样获得足够的曝光度并赢得TIOBE年度最佳编程语言的称号。

Rust之后的发展依旧是一波三折,这主要也是缘于Rust当时没有一个“好爹”:


TIOBE Rust曲线(2012~2024.3)

2020年,Rust语言迎来了自己诞生以来的至暗时刻。因新冠疫情全球流行导致的业绩下滑,2020年8月,Mozilla解雇了全球1000名员工中的250名,这其中就包含Servo引擎背后的团队。该事件引起了人们对Rust未来的担忧,因为团队的一些成员是Rust的主要贡献者。

但塞翁失马焉知非福,2021年2月8日,由五家创始公司(AWS、华为、谷歌、微软和Mozilla)共同赞助的独立非营利组织Rust基金会宣布成立!Rust团队终于有了新家,并且这次除了亲爹Mozilla外,还有四个财大气粗、执IT牛耳的干爹,Rust语言的未来一下变得光明了。

实际上Rust的发展也是如此,从2021年基金会成立至今(2024.4),Rust取得了长足的发展:语言特性不断增强,编译器性能持续优化,生态系统日渐壮大和完善,增加和完善了对WebAssembly、嵌入式、大数据、区块链、人工智能等领域的支持。下面我们就来说说Rust语言的现状。

1.1.2 Rust的现状发展

1.1.2.1 语言排名

虽然Rust热度很高,但在语言排名方面与几乎同期的Go还有一定差距,在2024.3月的TIOBE排名中,Go稳居第8位,而Rust虽然刷新了自己的历史最高排名,但也仅仅排在第17位:


TIOBE Rust 2024.3排名

Redmonk 2024.1月排名中,Rust位列19位,Go位列12位:


Redmonk Rust 2024.1排名

不过,Rust的热度和社区活跃度甚至要高于Go,究其根源,我认为还是与两个开源语言的治理结构有关,下面是Go和Rust在Reddit论坛上的拥趸数量与在线人数对比(2024.4.6 21:39北京时间):

如果能持续保持住这样的热度和发展势头,Rust可能在未来几年迅速接近Go的位置,甚至超越也是有很大可能的。

和Go开发人员自称Gopher类似,Rust开发人员自称Rustacean,这是一个结合了“Rust”和“Crustacean”(甲壳类)两个词语的组合词。此外,Rust社区还设计了Rust的非官方吉祥物(mascot):Ferris,一只可爱的红色螃蟹,它是由设计师Karen Rustad Tölva在2010年创作的。Ferris象征着Rust语言的安全性、并发性和生产力,同时也代表着Rust社区的活跃和友好。

crates.io上还有一个名为ferris-says的crate,可以用来打印Ferris吉祥物相关的文字,可以输出像下面这样的ASCII字符拼接出的Ferris形象:

1.1.2.2 语言采纳

从上面TIOBE的Rust排名曲线来看,Rust在2018 edition和2021 edition前后到达过两个“尖峰”。各大公司以及初创也基本都是在2018 edition之后开始逐渐采纳Rust的。

注:关于Rust edition,感兴趣的读者可以先参考Rust官方文档,在后续学习cargo和Rust项目编译构建的时候,我们还会深入学习和理解edition。

接下来,我们列举一下Rust基金会创始公司以及其他一些知名IT公司和组织对Rust的采纳情况。

  • AWS

除了成为Rust基金会创始成员,让大家真正知道了AWS对Rust投入的决心外,真正让大家看到AWS内部大量使用Rust的文章是2022年2月AWS在官博发表的一篇名为Sustainability with Rust的文章,这篇文章介绍了Rust在AWS内部基础设施构建上发挥的关键作用,包括用Rust进行Firecracker、AWS Lambda、Amazon S3、 Bottlerocket等开发。这篇文章还引用了一篇2017年发表的论文Energy Efficiency across Programming Languages中的结论,认为Rust在能耗方面的优势是其他语言如Go、Java不能匹敌的,这一定程度上引发了争议,记得Russ Cox在Twitter上海批驳了这篇文章中引用的数据不准确。

  • 华为

作为国内以一己之力力抗美帝的通信、IT、手机、汽车等多赛道公司,同样也是拥有处理器、OS、编译器等全技术栈的研发型公司,华为对Rust这一的系统级编程语言尤为青睐。但从公开资料上能看到的东西不多,从华为可信编程实验室的主页上,我们看到了Rust在华为应用的一些情况。

华为的目标是在全球最大的电信行业设计值得信赖的软件系统。华为正在努力将部分代码库迁移到Rust,它比C/C++更安全且性能更高。为了帮助开发人员完成这个过程,华为利用开源C2Rust翻译器直接从C生成Rust代码。

huawei还在内部用Rust开发了一组丰富的内部库,这些库围绕基于actor的并发范式而构建,这样利用Rust语言功能(例如async、await等)简化了异步编程。

  • Google

Google已将Rust应用到Chromium、Android和FuchsiaOS中,其中Chromium对Rust的支持处于实验阶段。开发者可以使用Rust来开发适用于Android和FuchsiaOS的组件,并且Rust在Android和FuchsiaOS的内部代码中使用的比例相当大,特别是FuchsiaOS,Rust代码已经超过50%。由于内部Cpp代码量较大,2022年10月,谷歌推出了基于开源RISC-V芯片的新型安全操作系统KataOS。Sparrow是KataOS的参考实现,运行在seL4上,几乎完全用Rust编写。该操作系统不是为台式电脑或智能手机设计的,而是为物联网设计的,可用于智能家居设备。目标是为嵌入式硬件或边缘设备构建可验证的安全操作系统,例如捕获图像的网络连接摄像头,这些图像在设备上或云中处理以进行机器学习。在2022年发布的Android 13版本中,谷歌还宣布Android版本13中大约21%的新原生代码(C/C++/Rust)是Rust。AOSP拥有约150万行Rust代码,涵盖了新功能和组件。此外,Android的Rust代码中已发现零内存安全漏洞。为了实现提高Android内部安全性、稳定性和质量的目标,Android团队还表示,Rust应该用在代码库中需要原生代码的任何地方。

  • 微软

Microsoft拥有世界上最大的用C/C++编写的代码集合之一,其所有核心产品(例如Windows、Office和Azure云)均使用该代码。2019年,微软开始探索内存安全的编程语言,并试用了Rust。随后,Rust for Windows Library在GitHub上开源,使Rust开发人员能够顺利使用Windows API。

2022年,微软Azure CTO Mark Russinovich表示,新项目不应再使用C和C++。他建议,Rust应该用于需要非GC语言的项目,以提高安全性和可靠性。

2023年7月,微软宣布在Windows 11 Insider Preview Build 25905版本中发布了Rust参与编写的Windows内核模块。其中包含了一个 GDI 引擎的实现。

  • Meta(前身为Facebook)

虽然不是创始成员,但财大气粗的Meta目前已经是唯一非创始成员的铂金赞助商了。Meta历史上以C++为主,但从2021年开始,Rust便开始大量使用Rust了,并成为Meta支持的服务器端语言列表中的最新成员。

Meta在2021和2022年先后发表过A brief history of Rust at FacebookProgramming languages endorsed for server-side use at Meta详细说明了Rust在Meta内部的应用,感兴趣的读者可以去看看。

  • Linux基金会

炒得沸沸扬扬的在Linux Kernel中支持Rust语言终于尘埃落定,Linux Kernel 6.1版本对Rust提供了支持。Rust同时进入Windows、Linux内核,这让Rust的江湖地位得到进一步提升。相信未来,Rust在两大操作系统内核中的代码比例会逐步提升的。

  • 其他一些公司对Rust的应用

2024年初,cloudflare公司开源了其内部替代nginx的Rust库pingora,作为业界一家提供互联网基础设施和网络服务的公司,其采用Rust的示范效应也是非常明显的。

influxdb的母公司influxdata在2023年发布了influxdb 3.0版本,该版本采用Rust全面重写。不光是influxdb,诸多新兴时序数据库都采用了Rust技术栈(+Arrow+Parquet+DataFusion),比如greptimedb、cnosdb、CeresDB等。

字节跳动内部服务大量使用Go,但这几年也有一些Rust爱好者在字节内部布道Rust,并开源了诸如Rust RPC框架volo、基于io-uring的Rust async runtime monoio等。

埃隆马斯克的xAI在2024年发布的grok-1大模型中,Rust开发的Qdrant向量数据库也发挥了重要作用,也是Rust在AI领域应用迈出的重要一步。

1.1.2.3 应用领域

在Rust官网,我们能看到官方列出的Rust应用的四大领域:

在这四个领域中,Rust都有非常活跃的发展和应用,每个领域都有大量的优秀开源项目,这里无法穷尽,大家可以参考与awesome-go类似的awesome-rust项目查看自己关于领域的开源项目。

1.1.2.4 工作机会与薪酬

devjobsscanner统计的2023年的各个编程语言的工作需求来看,Rust目前依旧比较小众!

stackoverflow 2023薪酬统计来看,Rust薪资位于中游:

另外4 day week的工作数量和薪酬分析也印证了上面两点:Rust小众(工作数量相对较少),薪酬位于中游:

国内Rust的工作数量与国际相同,都处于较少的位置,但国内Rust薪酬数据可能并不低,因为这些Rust岗位基本都在一线大厂,或是拿了较多融资的初创,待遇可能都比较不错。

了解了Rust的诞生和演化历史以及Rust的不错的现状后,我们再来看看Rust的设计哲学。

1.2 Rust的设计哲学

设计哲学之于编程语言,就好比一个人的价值观之于这个人的行为。因为如果你不认同一个人的价值观,那你其实很难与之持续交往下去,即所谓道不同不相为谋。类似的,如果你不认同一门编程语言的设计哲学,那么大概率你在后续的语言学习中,就会遇到上面提到的这些问题,而且可能会让你失去继续学习的精神动力。因此,在真正开始学习Rust语法和编码之前,我们还需要先来了解一下Rust的设计哲学,等了解完这些之后,你就能更深刻地认识到自己学习Rust的原因了。

1.2.1 Rust核心价值观

2019年6月,Rust核心组成员Stephen Klabnik在QCon London发表了一次名为How Rust Views Tradeoffs的演讲,在这次演讲中,他阐述了他个人理解的Rust的核心价值观,这些价值观是Rust team在做设计取舍时拒绝妥协的点,它们包括内存安全、执行速度和生产力:

按照Stephen Klabnik的说法,这三个核心价值观也是有序的,首先是内存安全,这是Rust最为在乎的立身之本,其次是高性能,最后是生产力。当它们之间出现冲突时,按最高价值观决策!

这其实与Rust官方对Rust的介绍也是一样的:

官方的Reliable对应的就是内存安全(memory safety),而efficient则有两层含义,一是运行时的高效,另外一个方面则是构建时的生产力也要保持高水准。

这三个价值观是Rust语言的设计目标,也是Rust语言的特色和优势所在。在失去了Graydon Hoare这个语言之父后,这些价值观也成为了Rust核心团队在判定语言演进方向的根本依据。

  1. 内存安全

内存安全是Rust最重要的价值观,它意味着Rust程序在运行时不会出现内存泄漏(不使用unsafe代码的前提下)、缓冲区溢出、野指针等内存相关的错误。这些错误不仅会导致程序崩溃,还可能导致安全漏洞的产生。Rust通过所有权(ownership)、生命周期(lifetime)和借用(borrowing)等特性,在编译时最大程度地检查出这些错误,从而保证程序的内存安全。

Rust的内存安全机制不仅能够提高程序的稳定性和可靠性,还能够降低开发和维护的难度。由于Rust能够在编译时就检查出内存错误,开发者就不必再花费大量时间和精力去寻找和修复这些错误了。

  1. 高性能

高性能是Rust的仅次于内存安全的一个核心价值观,Rust语言的设计目标之一就是要成为一种高性能的系统编程语言。Rust通过零成本抽象、移动语义、泛型编程等特性,使得程序能够在运行时达到与C、C++等传统系统编程语言相当的性能。

Rust的高性能机制不仅能够提高程序的运行速度,还能够降低硬件成本。由于Rust能够更好地利用硬件资源,因此在相同的硬件条件和资源开销下,Rust程序的性能通常比其他语言的程序更高。

  1. 生产力

生产力是Rust的第三个核心价值观,Rust语言的设计目标之一就是要成为一种能够提高开发者生产力的语言。Rust通过包管理器Cargo、智能编辑器支持、丰富的库生态、详实系统的文档等特性,使得开发者能够更轻松地编写、调试和维护Rust程序。

1.2.2 Rust的次要价值观

Stephen Klabnik还总结了三条Rust的次要价值观(secondary values):

我们看到:Rust的次要价值观包括ergonomics、compile times和correctness,这三个价值观也是Rust语言的设计目标之一,但和上面的第一级核心价值观相比,它们是可以被妥协掉的。

Ergonomics是指Rust语言的易用性,它是Rust语言的一个重要设计目标。Rust希望通过简单易用的语法和丰富的库生态,使得开发者能够更轻松地编写Rust程序。

Compile Times是指Rust编译器的编译时间。Rust编译器很慢,这是一个问题,Rust team也正在努力优化,但Rust team更关心二进制文件的最终执行速度,而不是让编译器变得更快,这就是Compile Time作为次要价值观的原因。

Correctness是指Rust语言的正确性,Rust真的很在乎你的程序是否正确,Rust希望通过强大的类型系统和静态检查,来尽可能地保证Rust程序的正确性。但Rust不愿意使用完全依赖类型以及证明助手来证明你的代码是正确的。

1.2.3 与Go的价值观的对比

我们来对比一下Go官方的对Go的介绍,看一下其隐含的Go价值观(设计哲学):

在官方对Go的介绍中有三个关键词:Simple、Secure和Scalable。

Simple是Go语言的首要设计原则,Go语言的设计者希望Go语言能够简单易用,使得开发者能够更快地学习和使用Go语言,以快速形成生产能力。Go语言的语法简单易懂,并且去掉了许多其他编程语言中复杂的特性,如类型层次与继承等,使得Go语言更加简洁易学、易读、易用和易维护。

至于Secure,Go语言的设计者希望Go语言能够更加安全可靠,避免许多其他编程语言中常见的安全漏洞。Go语言通过垃圾回收机制来自动管理内存,避免了许多其他编程语言中常见的内存泄漏和缓冲区溢出等问题。同时,Go语言提供了轻量级的goroutine和通道机制,使得开发者能够更加方便地实现并发编程,并且通过数据竞争检测工具,避免了并发编程中常见的数据竞争问题。同时Go语言提供了简单易用的显式错误处理机制,让开发者不遗漏任一处错误处理。

Scalable则体现在Go面向工程、原生内置并发以及崇尚组合的设计哲学上了。 Go语言的设计者希望Go语言能够更好地支持可扩展性,使得Go程序能够更好地适应不同的组织规模、不同的工作负载和硬件环境。Go语言通过简单的语法、基于module的可重现的构建管理、极高的编译速度、高质量的标准库、实用的工具链、强大的内置并发机制以及面向接口编程等特性,使得Go程序更加可扩展,生产力更为高效。

总的来说,Rust更注重安全、底层控制和极致性能,而Go则更加关注简单、安全、扩展性与工程效率。两者在定位和设计哲学上存在区别,但也有一些共同特点,比如都拥有现代的工具链、活跃的社区等。

1.3 本章小结

在这篇博文中,我们了解了Rust语言的诞生历程、现状发展,以及它独特的设计哲学。通过与Go语言进行对比,我们可以看出两者在出身、目标和设计理念上的一些差异。

随着软件系统的复杂度不断提高,对安全性、性能和并发的需求也越来越高。作为一门专注于底层系统编程、性能极致化的新语言,Rust正在吸引越来越多开发者的关注。相信通过后面对Rust的全方面的系统学习,我和大家都能够更深入地理解和掌握Rust。

如果你认为Rust的价值观与你的十分匹配,你也认同Rust未来的发展。那就期待下一篇吧,在下一篇中,我们将开始动手学习Rust了!

1.4 参考资料


Gopher部落知识星球在2024年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。同时,我们也会加强代码质量和最佳实践的分享,包括如何编写简洁、可读、可测试的Go代码。此外,我们还会加强星友之间的交流和互动。欢迎大家踊跃提问,分享心得,讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落,享受coding的快乐! 欢迎大家踊跃加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格5$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • Gopher Daily归档 – https://github.com/bigwhite/gopherdaily

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言精进之路1 Go语言精进之路2 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats