本文永久链接 – https://tonybai.com/2025/07/01/predicting-the-future-of-distributed-systems

大家好，我是Tony Bai。

身处技术浪潮之中，我们每个人或许都曾有过这样的焦虑：新的数据库、新的编程模型、新的 AI 框架层出不穷，我该如何选择？选错了，会不会让团队陷入泥潭，给自己留下难以偿还的技术债？

最近，特斯拉首席工程师 Colin Breck 在 Craft 2025 大会上做了一场题为《预测分布式系统的未来》的精彩分享。他并没有给出非黑即白的答案，而是提供了一个极其强大的思维武器，来帮助我们拨开迷雾，做出更有效的工程决策。这个武器，就是源自亚马逊创始人 Jeff Bezos 的——“单向门 vs. 双向门”决策框架。

今天，我们就以这个框架为钥匙，跟随 Colin 的思路，去打开分布式系统的未来之门。

决策的“导航仪”：单向门 vs. 双向门

在深入技术细节之前，我们必须先理解这个核心框架。它将决策分为两类：

1. 单向门 (One-Way Door)： 这类决策后果严重，且难以逆转，甚至根本无法回头。一旦你迈进了这扇门，想再出来就要付出巨大的代价。对于“单向门”决策，Bezos 的建议是：必须极其谨慎，放慢速度，召集最相关的人，尽可能多地收集信息再做决定。

2. 双向门 (Two-Way Door)： 这类决策的影响不大，即使做错了，也可以轻松地“退出来”，再选择另一扇门。它的试错成本很低。对于“双向门”决策，应该快速、轻量地由个人或小团队做出，以保持高效率。

这个框架最大的价值在于，它提醒我们警惕一个致命的错误：把一个“单向门”决策，当作“双向门”来草率处理。 这种失误，可能会让你的组织背上沉重的技术包袱，长达数年。

现在，让我们带着这个“导航仪”，去审视 Colin 预测的分布式系统三大趋势。

趋势一：对象存储 —— 充满“双向门”的乐园

Colin 的第一个预测是，对象存储（以 S3 为代表）正在从过去的分析型负载，越来越多地走向事务型和操作型负载，成为下一代数据库和系统的基石。

为什么这个趋势如此确定？因为它为我们创造了大量的“双向门”。

过去，我们选择一个数据库（比如 MySQL），我们的数据、查询方式、扩展模式都被这个“整体”方案深度绑定。想从 MySQL 迁移到 PostgreSQL？这是一项艰巨的任务，更像一扇“单向门”。

而基于对象存储的新架构正在“解体”(Disaggregation) 传统数据库，将其拆分为多个可自由组合的组件：

• 统一的存储层： S3 API 已成为事实标准。你可以用 AWS S3，也可以用 Google Cloud Storage，或者在本地部署 MinIO。更换存储后端的门是“双向”的。
• 开放的数据格式： Parquet、ORC等开放格式让你的数据不再被数据库私有格式锁定。今天你可以用 Spark 分析它，明天可以用 DuckDB 查询它，后天可以加载到 Snowflake。更换计算引擎的门是“双向”的。
• 可插拔的计算/查询引擎： DuckDB、DataFusion 这类库的崛起，让我们能像使用 SQLite 一样，直接对 S3 上的 Parquet 文件执行高性能 SQL 查询。这个查询引擎不满意？换一个！这扇门也是“双向”的。

这种架构的核心是互操作性与可移植性。它通过标准化和解耦，极大地降低了我们的决策风险和迁移成本。 正因为到处都是“双向门”，开发者可以放心大胆地拥抱这个趋势。

趋势二：新编程模型 —— 遍布“单向门”的迷宫

与对象存储的清晰图景相反，Colin 认为下一代编程模型的未来则要模糊得多，充满了艰难的“单向门”决策。

我们当前的开发模式（容器 + 应用代码 + 一堆库）存在很多问题：每个应用都在重复解决持久化、重试、状态管理等难题；安全补丁也难以管理。

为了解决这些问题，涌现出了一批新的编程模型，例如：

• 持久化工作流平台： 如 Temporal
• 分布式应用运行时： 如 Akka Platform、WasmCloud
• 独特的运行时环境： 如 Gollum、Unison

它们的目标很宏大：让开发者只关心业务逻辑，把持久化执行、状态管理、部分失败处理等分布式难题下沉到基础设施。

但选择其中任何一个，都几乎是一个不可逆的“单向门”决策。为什么？

1. 巨大的投资： 这不仅是金钱投入，更是整个团队的学习成本和思维模式的转变。
2. 深度锁定： 你的核心业务逻辑将与平台的 API 和抽象深度绑定，想迁移出去？难于登天。
3. 生态系统风险： 这个平台或框架五年后还活着吗？如果它死掉了，你的系统怎么办？

正因为这些决策都是沉重的“单向门”，大多数团队宁愿继续使用 Kubernetes + 应用容器这种“我们已经知道”的模式，也不愿轻易踏入这个迷宫。

趋势三：AI 工程化 —— 可能是打开“单向门”的催化剂

那么，僵局如何打破？Colin 认为，催化剂可能就是 AI。

他一针见血地指出：“所谓的 AI 工程化（Operationalizing AI），其本质就是系统工程。”

那些时髦的术语背后，无论是 AI 工作流（AI Workflows）还是智能体（Agentic AI），其核心都是在解决经典的分布式系统难题：如何管理长周期任务、如何保证持久化执行、如何处理状态、如何容错……正如那句经典吐槽：“到35岁，你应该已经重复造过工作流引擎、任务队列和对象关系映射的轮子了。”

AI 的浪潮带来了巨大的需求压力和创新动力，使得人们愿意去冒更大的风险，去尝试那些能解决这些复杂问题的“单向门”方案。一个创业公司为了快速实现一个复杂的 AI Agent，可能会选择直接拥抱 Temporal，因为从头造轮子的成本更高。

但这同样是一个陷阱。Colin 警告说，要警惕那些看似“先跑起来再说”的“双向门”决策，比如随便搭一个临时的任务队列来驱动 AI 应用。这种决策很可能在未来演变成一笔巨大的、难以偿还的技术债，最终变成一个你当初没意识到的“单向门”。

给 Gopher 的启示：用“门”的思维审视我们的技术栈

这个决策框架对我们 Gopher 来说，同样具有极强的指导意义。我们可以用它来审视日常的技术选型：

• 选择 Web 框架（Gin vs. 标准库）： 这更像一个“双向门”。Gin 遵循了标准库的 http.Handler接口，即使以后想换，迁移成本也是可控的。
• 引入一个新的数据库（PostgreSQL vs. TiDB）： 这更偏向“单向门”。它涉及到数据模型、ORM、运维、团队知识储备等方方面面，一旦深入使用，更换成本极高。
• 采用一个微服务框架（Go-kit vs. Kratos）： 这也接近“单向门”。它会深度影响你的项目结构、RPC 方式、服务治理逻辑，更换起来伤筋动骨。

反观 Go 语言自身的设计哲学——简洁、小接口、组合优于继承——是不是正是在鼓励我们创造更多的“双向门”？Go 避免了庞大而笨重的“全家桶”式框架，而是提供小而美的标准库和可组合的组件，让我们能以更低的锁定风险构建系统。这本身就是一种降低决策成本的智慧。

小结：决策的智慧，在于选择正确的“门”

Colin Breck 的分享，并没有给我们一张未来的藏宝图，而是给了我们一个更宝贵的东西：一个决策的指南针。

技术世界里没有绝对的“好”与“坏”，只有在特定场景下的“合适”与“不合适”。“单向门 vs. 双向门”框架的价值，不在于帮你找到唯一的正确答案，而在于帮你为不同类型的决策，建立起正确的决策流程。

对于那些充满不确定性、一旦走错就万劫不复的“单向门”，请务必保持敬畏，放慢脚步。而对于那些无伤大雅的“双向门”，不妨大胆尝试，快速迭代。

正如 Colin 在结尾引用的那句话：“让我们的抽象保持流动性。” 这或许不仅是对技术架构的建议，更是对我们决策方式的邀请——去寻找和创造尽可能多的“双向门”，以降低风险、拥抱变化，并保护我们最宝贵的投资：时间和精力。

你最近面临过哪些“单向门”或“双向门”决策？你是如何思考的？欢迎在评论区分享你的故事。

你的Go技能，是否也卡在了“熟练”到“精通”的瓶颈期？

• 想写出更地道、更健壮的Go代码，却总在细节上踩坑？
• 渴望提升软件设计能力，驾驭复杂Go项目却缺乏章法？
• 想打造生产级的Go服务，却在工程化实践中屡屡受挫？

继《Go语言第一课》后，我的《Go语言进阶课》终于在极客时间与大家见面了！

我的全新极客时间专栏 《Tony Bai·Go语言进阶课》就是为这样的你量身打造！30+讲硬核内容，带你夯实语法认知，提升设计思维，锻造工程实践能力，更有实战项目串讲。

目标只有一个：助你完成从“Go熟练工”到“Go专家”的蜕变！ 现在就加入，让你的Go技能再上一个新台阶！

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求，请扫描下方公众号二维码，与我私信联系。

本文永久链接 – https://tonybai.com/2025/06/17/rider-elephant-arch

大家好，我是Tony Bai。

在软件架构的江湖里，关于“微服务”与“单体”的论战，几乎从未停歇。一方推崇微服务的灵活性、可扩展性和独立部署，另一方则坚守单体的简洁性、低通信开销和易于本地调试。近年来，我们甚至看到像亚马逊 Prime Video 这样重量级的玩家，也公开分享了其从微服务“回归”到某种形式的单体（或者说更粗粒度的服务）的实践，引发了业界新一轮的思考。

这不禁让我们反问：微服务与单体，真的就是非此即彼的“二元对立”吗？

最近，国外一家名为DealGate公司的一篇文章《Introducing the Rider and Elephant Software Architecture》，提出了一种他们称之为“骑手与大象”的架构模式，试图在这场看似无解的争论中，找到一条务实的中间道路。这种模式不仅在他们的实践中取得了显著成效，其背后的设计哲学和对技术选型的思考，也颇具启发意义。

“骑手与大象”：一个古老隐喻的现代架构演绎

DealGate 将其架构模式命名为“骑手与大象”，其灵感来源于心理学中的一个经典比喻：人类的思维由两部分组成——理性的“骑手”（对应我们发达的前额叶皮层，负责规划、分析和决策）和感性的、更强大的“大象”（对应我们原始的、更底层的“蜥蜴脑”或“穴居人脑”，驱动着本能和情绪）。骑手虽然可以尝试引导大象，但无法完全控制它；而如果骑手想独自前行，又会发现大象的力量是其无法比拟的。只有当骑手与大象协同合作时，才能发挥出最大的效能。

在 DealGate 的架构中，这个隐喻被巧妙地映射到了技术组件上：

• “大象 (Elephant)”：由 Go语言构建的应用。它不包含任何复杂的业务逻辑，但却承担着所有“脏活累活”——大规模的、高并发的数据处理。在 DealGate 的场景中，这可能意味着在任何时刻都有数万个 goroutine 在处理图像、PDF，抓取数千万级别的网页，并在每个网页上运行数千万次的正则表达式匹配。“大象”的核心职责是：强大、高效、能扛事儿。
• “骑手 (Rider)”：由NextJS (Node.js) 构建的应用。它承载了所有的业务逻辑、数据库访问、用户交互等。“骑手”的核心职责是：灵活、敏捷、快速响应业务变化。
• 缰绳 (Communication)：“骑手”通过 gRPC 来“引导”和控制“大象”，两者之间保持低开销、高效率的通信。

这种架构的核心思想是：将需要极致性能和高并发处理的“重计算”部分（大象），与需要快速迭代和灵活业务逻辑的“轻应用”部分（骑手）进行分离，并让它们通过高效的通信方式协同工作。

为何选择“骑手与大象”？DealGate 的实践与思考

DealGate 之所以采用这种架构，源于他们在实际业务中遇到的挑战和对现有架构模式的反思。

• 对“微服务 vs 单体”的“虚假二分法”说不：他们认为，单纯地在微服务和单体之间做选择，往往忽略了业务的复杂性和多样性。他们希望能够“have the best of both worlds”（取两者之长）。
• Node.js/NextJS 的局限性：尽管 DealGate 的主要应用是用 NextJS 编写的，但他们发现，即使 Node.js 在 I/O 和网络处理上有多线程优势，其正则表达式等 CPU 密集型操作仍然受限于单线程（JavaScript 的执行模型）。当需要在后台进行大量正则匹配，同时还要响应 Web 应用请求时，性能瓶颈就显而易见了。
• Go 语言的“大象”潜质：文章中明确指出：“Go语言非常适合这种场景，你可以轻松地扔给它数万个CPU密集型进程，它会愉快地处理掉所有这些”。这充分肯定了 Go 语言在并发处理和性能方面的核心优势。
• 对微服务通信开销的警惕：DealGate 批评了许多微服务架构使用 JSON 进行进程间通信的做法，认为其“序列化和反序列化开销是令人发指的”。他们选择 gRPC，正是为了最大限度地降低“骑手”与“大象”之间的通信成本，确保即使在需要传输大量数据（因为“大象”不包含业务逻辑，需要被视为“愚笨的工人”）的情况下，也能保持高效。

Go 语言：扮演“大象”的理想之选

在“骑手与大象”的架构中，Go 语言之所以被选中扮演“吃苦耐劳的大象”，并非偶然。这得益于 Go 语言的核心特性：

1. 极致的并发性能：Goroutine 和 Channel 机制，配合高效的调度器，使得 Go 能够轻松创建和管理海量的并发任务，这对于处理 DealGate 所述的“数万个 goroutine 同时处理数据”的场景至关重要。
2. 高效的执行效率：Go 语言编译为原生机器码，其性能接近 C/C++，远超解释型语言，非常适合 CPU 密集型的数据处理任务。
3. 强大的标准库：Go 的标准库提供了丰富的网络编程、文本处理（包括正则表达式）、数据编解码等功能，为构建“大象”应用提供了坚实的基础。
4. 简洁的部署：Go 应用可以编译成单个静态链接的可执行文件，部署简单，依赖少。

可以说，Go 语言的设计哲学和核心能力，使其成为承载这种“无业务逻辑、高并发、重计算”角色的理想选择。

语言选型的“二八原则”与“务实主义”

“骑手与大象”架构的另一个核心启示，在于其对不同技术栈的选择策略，体现了一种深刻的“务实主义”和对“成本效益”的考量。

文章明确反驳了“既然有更高性能的语言（如 Rust 或 Go 本身），为什么不把所有应用都用它来写？”的观点，并将其类比为“那所有应用都应该用汇编来写了”。

其核心逻辑是：

• 高级语言（如 JavaScript, Python）的优势：更安全（内存管理等）、生产力更高（表达力强、语法糖和轮子多）、开发者社群更大、单位时间开发成本相对更低。
• 高性能/底层语言（如 Go, Rust, C++）的优势：性能极致、对系统资源有更精细的控制。但通常也意味着更陡峭的学习曲线、更高的开发成本、以及（在某些情况下）更长的开发周期。

DealGate 的策略是：“在你必须快的地方快，其他一切都选择高级语言和（相对）单体的模式。” 这意味着：

• 将昂贵的、需要精细优化的高性能代码（大象）限制在最小的必要范围内（例如，只占整个业务系统的 10%）。
• 将大部分的业务逻辑、用户交互（骑手）用生产力更高、开发更快的高级语言来实现。

这种“混合编程”或“多语言架构”的思路，实际上是在性能、开发效率、人才获取成本、维护成本等多个维度之间进行权衡和优化。它提醒我们，技术选型不应盲目追求“最新最酷”或“性能极致”，而应服务于业务需求，并充分考虑团队和公司的实际情况。

文章中也提及了对“Just write Rust”（就用 Rust 写）这类口号的反思，指出大多数公司和开发者可能无法承担全员学习和使用像 Rust 这样“高门槛”语言的成本。这并非否定 Rust 的优秀，而是强调技术选型的现实约束。

小结：“没有完美的解决方案，只有明智的权衡”

“没有完美的解决方案，只有权衡取舍”。DealGate 的文章以这句经典的名言作为总结，恰如其分。

“骑手与大象”架构，正是在微服务的灵活性、分布式能力与单体的低心智负担、高开发效率之间做出的一种明智权衡。它并非适用于所有场景的“银弹”，但在类似 DealGate 这样需要处理大规模数据密集型任务，同时又需要快速迭代业务逻辑的场景下，无疑提供了一种极具价值的、务实的架构思路。

它也再次印证了一个朴素的道理：优秀的架构设计，往往不是对某种“主义”的盲从，而是对业务需求的深刻理解和对不同技术优劣的精准把握，最终在各种约束条件下找到那个“恰到好处”的平衡点。

或许，在微服务与单体的喧嚣争论之外，我们更应该学习这种“骑手与大象”的智慧——在正确的地方，用正确的方式，做正确的事情。

参考文献：
Introducing the Rider and Elephant Software Architecture – https://d-gate.io/blog/rider-and-elephant-architecture

聊一聊，也帮个忙：

• 你如何看待 DealGate 提出的“骑手与大象”架构模式？它是否对你的项目有所启发？
• 在你的工作中，是否也遇到过类似的“微服务 vs 单体”或“高性能 vs 高生产力”的选型困境？你是如何权衡的？
• Go 语言在你心目中，更适合扮演“骑手”还是“大象”的角色？或者两者皆可，取决于具体场景？

欢迎在评论区留下你的思考和经验。如果你觉得这篇文章提供了一个有价值的视角，也请转发给你身边的开发者和架构师朋友们，一起探讨更务实的架构之道！

精进有道，更上层楼

极客时间《Go语言进阶课》上架刚好一个月，受到了各位读者的热烈欢迎和反馈。在这里感谢大家的支持。目前我们已经完成了课程模块一『语法强化篇』的 13 讲，为你系统突破 Go 语言的语法认知瓶颈，打下坚实基础。

现在，我们即将进入模块二『设计先行篇』，这不仅包括 API 设计，更涵盖了项目布局、包设计、并发设计、接口设计、错误处理设计等构建高质量 Go 代码的关键要素。

这门进阶课程，是我多年 Go 实战经验和深度思考的结晶，旨在帮助你突破瓶颈，从“会用 Go”迈向“精通 Go”，真正驾驭 Go 语言，编写出更优雅、
更高效、更可靠的生产级代码！

扫描下方二维码，立即开启你的 Go 语言进阶之旅！

商务合作方式：撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求，请扫描下方公众号二维码，与我私信联系。