标签 docker 下的文章

Go应用的K8s“最佳拍档”:何时以及如何用好多容器Pod模式

本文永久链接 – https://tonybai.com/2025/04/24/multiple-containers-pod-pattern

大家好,我是Tony Bai。

将Go应用部署到Kubernetes已经是许多团队的标配。在这个强大的容器编排平台上,除了运行我们的核心Go服务容器,Kubernetes还提供了一种灵活的设计模式——多容器Pod。通过在同一个Pod内运行多个容器,我们可以实现诸如初始化、功能扩展、适配转换等多种辅助功能,其中最知名的就是Sidecar模式。

这些“辅助容器”就像我们Go应用的“最佳拍档”,在某些场景下能发挥奇效。然而,正如 Kubernetes官方文档和社区讨论一直强调的那样,引入额外的容器并非没有成本。每一个额外的容器都会增加复杂度、资源消耗和潜在的运维开销。

因此,关键在于策略性地使用这些模式。我们不应将其视为默认选项,而应是解决特定架构挑战的精密工具。今天,我们就来聊聊Kubernetes中几种合理且常用的多容器Pod模式,探讨何时应该为我们的Go应用引入这些“拍档”,以及如何更好地利用Kubernetes v1.33中已正式稳定(GA)的原生Sidecar支持来实现它们。


图K8s v1.33发布

首先:警惕复杂性!优先考虑更简单的替代方案

在深入探讨具体模式之前,务必牢记一个核心原则:非必要,勿增实体

对于Go这种拥有强大标准库和丰富生态的语言来说,许多常见的横切关注点(如日志记录、指标收集、配置加载、基本的HTTP客户端逻辑等)往往可以通过引入高质量的Go库在应用内部更轻量、更高效地解决。

只有当以下情况出现时,才应认真考虑引入多容器模式:

  • 需要扩展或修改无法触碰源代码的应用(如第三方应用或遗留系统)。
  • 需要将与语言无关的通用功能(如网络代理、安全策略)从主应用中解耦出来。
  • 需要独立于主应用进行更新或扩展的辅助功能。
  • 特定的初始化或适配需求无法在应用内部优雅处理。

切忌为了“看起来很酷”或“遵循某种时髦架构”而盲目添加容器。

下面我们看看常见的一些多容器模式以及对应的应用场景。

四种推荐的多容器模式及其Go应用场景

Kubernetes生态中已经沉淀出了几种非常实用且目标明确的多容器模式,我们逐一来看一下。

Init Container (初始化容器)

Init Container是K8s最早支持的一种“sidecar”(那时候还不这么叫),它一般用在主应用容器启动之前,执行一次性的关键设置任务。它会运行至完成然后终止。

它常用于以下场景:

  • 运行数据库Schema迁移。
  • 预加载配置或密钥。
  • 检查依赖服务就绪。
  • 准备共享数据卷。

下面是官方的一个init containers的示例:

apiVersion: v1
kind: Pod
metadata:
  name: myapp-pod
  labels:
    app.kubernetes.io/name: MyApp
spec:
  containers:
  - name: myapp-container
    image: busybox:1.28
    command: ['sh', '-c', 'echo The app is running! && sleep 3600']
  initContainers:
  - name: init-myservice
    image: busybox:1.28
    command: ['sh', '-c', "until nslookup myservice.$(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local; do echo waiting for myservice; sleep 2; done"]
  - name: init-mydb
    image: busybox:1.28
    command: ['sh', '-c', "until nslookup mydb.$(cat /var/run/secrets/kubernetes.io/serviceaccount/namespace).svc.cluster.local; do echo waiting for mydb; sleep 2; done"]

此示例定义了一个包含两个init容器的简单Pod。第一个init容器(init-myservice)等待myservice运行,第二个init容器(init-mydb)等待mydb运行。两个init容器完成后,Pod将从其spec部分运行app容器(myapp-container)。

Ambassador (大使容器)

Ambassador Container主要是用于扮演主应用容器的“网络大使”,简化其与外部服务的交互,它常用在下面一些场景里:

  • 服务发现与负载均衡代理。
  • 请求重试与熔断。
  • 身份验证与授权代理。
  • mTLS 加密通信。

Ambassador通常作为Pod内的一个长期运行的容器。如果需要确保它在主应用之后停止(例如处理完最后的请求转发),Kubernetes原生Sidecar是实现Ambassador容器的理想选择。

Configuration Helper (配置助手)

配置助手也是一种最常使用的辅助容器模式,它主要用于动态地为正在运行的主应用提供或更新配置,比如监控ConfigMap/Secret变化并热加载、从配置中心拉取配置等。

它通常也是一个长期运行的容器。由于可能需要在主应用启动前提供初始配置,并在主应用停止后同步最后状态,使用原生Sidecar提供的精确生命周期管理非常有价值,可以使用Sidecar实现这种模式的容器。

Adapter (适配器容器)

Adapter容器负责在主应用和外部世界之间进行数据格式、协议或API的转换,常用于下面一些场景:

  • 统一监控指标格式。
  • 协议转换(如 gRPC 转 REST)。
  • 标准化日志输出。
  • 兼容遗留系统接口。

我们可以根据是否需要精确的生命周期协调来选择普通容器或原生Sidecar来实现这类长期运行的适配器容器。

可见,K8s原生的Sidecar是实现上述四种辅助容器的可靠实现,下面来简单介绍一下K8s原生Sidecar。

K8s原生Sidecar:可靠实现辅助容器的关键

现在,我们重点关注Kubernetes v1.33中正式稳定(GA)的原生Sidecar 功能。

它是如何实现的呢?

官方推荐的方式是:在Pod的spec.initContainers数组中定义你的Sidecar容器,并显式地将其restartPolicy设置为Always。下面是一个示例:

spec:
  initContainers:
    - name: my-sidecar # 例如日志收集或网络代理
      image: my-sidecar-image:latest
      restartPolicy: Always # <--- 关键:标记为原生Sidecar
      # ... 其他配置 ...
  containers:
    - name: my-go-app
      image: my-golang-app:latest
      # ...

虽然将长期运行的容器放在initContainers里初看起来可能有些“反直觉”,但这正是Kubernetes团队为了复用Init Container已有的启动顺序保证,并赋予其特殊生命周期管理能力而精心设计的稳定机制。

原生Sidecar具有如下的核心优势:

  • 可靠的启动行为: 所有非Sidecar的 Init Containers (restartPolicy 不是 Always) 会按顺序执行且必须成功完成。随后,主应用容器 (spec.containers) 和所有原生 Sidecar 并发启动。
  • 优雅的关闭顺序保证:这是最大的改进!当 Pod 终止时,主应用容器先收到SIGTERM 并等待其完全停止(或超时),然后Sidecar容器才会收到 SIGTERM 开始关闭。
  • 与Job 的良好协作: 对于设置了 restartPolicy: OnFailure或Never的Job,原生Sidecar不会因为自身持续运行而阻止Job的成功完成。

这对我们的Go应用意味着什么?

当你的Go应用确实需要一个长期运行的辅助容器,并且需要精确的生命周期协调时,原生Sidecar提供了实实在在的好处:

  • 服务网格代理 (Ambassador 变种): Envoy, Linkerd proxy 等可以确保在 Go 应用处理完最后请求后才关闭,极大提升可靠性。
  • 日志/监控收集 (Adapter/Helper 变种): Fluentd, Vector, OTel Collector 等可以确保捕获到 Go 应用停止前的最后状态信息。
  • 需要与主应用生命周期紧密配合的其他辅助服务: 任何需要在主应用运行期间持续提供服务,并在主应用结束后才停止的场景。

因此,原生Sidecar不是一个全新的模式,而是当我们需要实现上述这些需要精确生命周期管理的Sidecar模式时,Kubernetes v1.33 提供的稳定、可靠且官方推荐的实现方式。

小结

Kubernetes的多容器Pod模式为我们提供了强大的工具箱,但也伴随着额外的复杂性。对于Go开发者而言:

  • 始终将简单性放在首位: 优先考虑使用 Go 语言自身的库和能力来解决问题。
  • 审慎评估必要性: 只有当明确的应用场景(如 Init, Ambassador, Config Helper, Adapter)带来的好处大于其引入的复杂度和资源开销时,才考虑使用多容器模式。
  • 理解模式目的: 清晰地知道你引入的每个辅助容器是为了解决什么特定问题。
  • 拥抱原生 Sidecar (GA): 当你确定需要一个长期运行且需要可靠生命周期管理的辅助容器时,利用 Kubernetes v1.33 及以后版本中稳定提供的原生 Sidecar 支持,是提升部署健壮性的最佳实践。

多容器 Pod 是 Kubernetes 生态中的“精密武器”,理解何时拔剑、如何出鞘,并善用平台提供的稳定特性,才能真正发挥其威力,为我们的 Go 应用保驾护航。

你通常在什么场景下为你的 Go 应用添加辅助容器?你对 K8s 原生 Sidecar 功能的稳定有何看法?欢迎在评论区分享你的实践经验和见解! 如果觉得这篇文章对你有启发,也请不吝点个【赞】和【在看】!

参考资料


拓展阅读与实践:抓住 K8s 学习与星球优惠的最后机会!

聊完K8s的多容器Pod模式,想不想更系统地掌握K8s核心原理与实践?

我正打算将多年前深受好评的慕课网Kubernetes实战课(https://coding.imooc.com/class/284.html)内容(覆盖集群探索、网络、安全、存储、诊断、Operator等核心知识点)进行精选和更新,并逐步放入我的知识星球「Go & AI 精进营」【Kubernetes进阶】 专栏。这对于理解K8s底层、打好云原生基础价值依旧。


当初的课程核心内容(后会有调整)

特别提醒: 「Go & AI 精进营」将于5月1日起涨价至 388 元/年!现在是涨价前的最后一周,以当前价格加入,即可锁定未来一年的高质量Go 进阶、AI 应用实战以及这个即将更新的 K8s 实战专栏!

如果你想深入K8s原理,并抓住星球涨价前的最后优惠窗口,现在就加入我们吧!

img{512x368}


商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。如有需求,请扫描下方公众号二维码,与我私信联系。

Go 1.25新提案:GOMAXPROCS默认值将迎Cgroup感知能力,终结容器性能噩梦?

本文永久链接 – https://tonybai.com/2025/04/09/gomaxprocs-defaults-add-cgroup-aware

Go官方出手!新提案自动优化容器内GOMAXPROCS,告别性能噩梦!

在Kubernetes等容器环境中运行Go应用时,一个常见的性能陷阱悄然存在:默认的GOMAXPROCS值基于节点CPU核心数,而非Pod的CPU限制(limit),导致资源争抢和性能下降。近期一篇广受关注的博客文章“Golang Performance Penalty in Kubernetes”通过实测数据揭示了这一问题带来的显著延迟增加(高达65%+)和吞吐量降低(近20%)。

不过近期,Go核心团队带来一则好消息,Go Runtime团队的Michael Pratt已正式提出一项提案(#73193),旨在让Go运行时默认感知Linux Cgroup的CPU quota限制并自动调整GOMAXPROCS值,该提案有望在Go 1.25中为开发者带来开箱即用的性能优化,告别在容器或Kubernetes中手动配置GOMAXPROCS的烦恼。

在这篇文章中,我会对当前GOMAXPROCS默认值在云原生环境引发的性能问题以及Pratt的提案做一个详细说明,供广大Gopher们参考。

1. 容器中GOMAXPROCS的“水土不服”与性能代价

Go 1.5版本起,GOMAXPROCS默认设置为“可用的CPU核心数”(综合考虑机器核心数和CPU亲和性设置)。这在单租户或资源不受严格限制的环境下工作良好。然而,在普遍使用Cgroup进行资源隔离的容器化部署场景中,这一默认行为却常常与Pod的实际CPU限制limits.cpu)产生严重错位,引发一系列性能问题。

想象一下:一个Go应用部署在拥有32个vCPU的K8s节点上,但其Pod的limits.cpu被设置为1。Go运行时看到的是32核,于是默认将GOMAXPROCS设为32。这意味着Go运行时会尝试并发运行多达32个操作系统线程来执行Go代码,而Kubernetes(通过Cgroup的CPU Quota机制)却严格限制该Pod在每个调度周期内(如100ms)只能使用相当于1个CPU的计算时间。

这会带来什么后果? 正如Mansoor Majeed在其博客文章《Golang Performance Penalty in Kubernetes》中通过基准测试所生动展示的:

  • 过度的上下文切换

32个活跃的Go线程争抢远少于此的可用CPU时间片(在此例中仅相当于1个CPU的时间),迫使操作系统内核进行大量、且低效的线程上下文切换。在他的测试中,错误配置GOMAXPROCS的场景下,上下文切换次数(context_switches_total)相比正确配置时飙升了近4倍(从约6.5k/s 增加到30k/s)。

  • CPU配额扼杀(Throttling)与调度延迟

应用(尤其CPU密集型任务,如博客中的Fibonacci计算)的并发线程迅速耗尽Cgroup分配的CPU时间配额(cpu.cfs_quota_us)。一旦耗尽,内核将强制暂停该Cgroup内所有线程的执行,直到下一个调度周期(cpu.cfs_period_us)开始。这直接导致了请求处理的延迟尖峰。博客中的”Process Schedule Stats”图表也显示,错误配置下,进程等待CPU的时间(Waiting for CPU)出现了高达34秒的峰值,而正确配置下仅约900毫秒。

  • 应用性能显著下降

过度的上下文切换和频繁的CPU Throttling共同作用,导致应用端到端的性能大幅降低。博客的wrk基准测试显示,在CPU密集场景下,与正确设置GOMAXPROCS=1相比,使用默认GOMAXPROCS=32(基于节点而非Pod限制)导致的性能下降如下图所示:

我们看到:平均请求延迟增加了65% (从 20ms 上升到 33ms),最大请求延迟增加了82% (从255ms飙升到465ms)。整体RPS (每秒请求数) 下降了近20% (从50213减少到40356)。

  • GC 放大问题

Go的并发垃圾回收器(GC)的工作量与GOMAXPROCS挂钩。GC目标是使用25%的P(对应GOMAXPROCS数量)进行后台标记工作,并在空闲的P上运行额外的 idle worker。过高的GOMAXPROCS会导致GC期间产生远超实际可用CPU资源的并发请求,极易触发或加剧CPU配额扼杀,即使在非GC期间应用本身运行平稳。极端情况下,由于内核调度,可能出现大量GC worker同时运行,短暂“冻结”用户goroutine的执行。

  • 运行时扩展性成本

运行更高的GOMAXPROCS会带来额外的运行时开销,例如每个P的本地缓存(如mcache)导致的内存占用增加,以及P之间进行工作窃取、GC协调等所需的同步成本。当GOMAXPROCS远大于实际可用CPU时,这些成本被白白支付,却无法带来相应的并行处理收益。

容器中GOMAXPROCS默认设置为节点CPU数量这个问题在Go社区存在已久,相关讨论见于#33803。目前,开发者通常采用以下方式规避:

  • 手动设置环境变量

比如:在Kubernetes Deployment YAML中,通过valueFrom: resourceFieldRef将GOMAXPROCS环境变量显式设置为Pod的limits.cpu值,下面是一个示例:

spec:
  containers:
  - name: my-go-app
    image: my-go-app:latest
    env:
    - name: GOMAXPROCS
      valueFrom:
        resourceFieldRef:
          # Ensure the resource name matches your limit spec
          resource: limits.cpu
          # Use divisor 1 for whole cores, or adjust if using millicores
          # and need integer conversion logic (though GOMAXPROCS needs integer)
          # Often, just referencing limits.cpu works if it's a whole number.
          # For fractional limits resulting in non-integer GOMAXPROCS,
          # manual calculation or automaxprocs might be better.
          divisor: "1"
    resources:
      limits:
        cpu: "2" # Example limit
      requests:
        cpu: "100m"
  • 使用第三方库

在Go代码中引入如uber-go/automaxprocs这样的库,它会在应用启动时自动检测Cgroup v1或v2的CPU限制,并相应地调用runtime.GOMAXPROCS()进行设置。

import _ "go.uber.org/automaxprocs"

func main() {
    // automaxprocs automatically adjusts GOMAXPROCS during init
    // ... rest of your application
}

虽然有解决方案,但这需要开发者意识到问题的存在并主动采取措施,增加了配置负担和潜在的疏漏风险。近期Go官方终于有针对此问题的动作了,我们来详细看看官方的方案。

2. 官方提案:让GOMAXPROCS自动适配CPU Limit

为了一劳永逸地解决这个问题,并提供更优的开箱即用体验,Go核心团队成员pratt在#73193中提出了一个具体的解决方案,旨在将Cgroup CPU limit感知能力内置到Go运行时中。下面也简单说一下Pratt给出的方案的核心机制,包括以下几点:

  • 自动检测CPU Limit

在程序启动时,如果用户未通过环境变量GOMAXPROCS指定值,Go运行时(仅在Linux 上)将主动检测以下三项:

(a) 机器的总CPU核心数: 通过runtime.NumCPU()的底层机制获取。
(b) CPU亲和性限制: 通过sched_getaffinity(2) 系统调用获取当前进程允许运行的CPU核心集合大小。
(c) Cgroup CPU Quota限制: 运行时会查找进程所属的Cgroup层级结构(支持v1和v2,以及混合模式)。对于每一层级,它会读取cpu.cfs_quota_us 和cpu.cfs_period_us(v1) 或cpu.max(v2) 文件。计算出每一层的CPU limit(等效核心数=quota/period)。最终取整个层级路径上的最小值作为该进程的“有效CPU limit”。

  • 计算新的默认GOMAXPROCS

新的默认GOMAXPROCS值将是上述(a)、(b)、(c)三者计算结果中的最小值。特别地,由(c)计算出的Cgroup limit值在用于最终比较前会经过一个调整:adjusted_cgroup_limit = max(2, ceil(effective_cpu_limit))。即,先向上取整,然后确保结果至少为2。

  • 自动更新

为了适应CPU限制或亲和性可能在运行时发生变化的情况(例如 Kubernetes的 “in place vertical scaling” 特性允许动态调整Pod的limits.cpu),Go运行时将引入一个后台机制(可能在sysmon协程中实现),以较低频率(例如,提案建议最小周期30秒,最长1分钟)定期重新检查CPU亲和性设置和Cgroup的CPU quota文件。如果检测到变化导致计算出的默认GOMAXPROCS值改变,运行时将自动调用内部的GOMAXPROCS设置函数进行更新。

  • 引入新的API

该提案还引入了一个新的公共API:runtime.SetDefaultGOMAXPROCS()。调用此函数会立即触发一次上述默认值的计算和设置过程,忽略GOMAXPROCS 环境变量的影响。这可以用于覆盖启动时通过环境变量设置的值,恢复到运行时自动检测的行为。同时,在得知外部环境(如Cgroup 配置)发生变化后,主动强制进行一次更新,而不必等待后台的自动扫描。

  • 兼容性控制

这是一个可能改变现有程序行为的变更。为了提供平滑的过渡和控制能力,该新行为将由一个GODEBUG标志cgroupgomaxprocs=1控制。根据Go的GODEBUG兼容性策略,对于go.mod文件中指定的Go语言版本低于引入该特性的版本(预计是Go 1.25),该标志默认为0 (禁用新行为,保持现状)。只有当项目将其go.mod中的Go版本升级到1.25或更高时,默认值才会变为1 (启用新行为)。开发者仍然可以通过设置GODEBUG=cgroupgomaxprocs=0 来显式禁用新行为。

3. 其他设计考量与细节

经过#33803几年的讨论,Pratt在新提案中也谈及了一些设计考量和细节,这里也就一点典型的问题做一下梳理:

  • 为何是Limit而非Shares/Request?

Cgroup的cpu.shares(v1)或cpu.weights(v2)(对应Kubernetes的CPU Request)定义的是资源竞争时的相对优先级,而不是硬性的CPU使用上限。当系统负载不高时,仅设置了Request 的容器可能使用远超其Request值的CPU。因此,Shares/Weights不适合作为限制并行度的GOMAXPROCS的依据。Java和.NET在其运行时中进行容器资源感知的实践也得出了类似的结论,它们都选择基于CPU Quota(Limit)。

  • 处理分数Limit(Rounding)

Cgroup Quota可以设置成分数形式(如limits.cpu:”1500m”对应1.5核)。由于GOMAXPROCS必须是整数,提案选择向上取整 (ceil)。例如,1.5会变成2。这样做的考虑是,允许应用利用Cgroup提供的突发能力,并且可能更好地向监控系统指示CPU饥饿状态。然而,这与uber-go/automaxprocs默认向下取整 (floor) 的策略不同。后者认为分数部分的配额可能是为容器内的辅助进程(如sidecar、监控agent)或C库线程预留的,向下取整更保守,避免Go进程完全用尽配额。这是一个开放的讨论点,最终实现可能会根据社区反馈调整。

  • 最小值为2的理由

提案建议将通过Cgroup limit计算出的值(向上取整后)与2比较,取较大者。即,即使CPU limit小于1(如0.5),最终也会至少设置为2。这样做的主要原因是GOMAXPROCS=1会完全禁用Go调度器的并行性,可能导致一些意想不到的性能问题或行为怪异,例如GC worker可能在运行时暂时“暂停”用户Goroutine(因为只有一个P可以运行,需要在用户代码和GC代码间切换)。设置至少为2可以保留基本的并行能力,更好地利用Cgroup允许的突发性。当然,如果物理核心数或CPU亲和性限制本身就是1,那么根据前面的计算规则,最终GOMAXPROCS仍然会是1。

  • 日志

与automaxprocs提供可选的日志输出不同,该提案的内置实现默认不打印关于GOMAXPROCS被自动调整的日志信息,以保持运行时输出的简洁性。

4. 小结

这项针对Go运行时的提案(#73193) 若能在Go 1.25实现,将为容器化环境中的Go应用带来实质性改进。其核心优势在于开箱即用的性能优化:通过自动将GOMAXPROCS与Cgroup CPU Limit对齐,避免了因配置不当导致的常见性能瓶颈(如高延迟、低吞吐)。这将极大简化开发者的运维工作,无需再手动设置GOMAXPROCS或依赖automaxprocs等第三方库。同时,其自动更新机制也使应用能更好地适应K8s等平台的动态资源调整。

当然,该提案并非万能。它主要解决了设置了CPU Limit的场景。对于仅设置CPU Request(旨在利用空闲资源)的Pod,此变更目前不会带来直接改善,GOMAXPROCS仍将基于节点或亲和性设置。如何优化这类场景下的资源利用率,仍是未来值得探索的方向。

总而言之,#73193提案是Go社区直面云原生环境中一个长期痛点的关键举措。它有望将更智能、更自动化的资源感知能力内置到运行时,显著提升Go应用在容器中的默认性能表现和易用性。我们期待该提案的最终落地,并建议开发者关注其后续进展。

你是否也在K8s中遇到过GOMAXPROCS的困扰?欢迎在评论区分享你的经验和看法!

5. 参考资料


Gopher部落知识星球在2025年将继续致力于打造一个高品质的Go语言学习和交流平台。我们将继续提供优质的Go技术文章首发和阅读体验。并且,2025年将在星球首发“Gopher的AI原生应用开发第一课”、“Go陷阱与缺陷”和“Go原理课”专栏!此外,我们还会加强星友之间的交流和互动。欢迎大家踊跃提问,分享心得,讨论技术。我会在第一时间进行解答和交流。我衷心希望Gopher部落可以成为大家学习、进步、交流的港湾。让我相聚在Gopher部落,享受coding的快乐! 欢迎大家踊跃加入!

img{512x368}
img{512x368}

img{512x368}
img{512x368}

著名云主机服务厂商DigitalOcean发布最新的主机计划,入门级Droplet配置升级为:1 core CPU、1G内存、25G高速SSD,价格6$/月。有使用DigitalOcean需求的朋友,可以打开这个链接地址:https://m.do.co/c/bff6eed92687 开启你的DO主机之路。

Gopher Daily(Gopher每日新闻) – https://gopherdaily.tonybai.com

我的联系方式:

  • 微博(暂不可用):https://weibo.com/bigwhite20xx
  • 微博2:https://weibo.com/u/6484441286
  • 博客:tonybai.com
  • github: https://github.com/bigwhite
  • Gopher Daily归档 – https://github.com/bigwhite/gopherdaily
  • Gopher Daily Feed订阅 – https://gopherdaily.tonybai.com/feed

商务合作方式:撰稿、出书、培训、在线课程、合伙创业、咨询、广告合作。

如发现本站页面被黑,比如:挂载广告、挖矿等恶意代码,请朋友们及时联系我。十分感谢! Go语言第一课 Go语言进阶课 Go语言精进之路1 Go语言精进之路2 Go语言第一课 Go语言编程指南
商务合作请联系bigwhite.cn AT aliyun.com

欢迎使用邮件订阅我的博客

输入邮箱订阅本站,只要有新文章发布,就会第一时间发送邮件通知你哦!

这里是 Tony Bai的个人Blog,欢迎访问、订阅和留言! 订阅Feed请点击上面图片

如果您觉得这里的文章对您有帮助,请扫描上方二维码进行捐赠 ,加油后的Tony Bai将会为您呈现更多精彩的文章,谢谢!

如果您希望通过微信捐赠,请用微信客户端扫描下方赞赏码:

如果您希望通过比特币或以太币捐赠,可以扫描下方二维码:

比特币:

以太币:

如果您喜欢通过微信浏览本站内容,可以扫描下方二维码,订阅本站官方微信订阅号“iamtonybai”;点击二维码,可直达本人官方微博主页^_^:
本站Powered by Digital Ocean VPS。
选择Digital Ocean VPS主机,即可获得10美元现金充值,可 免费使用两个月哟! 著名主机提供商Linode 10$优惠码:linode10,在 这里注册即可免费获 得。阿里云推荐码: 1WFZ0V立享9折!


View Tony Bai's profile on LinkedIn
DigitalOcean Referral Badge

文章

评论

  • 正在加载...

分类

标签

归档



View My Stats