了解Edgegap的工作原理

了解Edgegap的工作原理

你就是自己吵闹的邻居:容器、多租户与保证资源

已发布

已发布

已发布

Edgegap Insights 系列横幅:Noisy Neighbor(吵闹邻居)技术深度解析,附有一张图表,展示了单个服务器上每个游戏服务器拥有和共享的内容。

核心洞察

核心洞察

核心洞察

简短回答:“喧闹的邻居”源于资源超卖,而非共享物理机。一个能确保每个游戏服务器都拥有其专属 CPU 和内存的容器平台,所提供的隔离性等同于、甚至往往强于运行同款游戏多场比赛的专用裸金属服务器。将共存视为风险,会促使工作室转向保留空闲的专用服务器集群,或者放弃权威服务器,转向点对点或中继模式——这两种代价高昂的解决方案所试图解决的问题,其实通过保障资源就已经解决了。

  • 你自己就是自己喧闹的邻居:一台专用服务器同时运行数十场比赛,而内核对待你自己繁忙的比赛,与对待其他工作室的比赛完全一模一样。

  • 保障资源消除了绝大部分竞争:通过 cgroups 分配 CPU 和内存且不进行超卖,繁忙的邻居会被限制在自身的额度内。谷歌的 Heracles 通过隔离每种共享资源,在实现平均利用率达到 90% 的同时,实现了零延迟 SLO 违规。

  • 部分“喧闹的邻居”事件属于误诊:在 Indeed(一家网络服务公司,非游戏公司),曾被归咎于喧闹容器的延迟问题,最终被证实是内核自身的 CPU 配额处理机制导致的。修复该问题后,最坏情况下的响应延迟从 2 秒以上降至了 30 毫秒。

  • 裸金属服务器也无法避开共享硬件:无论物理机归谁所有,其上的每场比赛都会共享 L3 缓存、内存带宽、I/O、电源以及 SMT,而这些影响大多只会增加几个百分点的损耗。

  • CPU 等待时间是揭示真实喧闹邻居的指标:利用率只能显示服务器有多忙,而不能显示它是否处于饥饿状态;而 Linux 的压力停顿信息(PSI)则能报告其线程等待核心的时间,Edgegap 会对每个部署的此项指标进行监控。

对“吵闹邻居”(noisy neighbor)的担忧,是游戏工作室在共享基础设施上以容器运行游戏服务器时最常提出的异议之一。通常提出的解决方案是单租户:租用专用的裸金属服务器,这样就不会有其他公司的工作负载与你的运行在同一台机器上。

这种担忧本身可能更多是一种迷思,而非基于实际测量的结果。它主要源于共享核心的云虚拟机:这些廉价、故意超售的实例原本是为低流量 Web 服务器设计的,在这些场景下,邻居的资源峰值确实会抢占你的 CPU 时间。游戏服务器的需求则大不相同,而且 Edgegap 并不使用这种类型的机器。

单租户其实没有抓住问题的本质。一台现代裸金属服务器拥有 32、64 或更多个核心,没有哪个工作室会在一台机器上只运行一场对局。他们会将数十个对局实例整合到同一台主机上,而每一个实例对于其他实例来说都是“邻居”。如果在对局 17 中爆发了一场大规模战斗,而对局 18 正处于大厅等待状态,那么无论对局 18 是属于同一个工作室还是另一个工作室,资源争用的物理规律都是完全一样的。在专用服务器上,你自己就是你自己的吵闹邻居。

换言之,租户模式并不是关键变量。关键在于每个工作负载是否拥有有保障的资源,确保无论是其他工作室还是你自己的其他对局都无法将其抢走。本文将从 CPU 层面深入解析资源争用究竟是如何发生的、保障资源能防范什么以及不能防范什么、根据公开发表的研究残存影响究竟有多大,以及游戏工作室真正应该监控哪项指标。

1. CPU 的工作原理:后厨类比

CPU 就像一位速度极快、完全照章办事的厨师。它不懂什么是游戏、对局或玩家。它只是以每秒数十亿次的速度逐条执行微小的指令。在整篇论文中,我们将始终使用一个形象的比喻:餐馆后厨。

Diagram of one server: a scheduler run queue feeds CPU cores whose hardware threads go to individual game servers, while SMT execution units, L1/L2 and L3 cache, memory bandwidth, network, disk and the chip's power budget are shared.

指令循环

每个程序最终都会编译成机器指令:加载一个值、将两个值相加、比较它们、如果结果为零则跳转到另一条指令。CPU 核心运行着由取指(fetch,读取下一条指令)、译码(decode,解析其含义)和执行(execute,执行操作)组成的循环。在后厨中,这就像厨师阅读食谱的一行,照着做,然后再读下一行。厨师永远看不到整道菜的全貌,只能看到下一行。

时钟

CPU 核心在时钟的每一次滴答声中推进一步工作。一个 3.5 GHz 的核心每秒滴答 35 亿次。可以把它想象成节拍器,为每次切菜设定节奏。现代 CPU 还会动态调整这一节奏(睿频加速 / turbo boost),在功耗和散热尚有余量时运行得更快,反之则变慢。我们稍后会再谈到这一点。

流水线与推测执行

核心不会等一条指令执行完毕才开始下一条。它会将各个阶段重叠起来,就像厨师在切洋葱的同时伸手去拿胡萝卜一样。当代码出现分支(“如果玩家在射程内,计算伤害”)时,核心会预测可能的结果,并在确定答案之前就开始着手处理。猜对了可以节省时间;猜错了就意味着必须扔掉成果重新来过。现代预测器绝大多数时候都是准确的。

内存层级结构

核心只能处理手头现有的数据,距离决定了一切:


级别

后厨对应物

典型访问时间

寄存器

厨师手中的食材

小于 1 纳秒 (ns)

L1 / L2 缓存(每个核心独享)

厨师自己的砧板

约 1 到 4 纳秒 (ns)

L3 缓存(芯片上所有核心共享)

公用调料架

约 10 到 20 纳秒 (ns)

RAM(内存)

穿过后厨才能走到的冷库

约 60 到 100 纳秒 (ns)

SSD / 网络存储

街角外的杂货店

10,000 纳秒 (ns) 以上

CPU 设计很大一部分在于预测厨师接下来需要哪些食材,并在被索要之前就将它们摆在台面上。一个总是要往冷库跑的厨师,无论手上动作多快,效率都会很低。请注意,L3 缓存和通往 RAM 的路径是由核心共享的;这一点在后文中至关重要。

核心与硬件线程

现代服务器 CPU 拥有许多核心,这意味着同一个厨房里有许多厨师。他们以真正的并行方式工作。某些 CPU 还提供同步多线程技术(SMT,在英特尔平台称为超线程 / Hyper-Threading):每个物理厨师向餐馆表现为两名厨师,只要其中一名因为等待食材而停顿时,就在两个食谱之间切换。这样可以榨取每位厨师更多的产能,但采用 SMT 的两名“厨师”仍然共享同一双手。

调度器

服务器运行的程序数量远多于其拥有的核心数。操作系统的调度器就是出餐口的传菜协调员(expediter):它决定每位厨师处理哪张订单以及处理多久。在 Linux 上,默认调度器(CFS,以及自内核 6.6 起的继任者 EEVDF)会为每个可运行的任务分配一段公平的时间片(以毫秒计),然后进行切换。当一个任务处于就绪状态但没有空闲厨师时,它就会在运行队列(run queue)中等待。这个等待时间是本文中最重要的一个数值。

中断

当网络数据包到达或定时器触发时,硬件会在出餐口按响铃铛。厨师停下手头工作,迅速处理这一紧急事件,然后恢复先前的工作。对于游戏服务器来说,数据包的到达就是这一连串持续不断的铃声。

2. 容器:共享后厨中的封闭工位

容器并不是小型虚拟机。它是一个普通的 Linux 进程,内核用两组控制机制对其进行了封装:命名空间(namespaces),决定了该进程可以看到什么;以及控制组(cgroups),决定了它可以使用多少机器资源。

命名空间:工位的隔板

命名空间为进程提供了独立的文件系统、进程 ID、网络接口、主机名和用户视图。容器中的游戏服务器只能看到自己的文件和自己的进程,并以为自己独占了整台机器。在后厨中,每个容器就是一个带有贴标储物箱的封闭工位:里面只准备好某道菜所需的精确食材、用具和食谱卡。泰国菜工位够不到意大利菜工位的橄榄油。

镜像:净菜配餐包模板

容器镜像是一个冻结的、带有版本标记的包,包含了程序所需的一切:二进制文件、依赖库、配置。一个运行中的容器就是根据该模板建立起来的一个工位。在任何接受相同配餐包的厨房里,几秒钟内就能用一个镜像搭建出十个完全相同的工位。这就是为什么容器能够消除“在我电脑上能运行”的问题,并且启动速度极快的原因。Edgegap 的镜像缓存技术更进一步:Edgegap 能够以中位数 2 秒的时间从冷启动部署一个完整的游戏服务器。

共享内核:相同的厨师,相同的建筑物

主机上的每个容器都共享同一个 Linux 内核、相同的 CPU 核心和相同的物理内存。容器不会带来自己的厨师,它带来的是自己的备餐间和自己的规矩。这正是容器轻量化的原因,同时也正是资源隔离问题之所以存在的原因。

cgroups:定量配给规则

cgroups 是传菜协调员写下每个工位配额的地方。对游戏服务器起作用的控制器包括:

  • cpu:每个周期内的 CPU 时间配额(例如,每 100 毫秒获得 200 毫秒的 CPU 时间,相当于两个核心),以及在机器发生争用时使用的相对权重。

  • cpuset:将容器绑定到特定的物理核心,因此它的厨师是属于它自己的厨师,而不属于其他人。

  • memory:RAM 的硬性上限,加上保留和保护设置,防止内核回收某个容器的内存去供给另一个容器。

  • io:对磁盘吞吐量和每秒操作数(IOPS)的限制和权重。

大多数工作室最初是在其开发机上通过 Docker 接触容器的,在开发机上,它是构建和测试游戏服务器镜像的便捷方式。然而,Docker 只是一个打包和工具层;隔离本身来自于内核的命名空间和 cgroups。Edgegap 的引擎插件(其自动化构建工具)使用 Docker 将工作室的构建产物打包成容器镜像,工作室可以在本地使用 Docker 运行该镜像进行测试。一旦镜像上传,Edgegap 就会代表工作室在不使用 Docker 的情况下进行部署,直接通过其自有的编排系统来配置这些内核控制机制。

Linux 有两代 cgroups。版本 1(2008 年)允许每个控制器存在于各自独立的层级结构中,这导致了记账不一致以及一些众所周知的病态问题。版本 2(自内核 4.5 起稳定,大约自 2021 年起成为所有主流发行版的默认设置)将所有内容统一在单个树状结构中,修复了内存和 I/O 记账,并添加了压力阻塞信息(PSI,Pressure Stall Information),这是一种直接测量任务等待 CPU、内存或 I/O 时间的指标。我们将在结论部分重提这两点。

对比:虚拟机

虚拟机是另一种不同的方法:它不是在共享后厨内搭建工位,而是在建筑物内建造一个完整的厨房,拥有在虚拟机监视器(Hypervisor)上运行的一套自己的内部规矩(它自己的内核)。虚拟机更笨重,启动更慢。它们面对吵闹邻居时也并不会自动具备更好的隔离性:在共享核心和可突发层级上,云虚拟机的“vCPU”只是与其他客户共享的一个物理核心的时间片,而 Hypervisor 运行的调度器与上文描述的完全一样。

编排

跨集群运行容器需要一个管理者,它决定哪个厨房容纳哪个工位、在需求激增时开启更多工位、在需求下降时关闭它们,并在某个厨房遇到麻烦时将订单分流出去。这就是编排器的角色,对于游戏服务器而言,这正是 Edgegap 所做的事情:以明确定义的资源分配,将每场对局放置在靠近其玩家的主机上。

3. 吵闹邻居究竟会造成什么影响

吵闹邻居是指任何突发资源需求导致同一台机器上另一个工作负载性能下降的工作负载。在后厨中:你隔壁的工位突然迎来了一桌 40 人的大单,其厨师开始抢占你“眼下”没有使用的炉头、占用厨师的时间,并堵塞冷库门道。你这道菜的操作没有任何失误,但出餐却变慢了。

从技术上讲,性能下降是通过四种机制发生的。

1. CPU 运行队列争用

如果处于就绪状态的线程数超过了可供它们使用的核心数,部分线程就必须在调度器的运行队列中等待。对于以 30 或 60 Hz(其Tick 率 / tick rate)运行的游戏服务器,每个 Tick 的时间预算为 33 或 16.7 毫秒。在不恰当的时刻出现几毫秒的排队就会导致 Tick 超时,玩家会感受到画面回弹(rubber-banding)或命中判定判定失效(hit-registration errors)。这就是典型的吵闹邻居现象,并且只有在机器承诺的 CPU 超过其物理拥有的 CPU 时才会存在。

2. 配额限流(Quota throttling)

当容器设置了 CPU 限制(cgroup 配额)时,一旦它在当前周期内用尽了配额,内核就会停止对其进行调度,即使核心正处于空闲状态也是如此。一个突发性高、多线程的游戏服务器可能会在 100 毫秒周期的前半段早早耗尽其配额,然后在剩余的时间内被挂起。这根本不是邻居造成的,但在延迟图表上看起来与邻居造成的干扰毫无二致,在实践中,很大一部分“吵闹邻居”报告实际上都是由它导致的(参见结论中关于 2018 至 2019 年间加剧该问题的内核漏洞)。

3. 内存压力

如果机器的 RAM 被超售,而所有工作负载同时发生内存增长,内核就会开始回收页面:逐出文件缓存、压缩内存或换页到磁盘(swap)。工作集被推送到磁盘的游戏服务器会遭遇几毫秒到几秒的停顿。在后厨中,这就好比有人把你的食材打包退回了杂货店。

4. 共享硬件争用

即使拥有专用核心和专用 RAM,某些硬件在物理上也是共享的:L3 缓存、内存带宽、网卡、磁盘、芯片的功耗预算,以及在开启 SMT 的情况下物理核心的执行单元。第 5 节将对这些进行量化。

你自己就是你自己的吵闹邻居

需要注意的是,这些机制根本不在乎邻近的工作负载归谁所有。内核调度器没有“游戏工作室”的概念。运行队列不会询问排在你前面的线程属于谁;L3 缓存也不知道它正在逐出谁的数据。

试想一家工作室租用了一台专用的 64 核裸金属服务器,并在上面运行 40 场对局。在周五晚上,其中 10 场对局同时进入决赛阶段:更小的安全区内有更多存活玩家、更多弹道运算、更多物理碰撞。如果该工作室通过 CPU 份额(shares)或超配限制(overcommitted limits)来超密整合这 40 场对局(这很常见,因为超密整合是专用服务器收回成本的方式),那么这 10 场繁忙的对局就会通过上面描述的完全相同的运行队列和缓存机制,从其余 30 场对局中抢夺 CPU 时间。

单租户只是改变了邻居发票上的抬头名称。它并没有消除邻居。如果你在自己的服务器上使用 Agones 运行自己的 Kubernetes 集群,情况也是一样的:节点上的每个游戏服务器 Pod 对其他 Pod 来说都是邻居,如果没有绑定核心和有保障的资源请求,你依然是你自己的吵闹邻居。真正关心争用问题的工作室应该问一个不同的问题:我的对局资源是有保障的,还是建立在赌大家不会同时处于繁忙状态的基础上的共享?

4. 保障资源如何消除绝大部分问题

有保障的资源意味着平台销售的资源绝不会超过硬件实际拥有的资源。每个容器都会获得由内核 cgroups 强制执行的 CPU 分配、无法被他人回收的内存预留,并且没有严格到会限制正常突发的 CPU 配额。在后厨中:每个工位的炉灶使用时间都是为其专门保留的,即使闲置也不会被占,而且餐馆预订的工位数绝不会超过其拥有的炉灶数。

这直接消除了第 3 节中的机制 1 和机制 3,如果配置得当,还可以消除机制 2:

  • 没有来自他人的运行队列争用:由于没有主机的资源分配超过其线程数,每个容器的 CPU 分配都在硬件层面切实存在,繁忙的邻居会被限制在自己的配额内,而不会夺走分配给你服务器的 CPU。它仍可能与同胞线程上运行的任务共享物理核心的执行单元(第 5.4 节)。

  • 没有来自他人的内存回收:预留的内存分配不会为了供给邻居而被收回,因此游戏服务器的工作集始终保留在 RAM 中。

  • 没有意外的限流:在没有超额承诺配额的情况下,突发只会消耗容器已经拥有的线程。

本文采用的假设

一个 vCPU 等于一个硬件线程,而不是一个物理核心。没有主机的资源分配超过其线程数,且内存是预留的。因为每个物理核心有两个线程,容器的任务可能会与另一个容器共享一个物理核心。

研究证据始终指向同一个方向:

研究发现

来源

谷歌通过将核心绑定(core pinning)与缓存、内存带宽、网络和功耗隔离相结合,将延迟敏感型服务(网页搜索、键值存储、机器学习聚类)与批处理作业部署在同一台机器上,达到了平均 90% 的服务器利用率,且延迟 SLO 违标率为零。而在仅设置容器优先级(shares)而不进行核心绑定的情况下,即使在低负载下,相同的混合部署也会违反延迟目标。

Lo 等人,Heracles,ISCA 2015 [1][2]

在 Heracles 方案中,使用 cpuset 将延迟敏感型任务和批处理任务绑定到不同核心,仅凭这一点就足以消除同核心调度干扰和超线程干扰。

Lo 等人 [1],由 Luu 总结 [3]

一项对公有云性能研究的大规模综述得出结论:CPU 密集型性能主要取决于实际分配的硬件,而 I/O 密集型工作负载才是对吵闹邻居敏感的工作负载。

Leitner 和 Cito,ACM TOIT 2016 [4],总结于 Duet Benchmarking [5]

2025 年一项在 AWS 上对真实流处理基准测试运行超过三个月的研究发现,吞吐量的波动没有通常想象的那么严重,变异系数低于 3.7%。

流处理波动性研究,arXiv 2025 [6]

当 Indeed 将其“吵闹”的容器延迟追溯到内核的 CPU 配额处理机制(而非邻居)时,对其进行修复后,最坏情况下的响应延迟从 2 秒以上锐降至 30 毫秒。

Chiluk,Indeed Engineering,2019 [7]

最后一行比表面上看起来更重要。以往团队归咎于“吵闹邻居”的一些问题,根本不是邻居引起的:而是由于配置或内核漏洞导致自身容器内部发生的配额限流。没有严格配额的保障性分配完全消除了这类问题。Edgegap 在该领域深耕已久,见证过数以千计的游戏和服务器配置,这些经验不仅提升了团队的专业技术,也提高了平台配置和使用的质量。

在消除了 CPU、内存和配额争用之后,剩下的就是真正共享的硬件组件。它们确实存在,也可以衡量,但其影响要小得多。

5. 注意事项与局限性

拥有保障的 CPU 和内存并不能使服务器达到完美隔离,我们宁愿明确说明这些残留影响,也不愿显得有所偏颇。有五个共享组件仍然可能在同一主机上的容器之间传递一些干扰,包括在工作室自己的专用服务器上自己的各场对局之间(因此无论你是在 Edgegap 还是在你自己的基于容器的架构上运行,都可能受到影响):

1. 公用调料架:末级缓存(L3 缓存)

对于游戏服务器而言不是问题:一场对局的热点状态完全可以装入每个核心所获得的 L3 缓存中,从而将影响控制在低个位数百分比内。

同一芯片上的核心共享 L3 缓存。一个流经大量数据的邻居可能会挤出你的数据,迫使你增加对 RAM 的访问次数。这种影响是客观存在的:在英特尔自身的一项基准测试中,一个中断延迟任务在承受繁重内存流量的对抗性程序旁边运行时,在没有缓存分区的情况下平均延迟为 4.53 微秒 (µs),而在有缓存分区的情况下为 1.62 微秒 (µs) [3][8]。但是,典型的服务器工作负载在 L3 缓存超过 4 到 6 MB 后收益甚微 [3][9],而目前的 AMD EPYC 9004 系列服务器 CPU 为每个核心提供了 4 MB 的 L3 缓存 [10]。对于热点状态(实体位置、物理宽相碰撞检测)能够轻松放入该预算的游戏服务器而言,在正常混部情况下预期的影响在低个位数百分比以内。

2. 冷库门道:内存带宽

对于游戏服务器而言不是问题:现代平台的带宽绰绰有余,而且游戏服务器不属于会使带宽饱和的内存流式传输工作负载。

每个核心都通过相同的内存控制器访问 RAM。2011 年发表的早期研究针对的是现在已有约 19 年历史且采用共享前端总线的处理器,测量结果显示,根据线程位置的不同,Web 搜索的性能波动高达 25%,其他应用高达 40% [11]。自那以后,服务器架构发生了根本性的变化。现代平台的通道宽得多:AMD 的 EPYC 9004 系列跨 12 个 DDR5 通道每插槽可提供高达 460.8 GB/s 的带宽 [10],而谷歌的集群测量发现,第 90 百分位的内存带宽利用率仅为 31% [3][12]。带宽饱和需要许多邻居同时运行内存流式传输工作负载,这并不符合游戏服务器的特征画像。

3. 装卸货平台:磁盘与网络 I/O

对于游戏服务器而言不是问题:固定 Tick 率下的小型 UDP 数据包仅占用网卡的一小部分,且针对每个容器的流量整形可以防止任何单个工作负载霸占链路。

根据公有云文献记载,共享网卡和磁盘是对吵闹邻居最敏感的组件 [4][5]。然而,游戏服务器在启动后几乎没有磁盘 I/O,其网络流量由固定 Tick 率下的小型 UDP 数据包组成,仅占 25 或 100 Gbps 网卡的极小一部分。流量整形(Linux qdisc)和容器级限制可以防止某个工作负载独占链路,这一点在 Heracles 中已得到证实 [1]。

4. 两位厨师共享双手:SMT

通过调度放置和监控来解决:繁忙的同胞线程很少同时达到峰值,按部署监控的 CPU 等待时间可以揭示这种情况,而将核心的两个线程同时分配给同一个游戏服务器则可消除该影响。

这是最大的残留影响,并且它同样适用于多租户容器平台以及工作室自己启用了 SMT 的裸金属服务器。每个物理核心提供两个硬件线程,如果将一个 vCPU 计算为一个线程,那么你的游戏服务器线程的同胞线程可能正在运行另一个容器。当两个同胞线程同时处于繁忙状态时,它们会争夺核心的执行单元;一位内核邮件列表的贡献者曾描述过,由于同胞线程负载过重,一个 100 毫秒的请求被延长到了 165 毫秒 [13]。游戏服务器具有突发特性,因此两个同胞线程很少在同一时刻达到峰值,典型的影响远小于最坏情况。一旦发生这种情况,它会直接反映在 CPU 等待时间中,Edgegap 会按部署对此进行监控(参见结论)。以同胞对的形式分配 vCPU,使核心的两个线程都属于同一个游戏服务器,即可消除该影响;Heracles 的研究表明,将同胞线程保留在同一工作负载内可以消除超线程干扰 [1][3]。

5. 后厨余热:功耗与散热限制

并非多租户特有的问题:满载的服务器 CPU 大约会损失 4% 的时钟频率,超密整合的专用服务器同样要付出这一代价。

当每个核心都处于繁忙状态时,CPU 会降低其时钟频率以保持在功耗预算之内。在当前的 AMD EPYC 服务器 CPU 上,最大单核睿频为 3.7 GHz,全核睿频为 3.55 GHz [10],差距约为 4%。这是在整个芯片满载时该影响的上限,它是硬件的属性,而不是多租户架构造成的:一台满负荷的专用服务器同样要承担这 4% 的损失。在常用于裸金属游戏托管的高频桌面级 CPU 上,这种影响可能更大。例如,AMD 的锐龙 7000 芯片“旨在耗尽所有可用的散热余量以提供更快的性能”:在 Tom's Hardware 的测试中,锐龙 9 7950X 在负载下的峰值温度达到了 90°C,而其安全工作极限为 95°C [20]。对于专为在热极限下运行而打造的芯片,全核时钟频率取决于主机的散热性能。

Edgegap 如何应对这些问题

Edgegap 在其机群上实施以下控制措施:

  • 通过 cgroups 强制执行保障性 CPU 分配,在游戏服务器主机上绝不超配 CPU。

  • 硬性内存预留,在游戏服务器主机上绝不超配内存。

  • 不对游戏服务器容器设置严苛的 CPU 配额,杜绝配额限流成为抖动的来源。

  • 基于容器的网络整形和调度放置规则,将重负载分散到各个主机上。

  • 对单容器 CPU 压力进行持续监控(在结论中详述)。

Edgegap 通常使用较小型的机器,这减少了上述共享组件所承受的负载。持续的 CPU 和 RAM 监控还让平台能够知道某台机器是否能够承载更多的游戏服务器。

6. 预估影响:容器对比裸金属

两张图表均假定在相同且启用 SMT 的硬件上运行,因此共享硬件的影响(SMT 同胞线程、缓存、内存带宽、I/O、功耗)是完全相同的。它们之间唯一的区别在于配置:每个游戏服务器是否有保障的 CPU 分配,以及主机的打包整合是否超出了其线程数。

Chart of estimated added tick time on a container with guaranteed resources: run-queue contention, quota throttling and memory reclaim eliminated; SMT sibling sharing about 10%, up to 65%; cache, memory bandwidth, I/O and power 0.5 to 2%, up to 5%.

根据第 5 节中的范围及参考文献 [3]、[8] 至 [13] 得出的说明性预估;非针对特定游戏的实测数据

Chart of estimated added tick time on bare metal with packed matches: run-queue contention about 5%, up to 25%; SMT sibling sharing about 10%, up to 65%; cache, memory bandwidth, I/O and power identical to the container setup.

说明性预估;运行队列上限源于超出核心数 25% 的打包超配,SMT 上限源于 [13] 中的内核报告

唯一不同的一行是运行队列争用,这是由于打包运行的繁忙对局数量超过了主机的线程数造成的。这种做法在专用服务器上很常见,因为超密整合是它们收回成本的方式。如果一台裸金属服务器采用与容器相同的配置(为每场对局提供有保障的分配,打包数量不超过线程数),则会呈现第一张图表的结果。这两种设置面临相同的 SMT 风险,这种风险只有在 vCPU 成对分配或禁用 SMT 时才会消失。这些数据是根据公开文献范围整理得出的预估值。

结论:源于旧内核的恐慌

游戏工作室通常表达的“吵闹邻居”担忧,更多是植根于历史,而非现代 Linux 在规范运营的平台上的真实表现。

第一个源头:共享核心的云虚拟机

公有云销售两种截然不同的虚拟机。专用 vCPU 类型为单个虚拟机保留每个 vCPU。共享核心和突发性能类型则是故意超售以保持低价:谷歌的 e2-micro、e2-small 和 e2-medium 共享一个物理核心,定位是作为运行轻量级、低强度应用的经济型方式 [17];而 AWS T 系列实例仅保证基准性能,依赖 CPU 积分来实现高于基准的突发 [18]。t3.nano 的基准性能仅为一个 vCPU 的 5%,在标准模式下,一旦其积分耗尽,就会被限制在该水平 [19]。这些层级是为低流量网站、开发环境和偶发性任务而设立的。它们也是大多数开发者在描述“吵闹邻居”时脑海中浮现的环境,部署在上面的游戏服务器确实会遭受性能损害。Edgegap 在其云服务中的任何地方都不使用共享核心或突发性能虚拟机。每次部署都运行在专用资源上。

第二个源头:旧内核

许多民间传闻可追溯到 cgroups v1 时代。独立的控制器层级结构导致了不一致的记账,内存和 I/O 隔离能力较弱,而且无法直接测量容器等待资源的时间。最重要的是,2018 年引入的一个 CFS 带宽控制退化漏洞(Linux 4.18)导致多线程容器在仅使用了其 CPU 配额的一小部分时就被严重限流。它给 Kubernetes 和 Mesos 用户带来了沉重打击,被称为“150 万美元的漏洞”,并最终于 2019 年在 Linux 5.4 中修复 [7][14][15]。许多在那段时期吃过苦头的工程师得出了“容器噪声大”的结论,而真正的罪魁祸首是配额处理中的一个内核漏洞。如今在各大主流发行版中作为默认配置的 cgroups v2 统一了层级结构,修复了内存和 I/O 记账,并引入了压力阻塞信息(PSI)[16]。

当今的现状

通过提供有保障、非超售的资源,容器之间的 CPU 和内存争用在结构设计上已被消除。剩下的只是一组共享硬件的影响,通常只有几个百分点,而这些影响对专用服务器上工作室自己的各场对局来说是完全一样的。独占一台机器并不能保护你免受这些影响;而有保障的资源分配可以。

Edgegap 的立场

Edgegap 的编排系统直接构建在 cgroups 之上,资源隔离是平台的核心能力,而不是保持默认设置不管的配置项。我们为工作室提供工具和分析数据,以查看每个部署的资源使用情况,包括能够揭示真正吵闹邻居的各项信号。

正确的指标:CPU 等待时间

单凭 CPU 利用率无法告诉你游戏服务器是否处于资源匮乏状态。真正重要的指标是 CPU 等待时间:服务器的线程已准备好运行,但在等待核心的时间有多长。Linux 通过 PSI 直接公开了这一点,其 cpu.pressure 文件报告了容器中至少有部分任务因等待 CPU 而停顿的时间占比,按 10 秒、60 秒和 300 秒进行平均 [16]。在任何多线程系统上,出现少量的等待时间是正常且符合预期的:线程同时被唤醒,调度器需要几微秒来进行调度放置,中断会短暂抢占工作。Edgegap 不会对这一基准情况发出告警。我们监控的是在幅度和时长上都超过正常阈值的等待时间尖峰,因为这些——而不是短暂的瞬时抖动——才会转化为丢 Tick 和玩家体验下降。

担忧所付出的代价

对吵闹邻居的顾虑促使工作室转向在非高峰时段大部分闲置的超额配置专用机群,或者为了避免使用专用权威服务器而完全转向P2P 或中继架构——后者在账面上更便宜,但抵御作弊能力更弱,公平性也更差。这两种结果的代价都极为昂贵。如果工作室不再追问“这台机器上还有谁?”,而是问“我的资源是否有保障,我能否看到我的 CPU 等待时间?”,那么他们就能在大幅节约基础设施成本的同时,依然为每位玩家提供服务器权威的优质体验。

—

参考文献

  1. Lo, Cheng, Govindaraju, Ranganathan, Kozyrakis. Heracles: Improving Resource Efficiency at Scale. ISCA 2015.

  2. 斯坦福大学 Heracles 项目主页.

  3. Dan Luu. Why Intel added cache partitioning(关于 Heracles、Kanev 等人以及 Intel CAT 基准测试的总结)。

  4. Leitner 和 Cito. Patterns in the Chaos: A Study of Performance Variation and Predictability in Public IaaS Clouds. ACM Transactions on Internet Technology, 2016.

  5. Duet Benchmarking: Improving Measurement Accuracy in the Cloud. ICPE 2020.

  6. Studying Cloud Performance Variability for the Case of Stream Processing Applications. arXiv, 2025.

  7. Dave Chiluk. Unthrottled: Fixing CPU Limits in the Cloud. Indeed Engineering, 2019.

  8. Intel. Cache Allocation Technology white paper, 2015 年 4 月.

  9. Ferdman 等人. Clearing the Clouds: A Study of Emerging Scale-out Workloads on Modern Hardware. ASPLOS 2012.

  10. AMD. AMD EPYC 9654 规格参数.

  11. Tang, Mars, Vachharajani, Hundt, Soffa. The Impact of Memory Subsystem Resource Sharing on Datacenter Applications. ISCA 2011.

  12. Kanev 等人. Profiling a Warehouse-Scale Computer. ISCA 2015.

  13. Linux 内核邮件列表. Real-time scheduling policies and hyper-threading, 2014 年 4 月.

  14. Dave Chiluk. Unthrottled: How a Valid Fix Becomes a Regression. Indeed Engineering, 2019.

  15. Phoronix. The Linux Kernel Seeing Backport Progress Finally For The "$1.5 Million Dollar Bug".

  16. Linux 内核文档. PSI: Pressure Stall Information.

  17. Google Cloud. 机器系列资源和对比指南:共享核心机型.

  18. AWS. 突发性能实例.

  19. AWS. 突发性能实例的标准模式示例.

  20. Paul Alcorn, Tom's Hardware. AMD Ryzen 9 7900X Review: Zen 4 Has a Pricing Problem. 2022 年 10 月(功耗、温度与超频页面).

书写者

Mathieu Duperré (创始人兼首席执行官)

与来源和/或内容协作

Gabriel Parent (主任),负责插图和排版。

Get your Game Online Easily & in Minutes

立即开始集成!

轻松在线游戏
且在几分钟内