美光丨基于第六代AMD EPYC的智能体AI：为应用程序服务器带来代际性能提升

　　我们评估了第六代 AMD EPYC™ 在智能体应用程序服务器工作负载上的代际性能提升。2026 年 7 月 22 日，AMD Advancing AI 大会现场。

　　“我们需要一艘更大的船。” — 布罗迪警长

　　随着 AI 的使用向智能体模式转变，对数据中心基础设施的要求也会随之提高。这将导致每台服务器的 CPU、内存、存储性能和密度目标值都相应提高，但理想的智能体应用程序服务器应该是什么样的? 又该如何进行测试呢?

　　我的团队构建了一个基准测试，用于模拟智能体 AI 可能对您的基础设施施加的工具调用工作负载，并与 AMD 数据中心生态系统应用工程团队合作，于 7 月 22 日在 AMD Advancing AI 大会上进行了演示。我们测试了第五代 AMD EPYC 128 核 CPU，AMD 测试了他们的新型第六代 AMD EPYC 256 核 CPU。第六代 AMD EPYC CPU 搭配美光® DDR5-8000 内存和 9650 PCIe® 6.0 NVMe™ SSD，性能提升了 3.8 倍，CPU 能效提高了 2.9 倍。

　　幸好，AMD 为我们打造了一艘更大的船。

　　智能体应用程序服务器

　　智能体 AI 部署运行在两个不同的计算层级上。推理运行在 AI 集群上，该集群利用加速器密集型主机来运行语言模型和智能体框架。每当智能体调用工具时，该请求就会离开 AI 集群并到达应用程序服务器。应用程序服务器执行工作，将结果返回，然后智能体决定下一步做什么。

　　图 1：智能体 AI 数据流。此基准测试用于表征应用程序服务器(橙色高亮部分)。

　　应用程序服务器正是我们着手要表征的对象。当每台主机有数百次工具调用时，CPU、内存和 NVMe 子系统决定了响应时间。这是一个关于存储、内存和计算的整体问题。

　　智能体基准测试设计

　　我们对生产环境中的智能体工作流进行了剖析，并设计了一项测试，使用真实应用程序来模拟应用程序服务器常见的操作。

　　编码智能体拉取资产、查找构建元数据并检索源代码树。

　　文档分析智能体获取文档、查询策略数据库并搜索语料库。

　　运维智能体拉取日志文件、查询指标存储并检索运行手册。

　　数据分析智能体拉取原始导出数据、查询目录数据库并搜索先前的报告定义。

　　具体细节有所不同，但工作负载特征相似。

　　图 2：四个代表性智能体工作流映射到三种基准应用程序：S3 GET 用于资产和语料库获取，MariaDB® 用于元数据和会话查找，ripgrep 用于文本和代码搜索。

　　对象存储：针对本地 MinIO™ 端点的 S3 GET 流量。智能体获取文档、图像、向量分片和 RAG 语料库块。我们使用了混合对象大小分布(每个容器 500 × 1 MiB，500 × 10 MiB，190 × 50 MiB)来对 NVMe 层的吞吐量进行压测。

　　针对 MariaDB 的结构化查询：每个周期 50 次查询，涵盖五种查询模式(点查询、范围扫描、聚合、有序扫描、去重)。这展示了智能体如何访问其元数据、会话和长期记忆存储。

　　使用 ripgrep 进行代码和文本搜索：每个周期在完整的 Linux 内核和 CPython 源代码树中进行 100 次 ripgrep 搜索。文本搜索非常消耗 CPU，且会占用主机内存，它常见于编码智能体、日志分析智能体以及在语料库中查找引用的工作流中。

　　每个智能体都在其独立的 Docker™ 容器中运行，内存限制为 4GB。每个容器运行一个周期：1,190 次 S3 GET 请求，50 次 MariaDB 查询，以及 100 次 ripgrep 搜索。

　　AMD Advancing AI 与第六代 EPYC CPU

　　在 AMD Advancing AI 2026 大会上，AMD 发布了第六代 AMD EPYC 服务器 CPU，旨在为智能体 AI 时代提供领先的性能。AMD 将业界领先的核心密度(每插槽高达 256 个核心和 512 个线程)与具备业界最高频率 5GHz 的 AI 主机节点，以及业界领先的 PCIe 6.0 I/O 子系统相结合，后者使每链路带宽较上一代翻倍。AMD 将其定位为用于扩展具备密集计算能力的智能体的理想 AI 主机节点，并作为一个广泛的、针对工作负载优化的产品组合，以支持通用工作负载、数据库、存储和 CPU 推理，从而保障企业的日常运营。

　　全新的第六代 AMD EPYC 系统支持美光 DDR5-8000 DRAM，数据速率较第五代 AMD EPYC 系统所使用的 DDR5-6400 提高了 25%，内存通道也从 12 个增加到 16 个。这些改进使得峰值内存带宽从第五代 EPYC 系统的 614 GB/s 提升至第六代 EPYC 系统的 1,024 GB/s，实现了 1.7 倍的提升，并且每个插槽具有更大的容量，足以容纳数百个并发智能体的工作集。

　　存储也实现了代际飞跃。美光 9650 SSD 是首批投入量产的 PCIe 6.0 数据中心 SSD 之一，它利用翻倍的接口带宽，在智能体主机生成的混合 I/O 负载下，能更快地返回对象和语料库读取数据。第六代 AMD EPYC 系统采用了 PCIe 6.0 美光 9650 驱动器，而第五代 AMD EPYC 系统则使用了 PCIe 5.0 美光 9550。

　　性能结果

　　关键指标是每秒智能体操作数 (AOPS)，即容器内所有运行工作负载完成的操作数总和除以完成操作所需的时间，反映了整个系统处理操作的速度。第六代 EPYC CPU 持续达到 2,185 AOPS，而 Turin 为 581.4 AOPS，提升了 3.8 倍。这是在 2 倍容器数量的情况下实现的，意味着第六代 EPYC CPU 在几乎一半的时间内完成了两倍的工作量。

　　总体智能体性能

　　图 3(左一)：总 AOPS：第六代平台为 2,185，第五代平台为 581.4。

　　图 4(右一)：每个物理核心的 AOPS：第六代平台为 8.5，第五代平台为 4.5。

　　我们的测试结果显示，第六代平台的总 AOPS 是第五代平台的 3.8 倍。这有效地衡量了系统完成 1,190 次 S3 GET 请求、50 次 MariaDB 查询以及 100 次 ripgrep 搜索的速度(乘以已部署容器数量)。第六代 EPYC 系统在 157 秒内完成了 343,040 次操作，而第五代 EPYC 系统在 299 秒内完成了其半数的操作。从单核性能来看，在运行两倍数量的容器和两倍数量的核心时，第六代 EPYC 系统实现的单核 AOPS 高出 1.9 倍。

　　应用程序延迟与工作负载的关系

　　即使运行容器的数量翻倍，第六代 AMD EPYC CPU 在所有工作负载下仍能提供更低的应用程序延迟。S3 充分利用了美光 9650 在 PCIe 6.0 接口下的混合 I/O 性能，MariaDB 受益于整个系统的性能提升，而 ripgrep 则高度依赖 CPU。

　　图 5：各工作负载的容器平均延迟。

　　CPU 性能

　　第六代 EPYC CPU 在所有核心上的平均利用率为 33%，而第五代 EPYC CPU 的平均利用率为 87%，但这并不能反映全部情况。在整个测试过程中，两款 CPU 都经常出现利用率飙升至 100% 的情况。

　　图 6：每个活动窗口期间的 CPU 利用率：平均值和峰值测量结果。

　　存储性能

　　图 7(左一)：测得的平均和峰值总存储读取吞吐量。

　　图 8(右一)：测得的平均和峰值总存储读取 IOPS。

　　存储工作负载非常复杂，其中 S3 驱动大块随机 I/O，MariaDB 使用 16KB I/O，而 ripgrep 则发出 4KB 及更小的 I/O。使用两块硬盘时，美光 9650 可飙升至 53 GB/s(170 万 IOPS)，非常接近每块硬盘 28 GB/s 的理论最大值。这证明了 9650 不仅能够处理极高的吞吐量，而且在复杂的混合 I/O 工作负载下也能保持稳定运行。

　　CPU 封装功耗与能效

　　图 9(左一)：测得的 CPU 封装 RAPL 平均功耗和峰值功耗。

　　图 10(右一)：测得的每封装瓦特 AOPS：第六代平台为 5.2，第五代平台为 1.8。

　　第五代 EPYC CPU 的 CPU 封装 RAPL(运行平均功耗限制)平均功耗为 320.6W，峰值功耗为 456.4W。第六代 EPYC CPU 的平均功耗为 422.8W，峰值功耗为 604.7W。由于更高的 TDP 和两倍的核心数量，第六代 EPYC CPU 功耗也更高，但也利用这些功率完成了更多的工作。从效率来看，第五代 EPYC CPU 的每 CPU 封装瓦特 AOPS 为 1.8，而第六代 EPYC CPU 为 5.2，CPU 能效提升了 2.9 倍。

　　推动数据中心的 AI 发展

　　AMD 和美光开发了此基准测试，旨在展示每个主机在智能体数量和种类增加时的系统性能。IDC 预测，到 2029 年，全球将有超过 10 亿个活跃部署的 AI 智能体，每天执行 2170 亿次操作，并消耗 3.7 万亿个词元和 API 调用以处理这些负载1。Gartner 预计，智能体 AI 支出在 2026 年将达到 2019 亿美元，并有望在 2029 年达到 7530 亿美元2。在机架层面，这意味着每个主机有更多的智能体，每个智能体有更多的并发 I/O，并且服务器内的每个子系统同时承受更大的负载。

　　第六代 AMD EPYC 系统在运行 256 个容器的情况下持续达到 2,185 AOPS，总 AOPS 比上一代提升了 3.8 倍，每核心 AOPS 提升了 1.9 倍，能效提升了 2.9 倍。