La inferencia en CPU ya no es un plan de contingencia para equipos que no pueden permitirse GPUs. Para muchas cargas de trabajo reguladas en Europa, ejecutar inferencia en nodos bare metal con CPU es una decisión arquitectónica deliberada: latencia determinista, sin riesgo de multitenencia, control total sobre la pila de software y un ciclo de hardware planificable con años de antelación. La pregunta es sobre qué silicio anclar esa estrategia. El EPYC 9005 “Turin” de AMD y el Xeon 6 de Intel llegaron ambos en 2024 con afirmaciones agresivas. Ninguno es universalmente superior, y los benchmarks de los fabricantes que llenan la mayoría de las comparativas no son independientes. Esta guía corta el ruido.

Antes de los números: cada afirmación de rendimiento en este artículo que provenga de AMD o Intel es de origen o encargo del propio fabricante. No existen todavía benchmarks independientes y comparables de un tercero neutral para esta generación. Trata las cifras como señales orientativas para planificar cargas de trabajo, no como compromisos de adquisición.

Lo que cada arquitectura aporta realmente a la inferencia

El AMD EPYC 9005 “Turin” (Zen 5, 5 nm TSMC) alcanza hasta 192 núcleos y 384 hilos por socket, con soporte de memoria DDR5-5600 de 12 canales, PCIe 5.0 y CXL 2.0. La caché de datos L1 rediseñada duplica el ancho de banda tanto hacia la caché como hacia la FPU, lo que importa en cargas de trabajo de token streaming limitadas por memoria más que por cómputo. El ancho de banda de memoria por socket ronda los 540 GB/s. El diseño en chiplets que hace posibles estos recuentos de núcleos introduce complejidad NUMA: las cargas de trabajo que no se puedan particionar limpiamente entre nodos NUMA pueden experimentar una latencia mayor de lo que sugiere la cifra bruta de ancho de banda.

Intel Xeon 6 se divide en dos líneas de producto diferenciadas. Granite Rapids (hasta 128 P-cores, disponible desde septiembre de 2024) incorpora AMX (Advanced Matrix Extensions), el motor matricial integrado de Intel diseñado específicamente para inferencia INT8 y BF16. Sierra Forest (hasta 288 E-cores, anunciado en junio de 2024) sacrifica el rendimiento pico por hilo a cambio de densidad y rendimiento por vatio, orientado a cargas de trabajo paralelas en tareas al estilo cloud. En febrero de 2025, Intel amplió la línea P-core con las series 6700P y 6500P, añadiendo más núcleos y el doble de ancho de banda de memoria respecto a la generación anterior. El ancho de banda por socket es de aproximadamente 500 GB/s. Para cargas de trabajo que no escalan bien entre múltiples nodos NUMA, el diseño monolítico de Xeon puede ofrecer menor latencia que la topología en chiplets de EPYC.

El panorama de los benchmarks, en la medida en que existe

AMD afirma que su EPYC 9965 de 192 núcleos ofrece entre 3,0 y 3,8 veces más velocidad de inferencia de IA en un rango de cargas de trabajo en comparación con Intel. En traducción con Llama 3.1-8B, AMD sitúa al EPYC 9965 en 1,33 veces el throughput del Xeon 6980P; en XGBoost reclama 1,93 veces; y en el benchmark general de IA TPCx-AI, 1,7 veces. Para inferencia alojada en GPU, el EPYC 9575F de 64 núcleos de AMD (combinado con ocho aceleradores Instinct MI300X) logró aproximadamente un 8% más de throughput global frente a una configuración equivalente con Xeon Platinum 8592+ en cargas de trabajo seleccionadas de Llama 3.1-70B. La ventaja en número de núcleos es real: con 192 núcleos, el EPYC 9965 soporta un 33% más de vCPUs que la parte Xeon 6 E-core de mayor recuento disponible actualmente.

Las contrarréplicas de Intel se centran en la eficiencia de AMX. Intel afirma que Xeon 6 ofrece hasta 1,5 veces mejor rendimiento de inferencia de IA que la 5.ª generación de EPYC utilizando un tercio menos de núcleos, y proyecta hasta un 68% de ahorro en coste total de propiedad mediante consolidación de servidores. En MLPerf Inference v5.0 (el benchmark más cercano a un estándar neutral para inferencia en CPU), los P-cores de Xeon 6 mostraron una mejora media de 1,9 veces sobre la 5.ª generación de Xeon en benchmarks clave como ResNet50, RetinaNet, 3D-UNet y GNN-RGAT. De forma significativa, AMD no aparece en las entregas de CPU de MLPerf. Esa ausencia no es evidencia de rendimiento inferior, pero significa que los únicos datos de benchmark de inferencia de terceros disponibles cubren únicamente a Intel.

La plataforma que gana en una presentación del fabricante no es necesariamente la que gana con tu carga de trabajo. Hasta que AMD no participe en MLPerf, cualquier comparación de throughput bruto de inferencia requiere que ejecutes tus propios benchmarks con tus propios modelos.

Cómo emparejar la arquitectura con la clase de carga de trabajo

Para inferencia de modelos de lenguaje grande en CPU (servir modelos más pequeños, como familias de 7B u 8B parámetros, sin aceleración GPU), el ancho de banda de memoria es la restricción dominante. Los 540 GB/s por socket de EPYC y su mayor recuento de núcleos le otorgan una ventaja estructural para servicio orientado a throughput por lotes. Si ejecutas vLLM o llama.cpp en un nodo de dos sockets, el EPYC 9005 es el punto de partida natural.

Para inferencia de ML estructurado (árboles con gradient boosting, XGBoost, LightGBM, modelos clásicos de recomendación), el panorama es más matizado. Las afirmaciones de AMD sobre XGBoost parecen sólidas, pero AMX en los P-cores de Xeon 6 acelera operaciones matriciales cuantizadas de un modo que beneficia específicamente a las redes neuronales cuantizadas en INT8. Si tu pipeline mezcla modelos basados en árboles con redes neuronales cuantizadas, ambas plataformas merecen pruebas.

Para inferencia alojada en GPU con CPU como procesador anfitrión, el EPYC 9575F está diseñado específicamente para ello: 64 núcleos, alto ancho de banda de memoria y carriles PCIe 5.0 para alimentar aceleradores sin crear cuellos de botella. La ganancia de throughput del 8% que AMD demostró frente a Xeon en esta configuración es modesta pero consistente. La variable más importante aquí es la topología PCIe y la afinidad NUMA entre los sockets de CPU y las ranuras de GPU, lo que requiere validación práctica con tu disposición específica de aceleradores.

Para despliegues donde la densidad es prioritaria y la potencia y el espacio en rack son las restricciones determinantes, las partes E-core Sierra Forest de Intel merecen una consideración seria. Hasta 288 núcleos por socket con un TDP por núcleo más bajo es adecuado para entornos que ejecutan muchos procesos de inferencia pequeños e independientes en lugar de unos pocos grandes. Este es el escenario donde las afirmaciones de consolidación de Intel son más creíbles.

Eficiencia energética: la métrica que define el modelo de costes a tres-cinco años

La eficiencia energética en inferencia de CPU no es un único número. Es función del tipo de carga de trabajo, el tamaño del lote, el nivel de cuantización, el patrón de acceso a memoria y la infraestructura de refrigeración. Las partes de gama alta del EPYC 9005 tienen TDPs de hasta 500 W por socket; el Xeon 6 Granite Rapids se sitúa en un rango similar en el extremo alto. La historia de eficiencia está en el rendimiento por vatio a nivel de carga de trabajo, no solo en el TDP.

Las mejoras arquitectónicas de Zen 5 en AMD (aproximadamente un 15-20% más de IPC que Zen 4) significan que, para un objetivo de throughput dado, puede alcanzarse con menos núcleos activos, reduciendo el consumo efectivo. El argumento de AMX de Intel es similar: realizar más trabajo de inferencia por ciclo de reloj en menos núcleos y con menor potencia total. Ambas afirmaciones son plausibles; ninguna está validada por datos independientes en el momento de redactar este artículo.

Aprovisionamos nodos de inferencia de IA en bare metal en DIVERSITY a lo largo de nuestra infraestructura de IA, y el patrón que observamos de forma consistente es que las proyecciones de eficiencia energética basadas en las fichas técnicas del fabricante divergen significativamente del consumo medido una vez que las cargas de trabajo reales de inferencia se ejecutan a los tamaños de lote de producción. Presupuesta tu propia medición de potencia durante la evaluación, no después de la adquisición.

Estabilidad de la plataforma y el ciclo de hardware

Una decisión de adquisición para cargas de trabajo de IA en bare metal debe sostenerse durante tres a cinco años. Hay dos factores de plataforma que importan más allá del rendimiento bruto. Primero, la compatibilidad de memoria e interconexión: el EPYC 9005 es compatible con SP5, lo que significa que la infraestructura SP5 existente puede actualizarse sin un cambio completo de plataforma. El Xeon 6 introduce un nuevo socket (LGA7529 para Granite Rapids), por lo que las actualizaciones desde generaciones anteriores de Xeon requieren nuevas placas base. Segundo, la madurez del ecosistema de software: el soporte de AMX en frameworks de inferencia (PyTorch, ONNX Runtime, OpenVINO) está bien consolidado; las optimizaciones AVX-512 y VNNI de Zen 5 están avanzando, pero pueden requerir flags de ajuste explícitos en algunos frameworks hoy en día.

El soporte de CXL 2.0 en el EPYC 9005 abre un camino futuro para la agrupación y desagregación de memoria que podría ser relevante a medida que los tamaños de los modelos de inferencia sigan creciendo. Es una opción, no un requisito hoy, pero vale la pena tenerlo en cuenta en un horizonte de cinco años.

El marco de decisión

  • Inferencia LLM de alto throughput, por lotes, limitada por memoria: comienza la evaluación con EPYC 9005, concretamente el 9965 o el 9754 según los requisitos de recuento de núcleos.
  • Inferencia de redes neuronales cuantizadas (INT8/BF16), sensible a la latencia: el Xeon 6 P-core con AMX es la hipótesis de partida más sólida; valídala con tus propios modelos cuantizados.
  • Inferencia alojada en GPU, CPU como anfitrión: el EPYC 9575F está diseñado para esto; prueba la topología PCIe con cuidado antes de comprometerte.
  • Inferencia de alta densidad, con restricción de potencia, paralela en tareas: el Xeon 6 E-core (Sierra Forest) es el candidato lógico.
  • Cargas de trabajo mixtas o hoja de ruta incierta: ninguna plataforma domina; ejecuta ambas en paralelo durante la evaluación y mide la potencia a nivel de rack.

La respuesta honesta a “¿EPYC o Xeon?” es que depende de qué clase de carga de trabajo de inferencia estés ejecutando realmente, con qué tamaño de lote, con qué cuantización y bajo qué envolvente de potencia. Ambas plataformas son genuinamente competitivas en 2025 de formas en que no lo eran hace dos generaciones. Los equipos que tomarán buenas decisiones de adquisición son los que insisten en ejecutar sus propios modelos en el hardware candidato antes de firmar un contrato de tres años.