Servidores GPU dedicados vs compartidos para inferencia: guía de costes y latencia

El gasto en GPU está bajo la lupa. Las herramientas de codificación con IA están comprimiendo los ciclos de despliegue de modelos de trimestres a semanas, y los equipos de TI europeos tienen que justificar decisiones de infraestructura que antes contaban con el lujo del tiempo. Mientras tanto, la competencia Huawei-Nvidia en China, donde Bernstein prevé que la cuota de Nvidia en el mercado chino de chips de IA caiga de aproximadamente el 40% al 8% para finales de 2026, recuerda que el mercado de GPU no es estable. Apostar hoy por el modelo de aprovisionamiento equivocado multiplica el coste de ese error mañana. La elección entre servidores GPU dedicados para inferencia y capacidad GPU compartida en la nube no es una preferencia: es una decisión con consecuencias medibles en latencia, coste y soberanía contractual.

Esta guía te ofrece un marco concreto para tomar esa decisión, fundamentado en las realidades técnicas de cómo se comportan las cargas de trabajo de inferencia modernas bajo carga real.

El cuello de botella es el ancho de banda de memoria, no la potencia de cómputo

La mayoría de los equipos enfocan la decisión sobre GPU en torno a la potencia de cómputo bruta (FLOPS, número de tensor cores, generación). El cuello de botella real para la inferencia de modelos de lenguaje de gran tamaño es el ancho de banda de memoria HBM. Cada pasada hacia adelante requiere mover los pesos del modelo desde la memoria GPU a las unidades de cómputo; para un modelo de 70 000 millones de parámetros, eso es una operación continua y muy exigente en términos de ancho de banda. NVIDIA califica la H100 SXM5 con 3 TB/s de ancho de banda HBM, y el acceso exclusivo a esa cifra es lo que separa una latencia P99 estable de tiempos de respuesta variables e impredecibles.

En entornos GPU compartidos, los inquilinos compiten por el acceso al mismo bus HBM. Cuando un contenedor vecino inicia una actualización grande del KV-cache o provoca una carga de modelo, tu latencia se dispara. Esto no es una preocupación teórica: es la consecuencia estructural de la multitenencia en la capa de memoria, y ningún nivel de orquestación la elimina por completo.

Para el servicio de producción sensible a la latencia a escala, el bare metal tiene una ventaja de latencia medible, no porque el hardware sea diferente, sino porque el acceso a ese hardware no tiene competencia.

Una comparativa ejecutando LLaMA 3 70B con cuantización de 4 bits sobre vLLM encontró que la H100 SXM5 en bare metal (configuración de dos tarjetas) entregó una latencia P50 de 35 ms y P99 de 58 ms a 5100 tokens por segundo. El mismo análisis concluyó una ventaja de latencia del 7 al 15% para bare metal frente a endpoints compartidos en la nube con un rendimiento equivalente. Esa cifra proviene de una única comparativa próxima al fabricante sin replicación independiente, así que trata el porcentaje preciso como indicativo y no como definitivo; la conclusión direccional, sin embargo, es coherente con lo que predice la teoría de contención de memoria.

Dónde gana la GPU compartida: el argumento de la utilización

La inferencia compartida no es incorrecta. Es incorrecta para la carga de trabajo equivocada. Si tu modelo sirve tráfico en ráfagas, permanece inactivo durante horas o es uno de varios endpoints experimentales que estás evaluando antes de comprometerte con producción, los costes de GPU compartida en la nube tienen un aspecto muy diferente al de la dedicada.

Pasar de un endpoint GPU dedicado a uno compartido con múltiples modelos puede reducir el coste de inferencia por solicitud entre un 60 y un 80% para modelos de bajo tráfico. A esa escala de ahorro, la capacidad compartida no es un compromiso: es la opción racional. El precio por token en las APIs de inferencia gestionada (que oscila entre aproximadamente 10 y 75 dólares por millón de tokens de salida para modelos premium, según el proveedor) escala de forma lineal con el uso, que es exactamente lo que necesitas cuando el uso es bajo e impredecible.

El problema es la latencia de arranque en frío. Los endpoints GPU compartidos y serverless tienen penalizaciones de arranque en frío que se miden en decenas de segundos cuando un modelo no está ya residente en la memoria GPU. Para herramientas internas, resúmenes por lotes o pipelines asíncronos, eso es tolerable. Para un asistente orientado al cliente o un endpoint de autocompletado de código en tiempo real, no lo es.

Benchmarks de latencia de inferencia en IA: qué significan realmente los números

Al evaluar benchmarks de latencia de inferencia en IA, la métrica más importante para la experiencia de usuario es el tiempo por token de salida (TPOT, por sus siglas en inglés), no el tiempo hasta el primer token (TTFT) por sí solo. El TTFT domina la capacidad de respuesta percibida en completados cortos; el TPOT domina en todo lo que se transmite en streaming. Ambos se ven afectados por la contención de ancho de banda de memoria en entornos compartidos.

Los equipos que ejecutan configuraciones optimizadas con TensorRT-LLM en GPUs H100 suelen ver mejoras de rendimiento de dos a cuatro veces frente a las configuraciones de servicio predeterminadas. Vale la pena cerrar esa brecha antes de concluir que la capacidad dedicada es demasiado cara: un servidor dedicado mal configurado y un endpoint compartido bien configurado pueden producir resultados similares de coste por token a escala moderada, aunque el perfil de latencia siga siendo estructuralmente diferente.

Los benchmarks InferenceX de SemiAnalysis publicados en abril de 2026 sitúan la GB300 NVL72 de NVIDIA en 0,123 dólares por millón de tokens a 116 tokens por segundo por usuario, usando Dynamo y TensorRT-LLM. Esa cifra refleja condiciones de stack optimizado en hardware de generación actual. Es un techo útil para lo que representa la eficiencia; no es representativa de lo que ejecuta la mayoría de los equipos hoy en día.

Comparativa de costes de infraestructura GPU: hiperscalers frente a alternativas

El precio bajo demanda de la H100 en los principales hiperscalers se mueve en una banda amplia. Azure está consistentemente en el extremo alto, alrededor de 11 a 13 dólares por GPU por hora. Las instancias A3 de GCP rondan los 9 a 11,50 dólares. AWS redujo los precios de P5 un 44% en junio de 2025, llevando la p5.48xlarge (ocho H100) a aproximadamente 55 dólares por hora por nodo; verifica los precios de lista actuales antes de comprometerte con un modelo presupuestario, ya que las cifras por GPU varían según la fuente en función del método de cálculo y el momento.

Los proveedores especializados (Lambda Labs, CoreWeave, RunPod y operadores comparables) ofrecen acceso a H100 a precios entre un 40 y un 85% por debajo de las tarifas bajo demanda de los hiperscalers. La disponibilidad de la B200 sigue siendo limitada a mediados de 2026, con la mayoría de los proveedores ofreciendo acceso solo mediante reserva.

La comparativa de costes de infraestructura GPU que realmente importa para los equipos europeos, sin embargo, no es solo el precio por hora de GPU. Es el precio por hora de GPU bajo las condiciones contractuales que aceptarán tus equipos legal y de cumplimiento. Los pools de GPU compartida de los hiperscalers están sujetos a la US CLOUD Act, que permite a las autoridades estadounidenses exigir la divulgación de datos a empresas estadounidenses independientemente de dónde estén almacenados físicamente esos datos. Para cargas de trabajo que procesan datos personales, registros financieros o cualquier cosa regulada por normativa sectorial específica, eso no es una cuestión de facturación: es una cuestión de exposición legal.

La soberanía como requisito contractual, no como preferencia

Operamos infraestructura GPU en bare metal en MAD1, MUC1, HEL1 y AMS1, todas instalaciones Tier III, carrier-neutral, certificadas ISO 27001 con un SLA contractual de disponibilidad del 99,9%. Los servidores físicos de inquilino único implican ninguna capa de hipervisor, ningún inquilino vecino compitiendo por el ancho de banda HBM y ninguna sobrecarga de planificación compartida. Para los equipos donde la soberanía es un requisito a nivel contractual y no una consideración de marketing, la garantía relevante no es dónde se sitúa el centro de datos en un mapa: es qué jurisdicción legal rige al operador, qué dice realmente el contrato sobre el acceso a los datos y si el compromiso de disponibilidad es ejecutable.

DORA es completamente ejecutable desde enero de 2025 y, a partir de noviembre de 2025, AWS, Microsoft Azure y Google Cloud se encuentran entre los 19 proveedores de TIC designados como Proveedores Terceros Críticos bajo supervisión directa de las autoridades financieras europeas. Esa designación no prohíbe su uso, pero sí impone obligaciones de riesgo de concentración que hacen de la diversificación hacia infraestructura sujeta únicamente a la ley europea una elección documentada y defendible, y no una preferencia teórica.

Un marco de decisión: ajustar el perfil de carga de trabajo al modelo de aprovisionamiento

Usa GPU compartida en la nube cuando: el tráfico es irregular o impredecible, el modelo es experimental o preproductivo, la latencia de arranque en frío es aceptable y la minimización de costes supera las garantías de latencia P99. El precio por token con baja utilización casi siempre es más barato que amortizar un nodo dedicado.

Usa servidores GPU dedicados para inferencia cuando: tienes un SLA de latencia (interno o contractual) que requiere un rendimiento P99 estable; estás sirviendo un modelo en producción con un rendimiento sostenido donde el coste fijo se amortiza favorablemente; tu carga de trabajo implica datos que legal o contractualmente no pueden atravesar infraestructura bajo jurisdicción estadounidense; o necesitas el ancho de banda HBM completo para servir modelos grandes sin contención.

La respuesta híbrida también es válida: endpoints compartidos para experimentación y modelos de bajo tráfico, bare metal dedicado para los dos o tres endpoints de producción donde la latencia y la soberanía realmente importan. La mayoría de los equipos que ejecutan cargas de trabajo de inferencia serias acaban aquí, no porque sea la arquitectura más elegante, sino porque ajusta la estructura de costes al perfil de riesgo.

La dinámica Huawei-Nvidia merece seguimiento por una razón que no tiene nada que ver con China: es evidencia de que el mercado de GPU se mueve más rápido que los ciclos de adquisición. La publicación en código abierto de TileLang-Ascend por parte de DeepSeek en septiembre de 2025 ofrece a los desarrolladores un camino para escribir cargas de trabajo de alto rendimiento en los procesadores Ascend de Huawei, lo que importa para los equipos europeos que evalúan la diversidad de hardware como cobertura de riesgo a largo plazo. Sea cual sea el hardware al que te comprometas hoy, el modelo de aprovisionamiento que elijas (dedicado o compartido, bare metal o gestionado) debería ser separable de la generación específica de GPU. Fija la arquitectura; mantén la capa de hardware negociable.