El 29 de octubre de 2026 Mistral AI publicó en Hugging Face los pesos abiertos de Mistral Large 4, un modelo multimodal de mezcla de expertos (MoE) con 1 billón de parámetros, de los cuales 49.000 millones están activos por token (52.000 millones si se cuentan los embeddings y las capas de salida). La licencia restringe algunas ofertas de modelo como servicio. Autoalojar Mistral Large 4 se reduce a tres decisiones: la memoria, una pila de servicio de modelos y una cláusula de la licencia. Operamos infraestructura GPU, así que este es el orden en que las abordaríamos.

El modelo se anunció a principios de octubre como versión preliminar de API y se siguió entrenando después. Mistral afirma que lo probó durante tres semanas con clientes y partners de ciberseguridad y que añadió aprendizaje por refuerzo. Todas las cifras de benchmarks publicadas hasta ahora las aporta el propio proveedor y las fuentes no coinciden en varias de ellas, así que ejecuta tus propias tareas antes de comprar hardware.

Dimensionado de GPU para modelos MoE: los parámetros totales deciden la memoria

La cifra de 49B activos te dice cuánto cuesta cada token en recursos de computación. No te dice cuánta memoria necesitas, porque en el token siguiente el router puede elegir cualquiera de los 128 expertos enrutados (4 activos por token, más 1 experto compartido). Todos los expertos permanecen cargados en memoria, de modo que dimensionar a partir de 49B se quedaría corto en un factor de unos veinte.

No hemos encontrado ningún requisito oficial de VRAM, así que esta es nuestra aritmética. FP8 supone aproximadamente un byte por parámetro, es decir, cerca de 1 TB de pesos; el checkpoint NVFP4 ocupa más o menos la mitad, unos 500 GB. La caché KV se suma a los pesos y no hemos encontrado ninguna cifra de caché KV para el contexto completo de 1 millón de tokens.

Los parámetros activos marcan tu velocidad. Los parámetros totales marcan tu factura de hardware.

El checkpoint que puedes ejecutar depende de tus GPU. El checkpoint NVFP4 está pensado para GPU Blackwell y tiene la menor huella de memoria; si tus GPU no son Blackwell, cuenta con el checkpoint FP8 o con una cuantización GGUF.

La referencia FP8 sobre 8x H200 funciona con un límite de contexto de 131K y hasta 16 peticiones concurrentes, lo que apunta a un margen reducido una vez cargados los pesos. La ficha del modelo dice lo mismo cuando aconseja reducir --max-model-len y --max-num-seqs si se agota la memoria de la GPU. El límite de contexto y el límite de concurrencia son los dos primeros valores que debes fijar.

Qué muestran las configuraciones de referencia

La publicación de lanzamiento de Hugging Face ofrece tres datos medidos y una receta de referencia:

  • FP8 en 8x NVIDIA H200 con vLLM, paralelismo de tensores y de expertos, contexto de 131K y hasta 16 peticiones concurrentes: unos 65 tok/s en un solo flujo y unos 480 tok/s en conjunto.
  • NVFP4 en un nodo Dell B300 con 4 GPU, presentado como receta; no hemos encontrado ninguna cifra medida.
  • llama.cpp en 4x RTX 6000 Pro, NVFP4 con contexto de 32K: unos 10 tok/s de generación.
  • Un Apple Silicon Ultra de 512 GB con cuantizaciones de 2 bits: unos 15 tok/s en Q2_K.

Considera la primera como una configuración de producción y las dos últimas como vías para experimentar. El razonamiento no se puede desactivar y el esfuerzo por defecto es high, de modo que cada petición gasta tokens de salida en pensar antes de responder. Tenlo en cuenta cuando conviertas tok/s en tiempos de respuesta.

Nuestros servicios de IA se ejecutan en GPU en Ámsterdam y normalmente sirven modelos de pesos abiertos como Qwen, GLM y gpt-oss. Si quieres los pesos en un hardware que sea solo tuyo, nuestro nivel Bare Metal GPU es de un único cliente (single-tenant), usa la Nvidia RTX PRO 6000 Blackwell Server Edition, está disponible en los cuatro centros e incluye sustitución de hardware gratuita. Los resultados anteriores no son mediciones en nuestros servidores, así que confirma con nosotros el número de nodos antes de hacer el pedido: tiene que alojar los pesos NVFP4 más tu caché KV.

Despliegue con vLLM: los flags que debes fijar primero

La ficha del modelo recomienda vLLM y menciona también SGLang, Transformers y llama.cpp. Remite a la imagen vllm/openai:mistral-large-4 y su ejemplo FP8 usa --tensor-parallel-size 8. El ejemplo NVFP4 de la publicación de Hugging Face añade paralelismo de expertos y limita el contexto a 131.072 tokens.

Un esbozo construido a partir de esos flags:

vllm serve mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --max-model-len 131072 \
  --max-num-seqs 16

El bloque da por hecho el checkpoint FP8 en 8x H200 y usa el identificador del repositorio base de la ficha del modelo, así que confirma el identificador exacto de la variante que descargues. El valor 16 de --max-num-seqs es un valor provisional nuestro, tomado de la concurrencia de la referencia de Inference Endpoints; 131072 procede del ejemplo NVFP4 y aquí se usa como límite de contexto. Hemos omitido el flag de paralelismo de expertos; copia su forma exacta del ejemplo de Hugging Face.

El checkpoint FP8 incluye una cabeza de borrador de decodificación especulativa DSpark integrada (3 tokens). Mistral midió hasta 1,9 veces el rendimiento con ella y no hemos encontrado las condiciones indicadas, así que mídelo con tus propios prompts. Para la inferencia de LLM autoalojada, la ventaja útil es más sencilla: descargas los pesos una vez y, a partir de ahí, la inferencia se ejecuta en el centro que hayas elegido. En un despliegue con vLLM en la UE sobre servidores bare metal, ese centro puede ser cualquiera de nuestros cuatro datacenters, todos en la UE.

Licencia de pesos abiertos: dónde se aplica la cláusula de modelo como servicio

La Mistral Ecosystem Open-Weight License es una licencia MIT modificada. Su sección 2 exige una licencia comercial aparte si tú o una entidad afiliada operáis un negocio de Model as a Service (MaaS). La licencia lo define como dar a un tercero acceso al modelo o a sus derivados para inferencia o postentrenamiento, de una forma que le permita ejercer un control significativo sobre las entradas, los parámetros o los datos de entrenamiento.

El texto excluye dos cosas: los productos para usuarios finales con capacidades integradas y el mero reenvío de peticiones a modelos alojados por otros. La sección 3 exime el uso interno, es decir, cualquier uso que no ponga el modelo a disposición de terceros, y el uso a través de los productos oficiales de Mistral. No hemos encontrado en el archivo ningún límite de ingresos, ninguna cláusula de campo de uso ni ningún término específico de la UE.

Los casos límite son donde necesitas asesoramiento jurídico. No hemos podido encontrar ningún análisis legal de la cláusula y los resúmenes de terceros la parafrasean de forma incoherente. Estas son las preguntas que plantearíamos a un abogado:

  • ¿Qué cuenta como «control significativo» cuando expones un endpoint con parámetros configurables?
  • ¿Convierte en terceros a las filiales el hecho de servirlas en una plataforma interna multitenant, y hasta dónde llega el concepto de «afiliada»?
  • ¿Dónde termina el «reenvío» y empieza el alojamiento?

Esto es una lectura del texto de la licencia, no asesoramiento jurídico.

Lista de comprobación antes de pedir el hardware

  1. Dimensiona según los parámetros totales. NVFP4 está pensado para Blackwell; en otras GPU cuenta con FP8 o con una cuantización GGUF. Fija un límite de contexto y un límite de concurrencia a partir de tu carga de trabajo real.
  2. Evalúa el modelo con tus propias tareas; t3n señala que todavía no existe ninguna evaluación independiente y que las cifras de los proveedores se contradicen.
  3. Decide los tok/s por flujo que necesitas. La referencia de 8x H200 da unos 65 en un solo flujo y unos 480 en conjunto; mide los tuyos con la concurrencia que vayas a usar.
  4. Haz un mapa de quién tendrá acceso al modelo y lee después las secciones 2 y 3 con tu asesor jurídico en función de ese mapa.
  5. Compara el coste con el de la API usando el precio de tu propio contrato. Los precios de la API varían según la fuente, así que no planifiques sobre una cifra citada.

Fuentes