Que un modelo de lenguaje funcione en tu GPU depende de una sola pregunta: ¿cabe en la memoria de vídeo? Si no cabe, o no se carga o se desborda a la memoria del sistema y se arrastra. La buena noticia es que la estimación es aritmética sencilla y que la palanca más grande es una que controlas tú.
Parte 1: los pesos
Los parámetros del modelo tienen que estar en memoria. Su tamaño es el número de parámetros × los bytes por parámetro. Con precisión de 16 bits (FP16 o BF16), cada parámetro ocupa 2 bytes, así que un modelo de 8 mil millones de parámetros necesita 16 GB solo para los pesos. A 8 bits es 1 byte por parámetro y a 4 bits, aproximadamente medio byte.
Parte 2: la caché KV
Mientras genera, el modelo guarda las claves y los valores de cada token del contexto para no recalcularlos. Por token, son 2 × capas × cabezas de clave-valor × dimensión de la cabeza × bytes. Para un modelo típico de 8B con 32 capas, 8 cabezas de clave-valor y cabezas de 128 dimensiones a 16 bits, son unos 131 KB por token. Crece con la longitud del contexto y con el número de peticiones atendidas a la vez.
Parte 3: la sobrecarga
El runtime, las activaciones y la fragmentación de memoria necesitan espacio extra. Alrededor del 10 % es un margen de planificación razonable, y más en algunos frameworks de servicio.
Pesos
8B × 2 bytesequals16 GB
Caché KV por token
2 × 32 capas × 8 cabezas × 128 × 2 bytesequals131 KB
Caché KV
131 KB × 8192 tokens × 1equals1,07 GB
Total con sobrecarga
(16 + 1,07) × (1 + 10%)equals18,8 GB
Así, un modelo de 8B a precisión completa de 16 bits necesita unos 18,8 GB y cabe en una tarjeta de 24 GB, pero no en una de 16 GB.
La cuantización es la gran palanca
Reducir la precisión encoge los pesos en proporción. El mismo modelo de 8B necesita unos 10 GB a 8 bits, que caben en una tarjeta de 12 GB, y unos 5,6 GB a 4 bits, que caben en una de 8 GB.
Pesos
8B × 0,5 bytesequals4 GB
Caché KV por token
2 × 32 capas × 8 cabezas × 128 × 2 bytesequals131 KB
Caché KV
131 KB × 8192 tokens × 1equals1,07 GB
Total con sobrecarga
(4 + 1,07) × (1 + 10%)equals5,6 GB
La calidad suele bajar un poco con una cuantización más fuerte, y más en los modelos pequeños que en los grandes. Prueba con tus propias tareas antes de decidirte por una precisión.
Contexto largo y modelos más grandes
El contexto es la parte que la gente olvida. Si subes el contexto del mismo modelo de 8B en FP16 de 8.192 a 32.768 tokens, la caché KV se cuadruplica hasta unos 4,3 GB y el total llega a unos 22,3 GB, algo justo en una tarjeta de 24 GB. En el otro extremo, un modelo de 70B con 80 capas a 4 bits necesita unos 41,5 GB con un contexto de 8K: una tarjeta de 48 GB, o dos de 24 GB con el modelo repartido entre ellas.
Ejemplos resueltos para un modelo de 8 mil millones de parámetros
Con nuestra calculadora de VRAM para LLM y un modelo típico de 8B (32 capas, 8 cabezas de clave-valor):
- Pesos en FP16, contexto de 8K: unos 18,8 GB. Cabe en una GPU de 24 GB.
- Pesos a 8 bits, contexto de 8K: unos 10 GB. Cabe en una GPU de 12 GB.
- Pesos a 4 bits, contexto de 8K: unos 5,6 GB. Cabe en una GPU de 8 GB.
- Pesos en FP16, contexto de 32K: unos 22,3 GB, de los cuales 4,3 GB son la caché KV.
- Pesos en FP16, contexto de 128K: unos 36,5 GB. Solo la caché KV son 17,2 GB, más que el propio modelo.
La última línea es la que sorprende a la gente. Con contextos largos, la memoria la domina la caché KV, no los pesos. Cuantizar los pesos a 4 bits con un contexto de 128K solo lleva el total a unos 23,3 GB, porque la caché de 17,2 GB no cambia.
Atender a varios usuarios a la vez
Cada petición simultánea necesita su propia caché KV. Un modelo de 8B a 4 bits que atiende 8 peticiones con un contexto de 8K necesita unos 13,9 GB: 4 GB de pesos y 8,6 GB de caché. Si piensas atender a muchos usuarios, dimensiona la GPU para la caché con la concurrencia que esperas, no solo para el modelo.
Una guía práctica de compra
- De 8 a 12 GB: modelos pequeños (alrededor de 8B) a 4 u 8 bits con un contexto modesto, para uso personal.
- De 16 a 24 GB: modelos de 8B a precisión completa, o modelos más grandes muy cuantizados.
- 48 GB: modelos de la clase de 70B a 4 bits (unos 40 GB con un contexto de 8K), o contextos largos en modelos más pequeños.
- 80 GB o más: modelos de la clase de 70B a mayor precisión, o atender a muchos usuarios.
Tip: Si un modelo casi cabe, reduce la longitud del contexto o cuantiza la caché KV a 8 bits antes de comprar una GPU mayor. Ambas cosas recortan memoria con poco esfuerzo.
Preguntas frecuentes
- ¿Puedo ejecutar un modelo de 70B en una GPU de 24 GB?
- No por completo en la GPU. Incluso a 4 bits, un modelo de 70B necesita unos 40 GB con un contexto de 8K. Con 24 GB tendrías que descargar parte del modelo a la memoria del sistema, lo que es mucho más lento, o usar un modelo más pequeño.
- ¿Cuánta VRAM necesita un modelo de 8B?
- Unos 18,8 GB a 16 bits con un contexto de 8K, unos 10 GB a 8 bits y unos 5,6 GB a 4 bits, incluidos la caché KV y un margen de sobrecarga del 10 %.
- ¿Qué es la caché KV?
- Las claves y los valores almacenados de cada token del contexto, que se guardan para que el modelo no los recalcule. Crece con la longitud del contexto y con el número de peticiones simultáneas.
- ¿Puedo ejecutar un modelo de 70B en una sola GPU?
- A 4 bits y con un contexto modesto, necesita entre 41 y 42 GB, es decir, una tarjeta de 48 GB. En tarjetas de 24 GB hay que repartirlo entre dos o más.
- ¿Por qué un contexto largo consume tanta VRAM?
- La caché KV crece con cada token de contexto. En un modelo típico de 8B son unos 17 GB con 128K tokens, más que los pesos en FP16.