Objetivos de aprendizaje
- Calcular si una RTX 3090 usada tiene sentido para tu caso.
- Entender límites de single GPU y multi-GPU sin NVLink.
- Diseñar un homelab que puedas mantener sin sufrir.
En cristiano: VRAM. Es la memoria de la GPU. Para LLMs locales importa muchísimo: pesos del modelo, KV cache, contexto y batches compiten por ella.
Cuándo sí tiene sentido
- Quieres aprender serving local, llama.cpp, Docker GPU y observabilidad.
- Vas a ejecutar modelos medianos con frecuencia.
- Necesitas privacidad o coste predecible.
- Te compensa el mantenimiento frente a pagar APIs o suscripciones.
Cuándo no
- Quieres cero mantenimiento.
- No puedes tolerar ruido, calor o consumo.
- Solo necesitas IA unas horas al mes.
- No quieres depurar drivers, fuentes o contenedores.
Idea clave. Una 3090 no “suma contexto infinito”. Multi-GPU puede ayudar a cargar modelos más grandes, pero no todos los runtimes escalan igual ni todos los modelos se reparten bien.
# llama.cpp multi-GPU: ejemplo conceptual ./llama-server \ -m ./models/modelo.gguf \ --n-gpu-layers 99 \ --split-mode layer \ --tensor-split 1,1 \ --ctx-size 8192 \ --port 8080
Checklist de compra
- Fotos reales, historial de minería si existe y política de devolución.
- Fuente con margen suficiente y conectores adecuados.
- Caja con espacio físico y flujo de aire.
- Medición de consumo en pared.
- Plan de backups y acceso remoto seguro.
Cuidado. Cuatro GPUs usadas no son cuatro veces menos problemas. Son más calor, más cables, más puntos de fallo y más riesgo eléctrico. Empieza con una si estás aprendiendo.
Comprueba que funciona. Antes de montar multi-GPU, ejecuta un benchmark repetible con una sola GPU: modelo, quant, contexto, tokens/segundo, consumo y temperatura.
Guardar y reabrir el proyecto.
El mejor homelab no es el más grande: es el que puedes encender, medir, actualizar y apagar sin miedo.
Fuentes oficiales
Siguiente misión recomendada
Si has guardado la evidencia de esta lección, continúa con «Cuantización y modelos». Si no, repite la comprobación antes de avanzar.