Objetivos de aprendizaje
- Levantar un servidor vLLM para pruebas locales o de laboratorio.
- Conectar una app usando el cliente OpenAI apuntando a tu endpoint.
- Medir latencia, tokens por segundo y errores básicos.
En cristiano: API compatible OpenAI. Tu servidor acepta rutas y formato parecidos a OpenAI. La app no necesita saber si detrás hay OpenAI, vLLM, llama.cpp o un gateway.
Servidor mínimo
python -m venv .venv source .venv/bin/activate pip install -U vllm vllm serve Qwen/Qwen3-8B \ --host 127.0.0.1 \ --port 8000
Idea clave. La documentación oficial de vLLM indica que puede servir modelos con protocolo compatible OpenAI y que por defecto suele escuchar en localhost:8000.
Cliente OpenAI contra vLLM
import OpenAI from "openai";
const client = new OpenAI({
apiKey: "local",
baseURL: "http://127.0.0.1:8000/v1",
});
const response = await client.chat.completions.create({
model: "Qwen/Qwen3-8B",
messages: [{ role: "user", content: "Dame una checklist de despliegue LLM." }],
});
console.log(response.choices[0].message.content); Cuidado. vLLM no convierte automáticamente una demo en producción. Aún necesitas autenticación, límites, logs, colas, monitorización y gestión de fallos.
Comprueba que funciona. Haz 20 peticiones seguidas y mide latencia media, p95 y errores. Si no tienes esos números, no sabes si tu servicio aguanta.
Guardar y reabrir el proyecto.
vLLM es el motor; tu producto necesita también gateway, observabilidad, evals y límites.
Siguiente misión recomendada
Si has guardado la evidencia de esta lección, continúa con «LiteLLM gateway». Si no, repite la comprobación antes de avanzar.