Cursos/AI Router y sistema de contenido/LiteLLM como gateway

Lección

LiteLLM como gateway

LiteLLM te permite poner una API común delante de modelos locales y proveedores externos, con claves virtuales, presupuestos, rate limits y fallbacks.

Configuración mental

Tu aplicación no debería saber si llama a Ollama, vLLM, OpenAI, Anthropic o un fallback. Habla con el gateway; el gateway aplica política.

Terminal

model_list:
  - model_name: local-fast
    litellm_params:
      model: ollama/qwen3:4b
      api_base: http://localhost:11434

  - model_name: frontier-review
    litellm_params:
      model: openai/gpt-4.1-mini
      api_key: os.environ/OPENAI_API_KEY

router_settings:
  num_retries: 2
  fallbacks:
    - { local-fast: [frontier-review] }

Qué controlar desde el gateway

Claves virtuales por entorno, usuario o equipo.
Presupuestos y rate limits para evitar sorpresas.
Fallbacks por modelo, etiqueta o tipo de tarea.
Logs de coste, latencia y errores.

Fuentes oficiales

LiteLLM Routing & Load Balancing: https://docs.litellm.ai/docs/routing-load-balancing
LiteLLM Virtual Keys: https://docs.litellm.ai/docs/proxy/virtual_keys
LiteLLM Budgets and Rate Limits: https://docs.litellm.ai/docs/proxy/users

Mapa de un AI Router útil Políticas de routing