LiteLLM como gateway

Configuración mental

Tu aplicación no debería saber si llama a Ollama, vLLM, OpenAI, Anthropic o un fallback. Habla con el gateway; el gateway aplica política.

model_list:
  - model_name: local-fast
    litellm_params:
      model: ollama/qwen3:4b
      api_base: http://localhost:11434

  - model_name: frontier-review
    litellm_params:
      model: openai/gpt-4.1-mini
      api_key: os.environ/OPENAI_API_KEY

router_settings:
  num_retries: 2
  fallbacks:
    - { local-fast: [frontier-review] }

Qué controlar desde el gateway

• Claves virtuales por entorno, usuario o equipo.
• Presupuestos y rate limits para evitar sorpresas.
• Fallbacks por modelo, etiqueta o tipo de tarea.
• Logs de coste, latencia y errores.

Fuentes oficiales

• LiteLLM Routing & Load Balancing: https://docs.litellm.ai/docs/routing-load-balancing
• LiteLLM Virtual Keys: https://docs.litellm.ai/docs/proxy/virtual_keys
• LiteLLM Budgets and Rate Limits: https://docs.litellm.ai/docs/proxy/users