Objetivos de aprendizaje
- Entender cuándo usar adaptador separado y cuándo mergear.
- Preparar GGUF para llama.cpp/Ollama.
- Crear un Modelfile con prompt de sistema y parámetros.
En cristiano: merge. Es combinar el adaptador LoRA con el modelo base para generar un modelo completo. A veces conviene; otras prefieres cargar adaptador separado.
Flujo de salida
adapter LoRA -> evaluar -> merge con modelo base si procede -> export safetensors -> convertir a GGUF -> cuantizar Q4/Q5/Q8 -> crear Modelfile Ollama -> probar en la app real
Idea clave. Unsloth documenta export de modelos fine-tuned a formatos como safetensors y GGUF para usarlos con llama.cpp, vLLM, Ollama y otros runtimes.
Modelfile de Ollama
FROM ./soporte-qwen-lora-q5_k_m.gguf PARAMETER temperature 0.2 PARAMETER num_ctx 4096 SYSTEM """ Eres un asistente interno de soporte. Responde en español claro. Si faltan datos, pide aclaración. No inventes políticas, precios ni datos personales. """
ollama create soporte-pyme -f Modelfile ollama run soporte-pyme "Clasifica este email de ejemplo"
Cuidado. Cuantizar puede cambiar comportamiento. Repite evals después de convertir a GGUF, no solo antes.
Comprueba que funciona. Compara modelo base, adaptador sin cuantizar y GGUF cuantizado con los mismos 20 casos. Si el GGUF cae mucho, cambia quant o parámetros.
Guardar y reabrir el proyecto.
Un modelo adaptado publicado debe tener manifest: base, adaptador, dataset, evals, quant, Modelfile y fecha.
Siguiente misión recomendada
Si has guardado la evidencia de esta lección, continúa con «Proyecto pyme». Si no, repite la comprobación antes de avanzar.