En YouTube abundan videos de "corre un LLM local en tu laptop y reemplaza Claude/GPT gratis". Lo intenté en serio, en dos máquinas distintas, durante semanas. La conclusión corta: sirve para responder preguntas sueltas. No sirve, todavía, para uso agentic real con herramientas como opencode o un agente propio (Hermes) que necesita razonar con estado, decidir qué tool llamar, y mantener contrato de salida estricto.
El setup
Pithias: servidor dedicado, Ubuntu 24.04, AMD Ryzen 5 5600G (APU, sin GPU discreta), ~16GB RAM.
llama.cpp compilado con soporte Vulkan para aprovechar la GPU integrada de la APU — no hay CUDA disponible sin una discreta NVIDIA, y Vulkan es la vía razonable para acelerar en hardware AMD integrado.
Ollama corriendoqwen2.5-coder:7bcomo modelo base, elegido específicamente porque está entrenado para tareas de código, no propósito general.
Lo que sí funciona
Preguntas puntuales, de una sola vuelta, sin necesidad de mantener contexto extenso ni de encadenar decisiones: "explícame este error", "genera esta función", "qué hace este bloque de código". Ahí el modelo responde razonablemente bien y en tiempo aceptable. Si tu caso de uso es un chat de preguntas y respuestas aisladas, es completamente viable correrlo local.
Donde se cae: uso agentic real
opencode y Hermes no hacen una pregunta y esperan una respuesta — encadenan pasos: el modelo decide qué tool llamar, recibe el resultado, decide el siguiente paso, y así repetidamente dentro de una misma tarea. Eso exige tres cosas que un modelo de 7B corriendo en una APU no sostiene de forma confiable:
1. Ventana de contexto real bajo carga. En papel, el modelo soporta un contexto amplio. En la práctica, con el historial de la conversación, el system prompt del catálogo de tools, y los resultados intermedios de cada paso acumulándose, el contexto útil se agota mucho antes de lo anunciado. El modelo empieza a "olvidar" instrucciones tempranas del propio prompt de sistema a mitad de una tarea de varios pasos — exactamente cuando más necesitas que las recuerde.
2. Cumplimiento de contrato de salida bajo presión de contexto. Un modelo de 7B ya tiene menos margen para seguir un esquema JSON estricto que uno de mucho mayor tamaño. Sumale contexto casi lleno, y la tasa de salidas que no cumplen el esquema sube justo en las tareas más largas — que son las que de verdad importan para un agente.
3. Velocidad de inferencia en decisiones encadenadas. Una pregunta suelta puede esperar unos segundos sin problema. Una tarea agentic que necesita 5-10 decisiones encadenadas del modelo para completarse acumula esa latencia en cada paso. Lo que es tolerable una vez se vuelve inaceptable multiplicado por diez pasos seguidos.
Por qué el discurso de YouTube no cuadra
Los videos que muestran "LLM local + agente de código, funciona perfecto" casi siempre demuestran tareas de un solo paso, o corren en hardware con GPU discreta de gama alta muy por encima de lo que alguien describe como "hasta en un portátil". La brecha entre "responde bien una pregunta" y "sostiene una cadena de decisiones con contrato estricto" es exactamente donde vive la diferencia entre un modelo de 7B local y algo como Claude o GPT corriendo en infraestructura dedicada.
Dónde sí tiene sentido usar el modelo local
Como capa de bajo costo para tareas acotadas y de una sola vuelta dentro de un pipeline mayor — autocompletado simple, clasificación de texto corto, respuestas a preguntas frecuentes sin necesidad de encadenar herramientas. No como reemplazo del modelo que orquesta el agente completo.
Resumen para copiar y pegar
- Vulkan + llama.cpp es la vía viable para acelerar en APU AMD sin GPU discreta NVIDIA.
- Un modelo de 7B local responde bien preguntas sueltas, no sostiene tareas agentic de múltiples pasos.
- El contexto real disponible bajo carga de un agente (system prompt + historial + resultados intermedios) es mucho menor que el anunciado en el modelo.
- Reserva el modelo local para tareas de una sola vuelta dentro de un pipeline mayor, no como el cerebro de un agente completo.
SOCIAL SHARE CARD GENERATOR