Un servidor con GPU para tu propio LLM

Qué tamaño necesitas: los modelos de 8B funcionan en tarjetas de 8 GB y responden bien a preguntas sencillas y resúmenes. Los de 14B piden entre 12 y 16 GB. Con los de 32B es cuando los modelos autoalojados empiezan a parecerse a los grandes modelos alojados para programar y escribir, y necesitan 24 GB. Un modelo de 70B necesita 48 GB, en una tarjeta o repartido entre dos. El contexto también cuesta memoria: la documentación de Ollama dice que la memoria necesaria crece con la longitud del contexto y con el número de peticiones atendidas a la vez, así que deja unos gigabytes libres. Ajusta el filtro «Memoria por GPU» a tu modelo.

Por hora o por mes: las nubes con GPU facturan por horas, y las facturas de aquí muestran lo que cuesta un servidor que funciona todo el mes, con la dirección IPv4 y cualquier cuota de instalación sumadas. Si solo necesitas el modelo unas horas al día, divide en consecuencia y comprueba que el proveedor deja de facturar un servidor detenido; algunos siguen cobrando el disco.

Cuándo no necesitas GPU: un asistente que llama a la API de un modelo alojado, como OpenClaw, funciona en un VPS pequeño. Los modelos pequeños de 1 a 3B pueden ejecutarse en una CPU con memoria suficiente, aunque despacio. Para cualquier cosa más grande, la GPU es lo que define el servidor.