GPU-сервер для собственной LLM

Какой размер нужен: модели 8B работают на картах с 8 ГБ и хорошо справляются с простыми вопросами и краткими пересказами. Моделям 14B нужно от 12 до 16 ГБ. Модели 32B — это тот размер, где модели на своём сервере начинают приближаться к большим облачным в программировании и текстах, и им нужно 24 ГБ. Модели 70B нужно 48 ГБ — на одной карте или на двух. Контекст тоже занимает память: в документации Ollama сказано, что нужный объём растёт с длиной контекста и числом одновременно обрабатываемых запросов, поэтому оставьте запас в несколько гигабайт. Подберите фильтр «Память на GPU» под свою модель.

По часам или по месяцам: облака с GPU тарифицируют почасово, а стоимость здесь показывает, сколько стоит сервер, который работает весь месяц, с добавлением IPv4-адреса и платы за установку. Если модель нужна всего несколько часов в день, пересчитайте соответственно и проверьте, перестаёт ли провайдер брать деньги за остановленный сервер: некоторые продолжают брать плату за диск.

Когда GPU не нужен совсем: ассистент, который обращается к API облачной модели, например OpenClaw, работает на небольшом VPS. Маленькие модели на 1–3B можно запускать на CPU с достаточным объёмом памяти, но медленно. Для более крупных моделей сервер нужно выбирать по GPU.