Ein GPU-Server für Ihr eigenes LLM

Welche Größe Sie brauchen: 8B-Modelle laufen auf Karten mit 8 GB und beantworten einfache Fragen und Zusammenfassungen gut. 14B-Modelle wollen 12 bis 16 GB. Bei 32B-Modellen fühlen sich selbst gehostete Modelle beim Programmieren und Schreiben erstmals nah an den großen gehosteten an, und sie brauchen 24 GB. Ein 70B-Modell braucht 48 GB, auf einer Karte oder auf zwei verteilt. Auch der Kontext kostet Speicher: Laut der Dokumentation von Ollama wächst der benötigte Speicher mit der Kontextlänge und der Zahl der gleichzeitig bearbeiteten Anfragen, lassen Sie also ein paar Gigabyte frei. Passen Sie den Filter „Speicher pro GPU“ an Ihr Modell an.

Pro Stunde oder pro Monat: GPU-Clouds rechnen stundenweise ab, und die Rechnungen hier zeigen, was ein Server kostet, wenn er den ganzen Monat läuft, mit IPv4-Adresse und eventueller Einrichtungsgebühr. Wenn Sie das Modell nur ein paar Stunden am Tag brauchen, rechnen Sie entsprechend herunter und prüfen Sie, ob der Anbieter einen gestoppten Server nicht mehr berechnet; manche berechnen weiter den Speicherplatz.

Wann Sie gar keine GPU brauchen: Ein Assistent, der die API eines gehosteten Modells aufruft, wie OpenClaw, läuft auf einem kleinen VPS. Kleine Modelle mit 1 bis 3B können auf einer CPU mit genügend Arbeitsspeicher laufen, langsam. Für alles Größere bestimmt die GPU, welchen Server Sie brauchen.