Un serveur GPU pour votre propre LLM

Quelle taille il vous faut : les modèles 8B tournent sur des cartes de 8 Go et répondent bien aux questions simples et aux résumés. Les modèles 14B demandent de 12 à 16 Go. C’est avec les modèles 32B que les modèles auto-hébergés commencent à se rapprocher des gros modèles hébergés pour le code et la rédaction, et ils demandent 24 Go. Un modèle 70B demande 48 Go, sur une carte ou réparti sur deux. Le contexte consomme aussi de la mémoire : la documentation d’Ollama indique que la mémoire nécessaire croît avec la longueur du contexte et le nombre de requêtes traitées en même temps ; laissez donc quelques gigaoctets libres. Réglez le filtre « Mémoire par GPU » selon votre modèle.

À l’heure ou au mois : les clouds GPU facturent à l’heure, et les factures affichées ici montrent ce que coûte un serveur qui tourne tout le mois, adresse IPv4 et éventuels frais d’installation ajoutés. Si vous n’avez besoin du modèle que quelques heures par jour, divisez en conséquence et vérifiez que l’hébergeur cesse de facturer un serveur arrêté ; certains continuent de facturer le disque.

Quand vous n’avez pas besoin de GPU du tout : un assistant qui appelle l’API d’un modèle hébergé, comme OpenClaw, tourne sur un petit VPS. De petits modèles de 1 à 3B peuvent tourner sur un CPU avec assez de mémoire, lentement. Pour tout ce qui est plus gros, c’est le GPU qui détermine le serveur.