GPU-ressourcer til AI og maskinlæring

GPU-instanser i Safespring Compute

GPU-ressourcer leveres som flavors, som er foruddefinerede ressourceprofiler. Hver GPU-flavor har en fast kombination af GPU, vCPU og RAM. Flavors i l2-serien inkluderer også lokal lagring. Aktuelle konfigurationer og priser findes på prissiden.

A2 er velegnet til inferens, lettere træning og videokodning. A2-flavors er tilgængelige i STO2 og aktiveres for projektet via supporten. H100 NVL tilbydes i STO1 på forespørgsel og er optimeret til inferens med store sprogmodeller. Kortet har 94 GB HBM3-hukommelse, PCIe 5.0 x16 og passiv køling.

Vælg mellem lokal og central lagring

l2-flavors inkluderer lokal NVMe-lagring på compute-noden. Roddisken følger instansens livscyklus og slettes sammen med instansen. Safespring kan ikke gendanne dataene, hvis den lokale disk fejler. Brug l2 til stateless eller kortvarige workloads, eller sørg for, at dataene er sikkerhedskopieret.

b2-flavors har ingen lokal disk og starter fra et persistent volumen i central bloklagring. Volumenet består uafhængigt af instansen og kan være af typen fast eller large.

GPU-noder til Kubernetes

GPU-understøttelse i Safespring Kubernetes Engine er tilgængelig i STO2 til workernoder med A2-flavors, hvis navne slutter på gA2. Den dokumenterede SKE-understøttelse omfatter ikke H100 NVL. Det administrerede kontrolplan og Compute-instanserne, der bruges som workernoder, faktureres separat.

Dokumentation og eksempler om GPU og maskinlæring

Læs den tekniske dokumentation om GPU-instanser, en praktisk vejledning til at køre en lokal sprogmodel og et eksempel på maskinlæring på Safesprings infrastruktur.

Konfigurationer og priser

I prislisten for GPU-instanser finder du aktuelle konfigurationer med vCPU, RAM, lokal lagring, GPU-model samt pris pr. time og pr. 30 dage.

Hvis du er i tvivl om, hvilken flavor eller lagringsløsning der passer til dit workload, kan du kontakte Safespring for at gennemgå dine behov.