Speicherkapazität
Die Modellgewichte und der KV-Cache müssen in den VRAM passen. Lange Kontexte und viele gleichzeitige Nutzer lassen den Cache schnell wachsen.
Loading
Übersetzung aus dem Englischen. Bei Abweichungen gilt die englische Fassung.
Inferenz läuft kontinuierlich, sobald Sie Nutzer haben. Sie wird meist eher durch den Speicher als durch die reine Rechenleistung begrenzt, und die Kosten hängen davon ab, wie viele Anfragen jede GPU bedienen kann.
Die Modellgewichte und der KV-Cache müssen in den VRAM passen. Lange Kontexte und viele gleichzeitige Nutzer lassen den Cache schnell wachsen.
Das Erzeugen von Text Token für Token wird oft dadurch begrenzt, wie schnell der Speicher gelesen werden kann; daher wirkt sich die Bandbreite stark auf die Geschwindigkeit aus.
Der Betrieb in der Nähe Ihrer Nutzer senkt die Latenz, und Vorgaben zur Datenresidenz können die Region für Sie festlegen.
Das Verkehrsaufkommen steigt und sinkt. Die Möglichkeit, GPUs hinzuzufügen oder zu entfernen, ist wichtiger als bei einem Trainingslauf mit festem Umfang.
Eine bis acht GPUs pro Modellreplikat, so gewählt, dass Gewichte und Cache mit ausreichend Spielraum Platz finden. GPUs mit größerem Speicher können größere Modelle mit weniger Karten bereitstellen.
Typisch ist eine Mischung: Reserved-Kapazität oder Kapazität mit Bindung für die Grundlast und On-Demand für Lastspitzen. Spot eignet sich nur für Arbeiten, die Unterbrechungen tolerieren.
Dies ist eine allgemeine Orientierung, keine Empfehlung für einen bestimmten Anbieter oder Preis. Prüfen Sie aktuelle Angebote und bestätigen Sie Verfügbarkeit und Konditionen beim Anbieter.
Sehen Sie sich erfasste Angebote mit ihren Quellen und Datumsangaben an oder bitten Sie Kova, die Dimensionierung für Sie zu übernehmen.