Google Cloud konzentriert sich auf die Bereitstellung einer erstklassigen KI-Infrastruktur (Künstliche Intelligenz), die Ihre anspruchsvollsten GPU-beschleunigten Arbeitslasten in einer Vielzahl von Segmenten unterstützt. Sie können GPUs auf Google Cloud verwenden, um KI-, maschinelles Lernen (ML), wissenschaftliche, Analyse-, Engineering-, Verbraucher- und Unternehmensanwendungen auszuführen.
Durch unsere Partnerschaft mit NVIDIA bietet Google Cloud die neuesten GPUs und optimiert den Softwarestack mit einer Vielzahl von Speicher- und Netzwerkoptionen. Eine vollständige Liste der verfügbaren GPUs finden Sie unter GPU-Plattformen.
In den folgenden Abschnitten werden die Vorteile von GPUs auf Google Cloudbeschrieben.
GPU-beschleunigte VMs
Auf Google Cloudkönnen Sie auf GPUs zugreifen und sie so bereitstellen, wie es Ihren Anforderungen am besten entspricht. Es ist eine spezielle Beschleunigeroptimierte Maschinenfamilie mit vorkonfigurierten GPUs und Netzwerkfunktionen verfügbar, die sich ideal zur Leistungsoptimierung eignen. Sie sind in den Maschinenreihen A3, A2 und G2 verfügbar.
Mehrere Bereitstellungsoptionen
Sie können Cluster mit der beschleunigungsoptimierten Maschinenfamilie und einem der folgenden Open-Source- oder Google Cloud Produkte bereitstellen.
Vertex AI
Vertex AI ist eine vollständig verwaltete ML-Plattform (maschinelles Lernen), mit der Sie ML-Modelle und KI-Anwendungen trainieren und bereitstellen können. In Vertex AI-Anwendungen können Sie mit GPU-beschleunigten VMs die Leistung auf folgende Weise verbessern:
- Verwenden Sie GPU-fähige VMs in benutzerdefinierten GKE-Worker-Pools für das Training.
- Open-Source-LLM-Modelle aus dem Vertex AI Model Garden verwenden
- Verringern Sie die Vorhersagelatenz.
- Leistung des Notebookcodes in Vertex AI Workbench verbessern
- Leistung einer Colab Enterprise-Laufzeit verbessern
Hypercompute-Cluster
Hypercompute Cluster ist ein Infrastrukturbaustein, mit dem Sie einen Cluster aus GPU-beschleunigten VMs erstellen können, die als einzelne, homogene Einheit bereitgestellt und verwaltet werden. Diese Option eignet sich ideal für die Bereitstellung einer dicht belegten, leistungsoptimierten Infrastruktur mit Integrationen für die Google Kubernetes Engine (GKE) und Slurm-Scheduler. Hypercompute Cluster bietet eine Infrastruktur, die speziell für die Ausführung von KI-, ML- und HPC-Arbeitslasten entwickelt wurde. Weitere Informationen finden Sie unter Hypercompute-Cluster.
Informationen zu den ersten Schritten mit Hypercompute Cluster finden Sie unter Bereitstellungsstrategie auswählen.
Compute Engine
Sie können auch einzelne VMs oder kleine VM-Cluster mit angehängten GPUs in der Compute Engine erstellen und verwalten. Diese Methode wird hauptsächlich für die Ausführung grafikintensiver Arbeitslasten, Simulationsarbeitslasten oder das Training von ML-Modellen im kleinen Maßstab verwendet.
Bereitstellungsoption |
Bereitstellungshandbücher |
VM für das Bereitstellen und Arbeitslasten für einzelne Knoten erstellen |
|
Verwaltete Instanzgruppen (MIGs) erstellen |
|
VMs im Bulk erstellen |
|
Einzelne VM erstellen |
Einzelne GPU-VM erstellen (Standard- oder Spot-VMs) |
Virtuelle Workstations erstellen |
Cloud Run
Sie können GPUs für Ihren Cloud Run-Dienst konfigurieren. GPUs eignen sich ideal für die Ausführung von KI-Inferenzarbeitslasten mit Large Language Models in Cloud Run.
In Cloud Run finden Sie hier Informationen zum Ausführen von KI-Arbeitslasten auf GPUs:
- GPUs für einen Cloud Run-Dienst konfigurieren
- Große ML-Modelle mit GPUs in Cloud Run laden
- Anleitung: LLM-Inferenzen auf Cloud Run-GPUs mit Ollama ausführen