Open-Source-Modelle mit TPUs in GKE mit Optimum TPU bereitstellen

Informationen zum Bereitstellen von LLMs mit Tensor Processing Units (TPUs) in GKE mit dem Optimum TPU-Bereitstellungs-Framework von Hugging Face

Volume mit einer Parallelstore-Instanz in GKE erstellen und verwenden

Hier erfahren Sie, wie Sie Speicherplatz erstellen, der von vollständig verwalteten Parallelstore-Instanzen unterstützt wird, und darauf als Volumes zugreifen. Der CSI-Treiber ist für KI/ML-Trainingsarbeitslasten mit kleineren Dateigrößen und zufälligen Lesezugriffen optimiert.

KI/ML-Datenladevorgänge mit Hyperdisk ML beschleunigen

Hier erfahren Sie, wie Sie mit Hyperdisk ML das Laden von KI-/ML-Modellgewichten in GKE vereinfachen und beschleunigen.

LLM mithilfe von TPUs in GKE mit JetStream und PyTorch bereitstellen

Informationen zum Bereitstellen eines LLM mithilfe von Tensor Processing Units (TPUs) in GKE mit JetStream über PyTorch

Best Practices für die Optimierung der LLM-Inferenz mit GPUs in GKE

Best Practices für die Optimierung der LLM-Inferenzleistung mit GPUs in GKE mit den Serving-Frameworks vLLM und Text Generation Inference (TGI)

GPU-Stack mit dem NVIDIA GPU-Operator in GKE verwalten

Informationen dazu, wann Sie den NVIDIA GPU-Operator verwenden und wie Sie ihn in GKE aktivieren

Autoscaling für LLM-Arbeitslasten auf TPUs konfigurieren

Hier erfahren Sie, wie Sie die Autoscaling-Infrastruktur mit dem horizontalen Pod-Autoscaler (HPA) von GKE einrichten, um das Large Language Model (LLM) Gemma mit JetStream mit einem einzelnen Host bereitzustellen.

Offene Gemma-Modelle mit mehreren GPUs in GKE optimieren

Informationen zum Optimieren des Gemma-LLM mit GPUs in GKE mit der Hugging Face Transformers-Bibliothek

Ray Serve-Anwendung mit einem Stable Diffusion-Modell in GKE mit TPUs bereitstellen

Informationen zum Bereitstellen und Ausführen eines Stable Diffusion-Modells in GKE mit TPUs, Ray Serve und dem Ray Operator-Add-on

Autoscaling für LLM-Arbeitslasten auf GPUs mit GKE konfigurieren

Hier erfahren Sie, wie Sie die Autoscaling-Infrastruktur mit dem horizontalen Pod-Autoscaler (HPA) von GKE einrichten, um das Large Language Model (LLM) Gemma mit dem Serving-Framework der Benutzeroberfläche zur Textgenerierung (Text Generation Interface, TGI) von Hugging Face bereitzustellen.

Llama2 mit Megatron-LM auf virtuellen A3-Mega-Maschinen trainieren

Informationen zum Ausführen einer containerbasierten Megatron-LM-PyTorch-Arbeitslast auf A3 Mega

GPU-Arbeitslasten in Autopilot bereitstellen

Hardwarebeschleuniger (GPUs) in GKE Autopilot-Arbeitslasten anfordern

LLM mit mehreren GPUs in GKE bereitstellen

Informationen zum Bereitstellen von Llama 2 70B oder Falcon 40B mit mehreren NVIDIA L4-GPUs in GKE

LLM mithilfe von mehrere Hosts in GKE mit Saxml bereitstellen

Erfahren Sie, wie Sie Falcon 7b, Llama2 7b, Falcon 40b oder Llama2 70b mit dem Ray-Framework in GKE bereitstellen.

Erste Schritte mit Ray in GKE

Hier erfahren Sie, wie Sie Ray in GKE ganz einfach verwenden können, indem Sie eine Arbeitslast in einem Ray-Cluster ausführen.

LLM auf L4-GPUs mit Ray bereitstellen

Erfahren Sie, wie Sie Falcon 7b, Llama2 7b, Falcon 40b oder Llama2 70b mit dem Ray-Framework in GKE bereitstellen.

TPU-Multislice-Arbeitslasten mit JobSet und Kueue orchestrieren

Hier erfahren Sie, wie Sie mit JobSet und Kueue eine Jax-Arbeitslast auf mehreren TPU-Slices in GKE orchestrieren.

GPU-Arbeitslasten in GKE mit NVIDIA Data Center GPU Manager (DCGM) überwachen

Erfahren Sie, wie Sie mit NVIDIA Data Center GPU Manager (DCGM) GPU-Arbeitslasten in GKE beobachten.

Kurzanleitung: Modell mit GPUs in GKE Standard-Clustern trainieren

In dieser Kurzanleitung wird gezeigt, wie Sie ein Trainingsmodell mit GPUs in GKE bereitstellen und die Vorhersagen in Cloud Storage speichern.

Umfangreiches maschinelles Lernen in GKE ausführen

In diesem Video erfahren Sie, wie sich mit der GKE häufige Probleme beim Trainieren umfangreicher KI-Modelle lösen lassen, und Sie lernen Best Practices für das Trainieren und Bereitstellen von umfangreichen ML-Modellen in der GKE kennen.

TensorFlow in GKE Autopilot mit GPU-Beschleunigung

In diesem Blogpost finden Sie eine detaillierte Anleitung zum Erstellen, Ausführen und Bereinigen eines Tensorflow-fähigen Jupiter-Notebooks.

Jobwarteschlangensystem mit Kontingentfreigabe zwischen Namespaces in GKE implementieren

In dieser Anleitung wird mit Kueue gezeigt, wie Sie ein Jobwarteschlangensystem implementieren und die Freigabe von Arbeitslastressourcen und Kontingenten zwischen verschiedenen Namespaces in GKE konfigurieren.

RAG-Chatbot mit GKE und Cloud Storage erstellen

In dieser Anleitung erfahren Sie, wie Sie eine Large Language Model-Anwendung, die auf einer retrieval-augmented generation basiert, in PDF-Dateien einbinden, die Sie in einen Cloud Storage-Bucket hochladen.

Daten in GKE mit BigQuery, Cloud Run und Gemma analysieren

In dieser Anleitung erfahren Sie, wie Sie große Datensätze in der GKE analysieren, indem Sie BigQuery für die Datenspeicherung und ‑verarbeitung, Cloud Run für die Anfrageabarbeitung und eine Gemma-LLM für die Datenanalyse und ‑vorhersage verwenden.

Best Practices für das Laden von Daten für KI-/ML-Inferenz in GKE

Hier erfahren Sie, wie Sie die Datenladezeiten für Ihre Anwendungen für maschinelles Lernen in der Google Kubernetes Engine beschleunigen.

Kosten für GPUs senken: Intelligenteres Autoscaling für Ihre GKE-Inferenzarbeitslasten

Hier erfahren Sie, wie Sie die Kosten für GPU-Inferenzen optimieren, indem Sie den horizontalen Pod-Autoscaler von GKE für maximale Effizienz optimieren.

Optimierte KI-Modelle mit NVIDIA NIM-Mikrodiensten in GKE effizient bereitstellen

Hier erfahren Sie, wie Sie modernste NVIDIA NIM-Mikrodienste ganz einfach in GKE bereitstellen und Ihre KI-Arbeitslasten beschleunigen.

Ray in der Produktion mit dem neuen Ray-Operator in GKE beschleunigen

Hier erfahren Sie, wie Ray Operator in GKE Ihre KI-/ML-Produktionsbereitstellungen vereinfacht und Leistung und Skalierbarkeit verbessert.

LLM-Ausgabedurchsatz für GPUs in GKE maximieren – ein praktischer Leitfaden

Hier erfahren Sie, wie Sie den Durchsatz beim Bereitstellen von Large Language Models (LLM) für GPUs in GKE maximieren, einschließlich Infrastrukturentscheidungen und Modellserveroptimierungen.

Suchmaschinen einfach gemacht: Ein Low-Code-Ansatz mit GKE und Vertex AI Agent Builder

Informationen zum Erstellen einer Suchmaschine mit Google Cloud, Vertex AI Agent Builder, Vertex AI Search und GKE

LiveX AI senkt die Kosten für den Kundensupport mit KI-Agents, die mit GKE und NVIDIA AI trainiert und bereitgestellt werden

So nutzt LiveX AI GKE, um KI-Agents zu entwickeln, die die Kundenzufriedenheit steigern und die Kosten senken.

Infrastruktur für eine RAG-fähige generative KI-Anwendung mit GKE

Referenzarchitektur für die Ausführung einer generativen KI-Anwendung mit Retrieval Augmented Generation (RAG) unter Verwendung von GKE, Cloud SQL, Ray, Hugging Face und LangChain

Innovationen bei der Patentrecherche: So nutzt IPRally KI mit GKE und Ray

Wie IPRally mit GKE und Ray eine skalierbare, effiziente ML-Plattform für schnellere und genauere Patentrecherchen entwickelt.

Leistungsanalyse von Gemma in Google Cloud

Mit Gemma auf Cloud GPUs und Cloud TPUs effiziente Inferenz und Trainings in GKE erzielen

Gemma in GKE – neue Innovationen für offene generative KI-Modelle

Mit den branchenführenden offenen Gemma-Modellen können Sie portable, anpassbare KI-Anwendungen erstellen und in GKE bereitstellen.

Erweiterte Planung für KI/ML mit Ray und Kueue

Ray-Anwendungen in GKE mit KubeRay und Kueue orchestrieren.

Ray in Google Kubernetes Engine schützen

Sicherheitserkenntnisse und Härtungstechniken zum Trainieren von KI/ML-Arbeitslasten mit Ray on GKE anwenden.

Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen

Wählen Sie die beste Kombination von Speicheroptionen für KI- und ML-Arbeitslasten in Google Cloud aus.

Die automatische Treiberinstallation vereinfacht die Verwendung von NVIDIA-GPUs in GKE

Nvidia-GPU-Treiber automatisch in GKE installieren.

Generative KI mit dem NVIDIA NeMo-Framework in GKE beschleunigen

Trainieren Sie generative KI-Modelle mit dem GKE- und NVIDIA NeMo-Framework.

Vorteile von GKE für Ray KI-Arbeitslasten

Verbessern Sie mit GKE für Ray-Arbeitslasten Skalierbarkeit, Kosteneffizienz, Fehlertoleranz, Isolation und Übertragbarkeit.

Diagramm: KI in vollständig verwaltetem GKE ausführen – jetzt mit neuen Computing-Optionen, Preisen und Ressourcenreservierungen

Profitieren Sie mit GKE Autopilot von verbessertem GPU-Support, Leistung und niedrigeren Preisen für KI/ML-Arbeitslasten.

Wie SEEN die Ausgabe um das 89-Fache skalieren und die GPU-Kosten mithilfe von GKE um 66 % senken konnte

Start-up skaliert die personalisierte Videoausgabe mit GKE.

Wie Let's Enhance NVIDIA AI und GKE für die KI-basierte Bearbeitung von Fotos nutzt

Innovative KI zum Optimieren von Bildern mit NVIDIA-GPUs und GKE

Wie die GPU-Freigabe von GKE den Wissenschaftlern bei der Suche nach Neutrinos hilft

Die Freigabe von GKE-GPUs hilft Wissenschaftlern bei der Suche nach Neutrinos.

GPUs mit Zeitfreigabe in GKE

Hier erfahren Sie, wie die GPU-Zeitfreigabe von GKE mehreren Container die gemeinsame Nutzung einer einzelnen physischen GPU ermöglicht und so die Auslastung verbessert.

GPUs mit mehreren Instanzen in GKE

Hier erfahren Sie, wie Sie mit GPUs mit mehreren Instanzen in GKE mehr aus Ihren GPU-Investitionen herausholen.

Wie Etsy die ML-Plattform mit GKE neu gestaltet hat

Etsy nutzt maschinelles Lernen (ML), um Millionen von Käufern auf der ganzen Welt personalisierte Angebote zu bieten.

Wie Spotify gemeinsam mit Ray und GKE ML-Innovationen einsetzt

So transformiert Ray die ML-Entwicklung bei Spotify.

Wie Ordaos Bio Generative AI in GKE nutzt

Ordaos Bio, einer der führenden KI-Beschleuniger für die biomedizinische Forschung und Entdeckung, sucht nach Lösungen für neue Impfstoffe in der Onkologie und bei chronischen Entzündungen.

GKE eines wachsenden Start-ups, das auf ML basiert

Moloco, ein Start-up-Unternehmen aus dem Silicon Valley, nutzte die Möglichkeiten von GKE und Tensor Flow Enterprise, um seine ML-Infrastruktur zu optimieren.

Slurm in GKE

In diesem Beispiel wird gezeigt, wie Sie Slurm in einem Google Kubernetes Engine-Cluster (GKE) bereitstellen.

Ray in GKE

Verwenden Sie diese Terraform-Vorlage, um Ray in GKE auszuführen.

Ray in GKE mit TPUs einrichten

Verwenden Sie dieses Terraform-Beispiel, um Ray in einem GKE-Cluster mit einer 2x2x1-Topologie bereitzustellen.

ML-Trainingsarbeitslasten in GKE mit der JobSet API

Verteilte Trainingsarbeitslasten für maschinelles Lernen mit der JobSet API in GKE ausführen

JAX "Hello World" in GKE

Führen Sie ein einfaches JAX-Programm mit NVIDIA A100-80GB-GPUs in einem GKE-Cluster aus.