KI/ML-Datenladevorgänge mit Hyperdisk ML beschleunigen

Hier erfahren Sie, wie Sie mit Hyperdisk ML das Laden von KI/ML-Modellgewichten in GKE vereinfachen und beschleunigen.

LLM mithilfe von TPUs in GKE mit JetStream und PyTorch bereitstellen

Informationen zum Bereitstellen eines LLM mithilfe von Tensor Processing Units (TPUs) in GKE mit JetStream über PyTorch

Best Practices für die Optimierung von LLM-Inferenzen mit GPUs in GKE

Hier finden Sie Best Practices für die Optimierung der LLM-Inferenzleistung mit GPUs in der GKE mit den Serving-Frameworks vLLM und Text Generation Inference (TGI).

GPU-Stack mit dem NVIDIA GPU Operator in GKE verwalten

Hier erfahren Sie, wann Sie den NVIDIA GPU-Operator verwenden und wie Sie ihn in GKE aktivieren.

Autoscaling für LLM-Arbeitslasten auf TPUs konfigurieren

Hier erfahren Sie, wie Sie die Autoscaling-Infrastruktur mit dem horizontalen Pod-Autoscaler (HPA) von GKE einrichten, um das Large Language Model (LLM) Gemma mit JetStream mit einem einzelnen Host bereitzustellen.

Offene Gemma-Modelle mit mehreren GPUs in GKE optimieren

Informationen zum Optimieren des Gemma-LLM mit GPUs in GKE mit der Hugging Face Transformers-Bibliothek.

Ray Serve-Anwendung mit einem Stable Diffusion-Modell in GKE mit TPUs bereitstellen

Informationen zum Bereitstellen und Ausführen eines Stable Diffusion-Modells in GKE mit TPUs, Ray Serve und dem Ray Operator-Add-on

Autoscaling für LLM-Arbeitslasten auf GPUs mit GKE konfigurieren

Hier erfahren Sie, wie Sie die Autoscaling-Infrastruktur mit dem horizontalen Pod-Autoscaler (HPA) von GKE einrichten, um das Large Language Model (LLM) Gemma mit dem Serving-Framework der Benutzeroberfläche zur Textgenerierung (Text Generation Interface, TGI) von Hugging Face bereitzustellen.

Llama2 mit Megatron-LM auf virtuellen A3-Mega-Maschinen trainieren

Informationen zum Ausführen einer containerbasierten Megatron-LM-PyTorch-Arbeitslast auf A3 Mega

GPU-Arbeitslasten in Autopilot bereitstellen

Hardwarebeschleuniger (GPUs) in GKE Autopilot-Arbeitslasten anfordern

LLM mit mehreren GPUs in GKE bereitstellen

Erfahren Sie, wie Sie Llama 2 70B oder Falcon 40B mit mehreren NVIDIA L4-GPUs mit GKE bereitstellen.

LLM mithilfe von mehrere Hosts in GKE mit Saxml bereitstellen

Erfahren Sie, wie Sie Falcon 7b, Llama2 7b, Falcon 40b oder Llama2 70b mit dem Ray-Framework in GKE bereitstellen.

Erste Schritte mit Ray in GKE

Erfahren Sie, wie Sie Ray on GKE problemlos verwenden, indem Sie eine Arbeitslast in einem Ray-Cluster ausführen.

LLM auf L4-GPUs mit Ray bereitstellen

Erfahren Sie, wie Sie Falcon 7b, Llama2 7b, Falcon 40b oder Llama2 70b mit dem Ray-Framework in GKE bereitstellen.

TPU-Multislice-Arbeitslasten mit JobSet und Kueue orchestrieren

Erfahren Sie, wie Sie eine Jax-Arbeitslast auf mehreren TPU-Slices in GKE mit JobSet und Kueue orchestrieren.

GPU-Arbeitslasten in GKE mit NVIDIA Data Center GPU Manager (DCGM) überwachen

Erfahren Sie, wie Sie mit NVIDIA Data Center GPU Manager (DCGM) GPU-Arbeitslasten in GKE beobachten.

Kurzanleitung: Modell mit GPUs in GKE Standard-Clustern trainieren

In dieser Kurzanleitung wird gezeigt, wie Sie ein Trainingsmodell mit GPUs in GKE bereitstellen und die Vorhersagen in Cloud Storage speichern.

Umfangreiches maschinelles Lernen in GKE ausführen

In diesem Video erfahren Sie, wie GKE dazu beiträgt, häufige Herausforderungen beim Trainieren großer KI-Modelle in großem Umfang zu lösen, und Best Practices für das Training und die Bereitstellung umfangreicher Modelle für maschinelles Lernen in GKE.

TensorFlow in GKE Autopilot mit GPU-Beschleunigung

In diesem Blogpost finden Sie eine detaillierte Anleitung zum Erstellen, Ausführen und Bereinigen eines Tensorflow-fähigen Jupiter-Notebooks.

Jobwarteschlangensystem mit Kontingentfreigabe zwischen Namespaces in GKE implementieren

In dieser Anleitung wird mit Kueue gezeigt, wie Sie ein Jobwarteschlangensystem implementieren und die Freigabe von Arbeitslastressourcen und Kontingenten zwischen verschiedenen Namespaces in GKE konfigurieren.

RAG-Chatbot mit GKE und Cloud Storage erstellen

In dieser Anleitung erfahren Sie, wie Sie eine Large Language Model-Anwendung, die auf einer retrieval-augmented generation basiert, in PDF-Dateien einbinden, die Sie in einen Cloud Storage-Bucket hochladen.

Suchmaschinen einfach gemacht: Ein Low-Code-Ansatz mit GKE und Vertex AI Agent Builder

Informationen zum Erstellen einer Suchmaschine mit Google Cloud, Vertex AI Agent Builder, Vertex AI Search und GKE

LiveX AI senkt die Kosten für den Kundensupport mit KI-Kundenservicemitarbeitern, die mit GKE und NVIDIA AI trainiert und bereitgestellt werden

So nutzt LiveX AI GKE, um KI-Agents zu entwickeln, die die Kundenzufriedenheit steigern und die Kosten senken.

Infrastruktur für eine RAG-fähige generative KI-Anwendung mit GKE

Referenzarchitektur für die Ausführung einer generativen KI-Anwendung mit Retrieval Augmented Generation (RAG) unter Verwendung von GKE, Cloud SQL, Ray, Hugging Face und LangChain

Innovation in der Patentsuche: So nutzt IPRally KI mit GKE und Ray

So nutzt IPRally GKE und Ray, um eine skalierbare, effiziente ML-Plattform für schnellere Patentsuchen mit höherer Genauigkeit zu erstellen.

Leistungsanalyse von Gemma in Google Cloud

Nutzen Sie Gemma auf Cloud-GPUs und Cloud TPUs für Inferenz und Trainingseffizienz in GKE.

Gemma on GKE: Neue Innovationen für offene generative KI-Modelle

Mit den erstklassigen offenen Gemma-Modellen können Sie portable, anpassbare KI-Anwendungen erstellen und sie in GKE bereitstellen.

Erweiterte Planung für KI/ML mit Ray und Kueue

Ray-Anwendungen in GKE mit KubeRay und Kueue orchestrieren.

Ray in Google Kubernetes Engine schützen

Sicherheitserkenntnisse und Härtungstechniken zum Trainieren von KI/ML-Arbeitslasten mit Ray on GKE anwenden.

Speicher für KI- und ML-Arbeitslasten in Google Cloud entwerfen

Wählen Sie die beste Kombination von Speicheroptionen für KI- und ML-Arbeitslasten in Google Cloud aus.

Die automatische Treiberinstallation vereinfacht die Verwendung von NVIDIA-GPUs in GKE

Nvidia-GPU-Treiber automatisch in GKE installieren.

Generative KI mit dem NVIDIA NeMo-Framework in GKE beschleunigen

Trainieren Sie generative KI-Modelle mit dem GKE- und NVIDIA NeMo-Framework.

Vorteile von GKE für Ray KI-Arbeitslasten

Verbessern Sie mit GKE für Ray-Arbeitslasten Skalierbarkeit, Kosteneffizienz, Fehlertoleranz, Isolation und Übertragbarkeit.

Diagramm: KI in vollständig verwaltetem GKE ausführen – jetzt mit neuen Computing-Optionen, Preisen und Ressourcenreservierungen

Profitieren Sie mit GKE Autopilot von verbessertem GPU-Support, Leistung und niedrigeren Preisen für KI/ML-Arbeitslasten.

Wie SEEN die Ausgabe um das 89-Fache skalieren und die GPU-Kosten mithilfe von GKE um 66 % senken konnte

Start-up skaliert die personalisierte Videoausgabe mit GKE.

Wie Let's Enhance NVIDIA AI und GKE für die KI-basierte Bearbeitung von Fotos nutzt

Innovative KI zum Optimieren von Bildern mit NVIDIA-GPUs und GKE

Wie die GPU-Freigabe von GKE den Wissenschaftlern bei der Suche nach Neutrinos hilft

Die Freigabe von GKE-GPUs hilft Wissenschaftlern bei der Suche nach Neutrinos.

GPUs mit Zeitfreigabe in GKE

Hier erfahren Sie, wie die GPU-Zeitfreigabe von GKE mehreren Container die gemeinsame Nutzung einer einzelnen physischen GPU ermöglicht und so die Auslastung verbessert.

GPUs mit mehreren Instanzen in GKE

Hier erfahren Sie, wie Sie mit GPUs mit mehreren Instanzen in GKE Ihre GPU-Investitionen besser nutzen können.

Wie Etsy die ML-Plattform mit GKE neu gestaltet hat

Etsy nutzt maschinelles Lernen (ML), um Millionen von Käufern auf der ganzen Welt personalisierte Angebote zu bieten.

Wie Spotify gemeinsam mit Ray und GKE ML-Innovationen einsetzt

So transformiert Ray die ML-Entwicklung bei Spotify.

Wie Ordaos Bio Generative AI in GKE nutzt

Ordaos Bio, einer der führenden KI-Beschleuniger für die biomedizinische Forschung und Entdeckung, sucht nach Lösungen für neue Impfstoffe in der Onkologie und bei chronischen Entzündungen.

GKE eines wachsenden Start-ups, das auf ML basiert

Moloco, ein Start-up-Unternehmen aus dem Silicon Valley, nutzte die Möglichkeiten von GKE und Tensor Flow Enterprise, um seine ML-Infrastruktur zu optimieren.

Ray in GKE

Verwenden Sie diese Terraform-Vorlage, um Ray in GKE auszuführen.

Ray in GKE mit TPUs einrichten

Verwenden Sie dieses Terraform-Beispiel, um Ray in einem GKE-Cluster mit einer 2x2x1-Topologie bereitzustellen.

ML-Trainingsarbeitslasten in GKE mit der JobSet API

Mit der JobSet API verteilte Arbeitslasten für maschinelles Lernen in GKE ausführen.

JAX "Hello World" in GKE

Einfaches JAX-Programm mit NVIDIA GPUs A100-80GB in einem GKE-Cluster ausführen