Gemini-Organisation erstellen

Auf dieser Seite wird beschrieben, wie Sie eine neue Organisation in Google Distributed Cloud (GDC) Air-Gapped erstellen und so konfigurieren, dass Gemini verwendet wird.

Auf dieser Seite werden zwei Begriffe verwendet, die sich auf unterschiedliche Konzepte beziehen: Kundenorganisation und Gemini-Organisation. Die einzelnen Begriffe werden so definiert:

  • Kundenorganisation: Die GDC-Organisation, in der Nutzer ihre Arbeitslasten ausführen, auf die Plattforminfrastruktur zugreifen und Vertex AI-Dienste verwenden. Weitere Informationen zu Kundenorganisationen finden Sie unter Kundenorganisation erstellen.
  • Gemini-Organisation: Die Organisationsressource, die für die Ausführung eines Gemini-Modellservers konfiguriert ist. Aus Sicherheitsgründen dürfen Nutzerarbeitslasten in dieser Organisation nicht ausgeführt werden. Nur von Google genehmigter Drittanbietercode darf in der Gemini-Organisation ausgeführt werden. Die Gemini-Organisation ist eine separate Organisation von der Kundenorganisation, die einem Multi-Single-Tenancy-Modell folgt, bei dem jede Kundenorganisation ihre eigene entsprechende Gemini-Organisation hat.

Weitere Informationen zu den Unterschieden zwischen Organisationen finden Sie in der Operatorübersicht.

Hinweise

Zum Erstellen einer Gemini-Organisation benötigen Sie Folgendes:

  • Eine Kundenorganisation ist eingerichtet und aktiv.
  • Ein Browser auf Ihrem System.
  • Die Git-Befehlszeile.
  • Die kubectl-Befehlszeile.
  • Die gcloud CLI.
  • Die CLI-Tools jq und yq. Weitere Informationen zur Einrichtung des Tool-Containers, der jq und yq enthält, finden Sie im OOPS-P0065-Runbook.
  • Die erforderlichen Rollen für den Infrastrukturbetreiber (Infrastructure Operator, IO). Weitere Informationen zu diesen Rollen finden Sie unter IAM-Berechtigungen vorbereiten.

Achten Sie außerdem darauf, dass Sie die Prüfungen vor der Bereitstellung erfüllen.

Gemini-Organisation erstellen

So erstellen Sie eine Gemini-Organisation:

  1. Folgen Sie der Anleitung zum Erstellen einer Organisation, bis Sie den IO-Identitätsanbieter mit IAC mit der Organisation verbunden haben. Bei dieser Aktion wird eine separate Organisation erstellt, die als Gemini-Organisation in einer einzelnen Zone dient. Beachten Sie beim Erstellen der Organisation die folgenden Richtlinien:

    • Einer der verfügbaren Server muss ein Dell XE9680-Server mit der Maschinenklasse d3-highgpu1-256-gdc-metal sein. Im ersten Schritt der Anleitung Organisation mit IaC erstellen wird ein Befehl zum Prüfen der verfügbaren Server bereitgestellt. Wenn der Server mit der Maschinenklasse d3-highgpu1-256-gdc-metal nicht verfügbar ist, finden Sie unter Dynamische Erweiterung – Übersicht Optionen für die Servererweiterung. Fügen Sie dann den neuen Arbeitslastserver hinzu.

    • Wenn Sie eine Organisation mit IaC erstellen, fügen Sie nach dem Erstellen der benutzerdefinierten Organization-Ressource die Annotation organizations.resourcemanager.private.gdc.goog/shared-service-cluster-skip-create-cluster: "true" in der benutzerdefinierten Ressource hinzu, um das Erstellen eines freigegebenen Dienstclusters zu überspringen und Ressourcen zu optimieren.

    • Erstellen Sie die benutzerdefinierte OrganizationZonalConfig-Ressource in einer einzelnen Zone. Diese Zone wird als Gemini-Zone verwendet. Die Kundenorganisation muss sich in derselben Zone befinden, kann aber auch in mehreren Zonen bereitgestellt werden. Weitere Informationen finden Sie unter Bereitstellungsmodell für mehrere Zonen für Gemini.

  2. Fügen Sie der benutzerdefinierten Ressource Organization aus der Gemini-Organisation das Label lcm.private.gdc.goog/org-tenant="gemini" hinzu:

    KUBECONFIG=ROOT_ADMIN_KUBECONFIG_PATH
GEMINI_ORG_NAME=GEMINI_ORGANIZATION_NAME

kubectl label organization -n gpc-system ${GEMINI_ORG_NAME:?} \
  lcm.private.gdc.goog/org-tenant="gemini" --kubeconfig ${KUBECONFIG:?}

    Ersetzen Sie Folgendes:

    • ROOT_ADMIN_KUBECONFIG_PATH: der Pfad zur kubeconfig-Datei des Stammadministratorclusters.
    • GEMINI_ORGANIZATION_NAME: Der Name der Gemini-Organisation.

  3. Prüfen Sie, ob der Infrastrukturcluster der Gemini-Organisation aktiv ist und ausgeführt wird:

    kubectl get cluster/${GEMINI_ORG_NAME:?}-admin -n ${GEMINI_ORG_NAME:?}

    Die folgende Ausgabe zeigt ein Beispiel für eine Gemini-Organisation mit dem Namen org-1:

    NAMESPACE   NAME          ABM VERSION        DESIRED ABM VERSION   CLUSTER STATE
org-1       org-1-admin   1.30.500-gke.128   1.30.500-gke.128      Running

  4. Alle Worker-Knoten mit einer H200-GPU im Infrastrukturcluster der Gemini-Organisation suchen:

    KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${KUBECONFIG:?} get nodes \
  -o json | jq -r \
  '.items[] | select(.status.capacity."nvidia.com/gpu-pod-NVIDIA_H200"=="8") | .metadata.name'

    Ersetzen Sie GEM_ORG_CP_KUBECONFIG_PATH durch den Pfad zur kubeconfig-Datei des Infrastrukturclusters der Organisation für die Gemini-Organisation.

  5. Wenden Sie das Label gemini.gdc.goog/large-gemini=true auf alle Worker-Knoten mit H200-GPUs an, die Sie mit dem vorherigen Befehl abgerufen haben:

    NODE_NAME=H200_WORKER_NODE_NAME

kubectl label node ${NODE_NAME:?} \
  "gemini.gdc.goog/large-gemini=true" \
  --kubeconfig ${KUBECONFIG:?}

    Ersetzen Sie H200_WORKER_NODE_NAME durch den Namen des Worker-Knotens mit einer H200-GPU.

Feature-Gates für Gemini-kompatible Komponenten überschreiben

Nachdem Sie die Gemini-Organisation bereitgestellt und bestätigt haben, dass sie den Status READY hat, müssen Sie die Feature-Gates überschreiben, um funktionsfähige Komponenten in der Gemini- oder Kundenorganisation zu aktivieren.

In der folgenden Tabelle sind die Runbooks zusammengefasst, die Sie befolgen müssen, um Feature-Gates zu überschreiben und betriebsbereite Komponenten zu aktivieren:

Bedienbare Komponente Zielorganisation Runbook-Referenz
GEMINI Gemini-Organisation GEMINI-F0001
AICS Organisation des Kunden AICS-F0001
GPU Gemini-Organisation GPU-F0001

Verschlüsselungsschlüssel generieren

Das Generieren des Verschlüsselungsschlüssels für eine Organisation ist ein einmaliger Vorgang. Wenn Sie den Befehl noch einmal ausführen, kann das System keine hochgeladenen Modelle mehr entschlüsseln. Um den Schlüssel zu generieren, müssen Sie einen Job für die neue Organisation ausführen, die Sie gerade erstellt haben.

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini create job --from=cronjob/gemini-weights-transfer-keygen

Nach Abschluss des Jobs sollten Sie den Schlüssel mit dem folgenden Befehl lesen können.

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini-system \
  logs job.batch/gemini-weights-transfer-keygen \
  | grep -oP '<PublicKey.*?</PublicKey>' | head -n 1

Nächste Schritte