Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Sie müssen Ihre benutzerdefinierten Vorhersageressourcen in dem Vorhersagecluster bereitstellen, den der Infrastruktur-Operator (IO) für Sie erstellt. Der Operator erstellt Vorhersagearbeitslasten in demselben Cluster.
Um den Vorhersagecluster zu erstellen, arbeiten Sie mit dem IO zusammen, um Ihr Vorhersageprojekt zu verknüpfen und die für Onlinevorhersagen erforderlichen Knotenpools in Google Distributed Cloud (GDC) Air-Gapped zuzuweisen.
So erstellen Sie einen Vorhersagecluster:
Wählen Sie das Projekt in Ihrer Organisation aus, das Sie dem neuen Cluster für Onlinevorhersagen zuordnen möchten.
Informationen zum Erstellen eines Projekts finden Sie unter Projekt für Vertex AI einrichten.
Sie benötigen Ihre Projekt-ID für API-Aufrufe.
Der von Ihnen ausgewählte Maschinentyp hängt von der Größe und Komplexität Ihres Vorhersagemodells ab und bestimmt die Rechen- und GPU-Ressourcen (Graphics Processing Unit), die Ihr IO für den Cluster bereitstellt.
Beachten Sie die Empfehlungen zur Knotenauswahl, wenn Sie den Maschinentyp für Ihre Knoten auswählen.
Senden Sie eine E-Mail an das IO mit der Fallvorlage für Vorhersagecluster, um einen Fall zu eröffnen und Ihren Antrag auf Erstellung des Clusters zu stellen.
Kommunizieren Sie bei Bedarf mit dem IO, bis er den Ihrem Projekt zugeordneten Vorhersagecluster erstellt und die entsprechenden Knotenpools im Cluster zugewiesen hat.
Nach Abschluss der Clusterbereitstellung ist der Vorhersagecluster für Onlinevorhersagen bereit.
Empfehlungen zur Knotenauswahl
Wenn der IO Knotenpools in einem Cluster erstellt, weist er einen der verfügbaren Maschinentypen in Distributed Cloud zu, um einen vordefinierten Satz von Ressourcen für die Worker-Knoten bereitzustellen. Je nach Größe und Komplexität des Modells benötigen Sie unterschiedliche Rechenleistungen und folglich eine bestimmte Menge an CPU, Arbeitsspeicher und GPU. Sie müssen diese Details in Ihrer Kommunikation mit dem IO angeben, wenn Sie einen Vorhersagecluster erstellen möchten.
Wenn Sie mit dem IO den Maschinentyp für Knotenpools bestimmen, die Sie im Vorhersagecluster benötigen, müssen Sie die folgenden Empfehlungen beachten:
Distributed Cloud fügt den Knoten Rechenaufwand für obligatorische Systemkomponenten hinzu. Daher müssen Sie für Ihre Knotenpools einen größeren Maschinentyp auswählen als den, den Sie im Ressourcenpool für Ihre Modelle verwenden möchten.
Wählen Sie die Lösung aus, die den für Ihre Anforderungen erforderlichen Mindestspeicher und die erforderlichen Mindest-Computing-Ressourcen bietet. Wenn für Ihr Modell beispielsweise acht vCPUs erforderlich sind, wählen Sie den Maschinentyp n2-highcpu-8-gdc aus, die kleinste Lösung mit acht vCPUs und 8 GB Arbeitsspeicher in Distributed Cloud.
Wenn Sie Fortschritte machen, sollten Sie leistungsstärkere Lösungen nur in Betracht ziehen, wenn kleinere Lösungen für Ihre Anforderungen und die Größe und Komplexität des Modells nicht ausreichen. Es ist wichtig, das Prinzip der geringsten Berechtigung einzuhalten und nur die Ressourcen zu verwenden, die Sie für die Ausführung Ihres spezifischen Workflows benötigen. Dieser verantwortungsbewusste Ansatz sorgt für eine sorgfältige Nutzung von Ressourcen in der Distributed Cloud-Umgebung.
Wählen Sie nur Lösungen mit GPUs aus, wenn Sie diese für Ihr Modell benötigen.
Wenn für Ihr Modell GPUs erforderlich sind, sollten Sie den Maschinentyp a2-highgpu-1g-gdc in Betracht ziehen. Das ist die kleinste Lösung, die GPUs bietet.
Fallvorlage für Vorhersagecluster
Verwenden Sie die folgende Vorlage, um eine E‑Mail an Ihren IO zu senden. Durch die E-Mail wird ein Fall geöffnet, um den Vorhersagecluster zu erstellen, den Sie für Onlinevorhersagen benötigen.
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[[["\u003cp\u003eOnline Prediction is a Preview feature not intended for production environments and lacks service-level agreements or technical support commitments from Google.\u003c/p\u003e\n"],["\u003cp\u003eTo use online predictions in Google Distributed Cloud (GDC) air-gapped, you must work with the Infrastructure Operator (IO) to create a dedicated prediction cluster and associate it with your project, noting only one prediction cluster can exist per organization.\u003c/p\u003e\n"],["\u003cp\u003eWhen creating a prediction cluster, you need to select a suitable machine type for the cluster nodes based on your model's size and complexity, and then communicate these details to the IO.\u003c/p\u003e\n"],["\u003cp\u003eWhen selecting a machine type, it is recommended to start with the smallest solution that meets the minimum computing and memory needs of the model.\u003c/p\u003e\n"],["\u003cp\u003eA specific template is provided to use when sending an email to the IO, containing the cluster name, the organization's name, the associated project name, machine type for the node pool, compute, memory and GPU resources.\u003c/p\u003e\n"]]],[],null,["# Create the prediction cluster\n\n| **Preview:** Online Prediction is a Preview feature that is available as-is and is not recommended for production environments. Google provides no service-level agreements (SLA) or technical support commitments for Preview features. For more information, see GDC's [feature stages](/distributed-cloud/hosted/docs/latest/gdch/resources/feature-stages).\n\nYou must deploy your prediction custom resources in the prediction cluster\nthat the Infrastructure Operator (IO) creates for you. The operator creates\nprediction workloads in this same cluster.\n\nTo create the prediction cluster, work with the IO to associate your prediction\nproject and allocate the node pools needed for online predictions in\nGoogle Distributed Cloud (GDC) air-gapped.\n| **Important:** Only one prediction cluster can exist in each organization. However, the IO can attach and associate multiple projects to the cluster to separate and organize the endpoints.\n\nTo create a prediction cluster, perform the following steps:\n\n1. Identify the project in your organization that you want to associate with\n the new cluster for online predictions.\n\n To create a project, see\n [Set up a project for Vertex AI](/distributed-cloud/hosted/docs/latest/gdch/application/ao-user/vertex-ai-set-up-project).\n You need your project ID when making API calls.\n2. From [the list of available machine types](/distributed-cloud/hosted/docs/latest/gdch/platform/pa-user/cluster-node-machines#available-machine-types)\n in Distributed Cloud, choose the machine type for the nodes that\n your workloads need in the cluster.\n\n The machine type you choose depends on your prediction model size and\n complexity and determines the compute and graphic processing unit (GPU)\n resources your IO provides to the cluster.\n Follow [node selection recommendations](#node-selection-recommendations)\n when selecting the machine type for your nodes.\n3. Email the IO using the [prediction cluster case template](#case-template) to\n open a case and address your request to create the cluster.\n\n4. If necessary, communicate with the IO until they finish creating the\n prediction cluster associated with your project and assigning the\n appropriate node pools within the cluster.\n\nAfter completing cluster provisioning, the prediction cluster is ready for\nonline predictions.\n\nNode selection recommendations\n------------------------------\n\nWhen the IO creates node pools in a cluster, they assign one of the\n[available machine types](/distributed-cloud/hosted/docs/latest/gdch/platform/pa-user/cluster-node-machines#available-machine-types)\nin Distributed Cloud to provide a predefined set of resources for the\nworker nodes. Depending on the model size and complexity, you require different\ncomputing performances and, consequently, a specific amount of CPU, memory, and\nGPU. You must provide these details in your communication with the IO when you\nwant to create a prediction cluster.\n| **Important:** Distributed Cloud uses virtualized GPUs in the cluster, which means you get a one-seventh slice of the GPU you have for each requested accelerator count. For example, if you ask for an accelerator count of three in the [resource pool](/distributed-cloud/hosted/docs/latest/gdch/application/ao-user/vertex-ai-deploy-model#resource-pool), you get three-sevenths of a GPU.\n\nWhen you determine with the IO the machine type for node pools that you require\nin the prediction cluster, you must adhere to the following practices:\n\n- Distributed Cloud adds computing overhead to the nodes for mandatory system components. Therefore, you must choose a larger machine type for your node pools than the one you intend to use in the [resource pool](/distributed-cloud/hosted/docs/latest/gdch/application/ao-user/vertex-ai-deploy-model#resource-pool) for your models.\n- Choose the solution that provides the minimum memory and computing resources necessary for your requirements. For example, if your model requires eight vCPUs, choose the `n2-highcpu-8-gdc` machine type, the smallest solution with eight vCPUs and 8 GB of memory in Distributed Cloud.\n- As you progress, consider higher performance solutions only if smaller solutions are not adequate for your needs and the size and complexity of the model. It's crucial to adhere to the principle of least privilege, using only the resources you need to execute your specific workflow. This responsible approach ensures considerate use of resources in the Distributed Cloud environment.\n- Only choose solutions that have GPUs if you require them for your model.\n- If your model requires GPUs, consider the `a2-highgpu-1g-gdc` machine type, the smallest solution providing GPUs.\n\nPrediction cluster case template\n--------------------------------\n\nUse the following template to send an email to your IO. The email opens a case\nto create the prediction cluster that you need for online predictions. \n\n Good day,\n\n I need to create a prediction cluster and associate it with a project in my organization to use online predictions.\n\n Please use the following information for the creation of the cluster:\n\n - **Cluster name:** vtx-ai-prediction\n - **Name of the organization:** [Specify your organization's name.]\n - **Project name:** [Specify the name of your project to associate with the prediction cluster.]\n - **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]\n - **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]\n - **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]\n - **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]\n\n **Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator \u003e Configure the deployment \u003e Create the Prediction cluster\n\n Thank you,\n [Your name]"]]
