Erste Schritte mit Batch

Auf dieser Seite werden die ersten Schritte mit Batch für Google Cloudbeschrieben.

Übersicht

Batch ist ein vollständig verwalteter Dienst, mit dem Sie Batchverarbeitungsarbeitslasten auf Ressourcen von Google Cloud planen, in die Warteschlange stellen und ausführen können. Sie können Batch beispielsweise für Hochleistungs-Computing (HPC), maschinelles Lernen (ML) und Arbeitslasten für die Datenverarbeitung verwenden. Batch stellt Ressourcen bereit und verwaltet die Kapazität für Sie, sodass Ihre Batcharbeitslasten in großem Maßstab ausgeführt werden können.

Wenn Sie Batch verwenden, müssen Sie keine Jobplaner von Drittanbietern konfigurieren und verwalten, Ressourcen nicht bereitstellen oder deren Bereitstellung aufheben oder Ressourcen zonenweise anfordern. Zum Ausführen eines Jobs geben Sie Parameter für die Ressourcen an, die für Ihre Arbeitslast erforderlich sind. Batch ruft dann Ressourcen ab und stellt den Job zur Ausführung in die Warteschlange. Batch ist nativ in andere Google Cloud -Dienste eingebunden. So können Sie Batchjobs planen, ausführen, speichern und analysieren, sodass Sie sich auf das Senden eines Jobs konzentrieren und die Ergebnisse nutzen können.

Batch besteht aus den folgenden Komponenten:

  • Job: Ein geplantes Programm, das eine Reihe von Aufgaben ohne Nutzerinteraktion ausführt, normalerweise für Berechnungsarbeitslasten. Ein Job kann beispielsweise ein einzelnes Shell-Script oder eine komplexe, mehrteilige Berechnung sein.

    Ein Batchjob stellt ein Array mit einer oder mehreren Aufgaben und die Umgebung dar, in der diese Aufgaben ausgeführt werden. Sie definieren das Programm für den Job als Sequenz von einem oder mehreren ausführbaren Elementen. Bei jeder Aufgabe wird die Sequenz der ausführbaren Elemente auf den Ressourcen des Jobs ausgeführt. Sie können die Aufgaben eines Jobs so konfigurieren, dass sie parallel oder nacheinander ausgeführt werden.

  • Aufgabe:Eine Ausführung der Abfolge von ausführbaren Elementen eines Jobs. Wenn ein Job mehrere Aufgaben hat, können Sie angeben, wie jede Ausführung variieren soll, indem Sie in den ausführbaren Elementen des Jobs auf die Umgebungsvariable für den Index einer Aufgabe verweisen.

  • Runnable:Ein ausführbares Script oder Container, das Sie als Teil eines Jobs definieren.

  • Ressourcen: Die Infrastruktur, die zum Ausführen eines Jobs erforderlich ist. Sie müssen mindestens die erforderlichen Rechenressourcen pro Aufgabe angeben: CPU-Kerne, Arbeitsspeicher und (falls erforderlich) zusätzlichen Boot-Datenträgerspeicher. Optional können Sie auch andere Ressourcenoptionen für den Job angeben. Mit Batch werden die Ressourcen, die Ihren Spezifikationen entsprechen, während der Laufzeit des Jobs automatisch erstellt und gelöscht.

    Jeder Batchjob wird in einer regionalen verwalteten Instanzgruppe (Managed Instance Group, MIG) ausgeführt. Dabei handelt es sich um eine Gruppe von einer oder mehreren übereinstimmenden Compute Engine-VM-Instanzen, die sich jeweils in einer der enthaltenen Zonen befinden. Jede VM hat spezielle Hardware für CPU-Kerne und Arbeitsspeicher, die sich auf die Leistung Ihres Jobs auswirken, sowie ein Boot-Laufwerk, auf dem ein Betriebssystem-Image und Anweisungen zum Ausführen des Jobs gespeichert sind. Falls angegeben, kann ein Job auch zusätzliche Ressourcen enthalten oder auf diese zugreifen, z. B. GPUs oder externe Speichervolumes. Die Anzahl der für einen Job bereitgestellten VMs hängt von den Hardwareanforderungen und den von Ihnen angegebenen Optionen für die Aufgabenplanung ab.

Mit Batch können Sie also Jobs erstellen und ausführen, die jeweils die Ressourcen bereitstellen und verwenden, die zum Ausführen ihrer Aufgaben erforderlich sind.

Weitere Informationen zum Verhalten und zu den Optionen von Jobs finden Sie auf der Seite Übersicht zum Erstellen und Ausführen von Jobs.

Preise

Für die Verwendung von Batch fallen keine zusätzlichen Kosten an. Ihnen werden nur die Kosten für die zugrunde liegenden Ressourcen in Rechnung gestellt, die für die Ausführung Ihrer Jobs erforderlich sind.

Weitere Informationen zu den Kosten für Batch-Vorgänge und dazu, wie Sie Cloud Billing-Berichte filtern, um die Kosten für Batch-Vorgänge aufzurufen, finden Sie unter Preise.

Beschränkungen

Für Batch-Aufträge gelten die folgenden Einschränkungen:

  • Sie dürfen die Batchkontingente und ‑limits für Ihr Projekt nicht überschreiten.
  • Sie können pro Job nur einen Maschinentyp angeben. Dieser kann vordefiniert oder benutzerdefiniert sein.
  • Sie können pro Job nicht mehr als eine Aufgabengruppe angeben. Alle Jobs haben nur eine Aufgabengruppe namens group0.

Vorbereitung

Damit Sie Batch verwenden können, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Wenn für Ihr Projekt noch kein Batch verwendet wurde, aktivieren Sie Batch für Ihr Projekt.
  2. Batch für jeden neuen Nutzer einrichten

Batch für ein Projekt aktivieren

So verwenden Sie Batch mit einem Projekt:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Achten Sie darauf, dass die Batch-Funktion für Ihr Projekt aktiviert ist:

    1. Aktivieren Sie die APIs für Batch über dieGoogle Cloud -Konsole oder die Google Cloud CLI.

      Console

      Enable the Batch, Compute Engine, and Cloud Logging APIs.

      Enable the APIs

      gcloud

      Enable the Batch, Compute Engine, and Cloud Logging APIs: 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Achten Sie darauf, dass Ihr Projekt mindestens ein Dienstkonto mit den erforderlichen Berechtigungen zum Erstellen und Zugriff auf die Ressourcen zum Ausführen von Batch-Jobs hat.

      Wichtig: Alle Nutzer, denen Sie das Erstellen und Ausführen von Batchjobs in Ihrem Projekt erlauben möchten, müssen die Berechtigung zur Verwendung eines dieser Dienstkonten haben. Wählen Sie daher keine Dienstkonten aus, die mehr Berechtigungen haben, als Sie diesen Nutzern gewähren möchten.

      Das Standarddienstkonto für jeden Job ist das Compute Engine-Standarddienstkonto. Sie können jedoch auch angeben, welches Dienstkonto für einen Job verwendet werden soll.

      Sofern Sie nicht nur die Standardkonfiguration für die Dienstkonten Ihres Jobs verwenden möchten, weisen Sie allen Dienstkonten, die in Ihrem Projekt für Batchjobs verwendet werden, die folgenden IAM-Rollen zu.

      • Batch-Agent-Melder (roles/batch.agentReporter) für das Projekt
      • Damit Jobs Logs in Cloud Logging generieren können: Logs Writer (roles/logging.logWriter) für das Projekt

      Je nach den Konfigurationsoptionen, die Sie für Ihre Jobs verwenden möchten, sind für das Dienstkonto, das Sie für einen Job verwenden, möglicherweise zusätzliche Rollen erforderlich. In der Dokumentation zu den einzelnen Aufgaben finden Sie Informationen dazu, ob zusätzliche Berechtigungen erforderlich sind. Weitere Informationen zum Zuweisen von Rollen zu Dienstkonten finden Sie unter Dienstkonten einschränken und Zugriff auf Dienstkonten verwalten.

    3. Machen Sie sich mit dem Batch-Dienst-Agenten Ihres Projekts vertraut:

      Nachdem Sie einen Batch-Job erstellt haben, wird der Batch-Dienst-Agent automatisch mit dem folgenden Namen für Ihr Projekt erstellt:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Ersetzen Sie PROJECT_NUMBER durch die Projektnummer Ihres Projekts.

      Dem Batch-Dienst-Agent wird automatisch die IAM-Rolle Google Batch Service Agent (roles/batch.serviceAgent) zugewiesen. Diese Konfiguration ist erforderlich, damit Ihr Projekt Batch verwenden kann.

      Bei bestimmten Anwendungsfällen, z. B. beim Ausführen eines Jobs in einem freigegebene VPC-Netzwerk, müssen Sie dem Batch-Dienst-Agent Ihres Projekts jedoch zusätzliche Berechtigungen erteilen.

      Weitere Informationen finden Sie unter Dienst-Agents.

Batch-Aufträge für einen neuen Nutzer einrichten

So verwenden Sie Batch als Nutzer:

  1. Bitten Sie Ihren Administrator, Ihnen die erforderlichen IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zur Verwendung von Batch benötigen. Die erforderlichen Berechtigungen für die einzelnen Aufgaben finden Sie in der jeweiligen Dokumentation.

    Wenn Sie beispielsweise mit der Verwendung von Batch beginnen und einen einfachen Job erstellen möchten, sollten Sie Rollen für die folgenden Aufgaben anfordern:

    • So erstellen Sie Jobs:
    • Jobs auflisten und beschreiben: Bearbeiter von Batchjobs (roles/batch.jobsEditor) oder Batchjob-Betrachter (roles/batch.jobsViewer) im Projekt
    • So rufen Sie Logs für Jobs auf: Loganzeige (roles/logging.viewer) im Projekt
    • Jobs löschen: Bearbeiter von Batchjobs (roles/batch.jobsEditor) für das Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

  2. Wenn Sie die Befehlszeilenbeispiele für Batch verwenden möchten, richten Sie die Google Cloud CLI ein. Gehen Sie dazu so vor: Weitere Informationen zur Authentifizierung für die Google Cloud CLI

    1. Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init

    2. Empfohlen: Legen Sie ein Standardprojekt mit dem Befehl gcloud config set project fest:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch die Projekt-ID Ihres Projekts.

  3. Wenn Sie die API-Beispiele oder Clientbibliotheksbeispiele für Batch verwenden möchten, lesen Sie den Hilfeartikel Bei Batch authentifizieren.

Support kontaktieren

Sie können über Batch mit der Community diskutieren, indem Sie das Batch-Label in den Cloud-Foren verwenden.

Wenn bei der Verwendung von Batch-Dateien Probleme auftreten, lesen Sie die Dokumentation zur Fehlerbehebung.

Wenn Sie Unterstützung benötigen oder Feedback zu Batch geben möchten, verwenden Sie die folgenden Ressourcen:

  • Bei Abrechnungsproblemen mit Google Cloudwenden Sie sich an den Abrechnungssupport.

  • Wenn Sie ein kostenpflichtiges Supportpaket haben, wenden Sie sich bei Problemen mit Batch direkt an den Google Cloud -Support.

    Google Cloud bietet verschiedene Supportpakete für unterschiedliche Anforderungen, wie etwa Rund-um-die-Uhr-Verfügbarkeit, Telefonsupport und Kontakt mit einem technischen Supportmanager. Weitere Informationen finden Sie im Google Cloud -Support.

  • Wenn Sie Feedback zu Batch geben oder Funktionsanfragen stellen oder Probleme mit Batch melden möchten, ohne ein kostenpflichtiges Supportpaket zu haben, klicken Sie auf die Schaltfläche Feedback geben, die sich am Anfang und Ende jeder Seite der Batch-Dokumentation befindet. Wählen Sie dann eine der folgenden Optionen aus:

    • Wählen Sie „Feedback zur Dokumentation“ aus, wenn Sie Feedback zur Batch-Dokumentation geben möchten.
    • Wählen Sie für alle anderen Arten von Feedback zu Batch „Produktfeedback“ aus.

Nächste Schritte