Erste Schritte mit Batch

Auf dieser Seite werden die ersten Schritte mit Batch for Google Cloud beschrieben.

Überblick

Batch ist ein vollständig verwalteter Dienst, mit dem Sie Arbeitslasten für die Batchverarbeitung von Google Cloud-Ressourcen planen, in die Warteschlange stellen und ausführen können. Batch stellt in Ihrem Namen Ressourcen bereit und verwaltet Kapazitäten, sodass Ihre Batcharbeitslasten in großem Maßstab ausgeführt werden können.

Wenn Sie Batch verwenden, müssen Sie keine Jobplaner von Drittanbietern konfigurieren und verwalten, Ressourcen nicht bereitstellen und deren Bereitstellung aufheben oder Ressourcen nicht zonenweise anfordern. Zum Ausführen eines Jobs geben Sie Parameter für die Ressourcen an, die für die Arbeitslast erforderlich sind. Batch ruft dann die Ressourcen ab und stellt den Job zur Ausführung in die Warteschlange. Batch bietet eine native Integration in andere Google Cloud-Dienste, um Sie bei der Planung, Ausführung, Speicherung und Analyse von Batchjobs zu unterstützen. So können Sie sich ganz darauf konzentrieren, einen Job zu senden und die Ergebnisse zu verarbeiten.

Batch besteht aus den folgenden Komponenten:

  • Job:Ein geplantes Programm, das eine Reihe von Aufgaben ohne Nutzerinteraktion ausführt, in der Regel für Rechenarbeitslasten. Ein Job kann beispielsweise ein einzelnes Shell-Skript oder eine komplexe, mehrteilige Berechnung sein.

    Ein Batchjob repräsentiert ein Array aus einer oder mehreren Aufgaben und der Umgebung, in der diese Aufgaben ausgeführt werden sollen. Sie definieren das Programm für den Job als Sequenz aus einem oder mehreren Runnables. Jede Aufgabe führt die Abfolge von Runnables für die Ressourcen des Jobs aus. Sie können die Aufgaben eines Jobs so konfigurieren, dass sie parallel oder sequenziell ausgeführt werden.

  • Aufgabe: Eine Ausführung der Runnables-Sequenz eines Jobs. Wenn ein Job mehrere Aufgaben hat, geben Sie an, wie die einzelnen Ausführungen variieren sollen. Dazu verweisen Sie die Umgebungsvariable auf den Index einer Aufgabe in den Runnables des Jobs.

  • Ausführbar: ein ausführbares Skript oder ein ausführbarer Container, den Sie als Teil eines Jobs definieren.

  • Ressourcen: Die zum Ausführen eines Jobs erforderliche Infrastruktur. Sie müssen mindestens die Rechenressourcen angeben, die pro Aufgabe erforderlich sind: CPU-Kerne, Arbeitsspeicher und bei Bedarf zusätzlichen Bootlaufwerkspeicher. Optional können Sie auch andere Ressourcenoptionen für den Job angeben. In Batch werden während der Jobausführung automatisch die Ressourcen erstellt und gelöscht, die Ihren Spezifikationen entsprechen.

    Jeder Batchjob wird in einer regionalen verwalteten Instanzgruppe (MIG) ausgeführt, die aus einer oder mehreren übereinstimmenden VM-Instanzen von Compute Engine besteht, die sich jeweils in einer der enthaltenen Zonen befinden. Jede VM hat dedizierte Hardware für CPU-Kerne und Arbeitsspeicher, die sich auf die Leistung des Jobs auswirken, sowie ein Bootlaufwerk, auf dem ein Betriebssystem-Image und Anweisungen zum Ausführen des Jobs gespeichert sind. Wenn angegeben, kann ein Job auch zusätzliche Ressourcen enthalten oder darauf zugreifen, z. B. GPUs oder externe Speicher-Volumes. Die Anzahl der für einen Job bereitgestellten VMs hängt von den Hardwareanforderungen und den von Ihnen angegebenen Optionen für die Aufgabenplanung ab.

Zusammenfassend lässt sich sagen, dass Sie in Batch Jobs erstellen und ausführen können, die jeweils automatisch bereitgestellt werden, und die für die Ausführung der Aufgaben erforderlichen Ressourcen verwenden.

Weitere Informationen zu Jobverhalten und Optionen finden Sie auf der Seite Joberstellung und -ausführung – Übersicht.

Preise

Für die Verwendung von Batch fallen keine zusätzlichen Kosten an. Ihnen werden nur die Kosten der zugrunde liegenden Ressourcen in Rechnung gestellt, die zum Ausführen Ihrer Jobs erforderlich sind.

Weitere Informationen zu den mit Batch verbundenen Kosten und zum Filtern von Cloud Billing-Berichten, um Batch-Kosten aufzurufen, finden Sie unter Preise.

Einschränkungen

Für den Batch gelten die folgenden Einschränkungen:

  • Sie dürfen die Batchkontingente und -limits für Ihr Projekt nicht überschreiten.
  • Sie können pro Job nur einen Maschinentyp angeben, der vordefiniert oder benutzerdefiniert sein kann.
  • Sie können nicht mehr als eine Aufgabengruppe pro Job angeben. Alle Jobs haben nur eine Aufgabengruppe mit dem Namen group0.

Vorbereitung

Damit Sie Batch verwenden können, müssen die folgenden Voraussetzungen erfüllt sein:

  1. Wenn Sie Batch für Ihr Projekt noch nicht verwendet haben, aktivieren Sie Batch für Ihr Projekt.
  2. Richten Sie Batch für jeden neuen Nutzer ein.

Batch für ein Projekt aktivieren

So verwenden Sie Batch mit einem Projekt:

  1. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  2. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  3. Prüfen Sie, ob Batch für Ihr Projekt aktiviert ist:

    1. Aktivieren Sie die APIs für Batch über die Google Cloud Console oder die Google Cloud CLI.

      Console

      Batch, Compute Engine, and Cloud Logging APIs aktivieren.

      Aktivieren Sie die APIs

      gcloud

      Aktivieren Sie die Batch, Compute Engine, and Cloud Logging APIs: 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Achten Sie darauf, dass Ihr Projekt mindestens ein Dienstkonto mit den erforderlichen Berechtigungen zum Erstellen und Zugriff auf die Ressourcen zum Ausführen von Batch-Jobs hat.

      Wichtig ist, dass alle Nutzer, die Batchjobs in Ihrem Projekt erstellen und ausführen dürfen, die Berechtigung zur Verwendung eines dieser Dienstkonten haben müssen. Wählen Sie daher keine Dienstkonten aus, die mehr Berechtigungen haben, als Sie diesen Nutzern gewähren möchten.

      Das von jedem Job verwendete Dienstkonto ist das Compute Engine-Standarddienstkonto. Sie können aber auch festlegen, welches Dienstkonto ein Job verwendet.

      Weisen Sie allen Dienstkonten, die Ihr Projekt für Batchjobs verwendet, die folgenden IAM-Rollen zu.

      • Batch Agent Reporter (roles/batch.agentReporter) für das Projekt
      • So lassen Sie Jobs auf einen Cloud Storage-Bucket zugreifen: Storage-Administrator (roles/storage.admin) für den Bucket
      • So können Jobs Logs in Cloud Logging generieren: Log-Autor (roles/logging.logWriter) für das Projekt

      Weitere Informationen zum Gewähren von Rollen für Dienstkonten finden Sie unter Dienstkonten einschränken und Zugriff auf Dienstkonten verwalten.

    3. Machen Sie sich mit dem Batch-Dienst-Agent Ihres Projekts vertraut:

      Nachdem Sie einen Batchjob erstellt haben, wird der Batch-Dienst-Agent (ein von Google verwaltetes Dienstkonto) automatisch für Ihr Projekt mit dem folgenden Namen erstellt:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Ersetzen Sie PROJECT_NUMBER durch die Projektnummer Ihres Projekts.

      Dem Batch-Dienst-Agent wird automatisch die IAM-Rolle „Google Batch-Dienst-Agent“ (roles/batch.serviceAgent) zugewiesen. Diese Konfiguration ist erforderlich, damit Ihr Projekt Batch verwenden kann.

      Für bestimmte Anwendungsfälle, z. B. zum Ausführen eines Jobs in einem freigegebene VPC-Netzwerk, müssen Sie dem Batch-Dienst-Agent Ihres Projekts jedoch zusätzliche Berechtigungen erteilen.

      Weitere Informationen finden Sie unter Dienst-Agents.

Batch für einen neuen Nutzer einrichten

So verwenden Sie Batch als Nutzer:

  1. Bitten Sie Ihren Administrator, Ihnen die erforderlichen IAM-Rollen für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie für Batch benötigen. In der Dokumentation zu den einzelnen Aufgaben finden Sie die erforderlichen Berechtigungen.

    Wenn Sie beispielsweise mit der Verwendung von Batch durch Erstellen eines einfachen Jobs beginnen möchten, sollten Sie Rollen für die folgenden Aufgaben anfordern:

    • So erstellen Sie Jobs:
    • Zum Auflisten und Beschreiben von Jobs: Batch Job Editor (roles/batch.jobsEditor) oder Batch Job Viewer (roles/batch.jobsViewer) für das Projekt
    • Logs für Jobs ansehen: Loganzeige (roles/logging.viewer) für das Projekt
    • So löschen Sie Jobs: Batch-Job-Editor (roles/batch.jobsEditor) für das Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

  2. Wenn Sie die Befehlszeilenbeispiele für Batch verwenden möchten, richten Sie die Google Cloud CLI so ein. Weitere Informationen zur Authentifizierung für die Google Cloud CLI

    1. Installieren Sie die Google Cloud CLI und initialisieren Sie sie mit folgendem Befehl: 

      gcloud init

    2. Empfohlen: Legen Sie ein Standardprojekt mit dem Befehl gcloud config set project fest:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch die Projekt-ID Ihres Projekts.

  3. Wie Sie die API- oder Clientbibliotheksbeispiele für Batch verwenden, erfahren Sie unter Bei Batch authentifizieren.

Support kontaktieren

Sie können sich in den Cloud-Foren mit der Community über Batch austauschen.

Bei Problemen mit Batch lesen Sie in der Dokumentation zur Fehlerbehebung nach.

Wenn Sie Support benötigen oder Feedback zu Batch geben möchten, verwenden Sie die folgenden Ressourcen:

  • Bei Abrechnungsproblemen mit Google Cloud wenden Sie sich an den Abrechnungssupport.

  • Wenn Sie ein kostenpflichtiges Supportpaket haben, wenden Sie sich bei Problemen mit Batch direkt an den Google Cloud-Support.

    Google Cloud bietet verschiedene Supportpakete für unterschiedliche Anforderungen, wie etwa Rund-um-die-Uhr-Verfügbarkeit, Telefonsupport und Kontakt mit einem technischen Supportmanager. Weitere Informationen finden Sie unter Google Cloud-Support.

  • Wenn Sie Feedback oder Funktionsanfragen zu Batch geben oder Probleme für Batch ohne ein kostenpflichtiges Supportpaket melden möchten, klicken Sie auf die Schaltfläche Feedback geben am Anfang und Ende jeder Batch-Dokumentationsseite. Wählen Sie dann eine der folgenden Optionen aus:

    • Wenn Sie Feedback zur Batch-Dokumentation haben möchten, wählen Sie „Dokumentationsfeedback“ aus.
    • Bei jeglichem anderen Feedback zu Batch wählen Sie „Produktfeedback“ aus.

Nächste Schritte