Erste Schritte mit Batch

Auf dieser Seite werden die ersten Schritte mit Batch für Google Cloud beschrieben.

Überblick

Batch ist ein vollständig verwalteter Dienst, mit dem Sie Arbeitslasten zur Batchverarbeitung für Google Cloud-Ressourcen planen, in die Warteschlange stellen und ausführen können. Ziehen Sie beispielsweise die Verwendung von Batch für Hochleistungs-Computing (HPC), maschinelles Lernen (ML) und Datenverarbeitungsarbeitslasten in Betracht. Mit Batch werden Ressourcen bereitgestellt und Kapazitäten für Sie verwaltet, sodass Batcharbeitslasten in großem Umfang ausgeführt werden können.

Mit Batch müssen Sie keine Jobplaner von Drittanbietern konfigurieren und verwalten, keine Ressourcen bereitstellen und deren Bereitstellung aufheben oder Ressourcen zonenweise anfordern. Zum Ausführen eines Jobs geben Sie Parameter für die für die Arbeitslast erforderlichen Ressourcen an. Batch ruft dann die Ressourcen ab und stellt den Job zur Ausführung in die Warteschlange. Batch bietet die native Einbindung in andere Google Cloud-Dienste, um Sie beim Planen, Ausführen, Speichern und Analysieren von Batchjobs zu unterstützen. So können Sie sich darauf konzentrieren, einen Job zu senden und die Ergebnisse zu nutzen.

Batch besteht aus den folgenden Komponenten:

  • Job:Ein geplantes Programm, das eine Reihe von Aufgaben ohne Nutzerinteraktion vollständig ausführt, in der Regel für Rechenarbeitslasten. Ein Job kann beispielsweise ein einzelnes Shell-Skript oder eine komplexe, mehrteilige Berechnung sein.

    Insbesondere repräsentiert ein Batchjob ein Array mit einer oder mehreren Aufgaben und der Umgebung, in der diese Aufgaben ausgeführt werden sollen. Sie definieren das Programm für den Job als Abfolge eines oder mehrerer Runnables. Jede Aufgabe führt die Abfolge der Runnables für die Ressourcen des Jobs aus. Sie können die Aufgaben eines Jobs so konfigurieren, dass sie parallel oder nacheinander ausgeführt werden.

  • Aufgabe: eine Ausführung der Runnable-Sequenz eines Jobs. Wenn ein Job mehrere Aufgaben enthält, legen Sie fest, wie jede Ausführung variieren soll, indem Sie in den Runnables des Jobs auf die Umgebungsvariable für den Index einer Aufgabe verweisen.

  • Ausführbar: Ein ausführbares Skript oder ein Container, den Sie im Rahmen eines Jobs definieren.

  • Ressourcen:Die zum Ausführen eines Jobs erforderliche Infrastruktur. Sie müssen mindestens die für die Aufgabe erforderlichen Rechenressourcen angeben: CPU-Kerne, Arbeitsspeicher und (falls erforderlich) zusätzlichen Bootlaufwerkspeicher. Optional können Sie auch andere Ressourcenoptionen für den Job angeben. Batch erstellt und löscht automatisch die Ressourcen, die Ihren Spezifikationen entsprechen, während der Job ausgeführt wird.

    Insbesondere wird jeder Batch-Job in einer regionalen verwalteten Instanzgruppe (MIG) ausgeführt. Dabei handelt es sich um eine Gruppe aus einer oder mehreren übereinstimmenden Compute Engine-VM-Instanzen, die sich jeweils in einer der enthaltenen Zonen befinden. Jede VM hat dedizierte Hardware für CPU-Kerne und Arbeitsspeicher, die sich auf die Leistung Ihres Jobs auswirken, und ein Bootlaufwerk, auf dem ein Betriebssystem-Image und Anweisungen zum Ausführen des Jobs gespeichert werden. Wenn angegeben, kann ein Job auch zusätzliche Ressourcen enthalten oder auf diese zugreifen, z. B. GPUs oder externe Speicher-Volumes. Die Anzahl der für einen Job bereitgestellten VMs hängt von den Hardwareanforderungen und den von Ihnen angegebenen Optionen für die Aufgabenplanung ab.

Zusammenfassung: Mit Batch können Sie Jobs erstellen und ausführen, die jeweils automatisch die für die Ausführung der Aufgaben erforderlichen Ressourcen bereitstellen und nutzen.

Weitere Informationen zum Verhalten und zu den Optionen von Jobs finden Sie auf der Seite Joberstellung und -ausführung – Übersicht.

Preise

Für die Verwendung von Batch fallen keine zusätzlichen Kosten an. Ihnen werden nur die Kosten der zugrunde liegenden Ressourcen in Rechnung gestellt, die für die Ausführung Ihrer Jobs erforderlich sind.

Weitere Informationen zu den mit Batch verbundenen Kosten und zum Filtern von Cloud Billing-Berichten zum Aufrufen von Batch-Kosten finden Sie unter Preise.

Einschränkungen

Für Batch gelten die folgenden Einschränkungen:

  • Sie können die Batchkontingente und -limits für Ihr Projekt nicht überschreiten.
  • Sie können pro Job nur einen Maschinentyp angeben, der vordefiniert oder benutzerdefiniert sein kann.
  • Sie können nicht mehr als eine Aufgabengruppe pro Job angeben. Alle Jobs haben nur eine Aufgabengruppe mit dem Namen group0.

Vorbereitung

Damit Sie Batch verwenden können, müssen folgende Voraussetzungen erfüllt sein:

  1. Wenn Ihr Projekt Batch noch nicht verwendet hat, aktivieren Sie Batch für Ihr Projekt.
  2. Richten Sie den Batch für jeden neuen Nutzer ein.

Batch für ein Projekt aktivieren

So verwenden Sie Batch mit einem Projekt:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  3. Achten Sie darauf, dass Batch für Ihr Projekt aktiviert ist:

    1. Aktivieren Sie die APIs für Batch mithilfe der Google Cloud Console oder der Google Cloud CLI.

      Console

      Batch, Compute Engine, and Cloud Logging APIs aktivieren.

      Aktivieren Sie die APIs

      gcloud

      Aktivieren Sie die Batch, Compute Engine, and Cloud Logging APIs: 

      gcloud services enable batch.googleapis.com compute.googleapis.com logging.googleapis.com

    2. Sorgen Sie dafür, dass Ihr Projekt ein oder mehrere Dienstkonten mit den erforderlichen Berechtigungen zum Erstellen und Aufrufen der Ressourcen zum Ausführen von Batchjobs hat.

      Wichtig ist, dass allen Nutzern, die Batchjobs in Ihrem Projekt erstellen und ausführen möchten, die Berechtigung zur Verwendung eines dieser Dienstkonten erteilt werden muss. Wählen Sie daher keine Dienstkonten aus, die mehr Berechtigungen haben, als Sie diesen Nutzern gewähren möchten.

      Standardmäßig verwendet jeder Job das Compute Engine-Standarddienstkonto. Sie können aber auch festlegen, welches Dienstkonto ein Job verwendet.

      Sofern Sie nicht vorhaben, nur die Standardkonfiguration für die Dienstkonten Ihres Jobs zu verwenden, weisen Sie allen Dienstkonten, die Ihr Projekt für Batchjobs verwendet, die folgenden IAM-Rollen zu.

      • Batch Agent Reporter (roles/batch.agentReporter) für das Projekt
      • So lassen Sie Jobs Logs in Cloud Logging generieren: Logautor (roles/logging.logWriter) für das Projekt

      Für das Dienstkonto, das Sie für einen Job verwenden, sind je nach den Konfigurationsoptionen, die Sie für Ihre Jobs verwenden möchten, möglicherweise auch zusätzliche Rollen erforderlich. In der Dokumentation zu den einzelnen Aufgaben können Sie nachlesen, ob zusätzliche Berechtigungen erforderlich sind. Weitere Informationen zum Zuweisen von Rollen zu Dienstkonten finden Sie unter Dienstkonten einschränken und Zugriff auf Dienstkonten verwalten.

    3. Sie sollten mit dem Batch-Dienst-Agent Ihres Projekts vertraut sein:

      Nachdem Sie einen Batch-Job erstellt haben, wird der Batch-Dienst-Agent automatisch mit folgendem Namen für Ihr Projekt erstellt:

      service-PROJECT_NUMBER@gcp-sa-cloudbatch.iam.gserviceaccount.com

      Ersetzen Sie PROJECT_NUMBER durch die Projektnummer Ihres Projekts.

      Dem Batch-Dienst-Agent wird automatisch die IAM-Rolle „Google Batch Service Agent (roles/batch.serviceAgent)“ gewährt. Diese Konfiguration ist erforderlich, damit Ihr Projekt Batch verwenden kann.

      In bestimmten Anwendungsfällen, z. B. zum Ausführen eines Jobs in einem freigegebene VPC-Netzwerk, müssen Sie dem Batch-Dienst-Agent Ihres Projekts jedoch zusätzliche Berechtigungen erteilen.

      Weitere Informationen finden Sie unter Dienst-Agents.

Batch für einen neuen Nutzer einrichten

So verwenden Sie Batch als Nutzer:

  1. Bitten Sie Ihren Administrator, Ihnen die erforderlichen IAM-Rollen für das Projekt zu gewähren, damit Sie die Berechtigungen erhalten, die Sie zur Verwendung von Batch benötigen. In der Dokumentation zu jeder Aufgabe finden Sie die erforderlichen Berechtigungen.

    Wenn Sie beispielsweise die Verwendung von Batch durch Erstellen eines einfachen Jobs erlernen möchten, sollten Sie Rollen für die folgenden Aufgaben anfordern:

    • So erstellen Sie Jobs:
    • So listen Sie Jobs auf: Batch-Job-Editor (roles/batch.jobsEditor) oder Batch-Job-Betrachter (roles/batch.jobsViewer) für das Projekt
    • So rufen Sie Logs für Jobs auf: Loganzeige (roles/logging.viewer) für das Projekt
    • So löschen Sie Jobs: Batch-Job-Editor (roles/batch.jobsEditor) im Projekt

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

  2. Wenn Sie die Befehlszeilenbeispiele für Batch verwenden möchten, richten Sie die Google Cloud CLI so ein. Weitere Informationen zur Authentifizierung für die Google Cloud CLI

    1. Installieren Sie die Google Cloud CLI und initialisieren Sie sie mit folgendem Befehl: 

      gcloud init

    2. Empfohlen: Legen Sie mit dem Befehl gcloud config set project ein Standardprojekt fest:

      gcloud config set project PROJECT_ID

      Ersetzen Sie PROJECT_ID durch die Projekt-ID Ihres Projekts.

  3. Wenn Sie die API- oder Clientbibliotheken für Batch verwenden möchten, lesen Sie die Informationen unter Bei Batch authentifizieren.

Support kontaktieren

Sie können Batch in den Cloud-Foren mit der Community diskutieren.

Wenn Sie Probleme mit Batch haben, lesen Sie die Dokumentation zur Fehlerbehebung.

Verwenden Sie die folgenden Ressourcen, um Support zu erhalten oder Feedback zu Batch zu geben:

  • Wenden Sie sich bei Abrechnungsproblemen mit Google Cloud an den Abrechnungssupport.

  • Wenn Sie ein kostenpflichtiges Supportpaket haben, wenden Sie sich bei Problemen mit Batch direkt an den Google Cloud-Support.

    Google Cloud bietet verschiedene Supportpakete für unterschiedliche Anforderungen, wie etwa Rund-um-die-Uhr-Verfügbarkeit, Telefonsupport und Kontakt mit einem technischen Supportmanager. Weitere Informationen finden Sie unter Google Cloud-Support.

  • Wenn Sie Feedback oder Funktionsanfragen für Batch senden oder Probleme für Batch ohne kostenpflichtiges Supportpaket melden möchten, klicken Sie auf die Schaltfläche Feedback senden. Diese finden Sie am Anfang und Ende jeder Batch-Dokumentationsseite. Wählen Sie dann eine der folgenden Optionen aus:

    • Für Feedback zur Batch-Dokumentation wählen Sie „Feedback zur Dokumentation“ aus.
    • Für sonstiges Feedback zu Batch wählen Sie „Produktfeedback“ aus.

Nächste Schritte