In diesem Dokument wird beschrieben, wie Sie die Ressourcen für einen Batch-Job durch Aufrufen von Messwerten in Cloud Monitoring überwachen und optimieren können. Weitere Informationen zu den Ressourcen, auf denen ein Job ausgeführt wird, finden Sie unter Jobressourcen.
Monitoring stellt für jeden Job grundlegende Messwerte wie CPU-Auslastung und Netzwerktraffic bereit. Einige Messwerte wie Arbeitsspeicher- und Prozessauslastung können jedoch nur erfasst werden, wenn der Ops-Agent von einem Job installiert wird. Messwerte für die Ressourcen eines Jobs helfen Ihnen, die Leistung und Auslastung jeder Ressource zu bewerten. Anhand dieser Informationen können Sie Verbesserungen für zukünftige Iterationen des Jobs identifizieren. Beispielsweise können Sie nicht verwendete Ressourcen entfernen, um die Kosten zu optimieren, oder Sie können die beanspruchten Ressourcen verbessern oder erhöhen, um die Leistung zu verbessern.
Hinweise
- Wenn Sie Batch noch nicht verwendet haben, lesen Sie den Abschnitt Erste Schritte mit Batch und aktivieren Sie Batch, indem Sie die Voraussetzungen für Projekte und Nutzer erfüllen.
- Optional: Zum Erfassen zusätzlicher Messwerte für einen Job erstellen und führen Sie einen Job aus, der den Ops-Agent automatisch installiert.
- Aktivieren Sie die Monitoring API, falls noch nicht geschehen:
-
Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Monitoring-Messwert-Betrachter (
roles/monitoring.metricViewer
) für das Projekt zu gewähren, um die erforderlichen Berechtigungen zum Ansehen von Beobachtbarkeitsmesswerten zu erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.Möglicherweise können Sie die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
Messwerte für Jobressourcen ansehen
In der Compute Engine-Dokumentation finden Sie unter VMs beobachten und überwachen relevante konzeptionelle Informationen zu VM-Messwerten. Es werden jedoch verschiedene Methoden empfohlen, um VM-Messwerte für Batchjobs anzusehen. In der Compute Engine-Dokumentation wird insbesondere erläutert, wie Sie Messwerte mithilfe der vordefinierten Monitoring-Dashboards für Compute Engine oder Compute Engine-Seiten in der Google Cloud Console aufrufen. Diese Methoden zeigen jedoch keine Informationen über VMs an, die gelöscht wurden. Verwenden Sie diese Methoden daher nur, wenn Sie Messwerte für laufende Batchjobs nur ansehen möchten.
Sie können Messwerte für ausgeführte und abgeschlossene Batch-Jobs mithilfe von Metrics Explorer-Diagrammen ansehen, wie in diesem Abschnitt erläutert. Diagramme sind temporär, es sei denn, Sie speichern sie in benutzerdefinierten Dashboards.
So erstellen Sie ein Diagramm, um einen oder mehrere Messwerte anzusehen:
- Optional: Wenn Sie das Diagramm speichern möchten, identifizieren oder erstellen Sie ein benutzerdefiniertes Dashboard für das Diagramm.
Erstellen Sie ein Metrics Explorer-Diagramm für einen oder mehrere Messwerte.
Ohne Filter enthält jeder VM-Messwert in einem Diagramm Daten von allen VMs in Ihrem Projekt. Wenn Sie das Diagramm so filtern möchten, dass nur Messwerte aus allen oder bestimmten Batch-Jobs enthalten sind, können Sie den folgenden Filter hinzufügen:
group=RESOURCE_GROUP_NAME
Ersetzen Sie
RESOURCE_GROUP_NAME
durch den Namen einer Ressourcengruppe für Batchjobs. Weitere Informationen finden Sie in diesem Dokument unter Ressourcengruppen zum Filtern von Messwerten erstellen.
Ressourcengruppen zum Filtern von Messwerten erstellen
Sie können Ressourcengruppen als anpassbare Filter für Metrics Explorer-Diagramme verwenden. So erstellen Sie eine Ressourcengruppe für alle oder bestimmte Batchjobs in Ihrem Projekt:
Wählen Sie ein Label aus, das als Mitgliedschaftskriterien verwendet werden soll, je nachdem, welche Jobs Sie in die Gruppe aufnehmen möchten:
- Alle Batchjobs:Verwenden Sie das vordefinierte Label
batch-node
, das automatisch auf alle Ressourcen für alle Batchjobs angewendet wird und einen Nullwert hat. Bestimmte Batchjobs:Verwenden Sie ein Label, das nur für bestimmte Batchjobs auf die Ressourcen angewendet wird.
Wenn Sie beispielsweise eine Gruppe basierend auf vollständigen oder partiellen Jobnamen erstellen möchten, verwenden Sie den vordefinierten Labelnamen
batch-job-id
mit einem bestimmten Wert. Das Labelbatch-job-id
wird automatisch auf alle Ressourcen aller Batch-Jobs angewendet und mit dem Jobnamen definiert.Wenn Sie ein benutzerdefiniertes Label verwenden, müssen Sie alternativ das benutzerdefinierte Label auf alle Ressourcen der Batchjobs anwenden, die beim Erstellen der Jobs in die Gruppe aufgenommen werden sollen.
- Alle Batchjobs:Verwenden Sie das vordefinierte Label
Sorgen Sie dafür, dass Ihr Projekt mindestens einen Job mit dem ausgewählten Label hat und dieser Job den Status
RUNNING
hat. Andernfalls wird dieses Label beim Erstellen der Ressourcengruppe nicht als Option angezeigt.Erstellen Sie eine Ressourcengruppe. Gehen Sie bei der Angabe der Mitgliedschaftskriterien so vor:
- Legen Sie den Typ auf Tag fest.
Geben Sie im Feld Tag den Namen des ausgewählten Labels ein. Legen Sie dann die folgenden Felder basierend auf den Labelwerten fest, die die Gruppe enthalten soll.
Wenn diese Gruppe beispielsweise alle Batchjobs enthalten soll, setzen Sie Tag auf
batch-node
und Operator auf Vorhanden. Alternativ möchten Sie, dass diese Gruppe Batchjobs mit Namen enthält, die mittest
beginnen. Setzen Sie Tag aufbatch-job-id
, Operator auf Beginnt mit und Wert auftest
.
Nächste Schritte
- Weitere Informationen zu Jobressourcenmesswerten:
- Weitere Methoden zum Überwachen und Optimieren von Batchjobs:
- Jobstatus mit Pub/Sub-Benachrichtigungen und BigQuery überwachen
- Platzieren Sie VMs am selben Standort, um die Latenz zu verringern.
- Weitere Informationen finden Sie unter Optionen zum Erstellen von Jobs.