Cloud TPU-Monitoring- und ‑Logging-Dashboards

Das Repository für Monitoring- und Debugging-Dashboards für Cloud TPUs enthält die gesamte Infrastruktur und Logik, die zum Überwachen und Entwickeln von Workflows erforderlich ist, die auf TPU-VMs ausgeführt werden. Dafür ist Terraform erforderlich. Ein Open-Source-Tool, das Konfigurationsdateien zum Definieren und Verwalten von Google Cloud verwendet und Infrastruktur.

Monitoring-Dashboard

Das Monitoring-Dashboard enthält die folgenden Cloud TPU-Messwerte:

• CPU-Auslastung auf TPU-Worker: cpu/utilization
• Arbeitsspeichernutzung nach TPU-VM: memory/usage
• Von einem Pod über das Netzwerk empfangene Netzwerkbyte: network/received_bytes_count
• Vom Pod über das Netzwerk gesendete Netzwerkbyte: network/sent_bytes_count
• TensorCore-Inaktivitätsdauer des TPU-Chips: tpu/tensorcore/idle_duration

Cloud Monitoring generiert automatisch Messwertdaten. Wenn Sie das Monitoring-Dashboard aufrufen möchten, rufen Sie die Google Cloud Console auf und wählen Sie Monitoring und dann Dashboards aus. Wählen Sie im Menü GCE – TPU Monitoring Dashboard Liste der Dashboards. Das Cloud TPU-Monitoring-Dashboard besteht aus einer Anzahl der Bereiche, in denen jeweils Messdaten angezeigt werden. Für jeden Cloud TPU-Messwert Das Dashboard zeigt die aktuellen Messwerte, den Mittel- und Höchstwert separaten Bereichen angezeigt. In den Bereichen „Mittelwert“ und „Maximum“ können Sie TPU-VMs mit Ausreißern für weitere Untersuchungen identifizieren.

Sie können TPU-Messwerte auch über den Metrics Explorer in Cloud Monitoring in der Google Cloud Console aufrufen. Weitere Informationen finden Sie unter Cloud TPU-VMs überwachen.

Logging-Dashboard

Das Logging-Dashboard enthält zwei Abschnitte:

1. Logmesswerte: Zeigt die Anzahl der für jeden einzelnen erfassten Stacktrace-Einträge an. TPU-VM-Worker
2. Bereich „Protokolle“: Hier werden alle Stack-Trace-Einträge mit Spalten für den Schweregrad, den Zeitstempel und eine Zusammenfassung des Eintrags angezeigt. Sie können dieses Bereich für Protokolle nach einem String oder TPU-Arbeiterlabels wie node_id oder worker_id filtern. Beispiel: Durch Hinzufügen eines Filters resource.labels.node_id:"testing" werden alle Trace- Einträge, die für den TPU-VM-Worker mit der ID auf „testing“ erfasst wurden.

Cloud Logging erfasst Logeinträge, die von Google Cloud-Diensten, Drittanbieterdiensten, ML-Frameworks und Ihrem Code generiert werden. Sie können das PyPi-Paket cloud-tpu-diagnostics installieren, um Python-Stack-Traces zu schreiben, wenn ein Fehler oder eine Ausnahme auftritt oder Ihre Arbeitslast nicht reagiert. Weitere Informationen finden Sie unter Fehlerbehebung bei Cloud TPU-VMs

Rufen Sie in der Google Cloud Console Monitoring und dann Dashboards auf, um das Logging-Dashboard aufzurufen. Wählen Sie in der Liste der Dashboards GCE – TPU-Logging-Dashboard aus.

Messwerte und Logging-Dashboards konfigurieren

Folgen Sie dieser Anleitung, um die Dashboards für Messwerte und Protokolle zu konfigurieren.

Dashboard-Repository klonen

Sie können das Repository direkt aus dem GitHub-Repository für die Überwachung und Fehlerbehebung von Cloud TPU oder über die Befehlszeile klonen:

git clone https://github.com/google/cloud-tpu-monitoring-debugging.git

Terraform installieren

1. Terraform installieren auf Ihrem lokalen Computer.
2. Führen Sie terraform init aus, um die erforderlichen Plug-ins hinzuzufügen und die .terraform zu erstellen. -Verzeichnis.
3. Führen Sie terraform init –upgrade aus, um alle verfügbaren Updates zu installieren.

Berechtigungen für Monitoring und Logging konfigurieren

Monitoring Admin, Monitoring Dashboard Configuration Editor und Logging Admin Rollen sind erforderlich, um Monitoring-Ressourcen in Ihrem Google Cloud-Projekt bereitzustellen. Weitere Informationen zu Monitoringrollen finden Sie unter Zugriff auf Cloud Monitoring gewähren.

Cloud Storage-Bucket erstellen

Erstellen Sie einen Cloud Storage-Bucket zum Speichern von Terraform-Zustandsdateien. Sie können auch einen vorhandenen Cloud Storage-Bucket verwenden. Cloud Storage-Bucket dass mehrere Nutzer Terraform gleichzeitig ausführen und auf dieselben und Infrastruktur.

1. Erstellen Sie in Cloud Shell den Cloud Storage-Bucket:

   gcloud storage buckets create gs://${GCS_BUCKET_NAME}
   

2. Aktivieren Sie die Objektversionsverwaltung, um den Verlauf Ihrer Bereitstellungen zu speichern. Wird aktiviert Objektversionsverwaltung erhöht die Speicherkosten, was Sie umgehen können, Verwaltung des Objektlebenszyklus so konfigurieren, dass alte Statusversionen gelöscht werden.

   gcloud storage buckets update gs://${GCS_BUCKET_NAME} --versioning
   

Terraform initialisieren

Führen Sie terraform init im Verzeichnis gcp_resources/gce des Repositorys aus. Sie werden aufgefordert, den Namen eines Cloud Storage-Buckets einzugeben, in dem Terraform-Zustandsdateien gespeichert werden sollen.

Monitoring- und Logging-Dashboards bereitstellen

Führen Sie terraform apply im Verzeichnis gcp_resources/gce aus, um die Monitoring- und Logging-Dashboards in Ihrem Google Cloud-Projekt. Der Befehl fordert Sie auf, Werte für die folgenden Variablen anzugeben:

• var.monitoring_dashboard_config
• var.project_name
• var.stack_trace_bucket_config

Hinweis: var.monitoring_dashboard_config und var.stack_trace_bucket_config JSON-formatierten Text erwarten. Geben Sie {} ein, um die Standardwerte zu übernehmen. Weitere Informationen finden Sie unter Beispielkonfigurationen. Variablen. Mit dem Befehl terraform apply werden die Aktionen angezeigt, die ausgeführt werden sollen. Geben Sie yes ein, um zu bestätigen. Alle Ressourcen werden automatisch in Ihrem Google Cloud-Projekt bereitgestellt.

Wenn Sie nur das Monitoring-Dashboard bereitstellen möchten, führen Sie terraform init aus. und terraform apply innerhalb der gcp_resources/gce/dashboard/monitoring_dashboard -Verzeichnis. Führen Sie diese Befehle auf ähnliche Weise im Verzeichnis gcp_resources/gce/dashboard/logging_dashboard nur für die Bereitstellung des Logging-Dashboard.

Beispielkonfigurationen

Wenn Sie terraform apply ausführen, werden Sie von Terraform nach Werten für einige Konfigurationsvariablen gefragt. In diesem Abschnitt finden Sie einige Beispielkonfigurationen, die Sie verwenden können. In jedem Beispiel wird die vom Befehl „terraform apply“ angezeigte Ausgabe sowie in fett formatierte Vorschläge für die einzelnen Konfigurationsvariablen dargestellt. Die Eingabe muss im JSON-Format vorliegen und in geschweifte Klammern ("{}") gesetzt sein.

Beispiel 1

In diesem Beispiel wird der Name des Google Cloud-Projekts angegeben und die Standardwerte verwendet für die restliche Konfiguration.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;the number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Beispiel 2

In diesem Beispiel wird das Dashboard so konfiguriert, dass fünf Ausreißer-TPU-VMs angezeigt werden.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &lt;number of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"outlier_count":5}

Beispiel 3

Mit dieser Konfiguration wird ein Dashboard erstellt, das 10 Ausreißer-TPU-VMs mit „Test“ als Präfix für die vom Dashboard generierten Knotennamen:

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
      "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": &ltnumber of outliers to show on dashboard, default to 10 if not set&gt;
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test"}

Beispiel 4

Mit dieser Konfiguration wird ein Dashboard erstellt, das 5 Ausreißer-VMs mithilfe von „test“ anzeigt als Das Präfix für die vom Dashboard generierten Knotennamen.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {"node_prefix":"test", "outlier_count":5}

Beispiel 5

In diesem Beispiel wird ein Cloud Storage-Bucket zum Speichern von Stacktraces konfiguriert. Für Stack-Traces gilt standardmäßig eine Aufbewahrungsdauer von 30 Tagen.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket"}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}

Beispiel 6

In diesem Beispiel wird ein Cloud Storage-Bucket mit einer Aufbewahrungsdauer von 20 konfiguriert Tage.

var.project_name
  Name of gcp project

  Enter a value: <gcp_project_name>

var.stack_trace_bucket_config
    Configuration to create a log bucket to store stack traces:
    {
      "bucket_name": "name of log bucket to create",
      "retention_days": &lt;number of days to retain stack traces, default to 30 days if not set&gt;
    }
    Enter {} to not create separate bucket for stack traces.

  Enter a value: {"bucket_name":"stack_trace_log_bucket", "retention_days":20}

var.monitoring_dashboard_config
    Configuration for monitoring dashboard:
    {
    "node_prefix": "prefix used to generate the node name in multislice node provision, default to empty string",
      "outlier_count": "number of outliers to show on dashboard, default to 10 if not set"
    }
    Enter {} to set default configuration for monitoring dashboard.

  Enter a value: {}