Fehlerbehebung beim Erstellen der Umgebung

Cloud Composer 1 Cloud Composer 2

Diese Seite enthält Informationen zur Fehlerbehebung bei Problemen, die beim Erstellen von Cloud Composer-Umgebungen auftreten können.

Informationen zur Fehlerbehebung im Zusammenhang mit dem Aktualisieren und Upgraden von Umgebungen finden Sie unter Fehlerbehebung bei Umgebungsupdates und -upgrades.

Wenn Cloud Composer-Umgebungen erstellt werden, treten die meisten Probleme aus den folgenden Gründen auf:

• Probleme mit Dienstkontoberechtigungen

• Falsche Firewall-, DNS- oder Routinginformationen

• Netzwerkbezogene Probleme. Beispiel: Ungültige VPC-Konfiguration, IP-Adresskonflikte oder zu enge Netzwerk-IP-Bereiche

• Kontingentbezogene Probleme

• Inkompatible Organisationsrichtlinien

Unzureichende Berechtigungen zum Erstellen einer Umgebung

Hinweis: Mit diesem Script können Sie prüfen, ob Sie die Berechtigungen richtig konfiguriert haben. Das Skript überprüft die Berechtigungen für die Konfiguration einer freigegebene VPC und einer nicht freigegebene VPC VPC.

Wenn Cloud Composer keine Umgebung erstellen kann, da Ihr Konto unzureichende Berechtigungen hat, werden die folgenden Fehlermeldungen ausgegeben:

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: The caller
does not have permission

oder

ERROR: (gcloud.composer.environments.create) PERMISSION_DENIED: User not
authorized to act as service account <service-account-name>.
The user must be granted iam.serviceAccounts.actAs permission, included in
Owner, Editor, Service Account User role. See https://cloud.google.com/iam/docs
/understanding-service-accounts for additional details.

Lösung: Weisen Sie Ihrem Konto und dem Dienstkonto Ihrer Umgebung Rollen zu, wie unter Zugriffssteuerung beschrieben.

• Prüfen Sie in Cloud Composer 2, ob dem Dienstkonto Cloud Composer-Dienst-Agent ([e-mail]) die Rolle Dienst-Agent-Erweiterung für die Cloud Composer v2 API zugewiesen ist.

• Achten Sie darauf, dass dem Google APIs-Dienst-Agent ([e-mail]) die Rolle Bearbeiter zugewiesen ist.

• Folgen Sie in der Konfiguration der freigegebene VPC der Anleitung zum Konfigurieren von freigegebenen VPCs.

Das Dienstkonto der Umgebung hat nicht die erforderlichen Berechtigungen

Beim Erstellen einer Cloud Composer-Umgebung geben Sie ein Dienstkonto an, das die GKE-Clusterknoten der Umgebung ausführt. Wenn dieses Dienstkonto nicht genügend Berechtigungen für den angeforderten Vorgang hat, gibt Cloud Composer den folgenden Fehler aus:

Errors in: [Web server]; Error messages:
  Creation of airflow web server version failed. This may be an intermittent
  issue of the App Engine service. You may retry the operation later.
{"ResourceType":"appengine.v1.version","ResourceErrorCode":"504","ResourceError
Message":"Your deployment has failed to become healthy in the allotted time
and therefore was rolled back. If you believe this was an error, try adjusting
the 'app_start_timeout_sec' setting in the 'readiness_check' section."}

Lösung: Weisen Sie Ihrem Konto und dem Dienstkonto Ihrer Umgebung Rollen zu, wie unter Zugriffssteuerung beschrieben.

Warnungen zu fehlenden IAM-Rollen in Dienstkonten

Wenn eine Umgebung nicht erstellt werden kann, gibt Cloud Composer die folgende Warnmeldung aus, nachdem ein Fehler aufgetreten ist: The issue may be caused by missing IAM roles in the following Service Accounts ....

Diese Warnmeldung hebt mögliche Ursachen für den Fehler hervor. Cloud Composer sucht in den Dienstkonten in Ihrem Projekt nach erforderlichen Rollen. Wenn diese nicht vorhanden sind, wird diese Warnmeldung generiert.

Hinweis: Diese Prüfung gilt nur für das Projekt, in dem Sie die Umgebung erstellen. Bei einer freigegebene VPC-Konfiguration führt Cloud Composer diese Prüfung im Hostprojekt nicht durch. Damit diese Prüfung in der freigegebene VPC aktiviert werden kann, muss das Cloud Composer-Dienst-Agent-Konto aus dem Dienstprojekt berechtigt sein, Rollen im Hostprojekt anzusehen. Gewähren Sie dem Cloud Composer-Dienst-Agent-Konto aus dem Dienstprojekt auf Hostprojektebene die Rolle Role Viewer (roles/iam.roleViewer), um sie zuzulassen.

Lösung: Prüfen Sie, ob die in der Warnmeldung erwähnten Dienstkonten die erforderlichen Rollen haben. Weitere Informationen zu Rollen und Berechtigungen in Cloud Composer finden Sie unter Zugriffssteuerung.

In einigen Fällen können Sie diese Warnung ignorieren. Cloud Composer überprüft keine einzelnen Berechtigungen, die Rollen zugewiesen sind. Wenn Sie beispielsweise benutzerdefinierte IAM-Rollen verwenden, ist es möglich, dass das in der Warnmeldung genannte Dienstkonto bereits alle erforderlichen Berechtigungen hat. In diesem Fall können Sie diese Warnung ignorieren.

Für die Umgebung ausgewähltes VPC-Netzwerk ist nicht vorhanden

Beim Erstellen der Cloud Composer-Umgebung können Sie ein VPC-Netzwerk und ein Subnetz angeben. Wenn Sie kein VPC-Netzwerk angeben, wählt der Cloud Composer-Dienst die VPC default und das Subnetz default für die Region und Zone der Umgebung aus.

Wenn das angegebene VPC-Netzwerk und das angegebene Subnetz nicht vorhanden sind, gibt Cloud Composer den folgenden Fehler aus:

Errors in: [GKE cluster]; Error messages:
        {"ResourceType":"gcp-types/container-v1:projects.locations.clusters","R
        esourceErrorCode":"400","ResourceErrorMessage":{"code":400,"message":"P
        roject \"<your composer project>\" has no network named \"non-existing-
        vpc\".","status":"INVALID_ARGUMENT","statusMessage":"Bad
        Request","requestPath":"https://container.googleapis.com/
        v1/projects/<your composer
        project>/locations/<zone>/clusters","httpMethod":"POST"}}

Lösung:

• In Cloud Composer 2 können Sie Umgebungen erstellen, die Private Service Connect anstelle von VPC-Netzwerken verwenden.
• Prüfen Sie vor dem Erstellen einer Umgebung, ob das VPC-Netzwerk und das Subnetz für Ihre neue Umgebung vorhanden sind.

Falsche Netzwerkkonfiguration

Hinweis: Der Erstellungsprozess für Cloud Composer 2 wurde vereinfacht. Verwenden Sie Cloud Composer 2 mit der Private Service Connect-Konfiguration, wie in dieser Anleitung beschrieben.

Zum Erstellen einer Cloud Composer-Umgebung ist eine ordnungsgemäße Netzwerk- oder DNS-Konfiguration erforderlich. So konfigurieren Sie die Verbindung zu Google APIs und Google-Diensten:

• Anleitung für private IP-Verbindungen

• Anleitung zur Verbindung von VPC Service Controls

Wenn Sie Cloud Composer-Umgebungen in einem Modus für freigegebene VPC konfigurieren, folgen Sie auch dieser Anleitung für freigegebene VPCs.

Die Cloud Composer-Umgebung verwendet ein Subnetz für Clusterknoten und IP-Bereiche für Pods und Dienste. Konfigurieren Sie Firewallregeln anhand der folgenden Anleitung, um die Kommunikation mit diesen und anderen IP-Bereichen sicherzustellen:

• Anleitung für eine Firewall für private IP-Adressen

• Firewallanleitung für VPC Service Controls

Sie können auch in Aktivitäten nach Logeinträgen in ausgewählten Konfigurationskategorien GCE Networking und Subnetwork suchen, um festzustellen, ob während der Erstellung der Umgebung Fehler gemeldet wurden.

Kontingentprobleme beim Erstellen von Umgebungen in großen Netzwerken aufgetaucht

Beim Erstellen von Cloud Composer-Umgebungen in großen Netzwerken können die folgenden Kontingentbeschränkungen auftreten:

• Die maximale Anzahl von VPC-Peerings pro einzelnes VPC-Netzwerk ist erreicht.
• Die maximale Anzahl von primären und sekundären Subnetz-IP-Bereichen wurde erreicht.
• Die maximale Anzahl von Weiterleitungsregeln in der Peering-Gruppe für das interne TCP/UDP-Load-Balancing wurde erreicht.

Lösung:

• In Cloud Composer 2 können Sie Umgebungen erstellen, die Private Service Connect anstelle von VPC-Netzwerken verwenden.
• Wenden Sie in Cloud Composer 1 den für Cloud Composer in großen Netzwerken empfohlenen Ansatz an.

Inkompatible Organisationsrichtlinien

Die folgenden Richtlinien müssen entsprechend konfiguriert werden, damit Cloud Composer-Umgebungen erfolgreich erstellt werden können.

Unternehmensrichtlinien	Cloud Composer 1	Cloud Composer 2
compute.disableSerialPortLogging	Für Versionen vor 1.13.0 deaktiviert. Andernfalls jeder beliebige Wert.	Muss deaktiviert sein
compute.requireOsLogin	Muss deaktiviert sein	(Jeder Wert ist zulässig)
compute.vmCanIpForward	Muss zugelassen werden (erforderlich für Cloud Composer-eigene GKE-Cluster), wenn der VPC-native Modus (unter Verwendung von Alias-IP-Adresse) nicht konfiguriert ist	(Jeder Wert ist zulässig)
compute.vmExternalIpAccess	Muss für öffentliche IP-Umgebungen zugelassen werden	Muss für öffentliche IP-Umgebungen zugelassen werden
compute.restrictVpcPeering	Kann nicht erzwungen werden	Kann nicht erzwungen werden
compute.disablePrivateServiceConnectCreationForConsumers	(Jeder Wert ist zulässig)	„SERVICE_PRODUCERS“ kann nicht abgelehnt werden, wenn Private Service Connect verwendet wird

Weitere Informationen finden Sie auf der Seite Bekannte Probleme und in den Einschränkungen für Organisationsrichtlinien.

Dienste einschränken, die innerhalb der Organisation oder des Projekts verwendet werden

Organisations- oder Projektadministratoren können mit der Einschränkung der Organisationsrichtlinie gcp.restrictServiceUsage einschränken, welche Google-Dienste in ihren Projekten verwendet werden können.

Bei Verwendung dieser Organisationsrichtlinie ist es wichtig, alle für Cloud Composer erforderlichen Dienste zuzulassen.

400 Fehlermeldungen: Der Airflow-Webserver konnte nicht bereitgestellt werden.

Dieser Fehler kann dadurch verursacht werden, dass der GKE-Cluster einer privaten IP-Umgebung aufgrund sich überschneidender IP-Bereiche nicht erstellt wurde.

Lösung: Prüfen Sie die Logs auf Fehler im Cluster Ihrer Umgebung und beheben Sie das Problem basierend auf der GKE-Fehlermeldung.

Cloud Build kann keine Umgebungs-Images erstellen

Wenn das Cloud Build-Dienstkonto ([e-mail]) nicht die Rolle Cloud Build-Dienstkonto (roles/cloudbuild.builds.builder) in Ihrem Projekt hat, schlagen Versuche, eine Umgebung zu erstellen oder zu aktualisieren, möglicherweise mit berechtigungsbezogenen Fehlern fehl.

Beispielsweise kann die Meldung denied: Permission "artifactregistry.repositories.uploadArtifacts" denied gefolgt von ERROR: failed to push because we ran out of retries in den Cloud Build-Logs angezeigt werden.

Prüfen Sie zum Beheben dieses Problems, ob das Cloud Build-Dienstkonto die Rolle Cloud Build-Dienstkonto hat.

Nächste Schritte

• Umgebungen erstellen
• Fehlerbehebung bei Umgebungsupdates und -upgrades
• Zugriffskontrolle