Fehlerbehebung bei Dataform

In diesem Dokument erfahren Sie, wie Sie Probleme mit Dataform beheben.

Zugriff auf BigQuery wird verweigert

Der folgende Fehler tritt auf, wenn Sie einen Workflowaufruf auslösen, bevor Dataform Zugriff auf BigQuery gewährt wird:

Access Denied: Project PROJECT_ID: User does not have bigquery.jobs.create permission in project PROJECT_ID.

Gewähren Sie Dataform Zugriff auf BigQuery, um diesen Fehler zu beheben.

Zugriffstoken für ein Remote-Repository wurde abgelehnt

Der folgende Fehler tritt auf, wenn Ihr Authentifizierungstoken für ein verbundenes Drittanbieter-Repository keinen Zugriff auf dieses Repository hat:

The access token for remote repository REPOSITORY_NAME was rejected

Prüfen Sie zum Beheben dieses Fehlers die erforderlichen Berechtigungen bei Ihrem Git-Anbieter und aktualisieren Sie das Secret Manager-Authentifizierungstoken entsprechend. Weitere Informationen zur Authentifizierung von Git-Repositories von Drittanbietern in Dataform finden Sie unter Verbindung zum Git-Repository eines Drittanbieters herstellen.

BigQuery-Kontingent überschritten

Der folgende Fehler tritt auf, wenn die Anzahl der API-Anfragen, die Dataform an BigQuery sendet, das BigQuery-Kontingent überschreitet: 

Quota exceeded: Your user_method exceeded quota for concurrent api requests
per user per method.

Reduzieren Sie die Anzahl der parallelen Abfragen auf weniger als 250, um diesen Fehler zu beheben:

Eine Anleitung zum Beheben dieses Fehlers in BigQuery finden Sie unter Kontingent- und Limitfehler beheben.

Das Limit für die Nebenläufigkeit von BigQuery-Abfragen wurde überschritten

Der folgende Fehler tritt auf, wenn die Anzahl der gleichzeitig an BigQuery ausgeführten Abfragen das Limit für die Nebenläufigkeit von BigQuery-Abfragen überschreitet:

Exceeded rate limits: too many concurrent queries for this project_and_region

Reduzieren Sie die Anzahl der parallelen Abfragen auf weniger als 250, um diesen Fehler zu beheben:

Eine Anleitung zum Beheben dieses Fehlers in BigQuery finden Sie unter Kontingent- und Limitfehler beheben.

Fehler beim Aufrufen von BigQuery-Workflows

Die folgenden Fehler treten bei der Ausführung eines SQL-Workflows für BigQuery auf:

Informationen zum Beheben dieser Fehler finden Sie unter BigQuery-Fehlermeldungen.

Kompilierung schlägt fehl

Die folgenden Fehler treten während der Kompilierung aufgrund der Größe oder Anzahl der kompilierten Abfragen auf:

  • Compilation timed out. Reduce the complexity of your project to ensure it can compile within limits.
  • Compilation exceeded its allowed heap memory limits. Reduce the complexity of your project to ensure it can compile within limits.
  • Compilation exceeded its allowed ArrayBuffer or string memory limits. Reduce the complexity of your project to ensure it can compile within limits.

So beheben Sie diese Fehler:

  1. Überprüfen Sie Ihren SQL-Workflow, um Ineffizienzen zu erkennen und zu reduzieren.
  2. Reduzieren Sie die Größe von SQL-Abfragen.

  3. Reduzieren Sie die Anzahl der JavaScript-Vorgänge im Speicher. Beispiele:

    config { config {type: "table" }}
js {
    const tooBig = new Uint8Array(110_000_000);
}
SELECT ...

  4. Repository aufteilen.

Weitere Informationen zu Limits für Dataform-Kompilierungsressourcen finden Sie unter Kontingente und Limits.

Dataform-Kernabhängigkeitsfehler

Die folgenden Fehler treten während der Kompilierung auf, wenn die dataform-core-Abhängigkeit in packages.json veraltet ist:

  • Failed to resolve @dataform/core
  • @dataform/core version should be 2.3.2 or newer

Die @dataform/core-Abhängigkeit ist in packages.json erforderlich. Wenn Sie den ersten Arbeitsbereich in Ihrem Repository initialisieren, füllt Dataform packages.json automatisch mit der aktuellen Version von @dataform/core. Sie müssen @dataform/core auf die neueste Version aktualisieren.

Aktualisieren Sie @dataform/core auf die neueste Version, um diese Fehler zu beheben.

git+ Paketziele werden nicht unterstützt

Der folgende Fehler tritt auf, wenn Sie Pakete in packages.json mit Zielen mit dem Präfix git+ definieren:

```
'git+' prefixed package targets are not currently supported. However,
in most cases they can be used via a '.tar.gz' suffixed target instead.
```

Derzeit unterstützt Dataform keine Paketziele mit dem Präfix git+.

Generieren Sie eine tar.gz-URL des Pakets und aktualisieren Sie das Paketziel in packages.json, um diesen Fehler zu beheben. Weitere Informationen zum Installieren von Paketen in Dataform finden Sie unter Paket in Dataform installieren.

Zeitüberschreitung bei Paketinstallation

Der folgende Fehler tritt auf, wenn die Größe der in package.json definierten Pakete die maximale Größe von NPM-Abhängigkeiten überschreitet:

API request error: Package installation timed out

Entfernen Sie redundante Pakete aus package.json, um diesen Fehler zu beheben. Achten Sie darauf, dass die Datei package.json nicht @dataform/cli enthält und die Gesamtgröße der definierten NPM-Abhängigkeiten 200 MB nicht überschreitet.

Wenn Ihre Releasekonfigurationen auf Git-Commits verweisen, achten Sie darauf, dass die package.json-Dateien an ihren Zielen gültig sind.

Private Paket-Registry ist nicht erreichbar

Der folgende Fehler tritt auf, wenn die Dataform-Authentifizierung für ein privates Paket abläuft:

Permission denied when fetching one or more npm packages. Please verify that
private registry authentication details are valid for each npm registry

Prüfen Sie zum Beheben dieses Fehlers, ob die Authentifizierungsdetails der privaten Registry für jede NPM-Registry gültig sind. Weitere Informationen finden Sie unter Privates Paket in Dataform authentifizieren.

Remote-Repository ist nicht erreichbar

Der folgende Fehler tritt auf, wenn ein Zweigname im verbundenen Git-Repository eines Drittanbieters ein Nicht-ASCII- oder nicht englisches Zeichen enthält:

Remote repository REPOSITORY_NAME could not be reached.

Prüfen Sie die Zweignamen im verbundenen Drittanbieter-Repository, um diesen Fehler zu beheben. Wenn ein Zweigname ein Nicht-ASCII- oder nicht englisches Zeichen enthält, löschen Sie den Zweig.

Remote-Repository ist nicht erreichbar: generic::invalid_argument

Der folgende Fehler tritt auf der Seite Release-Konfigurationsdetails auf, wenn bei einem geplanten Release gelegentlich eine langsame, unzuverlässige oder unterbrochene GitHub-, GitLab- oder Bitbucket-Cloud-Verbindung auftritt:

generic::invalid_argument: Remote repository 'REMOTE_REPOSITORY_URL' could not be reached.

Sie müssen nichts weiter tun. Sofern die Probleme mit GitHub, GitLab oder Bitbucket Cloud nicht bestehen, können nachfolgende geplante Releases erfolgreich sein.

Secret für ein Remote-Repository ist nicht erreichbar

Der folgende Fehler tritt auf, wenn Ihr Dataform-Dienstkonto nicht auf das Secret Manager-Secret für ein verbundenes Drittanbieter-Repository zugreifen kann:

Dataform's service account is unable to reach the configured secret.
Make sure the secret exists and is shared with your Dataform service account:
SERVICE_ACCOUNT_ID.

So beheben Sie diesen Fehler:

  • Prüfen Sie, ob Ihr Dataform-Dienstkonto Zugriff auf das Secret hat.
  • Schließen Sie das Secret aus Ihrem VPC-SC-Dienstperimeter aus. Dataform unterstützt VPC-SC derzeit nicht.