Dataform のトラブルシューティング

このドキュメントでは、Dataform に関する問題を解決する方法について説明します。

BigQuery へのアクセスが拒否される

Dataform に BigQuery へのアクセスを許可する前にワークフローの呼び出しをトリガーすると、次のエラーが発生します。

Access Denied: Project PROJECT_ID: User does not have bigquery.jobs.create permission in project PROJECT_ID.

このエラーを解決するには、Dataform に BigQuery へのアクセス権を付与します。

リモート リポジトリのアクセス トークンが拒否される

接続されたサードパーティ リポジトリの認証トークンが、そのリポジトリにアクセスできない場合、次のエラーが発生します。

The access token for remote repository REPOSITORY_NAME was rejected

このエラーを解決するには、Git プロバイダで必要な権限を確認し、それに応じて Secret Manager 認証トークンを更新します。Dataform でのサードパーティの Git リポジトリの認証の詳細については、サードパーティの Git リポジトリに接続するをご覧ください。

BigQuery の割り当て超過

Dataform が BigQuery に送信する API リクエストの数が BigQuery の割り当てを超えると、次のエラーが発生します。

Quota exceeded: Your user_method exceeded quota for concurrent api requests
per user per method.

このエラーを解決するには、次の方法で並列クエリの数を 250 未満に減らします。

BigQuery でこのエラーを解決する手順については、割り当てをトラブルシューティングしてエラーを制限するをご覧ください。

BigQuery クエリの同時実行数の上限を超えた

BigQuery に対して実行される同時実行クエリの数が BigQuery クエリの同時実行の上限を超えると、次のエラーが発生します。

Exceeded rate limits: too many concurrent queries for this project_and_region

このエラーを解決するには、次の方法で並列クエリの数を 250 未満に減らします。

BigQuery でこのエラーを解決する手順については、割り当てをトラブルシューティングしてエラーを制限するをご覧ください。

BigQuery ワークフロー呼び出しエラー

BigQuery への SQL ワークフローの実行中に次のエラーが発生します。

これらのエラーを解決するには、BigQuery エラー メッセージをご覧ください。

コンパイルに失敗する

コンパイルされたクエリのサイズまたは数が原因で、コンパイル中に次のエラーが発生します。

  • Compilation timed out. Reduce the complexity of your project to ensure it can compile within limits.
  • Compilation exceeded its allowed heap memory limits. Reduce the complexity of your project to ensure it can compile within limits.
  • Compilation exceeded its allowed ArrayBuffer or string memory limits. Reduce the complexity of your project to ensure it can compile within limits.

これらのエラーを解決する手順は次のとおりです。

  1. Dataform コアを更新して最新バージョンにします。
  2. SQL ワークフローを検査して、非効率な部分を特定し、削減します。
  3. SQL クエリのサイズを小さくします。

  4. メモリ内の JavaScript オペレーションの量を減らします。次に例を示します。

    config { config {type: "table" }}
js {
    const tooBig = new Uint8Array(110_000_000);
}
SELECT ...

  5. リポジトリを分割します。

Dataform コンパイル リソースの上限の詳細については、割り当てと上限をご覧ください。

@dataform/core 依存関係エラー

package.json の dataform-core 依存関係が古いと、コンパイル中に次のエラーが発生します。

Failed to resolve @dataform/core

@dataform/core version should be X.X.X or newer

package.json には @dataform/core の依存関係が必要です。リポジトリの最初のワークスペースを初期化すると、Dataform は、自動的に package.json に現在のバージョンの @dataform/core を入力します。@dataform/core を最新バージョンに更新する必要があります。

これらのエラーを解決するには、@dataform/core を最新バージョンに更新してください。

workflow_settings.yaml を解決できない

Dataform ワークスペースを初期化すると、次のエラーが発生します。ただし、初期化プロセスですべてのパッケージをインストールすることはできません。

Uncaught Error: Failed to resolve workflow_settings.yaml

このエラーを解決するには、ワークスペースで workflow_settings.yaml を開き、[パッケージをインストール] をクリックします。

git+ パッケージ ターゲットがサポートされていない

package.json 内に、ターゲットの接頭辞が git+ のパッケージを定義すると、次のエラーが発生します。

'git+' prefixed package targets are not currently supported. However,
in most cases they can be used via a '.tar.gz' suffixed target instead.

Dataform は、接頭辞 git+ のパッケージ ターゲットをサポートしていません。

このエラーを解決するには、パッケージの tar.gz URL を生成し、package.json のパッケージ ターゲットを更新します。Dataform にパッケージをインストールする方法については、Dataform にパッケージをインストールするをご覧ください。

パッケージのインストールのタイムアウト

package.json で定義されたパッケージのサイズが NPM 依存関係の最大サイズを超えると、次のエラーが発生します。

API request error: Package installation timed out

このエラーを解決するには、package.json から冗長パッケージを削除します。package.json ファイルに @dataform/cli が含まれていないこと、定義された NPM 依存関係の合計サイズが 200 MB を超えないことを確認します。

リリース構成ファイルが Git コミットを参照している場合は、ターゲットの package.json ファイルが有効であることを確認します。

非公開パッケージ レジストリにアクセスできない

非公開パッケージの Dataform 認証が期限切れになると、次のエラーが発生します。

Permission denied when fetching one or more npm packages. Please verify that
private registry authentication details are valid for each npm registry

このエラーを解決するには、非公開レジストリの認証の詳細が NPM レジストリごとに有効であることを確認します。詳細については、Dataform で非公開パッケージを認証するをご覧ください。

リモート リポジトリにアクセスできない

Git の不安定さ、または接続されたサードパーティの Git リポジトリのブランチ名に ASCII 以外の文字または英語以外の文字が含まれていると、次のエラーが発生します。

Remote repository REPOSITORY_NAME could not be reached.

このエラーを解決するには、接続されたサードパーティ リポジトリのブランチ名を調べます。ブランチ名に ASCII 以外の文字または英語以外の文字が含まれている場合は、ブランチを削除します。

リモート リポジトリにアクセスできない: generic::invalid_argument

スケジュール設定されたリリースで GitHub、GitLab、Bitbucket の接続が低速、不安定になる、またはドロップされる場合は、リリース構成の詳細ページで次のエラーが発生します。

generic::invalid_argument: Remote repository 'REMOTE_REPOSITORY_URL' could not be reached.

お客様側でのご対応は必要ありません。GitHub、GitLab、または Bitbucket Cloud の問題が継続しない限り、予定されている後続のリリースは成功する可能性があります。

リモート リポジトリのシークレットにアクセスできない

Dataform サービス アカウントが、接続されたサードパーティ リポジトリの Secret Manager のシークレットにアクセスできないと、次のエラーが発生します。

Dataform's service account is unable to reach the configured secret.
Make sure the secret exists and is shared with your Dataform service account:
SERVICE_ACCOUNT_ID.

このエラーを解決するには、次の手順を行います。

  • Dataform サービス アカウントに Secret へのアクセス権があることを確認します。
  • VPC-SC サービス境界からシークレットを除外します。現時点では、Dataform は VPC-SC をサポートしていません。