Dataform コアは、SQL、SQLX、JavaScript を使用して SQL ワークフローを開発するためのオープンソースの Dataform フレームワークです。ベスト プラクティスとして、利用可能な最新バージョンの Dataform コア フレームワークを常に使用することをおすすめします。Dataform コア フレームワークのリリースについては、GitHub の Dataform リリースをご覧ください。
始める前に
必要なロール
Dataform コアの管理と更新に必要な権限を取得するには、次の IAM ロールを付与するよう管理者に依頼してください。
-
Dataform コア パッケージのロケーションを管理する: リポジトリの Dataform 管理者（
roles/dataform.admin） -
Dataform コア パッケージを更新する: ワークスペースの Dataform 編集者（
roles/dataform.editor）
ロールの付与については、プロジェクト、フォルダ、組織へのアクセス権の管理をご覧ください。
必要な権限は、カスタムロールや他の事前定義ロールから取得することもできます。
Dataform コア パッケージの場所を管理する
リポジトリで最初のワークスペースを初期化すると、Dataform は Dataform コアを依存関係パッケージとして自動的に設定します。Dataform コア 3.0.0 以降、Dataform はデフォルトで Dataform コアパッケージを workflow_settings.yaml ファイルにインストールします。以前のバージョンの Dataform コアでは、Dataform コアは package.json ファイルで設定されていました。
Dataform コア 3.0.0 以降では、リポジトリに Dataform コアが唯一のパッケージである場合は、workflow_settings.yaml ファイルで設定する必要があります。以前のバージョンの Dataform コアで作成されたリポジトリの場合は、Dataform コアパッケージを workflow_settings.yaml に移動します。
package.json ファイルは、Dataform に追加のパッケージをインストールするために必要です。リポジトリで追加のパッケージを使用している場合は、すべてのパッケージが 1 か所に設定されるように、package.json に Dataform コアパッケージを設定します。リポジトリに package.json がない場合は、package.json を作成し、Dataform コアパッケージを移動して、追加のパッケージをインストールします。
Dataform コアを workflow_settings.yaml に移動
3.0.0 より前のバージョンの Dataform コアで作成されたリポジトリで、Dataform コア以外の依存関係パッケージがない場合は、Dataform コア パッケージを package.json から workflow_settings.yaml に移動し、冗長な package.json ファイルを削除する必要があります。
Dataform コアパッケージを package.json から workflow_settings.yaml に移行するには、次の操作を行います。
Google Cloud コンソールの [Dataform] ページに移動します。
リポジトリを選択し、ワークスペースを選択します。
[ファイル] ペインで、
workflow_settings.yamlファイルを選択します。workflow_settings.yamlファイルに、次の形式で Dataform コア パッケージを追加します。dataformCoreVersion: "VERSION"VERSION は、
3.0.0など、最新バージョンの Dataform に置き換えます。[ファイル] ペインで、
package.jsonの横にある [その他] メニューをクリックし、[削除] をクリックします。dataform.jsonの削除を確定するには、[削除] をクリックします。[パッケージをインストール] をクリックします。
Dataform コアを package.json に移動
package.json ファイルは、リポジトリに追加のパッケージをインストールするために必要です。リポジトリで追加のパッケージを使用している場合は、Dataform コアパッケージを含むすべてのパッケージを package.json に保存する必要があります。
Dataform コアパッケージが workflow_settings.yaml ファイルに設定されているためにリポジトリに package.json ファイルが含まれていない場合は、追加のパッケージをインストールするために package.json ファイルを作成し、Dataform コアパッケージを workflow_settings.yaml から新しく作成された package.json に移動する必要があります。
package.json ファイルを作成して Dataform コアパッケージを移動する手順は次のとおりです。
Google Cloud コンソールの [Dataform] ページに移動します。
リポジトリを選択し、ワークスペースを選択します。
[ファイル] ペインで [追加追加]、[ファイルを作成] の順にクリックします。
[ファイルパスを追加] フィールドに「
package.json」と入力します。[ファイルを作成] をクリックします。
package.jsonファイルに、次の形式で Dataform コアパッケージを追加します。{ "dependencies": { "@dataform/core": "VERSION" } }VERSION は、
3.0.0など、最新バージョンの Dataform に置き換えます。[パッケージをインストール] をクリックします。
[ファイル] ペインで
workflow_settings.yamlを選択します。workflow_settings.yamlファイルで、dataformCoreVersionプロパティを削除します。
Dataform コアを更新する
新しいパッケージ バージョンを本番環境にデプロイする前に、必ず非本番環境でテストしてください。
Dataform コア依存関係パッケージを更新する手順は次のとおりです。
GitHub の Dataform リリースページで
@dataform/coreの最新バージョンを確認します。Google Cloud コンソールの [Dataform] ページに移動します。
リポジトリを選択し、ワークスペースを選択します。
[ファイル] ペインで、
package.jsonファイルまたはworkflow_settings.yamlファイルを選択します。Dataform コア依存関係パッケージが設定される場所は、Dataform コアのバージョンとパッケージの使用方法によって異なります。詳細については、Dataform コアパッケージのロケーションを管理するをご覧ください。
Dataform コア依存関係パッケージを最新バージョンに更新します。
package.json{ "dependencies": { "@dataform/core": "VERSION" } }VERSION は、
3.0.0など、最新バージョンの Dataform に置き換えます。 パッケージのインストールに関する問題を回避するには、Dataform コアパッケージのバージョンを明示的に指定します。package.jsonの他のdependenciesオプション（>versionなど）は使用しないでください。- [パッケージをインストール] をクリックします。
workflow_settings.yamldataformCoreVersion: "VERSION"VERSION は、
3.0.0など、最新バージョンの Dataform に置き換えます。- [パッケージをインストール] をクリックします。
次のコードサンプルは、package.json ファイル内の 3.0.0 バージョンに更新された @dataform/core 依存関係を示しています。
{
"dependencies": {
"@dataform/core": "3.0.0"
}
}
次のステップ
workflow_settings.yamlファイルの詳細については、Dataform の設定を構成するをご覧ください。- 追加のパッケージをインストールする方法については、Dataform にパッケージをインストールするをご覧ください。