Dataform Core 패키지 관리

이 문서에서는 Dataform Core 프레임워크 종속 항목 패키지를 관리하고 최신 버전으로 업데이트하는 방법을 보여줍니다.

Dataform Core는 SQL, SQLX, JavaScript로 SQL 워크플로를 개발하기 위한 오픈소스 Dataform 프레임워크입니다. 항상 사용 가능한 최신 버전의 Dataform 핵심 프레임워크를 사용하는 것이 좋습니다. Dataform Core 프레임워크의 출시에 대한 자세한 내용은 GitHub에서 Dataform 출시를 참조하세요.

시작하기 전에

  1. 저장소 만들기
  2. 개발 작업공간 만들기 및 초기화

필요한 역할

Dataform 핵심을 관리하고 업데이트하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.

  • Dataform 핵심 패키지의 위치 관리: Dataform 관리자(roles/dataform.admin) - 저장소
  • Dataform Core 패키지 업데이트: Dataform 편집자(roles/dataform.editor) - 작업공간

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataform Core 패키지 위치 관리

저장소에서 첫 번째 작업공간을 초기화하면 Dataform은 Dataform 코어를 종속 항목 패키지로 자동으로 설정합니다. Dataform Core 3.0.0부터 Dataform은 기본적으로 workflow_settings.yaml 파일에 Dataform Core 패키지를 설치합니다. 이전 버전의 Dataform Core에서는 Dataform Core가 package.json 파일에 설정되었습니다.

Dataform Core 3.0.0 이상에서 Dataform Core가 저장소의 유일한 패키지인 경우 workflow_settings.yaml 파일에서 설정해야 합니다. 이전 버전의 Dataform Core로 만든 저장소의 경우 Dataform Core 패키지를 workflow_settings.yaml로 이동합니다.

Dataform에 추가 패키지를 설치하려면 package.json 파일이 필요합니다. 저장소에서 추가 패키지를 사용하는 경우 모든 패키지가 한곳에서 설정되도록 package.json에 Dataform 핵심 패키지를 설정합니다. 저장소에 package.json가 없으면 package.json을 만들고 Dataform Core 패키지를 이동하여 추가 패키지를 설치합니다.

Dataform 코어를 workflow_settings.yaml로 이동

3.0.0보다 이전 버전의 Dataform Core로 만든 저장소의 경우 Dataform Core 이외의 종속 항목 패키지가 없는 경우 Dataform Core 패키지를 package.json에서 workflow_settings.yaml로 이동하고 중복된 package.json 파일을 삭제해야 합니다.

Dataform 핵심 패키지를 package.json에서 workflow_settings.yaml로 이전하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택한 후 작업공간을 선택합니다.

  3. 파일 창에서 workflow_settings.yaml 파일을 선택합니다.

  4. workflow_settings.yaml 파일에서 다음 형식으로 Dataform Core 패키지를 추가합니다.

    dataformCoreVersion: "VERSION"

    VERSION을 Dataform 최신 버전(예: 3.0.0)으로 바꿉니다.

  5. 파일 창에서 package.json 옆에 있는 더보기 메뉴를 클릭한 다음 삭제를 클릭합니다.

  6. dataform.json 삭제를 확인하려면 삭제를 클릭합니다.

  7. 패키지 설치를 클릭합니다.

Dataform 코어를 package.json로 이동

package.json 파일은 저장소에 추가 패키지를 설치하는 데 필요합니다. 저장소에서 추가 패키지를 사용하는 경우 Dataform 핵심 패키지를 비롯한 모든 패키지를 package.json에 저장해야 합니다.

Dataform Core 패키지가 workflow_settings.yaml 파일에 설정되어 있어 저장소에 package.json 파일이 없는 경우 package.json 파일을 만들어 패키지를 추가로 설치한 후 Dataform Core 패키지를 workflow_settings.yaml에서 새로 만든 package.json로 이동해야 합니다.

package.json 파일을 만들고 Dataform 핵심 패키지를 이동하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  2. 저장소를 선택한 후 작업공간을 선택합니다.

  3. 파일 창에서 추가추가를 클릭한 다음 파일 만들기를 클릭합니다.

  4. 파일 경로 추가 필드에 package.json를 입력합니다.

  5. 파일 만들기를 클릭합니다.

  6. package.json 파일에서 다음 형식으로 Dataform Core 패키지를 추가합니다.

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    VERSION을 Dataform 최신 버전(예: 3.0.0)으로 바꿉니다.

  7. 패키지 설치를 클릭합니다.

  8. 파일 창에서 workflow_settings.yaml을 선택합니다.

  9. workflow_settings.yaml 파일에서 dataformCoreVersion 속성을 삭제합니다.

Dataform Core 업데이트

프로덕션 환경에 배포하기 전에 항상 비프로덕션 환경에서 새 패키지 버전을 테스트하세요.

Dataform 핵심 종속 항목 패키지를 업데이트하려면 다음 단계를 따르세요.

  1. GitHub의 Dataform 출시 페이지에서 @dataform/core의 최신 버전을 찾습니다.

  2. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform 페이지로 이동

  3. 저장소를 선택한 후 작업공간을 선택합니다.

  4. 파일 창에서 package.json 파일 또는 workflow_settings.yaml 파일을 선택합니다.

    Dataform Core 종속 항목 패키지가 설정되는 위치는 Dataform Core 버전과 패키지 사용 여부에 따라 다릅니다. 자세한 내용은 Dataform Core 패키지 위치 관리를 참고하세요.

  5. Dataform Core 종속 항목 패키지를 최신 버전으로 업데이트합니다.

    package.json

    {
    "dependencies": {
        "@dataform/core": "VERSION"
    }
}

    VERSION을 Dataform 최신 버전(예: 3.0.0)으로 바꿉니다. 패키지 설치 관련 문제를 방지하려면 Dataform Core 패키지 버전을 명시적으로 지정합니다. package.json의 다른 dependencies 옵션(예: >version)을 사용하지 마세요.

    1. 패키지 설치를 클릭합니다.

    workflow_settings.yaml

    dataformCoreVersion: "VERSION"

    VERSION을 Dataform 최신 버전(예: 3.0.0)으로 바꿉니다.

    1. 패키지 설치를 클릭합니다.

  6. 변경사항을 커밋합니다.

  7. 변경사항을 저장소에 푸시합니다.

다음 코드 샘플은 package.json 파일에서 3.0.0 버전으로 업데이트된 @dataform/core 종속 항목을 보여줍니다.

{
    "dependencies": {
        "@dataform/core": "3.0.0"
    }
}

다음 단계