Airflow DAG 조정

이 기능에 대한 지원을 요청하거나 의견을 제공하려면 bigquery-orchestration-tab-feedback@google.com으로 이메일을 보내세요.

이 문서에서는 BigQuery의 조정 페이지에 있는 Cloud Composer 3 (미리보기)에서 Airflow 방향성 비순환 그래프(DAG)를 조정하는 방법을 설명합니다. 여기에는 DAG를 수동으로 트리거하는 방법, 이전 DAG 실행의 기록 및 로그를 보는 방법이 포함됩니다.

BigQuery의 Airflow DAG 정보

BigQuery의 Orchestration 페이지에는 Cloud Composer 3 환경에서 실행되는 Airflow DAG를 조정하는 도구가 제공됩니다.

BigQuery에서 조정하는 Airflow DAG는 프로젝트의 Cloud Composer 환경 하나 이상에서 실행됩니다. BigQuery의 Orchestration 페이지에는 프로젝트의 모든 Airflow DAG에 관한 정보가 결합되어 있습니다.

DAG 실행 중에 Airflow는 DAG에서 정의된 순서대로 DAG를 구성하는 개별 태스크를 예약하고 실행합니다. BigQuery의 Orchestration 페이지에서 이전 DAG 실행의 상태를 확인하고, 모든 DAG 실행 및 이러한 DAG 실행의 모든 태스크에 대한 상세 로그를 살펴보고, DAG에 관한 세부정보를 확인할 수 있습니다.

Airflow DAG, DAG 실행, 태스크 또는 연산자와 같은 Airflow의 핵심 개념에 대한 자세한 내용은 Airflow 문서의 핵심 개념 페이지를 참고하세요.

Cloud Composer 환경에 대해 자세히 알아보려면 Cloud Composer 문서의 Cloud Composer 3 개요 페이지를 참고하세요.

시작하기 전에

  1. Enable the Cloud Composer API.

    Enable the API

  2. Google Cloud 프로젝트에 Cloud Composer 3 환경이 하나 이상 있고 이미 업로드된 DAG 파일이 하나 이상 있는지 확인합니다.
    • Airflow DAG를 시작하려면 Cloud Composer 3에서 Apache Airflow DAG 실행 가이드의 안내를 따르세요. 이 가이드에서는 기본 구성으로 Cloud Composer 3 환경을 만들고, DAG를 업로드한 후, Airflow에서 DAG가 실행되는지 확인합니다.
    • Airflow DAG를 Cloud Composer 3 환경에 업로드하는 방법에 관한 자세한 내용은 DAG 추가 및 업데이트를 참고하세요.
    • Cloud Composer 3 환경을 만드는 방법에 관한 자세한 내용은 Cloud Composer 환경 만들기를 참고하세요.

필수 권한

Airflow DAG를 조정하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

이러한 사전 정의된 역할에는 Airflow DAG를 조정하는 데 필요한 권한이 포함되어 있습니다. 필요한 정확한 권한을 보려면 필수 권한 섹션을 펼치세요.

필수 권한

Airflow DAG를 조정하려면 다음 권한이 필요합니다.

  • Airflow DAG 및 세부정보를 보려면 다음 단계를 따르세요. composers.dags.list, composer.environments.list
  • Airflow DAG를 트리거하고 일시중지하려면 다음 단계를 따르세요. composers.dags.list, composer.environments.list, composer.dags.execute

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

Cloud Composer 3 IAM에 관한 자세한 내용은 Cloud Composer 문서의 IAM으로 액세스 제어를 참고하세요.

수동으로 DAG 트리거

Airflow DAG를 수동으로 트리거하면 Airflow는 DAG에 지정된 일정과 관계없이 DAG를 한 번 실행합니다.

선택한 Airflow DAG를 수동으로 트리거하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 조정 페이지로 이동합니다.

    조정 페이지로 이동

  2. 다음 작업 중 하나를 수행합니다.

    • 선택한 DAG의 이름을 클릭한 다음 DAG 세부정보 페이지에서 DAG 트리거를 클릭합니다.

    • 선택한 DAG가 포함된 행에서 작업 열의 작업 보기를 클릭한 다음 DAG 트리거를 클릭합니다.

DAG 실행 로그 및 세부정보 보기

선택한 Airflow DAG의 세부정보를 보려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 조정 페이지로 이동합니다.

    조정 페이지로 이동

  2. 선택한 DAG의 이름을 클릭합니다.

  3. DAG 세부정보 페이지에서 세부정보 탭을 선택합니다.

  4. 이전 DAG 실행을 보려면 실행 탭을 선택합니다.

    1. 선택사항: 실행 탭에는 기본적으로 최근 10일 동안의 DAG 실행이 표시됩니다. 다른 기간으로 DAG 실행을 필터링하려면 10일 드롭다운 메뉴에서 기간을 선택한 다음 확인을 클릭합니다.

    2. 선택사항: 모든 DAG 실행 목록에 DAG 실행 세부정보가 포함된 열을 추가로 표시하려면 열 표시 옵션을 클릭한 다음 열을 선택하고 확인을 클릭합니다.

    3. 선택한 DAG 실행의 세부정보와 로그를 보려면 DAG 실행을 선택합니다.

  5. 작업 종속 항목이 있는 DAG의 시각화를 보려면 다이어그램 탭을 선택합니다.

    1. 태스크 세부정보를 보려면 다이어그램에서 태스크를 선택합니다.

  6. DAG의 소스 코드를 보려면 Code 탭을 선택합니다.

  7. 선택사항: 표시된 데이터를 새로고침하려면 새로고침을 클릭합니다.

모든 DAG 보기

Google Cloud 프로젝트의 모든 Cloud Composer 3 환경에서 Airflow DAG를 보려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 조정 페이지로 이동합니다.

    조정 페이지로 이동

  2. 선택사항: DAG 세부정보가 포함된 열을 추가로 표시하려면 열 표시 옵션을 클릭한 다음 열을 선택하고 확인을 클릭합니다.

DAG 일시중지

선택한 Airflow DAG를 일시중지하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 조정 페이지로 이동합니다.

    조정 페이지로 이동

  2. 다음 작업 중 하나를 수행합니다.

    • 선택한 DAG의 이름을 클릭한 다음 DAG 세부정보 페이지에서 DAG 일시중지를 클릭합니다.

    • 선택한 DAG가 포함된 행에서 작업 열의 작업 보기를 클릭한 다음 DAG 일시중지를 클릭합니다.

문제 해결

Airflow DAG 문제를 해결하는 방법에 관한 안내는 Cloud Composer 문서의 Airflow DAG 문제 해결을 참고하세요.

다음 단계