Cloud Composer 1 | Cloud Composer 2
이 페이지에서는 개발자 환경에서 DAG에 대한 정보를 가져오는 방법을 설명합니다.
DAG 정보 보기 방법
Cloud Composer는 환경에서 DAG에 대한 자세한 정보를 가져올 수 있는 몇 가지 방법을 제공합니다.
- DAG UI는 DAG, DAG 실행, 개별 태스크를 보고 모니터링하는 전용 Cloud Composer용 Google Cloud Console 인터페이스 섹션입니다.
- Airflow UI는 Airflow의 기본 제공 웹 인터페이스입니다.
- Airflow CLI는 Airflow의 명령줄 인터페이스입니다.
gcloud로 Airflow CLI 명령어를 실행하여 DAG에 대한 정보를 가져올 수 있습니다.
Cloud Composer DAG UI 정보
DAG UI는 DAG, DAG 실행, 개별 태스크를 보고 모니터링하는 전용 Cloud Composer용 Google Cloud Console 인터페이스 섹션입니다.
DAG UI에서 다음을 수행할 수 있습니다.
일정 간격, DAG 상태, 설명을 포함하여 환경의 DAG 목록을 봅니다.
일시중지, 일시중지 해제, DAG를 트리거합니다.
마지막으로 완료된 실행 이후 성공, 활성, 실패한 실행, 시간을 포함한 DAG 실행 세부정보를 봅니다. 각 DAG의 경우 실행된 태스크의 로그를 포함하여 특정 DAG와 연결된 태스크 인스턴스와 DAG 실행 기록을 볼 수 있습니다.
DAG 실행 세부정보를 필터링합니다. 예를 들어 시간 간격을 선택하고 쿼리를 만들어 필요한 정보를 선택할 수 있습니다.
개별 DAG 및 태스크에 대한 자세한 정보를 봅니다. 여기에는 시각화된 DAG 다이어그램, DAG 내 태스크 정보, DAG 소스 코드, DAG에 대한 추가 정보가 포함됩니다.
시작하기 전에
DAG UI를 사용하려면 DAG 직렬화를 사용 설정해야 합니다.
DAG UI는 Cloud Composer 1.17.8 이상 버전에서 지원됩니다.
환경의 DAG 목록 보기
Console
환경의 DAG 탭에는 각 DAG의 DAG 실행 세부정보와 함께 DAG 목록이 표시됩니다.
DAG 목록을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
DAG 목록 열에서 환경의 DAG 링크를 따릅니다.
필터를 사용하여 특정 DAG 또는 특정 조건에 대한 세부정보만 볼 수 있습니다. 예를 들면 다음과 같습니다.
- 필터 필드를 선택합니다.
- 드롭다운 목록에서 DAG ID 속성을 선택합니다.
- DAG의 식별자를 지정합니다. 그러면 선택한 DAG의 세부정보만 표시됩니다.
- (선택사항) DAG를 더 추가하려면
OR연산자 다음에 DAG ID를 추가합니다. - (선택사항) 다른 조건을 필터링하려면 필터 필드에 다른 속성을 추가합니다. 예를 들어
Failed runs:>0를 지정하여 실행이 실패한 DAG를 필터링할 수 있습니다.
Airflow UI
Airflow 웹 인터페이스에서 DAG 목록을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
Airflow 웹 서버 열에서 해당 환경의 Airflow 링크를 따릅니다.
적절한 권한을 가진 Google 계정으로 로그인합니다.
Airflow 웹 인터페이스의 DAG 페이지에 개발자 환경의 DAG 목록이 표시됩니다.
gcloud
Airflow 1.10.*에서 list_dags Airflow CLI 명령어를 실행합니다.
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dags
Airflow 2에서 dags list Airflow CLI 명령어를 실행합니다.
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list -- -o plain
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.LOCATION을 환경이 위치한 리전으로 바꿉니다.
DAG 실행 및 태스크 기록 보기
Console
DAG 세부정보 페이지의 실행 탭에는 개별 DAG의 DAG 실행 기록이 표시됩니다.
DAG 실행 기록을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
DAG 목록 열에서 환경의 DAG 링크를 따릅니다.
DAG를 선택합니다.
DAG 세부정보 페이지에서 실행 탭으로 이동합니다.
이 DAG 실행의 작업 인스턴스 상태, 시도 횟수, 실행 기간과 같은 DAG 실행 세부정보를 보려면 목록에서 DAG 실행을 선택합니다. 개별 작업을 선택하여 작업 인스턴스 로그를 확인할 수 있습니다.
Airflow UI
Airflow 웹 인터페이스에서 DAG 목록을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
Airflow 웹 서버 열에서 해당 환경의 Airflow 링크를 따릅니다.
적절한 권한을 가진 Google 계정으로 로그인합니다.
Airflow 웹 인터페이스의 메뉴에서 찾아보기 > DAG 실행을 선택합니다. DAG 실행 페이지에 개발자 환경의 DAG 실행이 표시됩니다. 실행 ID 열의 링크를 따라가 태스크에 대한 추가 정보를 가져올 수 있습니다.
gcloud
Airflow 1.10.*에서 list_dag_runs Airflow CLI 명령어를 실행합니다.
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
list_dag_runs -- DAG_ID
Airflow 2에서 dags list-runs Airflow CLI 명령어를 실행합니다.
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
dags list-runs -- -d DAG_ID
다음과 같이 바꿉니다.
ENVIRONMENT_NAME을 환경 이름으로 바꿉니다.LOCATION을 환경이 위치한 리전으로 바꿉니다.DAG_ID를 DAG의 이름으로 바꿉니다.
tasks state 및 tasks states-for-dag-run Airflow CLI 명령어를 실행하여 작업 인스턴스에 대한 추가 정보를 얻을 수 있습니다.
자세한 내용은 Airflow CLI 액세스 및 Airflow 1 및 Airflow 2용 Airflow CLI 참조를 확인하세요.
DAG 다이어그램 보기
Console
DAG 세부정보 페이지의 다이어그램 탭에는 작업 종속 항목이 있는 DAG의 시각화가 표시됩니다.
DAG 다이어그램을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
DAG 목록 열에서 환경의 DAG 링크를 따릅니다.
DAG를 선택합니다.
DAG 세부정보 페이지에서 다이어그램 탭으로 이동합니다.
(선택사항) 태스크에 대한 추가 정보를 보려면 다이어그램에서 개별 태스크를 선택하세요.
Airflow UI
Airflow 웹 인터페이스에서 DAG 다이어그램을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
Airflow 웹 서버 열에서 해당 환경의 Airflow 링크를 따릅니다.
적절한 권한을 가진 Google 계정으로 로그인합니다.
Airflow 웹 인터페이스의 DAG 페이지에 개발자 환경의 DAG 목록이 표시됩니다.
DAG의 경우 링크 열에서 그래프 보기 링크를 참조하세요.
DAG 소스 코드 및 DAG에 대한 추가 정보 보기
Console
DAG의 소스 코드와 DAG 식별자, 환경의 버킷에 있는 DAG 정의 파일 링크 등의 추가 정보를 볼 수 있습니다.
Google Cloud Console에서 환경 페이지로 이동합니다.
DAG 목록 열에서 환경의 DAG 링크를 따릅니다.
DAG를 선택합니다.
DAG 소스 코드를 보려면 다이어그램 탭으로 이동합니다.
DAG에 대한 추가 정보를 보려면 소스 탭으로 이동합니다.
Airflow UI
Airflow 웹 인터페이스에서 DAG 다이어그램을 보려면 다음 안내를 따르세요.
Google Cloud Console에서 환경 페이지로 이동합니다.
Airflow 웹 서버 열에서 해당 환경의 Airflow 링크를 따릅니다.
적절한 권한을 가진 Google 계정으로 로그인합니다.
Airflow 웹 인터페이스의 DAG 페이지에서 DAG 이름을 클릭합니다.
DAG 세부정보가 있는 페이지에서 사용 가능한 탭으로 이동하여 DAG에 대한 추가 정보를 봅니다.