Men-debug masalah DAG kehabisan memori dan kehabisan penyimpanan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Catatan: Halaman ini belum direvisi untuk Cloud Composer 3 dan menampilkan konten untuk Cloud Composer 2.

Tutorial ini memberikan langkah-langkah untuk men-debug DAG Airflow yang gagal di Cloud Composer dan mendiagnosis masalah terkait resource pekerja, seperti kekurangan memori atau ruang penyimpanan pekerja, dengan bantuan log dan pemantauan lingkungan.

Pengantar

Tutorial ini berfokus pada masalah terkait resource untuk menunjukkan cara men-debug DAG.

Kurangnya resource pekerja yang dialokasikan menyebabkan kegagalan DAG. Jika tugas Airflow kehabisan memori atau penyimpanan, Anda mungkin melihat pengecualian Airflow, seperti:

WARNING airflow.exceptions.AirflowException: Task received SIGTERM signal
INFO - Marking task as FAILED.

atau

Task exited with return code Negsignal.SIGKILL

Dalam kasus tersebut, rekomendasi umumnya adalah meningkatkan resource pekerja Airflow atau mengurangi jumlah tugas per pekerja. Namun, karena pengecualian Airflow dapat bersifat umum, mungkin sulit untuk mengidentifikasi resource tertentu yang menyebabkan masalah.

Tutorial ini menjelaskan cara mendiagnosis alasan kegagalan DAG dan mengidentifikasi jenis resource yang menyebabkan masalah dengan men-debug dua contoh DAG yang gagal karena kurangnya memori dan penyimpanan pekerja.

Tujuan

• Jalankan contoh DAG yang gagal karena alasan berikut:

  • Kurangnya memori pekerja
  • Kurangnya penyimpanan pekerja

• Mendiagnosis alasan kegagalan

• Meningkatkan alokasi resource pekerja

• Menguji DAG dengan batas resource baru

Biaya

Tutorial ini menggunakan komponen Google Cloud yang dapat ditagih berikut:

• Cloud Composer (lihat biaya tambahan)
• Cloud Monitoring

Setelah menyelesaikan tutorial ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk detail selengkapnya, lihat Pembersihan.

Sebelum memulai

Bagian ini menjelaskan tindakan yang diperlukan sebelum Anda memulai tutorial.

Membuat dan mengonfigurasi project

Untuk tutorial ini, Anda memerlukan project Google Cloud. Konfigurasikan project dengan cara berikut:

1. Di konsol Google Cloud, pilih atau buat project:

   Buka Pemilih Project

2. Pastikan penagihan diaktifkan untuk project Anda. Pelajari cara memeriksa apakah penagihan diaktifkan pada project.

3. Pastikan pengguna project Google Cloud Anda memiliki peran berikut untuk membuat resource yang diperlukan:

   • Environment and Storage Object Administrator (roles/composer.environmentAndStorageObjectAdmin)
   • Compute Admin (roles/compute.admin)
   • Monitoring Editor (roles/monitoring.editor)

Mengaktifkan API untuk project Anda

Enable the Cloud Composer API.

Enable the API

Membuat lingkungan Cloud Composer

Buat lingkungan Cloud Composer 2.

Penting: Pastikan Anda menggunakan Preset lingkungan kecil untuk mereproduksi error saat menggunakan contoh yang diberikan lebih lanjut dalam tutorial ini. Ini adalah preset default saat membuat lingkungan melalui konsol Google Cloud.

Sebagai bagian dari pembuatan lingkungan, Anda memberikan peran Cloud Composer v2 API Service Agent Extension (roles/composer.ServiceAgentV2Ext) ke akun Composer Service Agent. Cloud Composer menggunakan akun ini untuk melakukan operasi di project Google Cloud Anda.

Memeriksa batas resource pekerja

Periksa batas resource pekerja Airflow di lingkungan Anda:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Buka Resource > Workloads configuration > Worker.

5. Pastikan nilainya adalah 0,5 vCPU, memori 1,875 GB, dan penyimpanan 1 GB. Ini adalah batas resource pekerja Airflow yang Anda gunakan di langkah berikut dalam tutorial ini.

Contoh: Mendiagnosis masalah kehabisan memori

Upload contoh DAG berikut ke lingkungan yang Anda buat di langkah sebelumnya. Dalam tutorial ini, DAG ini diberi nama create_list_with_many_strings.

DAG ini berisi satu tugas yang menjalankan langkah-langkah berikut:

1. Membuat daftar kosong s.
2. Menjalankan siklus untuk menambahkan string More ke daftar.
3. Mencetak jumlah memori yang digunakan daftar dan menunggu 1 detik dalam setiap iterasi 1 menit.

Peringatan: DAG ini menyimulasikan masalah kehabisan memori, yang berpotensi mengganggu operasi di lingkungan Anda.

import time

import airflow
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
import sys
from datetime import timedelta

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'retries': 0,
    'retry_delay': timedelta(minutes=10)
}

dag = DAG(
    'create_list_with_many_strings',
    default_args=default_args,
    schedule_interval=None)


def consume():
    s = []
    for i in range(120):
        for j in range(1000000):
            s.append("More")
        print(f"i={i}; size={sys.getsizeof(s) / (1000**3)}GB")
        time.sleep(1)


t1 = PythonOperator(
    task_id='task0',
    python_callable=consume,
    dag=dag,
    depends_on_past=False,
    retries=0
)

Memicu DAG contoh

Memicu DAG contoh, create_list_with_many_strings:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

3. Di antarmuka web Airflow, pada halaman DAG, di kolom Link untuk DAG Anda, klik tombol Trigger Dag.

4. Klik Pemicu.

5. Di halaman DAG, klik tugas yang Anda picu dan tinjau log output untuk memastikan DAG Anda mulai berjalan.

Saat tugas berjalan, log output akan mencetak ukuran memori dalam GB yang digunakan DAG.

Setelah beberapa menit, tugas akan gagal karena melebihi batas memori pekerja Airflow sebesar 1,875 GB.

Catatan: Jika Anda memicu DAG yang melebihi batas memori secara bersamaan dengan contoh DAG lainnya, Anda akan melihat bahwa, jika salah satu tugas melebihi batas memori dan gagal, tugas lain yang sedang berjalan juga akan gagal, meskipun tidak menggunakan memori.

Mendiagnosis DAG yang gagal

Jika Anda menjalankan beberapa tugas pada saat kegagalan, pertimbangkan untuk menjalankan hanya satu tugas dan mendiagnosis tekanan resource selama waktu tersebut untuk mengidentifikasi tugas mana yang menyebabkan tekanan resource dan resource mana yang perlu Anda tingkatkan.

Meninjau log tugas Airflow

Perhatikan bahwa tugas dari DAG create_list_with_many_strings memiliki status Failed.

Tinjau log tugas. Anda akan melihat entri log berikut:

```none
{local_task_job.py:102} INFO - Task exited with return code
Negsignal.SIGKILL
```

`Netsignal.SIGKILL` might be an indication of your task using more memory
than the Airflow worker is allocated. The system sends
the `Negsignal.SIGKILL` signal to avoid further memory consumption.

Meninjau workload

Tinjau beban kerja untuk memastikan beban tugas Anda tidak menyebabkan node tempat Pod berjalan melebihi batas konsumsi memori:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Di Resources > GKE cluster > Workloads, klik view cluster workloads.

5. Periksa apakah beberapa pod beban kerja memiliki status yang mirip dengan berikut:

   Error with exit code 137 and 1 more issue.
   ContainerStatusUnknown with exit code 137 and 1 more issue
   

   Exit code 137 berarti container atau Pod mencoba menggunakan lebih banyak memori dari yang diizinkan. Proses dihentikan untuk mencegah penggunaan memori.

Meninjau pemantauan kesehatan lingkungan dan konsumsi resource

Tinjau pemantauan kesehatan lingkungan dan konsumsi resource:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Monitoring, lalu pilih Overview.

4. Di panel Ringkasan lingkungan, temukan grafik Kondisi Lingkungan (DAG Pemantauan Aliran Data). File ini berisi area merah, yang sesuai dengan waktu saat log mulai mencetak error.

5. Pilih Pekerja, lalu temukan grafik Total penggunaan memori pekerja. Perhatikan bahwa baris Penggunaan memori memiliki lonjakan pada saat tugas berjalan.

Gambar 1. Total grafik penggunaan memori pekerja (klik untuk memperbesar)

Meskipun garis penggunaan memori pada grafik tidak mencapai batas, saat mendiagnosis alasan kegagalan, Anda hanya perlu mempertimbangkan memori yang dapat dialokasikan, sedangkan garis Batas memori pada grafik menunjukkan total memori yang tersedia (termasuk kapasitas yang dicadangkan oleh GKE).

Dalam contoh ini, batas memori pekerja ditetapkan ke 1,875 GB. GKE mencadangkan 25% dari 4 GiB pertama memori. GKE juga mencadangkan ambang penghapusan tambahan: memori 100 MiB di setiap node untuk penghapusan kubelet.

Memori yang dapat dialokasikan dihitung dengan cara berikut:

ALLOCATABLE = CAPACITY - RESERVED - EVICTION-THRESHOLD

Jika batas memori adalah 1,875 GB, memori yang dapat dialokasikan sebenarnya adalah:

1.75 GiB (1.875GB) - 0.44 (25% GiB reserved) - 0.1 = 1.21 GiB (~1.3 GB).

Saat menambahkan batas sebenarnya ini ke grafik penggunaan memori, Anda akan melihat bahwa lonjakan penggunaan memori tugas mencapai batas memori yang sebenarnya, dan Anda dapat menyimpulkan bahwa tugas gagal karena memori pekerja tidak memadai.

Catatan: Jika tingkat penggunaan memori meningkat terlalu cepat, baris penggunaan memori mungkin tidak menangkap tingkat penggunaan resource yang sebenarnya dengan benar. DAG airflow_monitoring adalah health check keaktifan per lingkungan yang digunakan untuk mengisi metrik pemantauan environment/healthy. DAG ini memungkinkan Anda menggunakan fitur Cloud Monitoring seperti grafik metrik, atau menetapkan pemberitahuan saat lingkungan Anda tidak sehat. Alat ini berjalan setiap 5 menit dan mengumpulkan metrik, yang berarti alat ini mungkin tidak menangkap penggunaan resource di antara operasi.

Meningkatkan batas memori pekerja

Catatan: mengubah CPU atau memori pekerja akan memulai ulang pekerja, yang dapat memengaruhi tugas yang sedang berjalan. Sebaiknya lakukan saat tidak ada DAG yang berjalan.

Alokasikan memori pekerja tambahan agar contoh DAG berhasil:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Temukan konfigurasi Resources > Workloads, lalu klik Edit.

5. Di bagian Worker, di kolom Memory, tentukan batas memori baru untuk pekerja Airflow. Dalam tutorial ini, gunakan 3 GB.

6. Simpan perubahan dan tunggu beberapa menit hingga pekerja Airflow Anda memulai ulang.

Menguji DAG dengan batas memori baru

Picu DAG create_list_with_many_strings lagi dan tunggu hingga selesai berjalan.

1. Dalam log output dari DAG yang berjalan, Anda akan melihat Marking task as SUCCESS, dan status tugas akan menunjukkan Sukses.

2. Tinjau bagian Ringkasan lingkungan di tab Monitoring dan pastikan tidak ada area merah.

3. Klik bagian Pekerja dan temukan grafik Total penggunaan memori pekerja. Anda akan melihat bahwa baris Batas memori mencerminkan perubahan batas memori, dan baris Penggunaan memori jauh di bawah batas memori yang dapat dialokasikan yang sebenarnya.

Contoh: Mendiagnosis masalah kehabisan penyimpanan

Pada langkah ini, Anda akan mengupload dua DAG yang membuat file berukuran besar. DAG pertama membuat file berukuran besar. DAG kedua membuat file besar dan meniru operasi yang berjalan lama.

Ukuran file di kedua DAG melebihi batas penyimpanan pekerja Airflow default sebesar 1 GB, tetapi DAG kedua memiliki tugas tunggu tambahan untuk memperpanjang durasinya secara artifisial.

Anda akan menyelidiki perbedaan perilaku kedua DAG pada langkah berikutnya.

Catatan: DAG dalam tutorial ini membuat file lokal. Dalam setelan produksi, hindari menyimpan file atau konfigurasi apa pun di sistem file lokal karena tugas berikutnya kemungkinan akan berjalan di pekerja Airflow lain tanpa akses ke file.

Mengupload DAG yang membuat file berukuran besar

Upload contoh DAG berikut ke lingkungan yang Anda buat di langkah sebelumnya. Dalam tutorial ini, DAG ini diberi nama create_large_txt_file_print_logs.

DAG ini berisi satu tugas yang menjalankan langkah-langkah berikut:

1. Menulis file localfile.txt 1,5 GB ke penyimpanan pekerja Airflow.
2. Mencetak ukuran file yang dibuat menggunakan modul os Python.
3. Mencetak durasi operasi DAG setiap 1 menit.

Peringatan: DAG ini menyimulasikan masalah kehabisan penyimpanan, yang berpotensi mengganggu operasi di lingkungan Anda.

import airflow
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
import os
from datetime import timedelta
import time

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'retries': 0,
    'retry_delay': timedelta(minutes=10)
}

dag = DAG(
    'create_large_txt_file_print_logs',
    default_args=default_args,
    schedule_interval=None)


def consume():
    size = 1000**2  # bytes in 1 MB
    amount = 100

    def create_file():
        print(f"Start creating a huge file")
        with open("localfile.txt", "ab") as f:
            for j in range(15):
                f.write(os.urandom(amount) * size)
        print("localfile.txt size:", os.stat("localfile.txt").st_size / (1000**3), "GB")

    create_file()
    print("Success!")


t1 = PythonOperator(
    task_id='create_huge_file',
    python_callable=consume,
    dag=dag,
    depends_on_past=False,
    retries=0)

Mengupload DAG yang membuat file besar dalam operasi yang berjalan lama

Untuk meniru DAG yang berjalan lama dan menyelidiki dampak durasi tugas pada status akhir, upload contoh DAG kedua ke lingkungan Anda. Dalam tutorial ini, DAG ini diberi nama long_running_create_large_txt_file_print_logs.

DAG ini berisi satu tugas yang menjalankan langkah-langkah berikut:

1. Menulis file localfile.txt 1,5 GB ke penyimpanan pekerja Airflow.
2. Mencetak ukuran file yang dibuat menggunakan modul os Python.
3. Menunggu 1 jam 15 menit untuk meniru beberapa waktu yang diperlukan untuk operasi dengan file, misalnya, membaca dari file.
4. Mencetak durasi operasi DAG setiap 1 menit.

Peringatan: DAG ini menyimulasikan masalah kehabisan penyimpanan, yang berpotensi mengganggu operasi di lingkungan Anda.

import airflow
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
import os
from datetime import timedelta
import time

default_args = {
    'start_date': airflow.utils.dates.days_ago(0),
    'retries': 0,
    'retry_delay': timedelta(minutes=10)
}

dag = DAG(
    'long_running_create_large_txt_file_print_logs',
    default_args=default_args,
    schedule_interval=None)


def consume():
    size = 1000**2  # bytes in 1 MB
    amount = 100

    def create_file():
        print(f"Start creating a huge file")
        with open("localfile.txt", "ab") as f:
            for j in range(15):
                f.write(os.urandom(amount) * size)
        print("localfile.txt size:", os.stat("localfile.txt").st_size / (1000**3), "GB")

    create_file()
    for k in range(75):
        time.sleep(60)
        print(f"{k+1} minute")

    print("Success!")


t1 = PythonOperator(
    task_id='create_huge_file',
    python_callable=consume,
    dag=dag,
    depends_on_past=False,
    retries=0)

Memicu contoh DAG

Picu DAG pertama, create_large_txt_file_print_logs:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

3. Di antarmuka web Airflow, pada halaman DAG, di kolom Link untuk DAG Anda, klik tombol Trigger Dag.

4. Klik Pemicu.

5. Di halaman DAG, klik tugas yang Anda picu dan tinjau log output untuk memastikan DAG Anda mulai berjalan.

6. Tunggu hingga tugas yang Anda buat dengan DAG create_large_txt_file_print_logs selesai. Proses ini mungkin memerlukan waktu beberapa menit.

   Catatan: Anda mungkin melihat bahwa penyimpanan pekerja Airflow yang digunakan direset ke nol setelah tugas selesai. Cloud Composer mengandalkan Google Kubernetes Engine Autopilot yang menyediakan resource yang diperlukan. Penskalaan otomatis di Cloud Composer bersifat berbasis metrik dan mengontrol alokasi resource melalui pengelolaan Pod GKE dalam kuota tertentu.

7. Di halaman DAG, klik DAG yang dijalankan. Anda akan melihat tugas Anda memiliki status Success, meskipun batas penyimpanan terlampaui.

Tinjau log Airflow tugas:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

   1. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

   2. Buka tab Logs, lalu buka All logs > Airflow logs > Workers > View in Logs Explorer.

   3. Memfilter log menurut jenis: hanya menampilkan pesan Error.

Dalam log, Anda akan melihat pesan yang mirip dengan berikut ini:

Worker: warm shutdown (Main Process)

atau

A worker pod was evicted at 2023-12-01T12:30:05Z with message: Pod ephemeral
local storage usage exceeds the total limit of containers 1023Mi.

Log ini menunjukkan bahwa pod memulai proses "warm shutdown" karena penyimpanan yang digunakan melebihi batas dan dihapus dalam 1 jam. Namun, pengoperasian DAG tidak gagal karena selesai dalam masa tenggang penghentian Kubernetes, yang dijelaskan lebih lanjut dalam tutorial ini.

Untuk mengilustrasikan konsep masa tenggang penghentian, tinjau hasil contoh DAG kedua, long_running_create_large_txt_file_print_logs.

Picu DAG kedua, long_running_create_large_txt_file_print_logs:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di kolom Airflow webserver, ikuti link Airflow untuk lingkungan Anda.

3. Di antarmuka web Airflow, pada halaman DAG, di kolom Link untuk DAG Anda, klik tombol Trigger Dag.

4. Klik Pemicu.

5. Di halaman DAG, klik tugas yang Anda picu dan tinjau log output untuk memastikan DAG Anda mulai berjalan.

6. Tunggu hingga operasi DAG long_running_create_large_txt_file_print_logs gagal. Proses ini akan memerlukan waktu sekitar satu jam.

Tinjau hasil operasi DAG:

1. Di halaman DAG, klik eksekusi DAG long_running_create_large_txt_file_print_logs. Anda akan melihat bahwa tugas memiliki status Failed, dan durasi operasinya tepat 1 jam 5 menit, yang kurang dari periode tunggu tugas 1 jam 15 menit.

2. Tinjau log tugas. Setelah DAG membuat file localfile.txt di penampung pekerja Airflow, log akan mencetak bahwa DAG mulai menunggu, dan durasi operasi akan dicetak di log tugas setiap 1 menit. Dalam contoh ini, DAG mencetak log localfile.txt size: dan ukuran file localfile.txt akan menjadi 1,5 GB.

Setelah file yang ditulis ke penampung pekerja Airflow melebihi batas penyimpanan, operasi DAG akan gagal. Namun, tugas tidak langsung gagal dan terus berjalan hingga durasinya mencapai 1 jam 5 menit. Hal ini terjadi karena Kubernetes tidak langsung menghentikan tugas dan terus berjalan untuk memberikan waktu pemulihan selama 1 jam, yang dikenal sebagai "periode masa tenggang penghentian". Setelah node kehabisan resource, Kubernetes tidak segera menghentikan Pod untuk menangani penghentian dengan baik, sehingga ada dampak minimal pada pengguna akhir.

Masa tenggang penghentian membantu pengguna memulihkan file setelah kegagalan tugas, tetapi hal ini dapat menyebabkan kebingungan saat mendiagnosis DAG. Jika batas penyimpanan pekerja Airflow terlampaui, status tugas akhir bergantung pada durasi eksekusi DAG:

• Jika DAG berjalan melebihi batas penyimpanan pekerja, tetapi selesai dalam waktu kurang dari 1 jam, tugas akan selesai dengan status Success karena selesai dalam masa tenggang penghentian. Namun, Kubernetes menghentikan Pod dan file yang ditulis akan langsung dihapus dari penampung.

• Jika DAG melebihi batas penyimpanan pekerja dan berjalan selama lebih dari 1 jam, DAG akan terus berjalan selama 1 jam dan dapat melebihi batas penyimpanan sebesar ribuan persen sebelum Kubernetes menghapus Pod dan Airflow menandai tugas sebagai Failed.

Catatan: Jika Anda memicu salah satu contoh DAG yang melebihi batas penyimpanan secara bersamaan dengan contoh DAG lainnya, Anda akan melihat bahwa, jika salah satu tugas melebihi batas penyimpanan dan gagal, tugas lain yang sedang berjalan juga akan gagal, meskipun tidak memerlukan ruang penyimpanan.

Mendiagnosis DAG yang gagal

Jika Anda menjalankan beberapa tugas pada saat kegagalan, pertimbangkan untuk menjalankan hanya satu tugas dan mendiagnosis tekanan resource selama waktu tersebut untuk mengidentifikasi tugas mana yang menyebabkan tekanan resource dan resource mana yang perlu Anda tingkatkan.

Tinjau log tugas DAG kedua, long_running_create_large_txt_file_print_logs:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Logs, lalu buka All logs > Airflow logs > Workers > View in Logs Explorer.

4. Memfilter log menurut jenis: hanya menampilkan pesan Error.

Dalam log, Anda akan melihat pesan yang mirip dengan berikut ini:

Container storage usage of worker reached 155.7% of the limit.

This likely means that the total size of local files generated by your DAGs is
close to the storage limit of worker.

You may need to decrease the storage usage or increase the worker storage limit
in your Cloud Composer environment configuration.

atau

Pod storage usage of worker reached 140.2% of the limit.
A worker pod was evicted at 2023-12-01T12:30:05Z with message: Pod ephemeral
local storage usage exceeds the total limit of containers 1023Mi.

This eviction likely means that the total size of dags and plugins folders plus
local files generated by your DAGs exceeds the storage limit of worker.

Please decrease the storage usage or increase the worker storage limit in your
Cloud Composer environment configuration.

Pesan ini menunjukkan bahwa, seiring berjalannya tugas, log Airflow mulai mencetak error saat ukuran file yang dihasilkan oleh DAG Anda melebihi batas penyimpanan pekerja, dan masa tenggang penghentian dimulai. Selama masa tenggang penghentian, penggunaan penyimpanan tidak kembali ke batas, yang menyebabkan penghapusan Pod setelah masa tenggang penghentian berakhir.

Tinjau pemantauan kesehatan lingkungan dan konsumsi resource:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Monitoring, lalu pilih Overview.

4. Di panel Ringkasan lingkungan, temukan grafik Kondisi Lingkungan (DAG Pemantauan Aliran Data). File ini berisi area merah, yang sesuai dengan waktu saat log mulai mencetak error.

5. Pilih Pekerja, lalu temukan grafik Total penggunaan disk pekerja. Perhatikan bahwa baris Disk usage memiliki lonjakan dan melebihi baris Disk limit pada saat tugas Anda berjalan.

Gambar 2. Grafik total penggunaan disk pekerja (klik untuk memperbesar)

Meningkatkan batas penyimpanan pekerja

Catatan: Mengubah penyimpanan pekerja akan memulai ulang pekerja Airflow, yang dapat memengaruhi tugas yang sedang berjalan. Sebaiknya lakukan saat tidak ada DAG yang berjalan.

Alokasikan penyimpanan pekerja Airflow tambahan agar DAG contoh berhasil:

1. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Di daftar lingkungan, klik nama lingkungan Anda. Halaman Environment details akan terbuka.

3. Buka tab Konfigurasi lingkungan.

4. Temukan konfigurasi Resources > Workloads, lalu klik Edit.

5. Di bagian Worker, di kolom Storage, tentukan batas penyimpanan baru untuk pekerja Airflow. Dalam tutorial ini, tetapkan ke 2 GB.

6. Simpan perubahan dan tunggu beberapa menit hingga pekerja Airflow Anda memulai ulang.

Menguji DAG dengan batas penyimpanan baru

Picu DAG long_running_create_large_txt_file_print_logs lagi dan tunggu selama 1 jam 15 menit hingga selesai berjalan.

1. Dalam log output dari DAG yang dijalankan, Anda akan melihat Marking task as SUCCESS, dan status tugas akan menunjukkan Sukses, dengan durasi 1 jam dan 15 menit yang sama dengan waktu tunggu yang ditetapkan dalam kode DAG.

2. Tinjau bagian Ringkasan lingkungan di tab Monitoring dan pastikan tidak ada area merah.

3. Klik bagian Workers dan temukan grafik Total workers disk usage. Anda akan melihat bahwa baris Batas disk mencerminkan perubahan dalam batas penyimpanan, dan baris Penggunaan disk berada dalam rentang yang diizinkan.

Ringkasan

Dalam tutorial ini, Anda telah mendiagnosis alasan kegagalan DAG dan mengidentifikasi jenis resource yang menyebabkan tekanan dengan men-debug dua contoh DAG yang gagal karena kurangnya memori dan penyimpanan pekerja. Kemudian, Anda berhasil menjalankan DAG setelah mengalokasikan lebih banyak memori dan penyimpanan ke pekerja. Namun, sebaiknya optimalkan DAG (alur kerja) untuk mengurangi konsumsi resource pekerja terlebih dahulu, karena tidak mungkin untuk meningkatkan resource di luar nilai minimum tertentu.

Pembersihan

Agar tidak dikenai biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Menghapus resource satu per satu

Jika Anda berencana mempelajari beberapa tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Hapus lingkungan Cloud Composer. Anda juga akan menghapus bucket lingkungan selama prosedur ini.

Langkah selanjutnya

• Menskalakan lingkungan
• Memecahkan masalah DAG