Anda dapat menyesuaikan lingkungan runtime kode pengguna di pipeline Dataflow dengan menyediakan image container kustom. Penampung kustom didukung untuk pipeline yang menggunakan Dataflow Runner v2.
Saat memulai VM pekerja, Dataflow menggunakan image container Docker untuk meluncurkan proses SDK dalam container pada pekerja. Secara default, pipeline menggunakan gambar Apache Beam bawaan. Namun, Anda dapat menyediakan image container kustom untuk tugas Dataflow. Saat Anda menentukan image container kustom, Dataflow meluncurkan worker yang menarik image yang ditentukan.
Anda dapat menggunakan penampung kustom karena alasan berikut:
- Melakukan pra-penginstalan dependensi pipeline untuk mengurangi waktu mulai pekerja.
- Dependensi pipeline pra-penginstalan yang tidak tersedia di repositori publik.
- Prainstal dependensi pipeline saat akses ke repositori publik dinonaktifkan. Akses mungkin dinonaktifkan karena alasan keamanan.
- Melakukan pratahap file besar untuk mengurangi waktu mulai pekerja.
- Meluncurkan software pihak ketiga di latar belakang.
- Menyesuaikan lingkungan eksekusi.
Untuk informasi selengkapnya tentang container kustom di Apache Beam, lihat panduan container kustom Apache Beam. Untuk mengetahui contoh pipeline Python yang menggunakan container kustom, lihat Container kustom Dataflow.
Langkah berikutnya
- Membuat image container kustom
- Mem-build image container multi-arsitektur
- Menjalankan tugas Dataflow dalam container kustom
- Memecahkan masalah penampung kustom