Anda dapat menyesuaikan lingkungan runtime kode pengguna di pipeline Dataflow dengan menyediakan image penampung kustom. Penampung kustom didukung untuk pipeline yang menggunakan Dataflow Runner v2.
Saat memulai VM pekerja, Dataflow menggunakan image penampung Docker untuk meluncurkan proses SDK dalam penampung di pekerja. Secara default, pipeline menggunakan image Apache Beam bawaan. Namun, Anda dapat menyediakan image container kustom untuk tugas Dataflow. Saat Anda menentukan image container kustom, Dataflow akan meluncurkan pekerja yang mengambil image yang ditentukan.
Anda dapat menggunakan penampung kustom karena alasan berikut:
- Pra-instal dependensi pipeline untuk mengurangi waktu mulai pekerja.
- Pra-instal dependensi pipeline yang tidak tersedia di repositori publik.
- Pra-instal dependensi pipeline saat akses ke repositori publik dinonaktifkan. Akses mungkin dinonaktifkan karena alasan keamanan.
- Lakukan pra-penyetelan file besar untuk mengurangi waktu mulai pekerja.
- Meluncurkan software pihak ketiga di latar belakang.
- Menyesuaikan lingkungan eksekusi.
Untuk informasi selengkapnya tentang penampung kustom di Apache Beam, lihat panduan penampung kustom Apache Beam. Untuk contoh pipeline Python yang menggunakan container kustom, lihat Container kustom Dataflow.
Langkah berikutnya
- Mem-build image container kustom
- Mem-build image container multi-arsitektur
- Menjalankan tugas Dataflow dalam penampung kustom
- Memecahkan masalah penampung kustom