Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Halaman ini menjelaskan cara menginstal paket Python untuk lingkungan Cloud Composer.
Tentang paket PyPI kustom dan bawaan pada gambar Cloud Composer
Image Cloud Composer berisi paket PyPI bawaan dan kustom.
Paket PyPI bawaan adalah paket yang disertakan dalam image Cloud Composer lingkungan Anda. Setiap image Cloud Composer berisi paket PyPI yang spesifik untuk versi Cloud Composer dan Airflow Anda.
Paket PyPI kustom adalah paket yang dapat Anda instal di lingkungan selain paket yang telah diinstal sebelumnya.
Opsi untuk mengelola paket PyPI untuk lingkungan Cloud Composer
Opsi | Gunakan jika |
---|---|
Menginstal dari PyPI | Cara default untuk menginstal paket di lingkungan Anda |
Menginstal dari repositori dengan alamat IP publik | Paket ini dihosting di repositori paket selain PyPI. Repositori ini memiliki alamat IP publik |
Menginstal dari repositori Artifact Registry | Paket ini dihosting di repositori Artifact Registry |
Menginstal dari repositori di jaringan project | Lingkungan Anda tidak memiliki akses ke internet publik. Paket ini dihosting di repositori paket pada jaringan project Anda. |
Menginstal sebagai library Python lokal |
Paket ini tidak dapat ditemukan di PyPI, dan library
tidak memiliki dependensi eksternal apa pun, seperti dist-packages . |
Menginstal plugin | Paket ini menyediakan fungsi khusus plugin, seperti memodifikasi antarmuka web Airflow. |
PythonVirtualenvOperator | Anda tidak ingin paket diinstal untuk semua pekerja Airflow, atau dependensi akan bertentangan dengan paket yang telah diinstal sebelumnya. Paket ini dapat ditemukan di PyPI dan tidak memiliki dependensi eksternal. |
KubernetesPodOperator dan operator GKE |
Anda memerlukan dependensi eksternal yang tidak dapat diinstal dari pip ,
seperti dist-packages , atau ada di server pip internal. Opsi
ini memerlukan lebih banyak penyiapan dan pemeliharaan. Pertimbangkan hanya jika
opsi lain tidak berhasil. |
Sebelum memulai
- Anda harus memiliki peran yang dapat memicu operasi update lingkungan. Selain itu, akun layanan lingkungan harus memiliki peran yang memiliki izin yang cukup untuk menjalankan operasi update. Untuk mengetahui informasi selengkapnya, lihat Kontrol akses.
- Jika lingkungan Anda dilindungi oleh perimeter Kontrol Layanan VPC, sebelum menginstal dependensi PyPI, Anda harus memberikan identitas pengguna tambahan dengan akses ke layanan yang dilindungi oleh perimeter layanan dan mengaktifkan dukungan untuk repositori PyPI pribadi.
- Persyaratan harus mengikuti format yang ditentukan dalam PEP-508 dengan setiap persyaratan ditentukan dalam huruf kecil dan terdiri dari nama paket dengan tambahan opsional dan penentu versi.
Update dependensi PyPI menghasilkan image Docker di Artifact Registry.
Jika konflik dependensi menyebabkan update gagal, lingkungan Anda akan terus berjalan dengan dependensi yang ada. Jika operasi berhasil, Anda dapat mulai menggunakan dependensi Python yang baru diinstal di DAG.
Project yang mengaktifkan Cloud Composer API pada 29 April 2024 atau yang lebih baru. Kecuali jika Organisasi Anda mengganti kebijakan
constraints/cloudbuild.disableCreateDefaultServiceAccount
, project baru tidak akan menyediakan Akun Layanan Cloud Build yang lama saat mengaktifkan API. Karena Cloud Build digunakan secara default saat menginstal paket PyPI kustom di lingkungan Cloud Composer, penginstalan paket mungkin gagal. Secara default, akun layanan lingkungan akan digunakan sebagai gantinya. Jadi, pastikan Anda juga memberikan izin tambahan yang diperlukan untuk mengakses paket pribadi Anda ke akun layanan tersebut. Jika ingin build Anda berjalan dengan akun yang berbeda, Anda dapat mengganti variabel lingkunganCOMPOSER_AGENT_BUILD_SERVICE_ACCOUNT
dengan akun layanan yang dipilih. Akun layanan ini harus dikonfigurasi untuk menjalankan build sesuai dengan dokumentasi Cloud Build, dan akun layanan lingkungan harus memiliki iziniam.serviceAccounts.actAs
.
Lihat daftar paket PyPI
Anda bisa mendapatkan daftar paket untuk lingkungan Anda dalam beberapa format.
Lihat paket yang telah diinstal sebelumnya
Untuk melihat daftar paket yang telah diinstal sebelumnya untuk lingkungan Anda, lihat daftar paket untuk image Cloud Composer lingkungan Anda.
Lihat semua paket
Untuk melihat semua paket (baik yang sudah diinstal sebelumnya maupun kustom) di lingkungan Anda:
gcloud
Perintah gcloud CLI berikut menampilkan hasil perintah python -m pip list
untuk pekerja Airflow di lingkungan Anda.
Anda dapat menggunakan argumen --tree
untuk mendapatkan hasil dari perintah python -m pipdeptree --warn
.
gcloud beta composer environments list-packages \
ENVIRONMENT_NAME \
--location LOCATION
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.
Melihat paket PyPI kustom
Konsol
Di Konsol Google Cloud, buka halaman Environments.
Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.
Buka tab PyPI Packages.
gcloud
gcloud composer environments describe ENVIRONMENT_NAME \
--location LOCATION \
--format="value(config.softwareConfig.pypiPackages)"
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.
Menginstal paket kustom di lingkungan Cloud Composer
Bagian ini menjelaskan berbagai metode untuk menginstal paket kustom di lingkungan Anda.
Menginstal paket dari PyPI
Paket dapat diinstal dari Indeks Paket Python jika tidak memiliki dependensi eksternal atau konflik dengan paket yang telah diinstal sebelumnya.
Untuk menambahkan, mengupdate, atau menghapus dependensi Python bagi lingkungan Anda:
Konsol
Di Konsol Google Cloud, buka halaman Environments.
Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.
Buka tab Paket PyPI.
Klik Edit.
Klik Add package.
Di bagian Paket PyPI, tentukan nama paket, dengan penentu dan tambahan versi opsional.
Contoh:
scikit-learn
scipy
,>=0.13.3
nltk
,[machine_learning]
Klik Simpan.
gcloud
gcloud CLI memiliki beberapa konfigurasi untuk menggunakan paket PyPI kustom:
--update-pypi-packages-from-file
menggantikan semua paket PyPI kustom yang ada dengan paket yang ditentukan. Paket yang tidak Anda tentukan akan dihapus.--update-pypi-package
mengupdate atau menginstal satu paket.--remove-pypi-packages
menghapus paket yang ditentukan.--clear-pypi-packages
menghapus semua paket.
Persyaratan penginstalan dari file
File requirements.txt
harus memiliki setiap
penentu persyaratan pada baris
terpisah.
Contoh:
scipy>=0.13.3
scikit-learn
nltk[machine_learning]
Update lingkungan Anda, lalu tentukan file requirements.txt
dalam argumen --update-pypi-packages-from-file
.
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--update-pypi-packages-from-file requirements.txt
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.
Menginstal satu paket
Update lingkungan Anda, lalu tentukan paket, versi, dan tambahan dalam
argumen --update-pypi-package
.
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--update-pypi-package PACKAGE_NAMEEXTRAS_AND_VERSION
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.PACKAGE_NAME
dengan nama paket.EXTRAS_AND_VERSION
dengan penentu versi opsional dan penentu tambahan. Untuk menghapus versi dan tambahan, tentukan nilai kosong.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--update-pypi-package "scipy>=0.13.3"
Menghapus paket
Update lingkungan Anda, dan tentukan paket yang ingin dihapus dalam argumen --remove-pypi-packages
:
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--remove-pypi-packages PACKAGE_NAMES
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.PACKAGE_NAMES
dengan daftar paket yang dipisahkan koma.
Contoh:
gcloud composer environments update example-environment \
--location us-central1 \
--remove-pypi-packages scipy,scikit-learn
API
Buat permintaan environments.patch
API.
Dalam permintaan ini:
Di parameter
updateMask
, tentukan mask:- Gunakan mask
config.softwareConfig.pypiPackages
untuk mengganti semua paket yang ada dengan paket yang ditentukan. Paket yang tidak Anda tentukan akan dihapus. - Gunakan
config.softwareConfig.envVariables.PACKAGE_NAME
untuk menambahkan atau memperbarui paket tertentu. Untuk menambahkan atau mengupdate beberapa paket, tentukan beberapa mask dengan koma.
- Gunakan mask
Dalam isi permintaan, tentukan paket dan nilai untuk versi dan tambahan:
{ "config": { "softwareConfig": { "pypiPackages": { "PACKAGE_NAME": "EXTRAS_AND_VERSION" } } } }
Ganti:
PACKAGE_NAME
dengan nama paket.EXTRAS_AND_VERSION
dengan penentu versi opsional dan penentu tambahan. Untuk menghapus versi dan tambahan, tentukan nilai kosong.- Untuk menambahkan lebih dari satu paket, tambahkan entri tambahan untuk paket
ke
pypiPackages
.
Contoh:
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.pypiPackages.EXAMPLE_PACKAGE,
// config.softwareConfig.pypiPackages.ANOTHER_PACKAGE
{
"config": {
"softwareConfig": {
"pypiPackages": {
"EXAMPLE_PACKAGE": "",
"ANOTHER_PACKAGE": ">=1.10.3"
}
}
}
}
Terraform
Blok pypi_packages
dalam blok software_config
menentukan
paket.
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
pypi_packages = {
PACKAGE_NAME = "EXTRAS_AND_VERSION"
}
}
}
}
Ganti:
ENVIRONMENT_NAME
dengan nama lingkungan.LOCATION
dengan region tempat lingkungan berada.PACKAGE_NAME
dengan nama paket.EXTRAS_AND_VERSION
dengan penentu versi opsional dan penentu tambahan. Untuk menghapus versi dan tambahan, tentukan nilai kosong.- Untuk menambahkan lebih dari satu paket, tambahkan entri tambahan untuk paket
ke
pypi_packages
.
Contoh:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
pypi_packages = {
scipy = ">=1.10.3"
scikit-learn = ""
nltk = "[machine_learning]"
}
}
}
}
Menginstal paket dari repositori publik
Anda dapat menginstal paket yang dihosting di repositori lain yang memiliki alamat IP publik.
Paket harus dikonfigurasi dengan benar, agar alat pip
default dapat menginstalnya.
Untuk menginstal dari repositori paket yang memiliki alamat publik:
Buat file pip.conf dan sertakan informasi berikut dalam file tersebut, jika ada:
- URL repositori (dalam parameter
index-url
) - Mengakses kredensial untuk repositori
- Opsi penginstalan
pip
non-default
Contoh:
[global] index-url=https://example.com/
- URL repositori (dalam parameter
(Opsional) Dalam beberapa kasus, Anda mungkin ingin mengambil paket dari beberapa repositori, seperti saat repositori publik berisi beberapa paket tertentu yang ingin Anda instal, dan Anda ingin menginstal semua paket lain dari PyPI:
- Konfigurasikan repositori virtual Artifact Registry.
- Menambahkan konfigurasi untuk beberapa repositori (termasuk PyPI, jika diperlukan)
dan menentukan urutan penelusuran repositori oleh
pip
. - Tentukan URL repositori virtual dalam parameter
index-url
.
Upload file pip.conf ke folder
/config/pip/
di bucket lingkungan Anda.Instal paket menggunakan salah satu metode yang tersedia.
Menginstal paket dari repositori Artifact Registry
Anda dapat menyimpan paket di repositori Artifact Registry di project, dan mengonfigurasi lingkungan Anda untuk diinstal darinya.
Mengonfigurasi peran dan izin:
Akun layanan lingkungan Anda harus memiliki peran
iam.serviceAccountUser
.Pastikan akun layanan Cloud Build memiliki izin untuk membaca dari repositori Artifact Registry.
Jika lingkungan Anda memiliki akses terbatas ke layanan lain dalam project, misalnya, jika Anda menggunakan Kontrol Layanan VPC:
Tetapkan izin untuk mengakses repositori Artifact Registry ke akun layanan lingkungan, bukan akun layanan Cloud Build.
Pastikan konektivitas ke repositori Artifact Registry dikonfigurasi di project Anda.
Untuk menginstal paket PyPI kustom dari repositori Artifact Registry:
Buat file pip.conf dan sertakan informasi berikut dalam file tersebut, jika ada:
- URL repositori Artifact Registry (dalam parameter
index-url
) - Mengakses kredensial untuk repositori
- Opsi penginstalan
pip
non-default
Untuk repositori Artifact Registry, tambahkan
/simple/
ke URL repositori:[global] index-url = https://us-central1-python.pkg.dev/example-project/example-repository/simple/
- URL repositori Artifact Registry (dalam parameter
(Opsional) Dalam beberapa kasus, Anda mungkin ingin mengambil paket dari beberapa repositori, seperti saat repositori Artifact Registry berisi beberapa paket tertentu yang ingin Anda instal, dan Anda ingin menginstal semua paket lain dari PyPI:
- Konfigurasikan repositori virtual Artifact Registry.
- Menambahkan konfigurasi untuk beberapa repositori (termasuk PyPI, jika diperlukan)
dan menentukan urutan penelusuran repositori oleh
pip
. - Tentukan URL repositori virtual dalam parameter
index-url
.
Upload file pip.conf ini ke folder
/config/pip/
di bucket lingkungan Anda. Contoh:gs://us-central1-example-bucket/config/pip/pip.conf
.Instal paket menggunakan salah satu metode yang tersedia.
Menginstal paket dari repositori pribadi
Anda dapat menghosting repositori pribadi di jaringan project dan mengonfigurasi lingkungan Anda untuk menginstal paket Python dari jaringan tersebut.
Mengonfigurasi peran dan izin:
Akun layanan untuk lingkungan Cloud Composer Anda harus memiliki peran
iam.serviceAccountUser
.Jika Anda menginstal paket PyPI kustom dari repositori di jaringan project, dan repositori ini tidak memiliki alamat IP publik:
Tetapkan izin untuk mengakses repositori ini ke akun layanan lingkungan.
Pastikan konektivitas ke repositori ini sudah dikonfigurasi di project Anda.
Untuk menginstal paket dari repositori pribadi yang dihosting di jaringan project Anda:
Buat file pip.conf dan sertakan informasi berikut dalam file tersebut, jika ada:
- Alamat IP repositori di jaringan project Anda
- Mengakses kredensial untuk repositori
- Opsi penginstalan
pip
non-default
Contoh:
[global] index-url=https://192.0.2.10/
(Opsional) Dalam beberapa kasus, Anda mungkin ingin mengambil paket dari beberapa repositori, seperti saat repositori pribadi berisi beberapa paket tertentu yang ingin Anda instal, dan Anda ingin menginstal semua paket lain dari PyPI:
- Konfigurasikan repositori virtual Artifact Registry.
- Menambahkan konfigurasi untuk beberapa repositori (termasuk PyPI, jika diperlukan)
dan menentukan urutan penelusuran repositori oleh
pip
. - Tentukan URL repositori virtual dalam parameter
index-url
.
(Opsional) Pada Cloud Composer versi 2.2.1 dan yang lebih baru, Anda dapat menggunakan sertifikat khusus saat menginstal paket dari repositori pribadi. Untuk melakukannya:
Upload file sertifikat ke folder
/config/pip/
di bucket lingkungan Anda.Di pip.conf, tentukan nama file sertifikat dalam parameter
cert
. Jangan ubah folder/etc/pip/
.Contoh:
[global] cert =/etc/pip/example-certificate.pem
Upload file pip.conf ke folder
/config/pip/
di bucket lingkungan Anda. Contoh:gs://us-central1-example-bucket/config/pip/pip.conf
.Instal paket menggunakan salah satu metode yang tersedia.
Menginstal library Python lokal
Untuk menginstal library Python lokal atau internal:
Tempatkan dependensi dalam subdirektori di folder
dags/
pada bucket lingkungan Anda. Untuk mengimpor modul dari subdirektori, setiap subdirektori di jalur modul harus berisi file penanda paket__init__.py
.Dalam contoh berikut, dependensinya adalah
coin_module.py
:dags/ use_local_deps.py # A DAG file. dependencies/ __init__.py coin_module.py
Impor dependensi dari file definisi DAG.
Contoh:
Menggunakan paket yang bergantung pada library objek bersama
Paket PyPI tertentu bergantung pada library tingkat sistem. Meskipun Cloud Composer tidak mendukung library sistem, Anda dapat menggunakan opsi berikut:
Menggunakan KubernetesPodOperator. Tetapkan image Operator ke image build kustom. Jika Anda mengalami paket yang gagal selama penginstalan karena dependensi sistem yang tidak terpenuhi, gunakan opsi ini.
Upload library objek bersama ke bucket lingkungan Anda. Jika paket PyPI berhasil diinstal tetapi gagal saat runtime, gunakan opsi ini.
- Temukan library objek bersama secara manual untuk dependensi PyPI (file .so).
- Upload library objek bersama ke folder
/plugins
di bucket lingkungan Anda. - Tetapkan variabel lingkungan berikut:
LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/airflow/gcs/plugins
Menginstal paket di lingkungan IP pribadi
Bagian ini menjelaskan cara menginstal paket di lingkungan IP pribadi.
Bergantung pada cara Anda mengonfigurasi project, lingkungan Anda mungkin tidak memiliki akses ke internet publik.
Lingkungan IP pribadi dengan akses internet publik
Jika lingkungan IP pribadi Anda dapat mengakses internet publik, Anda dapat menginstal paket menggunakan opsi untuk lingkungan IP publik:
- Instal dari PyPI. Dalam hal ini, konfigurasi khusus tidak diperlukan. Ikuti prosedur yang dijelaskan dalam Menginstal paket dari PyPI.
- Menginstal dari repositori dengan alamat IP publik. Ikuti prosedur yang dijelaskan dalam Menginstal paket dari repositori pribadi.
- Menginstal dari repositori PyPI pribadi yang dihosting di jaringan project Anda.
Lingkungan IP pribadi tanpa akses internet
Jika lingkungan IP pribadi Anda tidak memiliki akses ke internet publik, Anda dapat menginstal paket menggunakan salah satu cara berikut:
- Gunakan repositori PyPI pribadi yang dihosting di jaringan project Anda.
- Gunakan VM server proxy di jaringan project Anda untuk terhubung
ke repositori PyPI di internet publik. Tentukan alamat proxy dalam file
/config/pip/pip.conf
di bucket lingkungan Anda. - Gunakan repositori Artifact Registry sebagai satu-satunya sumber paket. Untuk melakukannya, tentukan ulang parameter
index-url
, seperti yang dijelaskan. - Jika kebijakan keamanan Anda mengizinkan akses ke alamat IP eksternal dari jaringan VPC, Anda dapat mengaktifkan penginstalan paket dari repositori di internet publik dengan mengonfigurasi Cloud NAT.
- Tempatkan dependensi Python ke dalam folder
/dags
di bucket lingkungan Anda untuk menginstalnya sebagai library lokal. Opsi ini mungkin bukan yang tepat jika hierarki dependensi berukuran besar.
Menginstal ke lingkungan IP pribadi berdasarkan pembatasan lokasi resource
Agar project Anda sesuai dengan persyaratan Pembatasan Lokasi Resource, penggunaan beberapa alat juga dilarang. Secara khusus, Cloud Build tidak dapat digunakan untuk penginstalan paket, sehingga mencegah akses langsung ke repositori di internet publik.
Untuk menginstal dependensi Python di lingkungan tersebut, ikuti panduan untuk lingkungan IP pribadi tanpa akses internet.
Menginstal dependensi Python ke lingkungan IP pribadi dalam perimeter Kontrol Layanan VPC
Melindungi project Anda dengan perimeter Kontrol Layanan VPC akan mengakibatkan pembatasan keamanan lebih lanjut. Secara khusus, Cloud Build tidak dapat digunakan untuk penginstalan paket, sehingga mencegah akses langsung ke repositori di internet publik.
Agar dapat menginstal dependensi Python untuk lingkungan IP pribadi di dalam perimeter, ikuti panduan untuk lingkungan IP pribadi tanpa akses internet.