Anda dapat mengonfigurasi tugas pelatihan kustom untuk memasang bagian Network File System (NFS) ke container tempat kode Anda berjalan. Hal ini memungkinkan tugas Anda mengakses file jarak jauh seolah-olah file tersebut bersifat lokal, sehingga memungkinkan throughput tinggi dan latensi rendah.
Panduan ini menunjukkan cara memasang berbagi secara NFS saat menjalankan tugas pelatihan kustom.
Sebelum memulai
Buat berbagi secara NFS di Virtual Private Cloud (VPC). Konten yang Anda bagikan harus dapat diakses tanpa autentikasi.
Anda dapat menggunakan instance Filestore sebagai berbagi NFS. Jika Anda menggunakan Filestore, pilih akses layanan pribadi sebagai mode koneksi saat Anda membuat instance. Sebagai contoh, lihat Membuat instance dalam dokumentasi Filestore.
Ikuti petunjuk dalam Menyiapkan Peering Jaringan VPC untuk membandingkan Vertex AI dengan VPC yang menghosting berbagi secara NFS Anda.
Informasi NFS untuk pelatihan kustom
Saat membuat tugas pelatihan kustom yang memasang berbagi secara NFS, Anda harus menentukan hal berikut:
Nama jaringan yang akan diakses oleh Vertex AI. Cara Anda menentukan nama jaringan akan berbeda-beda, bergantung pada jenis tugas pelatihan kustom. Untuk mengetahui detailnya, lihat Melakukan pelatihan kustom.
Konfigurasi NFS Anda di kolom WorkerPoolSpec. Sertakan kolom berikut:
Kolom Deskripsi nfsMounts.server
Alamat IP server NFS Anda. Alamat ini harus berupa alamat pribadi di VPC Anda. nfsMounts.path
Jalur berbagi secara NFS. Jalur ini harus berupa jalur absolut yang dimulai dengan /
.nfsMounts.mountPoint
Lokasi titik pemasangan lokal. Titik ini harus berupa nama direktori UNIX yang valid. Misalnya, jika direktori pemasangan lokal adalah sourceData
, tentukan jalur/mnt/nfs/sourceData
dari instance VM pelatihan Anda.Untuk mengetahui informasi selengkapnya, lihat Tempat menentukan resource komputasi.
Contoh: membuat tugas kustom menggunakan gcloud CLI
Ikuti langkah-langkah di Membuat aplikasi pelatihan Python untuk container bawaan guna membuat aplikasi pelatihan agar berjalan di Vertex AI.
Buat file bernama
config.yaml
yang mendeskripsikan jaringan dan setelan pemasangan NFS untuk tugas pelatihan Anda. Gunakan format berikut:network: projects/PROJECT_NUMBER/global/networks/NETWORK_NAME workerPoolSpecs: - machineSpec: machineType: MACHINE_TYPE replicaCount: 1 pythonPackageSpec: executorImageUri: PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI packageUris: - PYTHON_PACKAGE_URIS pythonModule: PYTHON_MODULE nfsMounts: - server: NFS_SERVER_IP path: NFS_SHARE_NAME mountPoint: LOCAL_FOLDER
Ganti kode berikut:
PROJECT_NUMBER: Project ID dari project Google Cloud Anda.
NETWORK_NAME: Nama VPC pribadi atau bersama Anda.
MACHINE_TYPE: ID jenis mesin virtual Anda.
PYTHON_PACKAGE_EXECUTOR_IMAGE_URI or PRE_BUILT_CONTAINER_IMAGE_URI: URI image container di Artifact Registry yang akan menjalankan paket Python yang disediakan. Vertex AI menyediakan berbagai image eksekutor dengan paket yang sudah terinstall untuk memenuhi berbagai kasus penggunaan pengguna.
PYTHON_PACKAGE_URIS: Daftar URI Cloud Storage yang dipisahkan koma yang menentukan file paket Python yang membentuk program pelatihan dan paket dependennya. Jumlah maksimum URI paket adalah 100.
PYTHON_MODULE: Nama modul Python yang akan dijalankan setelah menginstal paket.
NFS_SERVER_IP: Alamat IP server NFS Anda.
NFS_SHARE_NAME: Jalur berbagi NFS, yang merupakan jalur absolut yang dimulai dengan
/
.LOCAL_FOLDER: Titik pemasangan lokal (nama direktori UNIX).
Pastikan nama jaringan diformat dengan benar dan file NFS ada di jaringan yang ditentukan.
Buat tugas kustom dan teruskan file
config.yaml
Anda ke parameter--config
.gcloud ai custom-jobs create \ --region=LOCATION \ --display-name=JOB_NAME \ --config=config.yaml
Ganti kode berikut:
LOCATION: Menentukan region tempat membuat tugas.
JOB_NAME: Nama untuk tugas kustom.
Batasan
Anda harus memasang berbagi secara NFS menggunakan alamat IP yang bersifat internal untuk VPC Anda; dilarang menggunakan URL publik.
Tugas pelatihan memasang fitur berbagi secara NFS tanpa autentikasi, dan akan gagal jika nama pengguna dan sandi diperlukan.
Untuk mengamankan data Anda, tetapkan izin akses pada NFS. Jika Anda menggunakan Filestore, lihat kontrol akses dalam dokumentasi Filestore.
Anda tidak dapat menjalankan dua tugas pelatihan yang memasang berbagi secara NFS dari jaringan VPC yang berbeda secara bersamaan. Hal ini disebabkan oleh pembatasan peering jaringan.