Halaman ini menunjukkan cara membuat sesi interaktif dan template sesi Dataproc Serverless. Template sesi dapat digunakan untuk membuat beberapa sesi interaktif berdasarkan konfigurasi template sesi.
Membuat sesi Dataproc Serverless
Anda dapat menggunakan konsol Google Cloud, Google Cloud CLI, atau Dataproc API untuk membuat sesi interaktif Dataproc Serverless.
Konsol
Untuk membuat sesi Dataproc Serverless menggunakan konsol Google Cloud, selesaikan langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Interactive Sessions.
- Klik Create.
Di halaman Tambahkan sesi interaktif (Pratinjau), masukkan atau konfirmasi setelan konfigurasi sesi. Perhatikan hal berikut:
- Nama sesi interaktif: Wajib diisi. Terima nama default atau tentukan nama sesi.
- Region: Wajib diisi. Terima region default atau tentukan region yang tersedia untuk sesi Anda.
- Konfigurasi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Dataproc Serverless for Spark yang tersedia. Anda dapat menentukan image container kustom yang akan digunakan untuk sesi Anda.
- Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi Anda. Untuk informasi selengkapnya, lihat Properti Spark.
- UI Spark (Pratinjau): Opsional. Anda dapat menggunakan Spark UI untuk mengumpulkan dan memantau detail eksekusi sesi.
- Akun layanan: Opsional. Akun layanan yang akan digunakan untuk sesi. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
- Konfigurasi jaringan: Wajib. Subnet sesi harus mengaktifkan Akses Google Pribadi (PGA) dan harus mengizinkan komunikasi subnet di semua port. Hanya jaringan dengan subnetwork di region sesi yang ditentukan dengan PGA yang diaktifkan yang tercantum di bagian ini. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi jaringan Dataproc Serverless untuk Spark.
Klik Kirim untuk membuat sesi.
gcloud
Anda dapat menggunakan
gcloud beta dataproc sessions create command SESSION_NAME untuk
membuat sesi interaktif Dataproc Serverless.
Catatan flag perintah:
--region: Wajib diisi. Region yang tersedia untuk sesi Anda.--version: Opsional. Versi runtime Spark yang didukung. Jika Anda tidak menggunakan flag ini untuk menentukan versi, versi runtime Spark default saat ini akan digunakan.--container-image: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.--property: Opsional. Satu atau beberapa properti Spark yang dipisahkan koma untuk sesi Anda.--service-account: Opsional. Akun layanan yang akan digunakan untuk sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.--subnet: Opsional. Subnet VPC dalam format berikut:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
- REGION:
--regionyang Anda pilih untuk sesi. - SUBNET_NAME: Subnet harus mengaktifkan Akses Google Pribadi (PGA) dan mengizinkan komunikasi subnet di semua port. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi jaringan Dataproc Serverless untuk Spark.
- REGION:
REST
Anda dapat menggunakan Dataproc
sessions.create
API untuk membuat sesi interaktif Dataproc Serverless.
Catatan:
name: Wajib diisi. Nama sesi.version: Opsional. Semua versi runtime Spark yang didukung untuk sesi Anda. Jika Anda tidak menentukan versi, versi default saat ini akan digunakan.containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi Anda.properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi Anda. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.subnetworkUri: Opsional. Subnet VPC untuk sesi Anda dalam format berikut:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME
Membuat template sesi Dataproc Serverless
Template sesi Dataproc Serverless menentukan setelan konfigurasi untuk membuat satu atau beberapa sesi interaktif Dataproc Serverless.
Anda dapat menggunakan konsol Google Cloud, gcloud CLI, atau Dataproc API untuk membuat template sesi Dataproc Serverless.
Konsol
Untuk membuat template sesi Dataproc Serverless menggunakan konsol Google Cloud, selesaikan langkah-langkah berikut:
Di konsol Google Cloud, buka halaman Interactive Session Templates.
- Klik Create.
Di halaman Create session template, masukkan atau konfirmasi setelan konfigurasi template. Perhatikan hal berikut:
- ID runtime template: Wajib diisi. Terima ID (nama) default atau tentukan nama runtime template.
- Region: Wajib diisi. Terima region default atau tentukan region yang tersedia untuk sesi template.
- Versi runtime: Opsional. Runtime sesi yang dapat dipilih sesuai dengan versi runtime Dataproc Serverless for Spark.
- Jenis konfigurasi template: Wajib diisi. Pilih jenis. Jika
Anda memilih
Jupyter, tentukan Nama tampilan dan pilih Jenis kernel Jupyter. Untuk informasi selengkapnya, lihat Meluncurkan notebook Jupyter di Dataproc Serverless. - Akun layanan: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi dengan template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.
- Image container kustom: Opsional. Image container kustom yang akan digunakan untuk sesi template Anda.
- Properti: Opsional. Klik Tambahkan Item untuk setiap properti yang akan ditetapkan untuk sesi template Anda. Untuk informasi selengkapnya, lihat Properti Spark.
- Konfigurasi jaringan: * Wajib. Subnet sesi harus mengaktifkan Akses Google Pribadi (PGA) dan harus mengizinkan komunikasi subnet di semua port. Hanya jaringan dengan subnetwork di Region sesi dengan PGA yang diaktifkan yang tercantum di bagian ini. Untuk mengetahui informasi selengkapnya, lihat Konfigurasi jaringan Dataproc Serverless untuk Spark.
Klik Submit untuk membuat template sesi.
gcloud
Anda tidak dapat langsung membuat template sesi Dataproc Serverless menggunakan gcloud CLI, tetapi Anda dapat menggunakan perintah gcloud beta dataproc session-templates import untuk mengimpor template sesi yang ada. Anda dapat mengedit template yang diimpor,
lalu mengekspornya menggunakan perintah gcloud beta dataproc session-templates export.
REST
Anda dapat menggunakan Dataproc
sessionTemplates.create
API untuk membuat template sesi Dataproc Serverless.
Catatan:
name: Wajib diisi. Nama template sesi.version: Opsional. Semua versi runtime Spark yang didukung untuk sesi template Anda. Jika Anda tidak menentukan versi, versi default akan digunakan.containerImage: Opsional. Image container kustom yang akan digunakan untuk sesi template Anda.properties: Opsional. Pemetaan nama properti sesi ke nilai. Lihat Properti Spark.serviceAccount: Opsional. Akun layanan yang akan digunakan untuk menjalankan sesi dengan template. Jika tidak ditentukan, akun layanan default Compute Engine akan digunakan.subnetworkUri: Opsional. Subnet VPC untuk sesi template Anda dalam format berikut:projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME