Guna menyederhanakan penggunaan alur kerja Google Cloud untuk CAE, kami telah menyusun komponen cloud yang tepat untuk memenuhi persyaratan workload CAE dengan komputasi yang intensif. Secara khusus, solusi CAE kami dirancang berdasarkan kelompok VM H3 dan C3 Google Cloud, berdasarkan platform Intel Xeon terbaru. Kelompok VM ini menyediakan bandwidth memori tinggi untuk rasio memori/flop seimbang, yang cocok untuk CAE. Solusi ini mengakomodasi aplikasi MPI yang terkait erat serta beban kerja yang membutuhkan memori hingga 16 GB/core. Layanan ini mencakup berbagai opsi penyimpanan yang memenuhi berbagai persyaratan IO. Untuk pengelolaan resource, alat ini mendukung penjadwal seperti Slurm dari SchedMD dan PBS Professional dari Altair. 

Diagram arsitektur berikut mengilustrasikan solusinya:

Saat menjalankan workload CAE di cloud, ada sejumlah faktor yang perlu dipertimbangkan, termasuk:

• Kompatibilitas: pastikan bahwa aplikasi CAE telah diuji kompatibilitasnya dengan lingkungan HPC berbasis cloud.
• Pemilihan VM: pilih jenis VM yang tepat yang menjalankan perangkat lunak ISV secara optimal-banyak beban kerja CAE yang cocok untuk arsitektur komputasi dengan bandwidth memori dalam jumlah besar dan rasio flop:bandwidth memori yang seimbang secara keseluruhan.
• Skalabilitas: pertimbangkan bahwa beberapa VM mungkin perlu menjalankan beban kerja CAE yang lebih besar, sehingga memerlukan dukungan untuk MPI dan deployment VM yang padat.
• Throughput: evaluasi jumlah beban kerja yang perlu dijalankan secara serentak dan pertimbangkan model penjadwalan penskalaan otomatis yang dapat menambah dan mengurangi sumber daya cloud sesuai permintaan.
• Biaya: paket perangkat lunak ISV komersial untuk CAE sering kali dilisensikan "per inti". Ini merupakan faktor penting dalam total biaya dan dapat mempengaruhi pilihan jenis VM.
• Penggunaan/Konsumsi: cloud menawarkan elastisitas yang tidak dapat ditawarkan oleh instalasi lokal, temukan keseimbangan yang tepat antara on-demand versus abonemen, atau bahkan spot VM.
• Kemudahan penggunaan: pastikan bahwa solusi HPC cloud yang Anda pilih mudah digunakan dan dikelola.

Sebagai bagian dari solusi CAE Google Cloud, kami mengembangkan blueprint dan arsitektur referensi CAE tujuan umum, yang dapat digunakan bersama Cloud HPC Toolkit Google untuk menyediakan arsitektur CAE di Google Cloud. Kami telah memverifikasi kompatibilitas dan performa beberapa aplikasi ISV terkemuka, termasuk: 

• Ansys Fluent 
• Ansys Mechanical 
• Ansys LS-DYNA 
• Siemens Simcenter STAR-CCM+ 
• Altair Radioss
• OpenFOAM

Lihat bagian benchmark di bawah untuk mengetahui performa paket software tersebut.

Blueprint Arsitektur Referensi CAE tujuan umum memungkinkan pengguna untuk secara instan memunculkan lingkungan cloud yang kompatibel dengan berbagai aplikasi dan alur kerja CAE. Opsi ini bagus bagi pengguna yang ingin memiliki fleksibilitas dalam memilih software CAE dan ingin mengelola lingkungan HPC mereka sendiri. Ini juga berfungsi sebagai titik awal bagi integrator sistem, yang memanfaatkan praktik terbaik Google untuk menjalankan simulasi CAE di Google Cloud.

Google Cloud juga menawarkan sejumlah blueprint khusus aplikasi untuk software CAE populer. Blueprint ini telah dikonfigurasi sebelumnya untuk memberikan performa optimal untuk software CAE tertentu. Perangkat lunak dengan blueprint tertentu meliputi:

• Ansys Fluent
• Siemens SimCenter STAR-CCM+
• OpenFOAM

Blueprint khusus aplikasi adalah opsi yang bagus bagi pengguna yang ingin memulai CAE dengan cepat dan mudah. Blueprint menyediakan lingkungan yang telah dikonfigurasi sebelumnya dan dioptimalkan untuk software CAE tertentu, sehingga pengguna tidak harus mengonfigurasi lingkungan tersebut sendiri.

Google Cloud berpartner dengan sejumlah penyedia HPC-as-a-Service, seperti TotalCAE, Rescale, Parallel Works, Eviden Nimbix, Penguin Computing, dan NAG, serta dengan vendor CAE ISV seperti Altair. Penyedia ini menawarkan berbagai solusi HPC terkelola untuk CAE, termasuk lingkungan software CAE yang telah dikonfigurasi sebelumnya, dukungan untuk aplikasi CAE tertentu, dan layanan konsultasi pakar. Penawaran ini merupakan opsi yang bagus bagi pengguna yang menginginkan solusi HPC terkelola untuk CAE. Penyedia menawarkan berbagai layanan, termasuk lingkungan software CAE yang telah dikonfigurasi sebelumnya, dukungan untuk aplikasi CAE tertentu, dan layanan konsultasi pakar.

Meskipun solusi CAE dibuat di Google Compute Engine, solusi ini juga dapat dibangun di atas framework komputasi lain, seperti Google Kubernetes Engine atau Google Batch. Kubernetes Engine adalah layanan Kubernetes terkelola yang dapat digunakan untuk menjalankan beban kerja CAE di lingkungan dalam container. Kubernetes Engine adalah pilihan tepat untuk beban kerja CAE yang memerlukan skalabilitas dan portabilitas. Batch: Batch merupakan layanan terkelola untuk menjalankan tugas batch. Batch adalah pilihan tepat untuk workload CAE yang tidak berada dalam container, dan tidak memerlukan penyesuaian atau penyesuaian yang signifikan.

Anda dapat membaca lebih lanjut cara merancang lingkungan HPC di panduan teknis kami tentang Cluster Toolkit, yang mencakup beragam opsi dalam infrastruktur (komputasi, jaringan, penyimpanan), software sistem (penjadwal, penyimpanan), dan pertimbangan arsitektur.

Ada sejumlah praktik terbaik yang dapat Anda ikuti untuk mengoptimalkan performa workload CAE Anda di Google Cloud. Misalnya, Anda dapat menggunakan kebijakan penempatan untuk memastikan bahwa beban kerja Anda ditempatkan pada resource komputasi yang berdekatan satu sama lain, sehingga dapat mengurangi latensi dan meningkatkan performa. Anda juga dapat menggunakan Cloud HPC Toolkit untuk mengoptimalkan workload Anda.

Panduan “Praktik terbaik untuk menjalankan workload HPC” kami mendokumentasikan cara meningkatkan performa MPI. Open MPI dan Intel MPI telah disesuaikan dan dioptimalkan untuk performa Google Cloud secara langsung, melalui kemitraan dengan engineer jaringan HPC Google Cloud.

Google Cloud menawarkan berbagai jenis mesin, masing-masing dengan konfigurasi CPU, GPU, dan memori yang berbeda. Memilih jenis mesin yang tepat untuk workload Anda dapat memberikan dampak signifikan terhadap performa dan biaya. Misalnya, VM H3 adalah pilihan yang baik untuk aplikasi CAE berlisensi per-core karena rasio antara bandwidth-memori terhadap core yang tinggi, dan dengan 4 GB/core, VM H3 menyediakan memori yang cukup untuk beragam beban kerja. Untuk beban kerja yang membutuhkan memori secara khusus, seperti mekanisme struktural, VM C3 dengan konfigurasi memori tingginya menyediakan 16 GB/core.

Google Cloud menawarkan berbagai opsi penyimpanan, masing-masing dengan karakteristik performa dan biaya yang berbeda. Memilih opsi penyimpanan yang tepat untuk workload Anda dapat berdampak signifikan pada performa dan biaya. Ada juga beberapa jenis penyimpanan di lingkungan HPC yang perlu dipertimbangkan.

Lingkungan HPC biasanya menghosting setidaknya dua jenis penyimpanan dengan persyaratan yang berbeda: home storage dan scratch storage. Pilihan jenis penyimpanan untuk masing-masing penyimpanan akan bergantung pada kebutuhan workload HPC yang spesifik. Misalnya, workload yang menghasilkan data scratch dalam jumlah besar mungkin memerlukan solusi scratch storage berperforma tinggi, sementara workload yang mengakses data umum di beberapa node komputasi secara bersamaan mungkin memerlukan sistem file paralel. Pilihan jenis penyimpanan untuk workload HPC tertentu akan bergantung pada kebutuhan workload yang spesifik.

Selain home storage dan scratch storage, lingkungan HPC juga dapat menggunakan jenis penyimpanan lainnya, seperti archive storage, yang digunakan untuk menyimpan data yang tidak sering diakses. Archive storage dapat disediakan dengan biaya yang paling hemat oleh Cloud Storage.

Home Storage

Home storage biasanya digunakan untuk menyimpan file pengguna bersama, terutama di direktori “/home”, seperti konfigurasi, skrip, dan data pascapemrosesan. Penyimpanan ini akan dipasang di tempat yang sama di seluruh cluster untuk memungkinkan akses umum ke namespace ini. Home storage biasanya persisten. Home storage biasanya dibangun pada protokol NFS.

Dalam lingkungan HPC Google Cloud, home storage dapat disediakan oleh layanan Google seperti Filestore atau penawaran partner seperti NetApp.

• Google Cloud Filestore adalah layanan penyimpanan file terkelola sepenuhnya yang memberikan performa tinggi dan akses latensi rendah ke data. Filestore adalah pilihan tepat untuk menyimpan data home storage yang sering diakses.
• NetApp Cloud Volumes Service adalah layanan penyimpanan file yang terkelola sepenuhnya yang menyediakan akses data berperforma tinggi dan latensi rendah. NetApp Cloud Volumes Service adalah pilihan tepat untuk menyimpan data home storage yang sering diakses.

Scratch Storage

Scratch storage biasanya digunakan untuk menyimpan file sementara, seperti hasil intermediate dan data output simulasi. Data ini dapat dibagikan atau tidak dibagikan ke berbagai node yang berbeda di lingkungan HPC. Scratch storage biasanya tidak persisten. Scratch storage biasanya dibuat di sistem penyimpanan berperforma lebih tinggi daripada home storage, seperti penyimpanan flash lokal atau Sistem File Paralel.

Di lingkungan HPC Google Cloud, scratch storage dapat disediakan oleh layanan Google seperti Persistent Disk, SSD Lokal, Cloud Filestore, atau Parallelstore atau oleh produk partner seperti NetApp, DDN EXAScaler, Sycomp, dan Weka.

• Persistent Disk Google Cloud adalah layanan block storage yang memberikan performa tinggi dan akses latensi rendah ke data. Persistent Disk dapat digunakan untuk membuat direktori scratch bagi setiap pengguna di cluster HPC.
• Google Cloud Local SSD adalah opsi penyimpanan SSD lokal yang tersedia di beberapa jenis mesin Compute Engine. Local SSD dapat digunakan untuk membuat direktori scratch bagi setiap pengguna di cluster HPC.
• Google Cloud Filestore adalah layanan penyimpanan file NFS terkelola sepenuhnya yang memberikan performa tinggi dan akses latensi rendah ke data. Filestore dapat digunakan untuk membuat direktori scratch bagi setiap pengguna pada cluster HPC.
• Google Cloud Parallelstore adalah sistem file paralel berperforma tinggi yang dioptimalkan untuk workload HPC. Parallelstore dapat digunakan untuk membuat direktori scratch bagi setiap pengguna di cluster HPC.
• NetApp Cloud Volumes Service adalah layanan penyimpanan file yang terkelola sepenuhnya yang menyediakan akses data berperforma tinggi dan latensi rendah. NetApp Cloud Volumes Service dapat digunakan untuk membuat direktori scratch bagi setiap pengguna di cluster HPC.
• DDN EXAScaler Cloud adalah sistem file paralel berperforma tinggi yang dioptimalkan untuk workload HPC. DDN EXAScaler Cloud dapat digunakan untuk membuat satu atau beberapa direktori scratch pada cluster HPC.
• Matriks WekaIO adalah sistem file paralel berperforma tinggi yang dioptimalkan untuk workload HPC. Matriks WekaIO dapat digunakan untuk membuat direktori scratch untuk setiap pengguna di cluster HPC.

Spot VM

Spot VM dapat menjadi cara hemat biaya untuk menjalankan workload CAE. Spot VM tersedia dengan harga diskon, tetapi dapat diberhentikan kapan saja dengan periode pemberitahuan singkat. Spot VM memberikan potongan harga hingga 91% dari biaya instance standar dan mendukung jenis fitur yang diinginkan pengguna HPC, termasuk GPU dan SSD Lokal. 

Jika alur kerja Anda dapat menoleransi kemungkinan terjadinya gangguan (preemption), kami menyarankan menguji model Spot jika aplikasi dapat berjalan dalam jangka waktu yang relatif singkat (<4 jam). Pelanggan mendapati bahwa penghematan biaya hingga 90% ternyata cukup signifikan untuk menoleransi gangguan kecil dibandingkan dengan on-demand.

Perlu diperhatikan bahwa jenis VM tertentu, seperti H3, tidak mendukung Spot.

AirShaper adalah platform aerodinamika online yang memungkinkan desainer dan teknisi untuk menjalankan simulasi aliran udara dengan cara yang sepenuhnya otomatis, sehingga pengguna yang tidak memiliki keahlian dalam aerodinamika dapat memperoleh hasil yang dapat diandalkan dan desain yang lebih baik.

AirShaper memigrasikan workload HPC Computational Fluid Dynamics (CFD) mereka ke kelompok VM C2D baru dari platform VM lama, sehingga menghemat waktu simulasi dan biaya per operasi workload dibandingkan dengan lingkungan cloud mereka sebelumnya, serta secara signifikan meningkatkan waktu untuk mendapatkan hasil dibandingkan dengan lingkungan lokal mereka.

“Di AirShaper, kami menawarkan simulasi CFD dengan biaya tetap. Core yang lebih banyak dan lebih cepat biasanya meningkatkan biaya secara keseluruhan, sebagian karena masalah penskalaan. Namun, dengan H3, kami dapat memangkas setengah waktu simulasi sekaligus mengurangi biaya secara keseluruhan."

- Wouter Remmerie, CEO, Airshaper

Altair adalah perusahaan teknologi global yang menyediakan software dan solusi cloud di bidang pengembangan produk, komputasi berperforma tinggi (HPC), dan analisis data. Perangkat lunak Altair digunakan oleh para insinyur, ilmuwan, dan analis data untuk memecahkan masalah kompleks di berbagai industri, termasuk otomotif, kedirgantaraan, manufaktur, dan energi.

Altair adalah partner Google Cloud, dan software-nya tersedia di Google Cloud. Software Altair dioptimalkan untuk Google Cloud dan dapat digunakan untuk memanfaatkan performa, skalabilitas, dan fleksibilitas Google Cloud. Altair berkomitmen untuk membantu pelanggan mencapai target HPC mereka dan menawarkan berbagai solusi software untuk HPC. Salah satunya adalah Radioss, alat analisis elemen terbatas. Altair mampu mendemonstrasikan peningkatan yang signifikan dalam runtime Radio berbasis cloud dengan VM H3 yang baru.

“Di Altair, kami sangat senang bahwa pengujian awal menunjukkan pengurangan runtime simulasi hingga 3x lipat untuk beban kerja Radioss yang berjalan di H3 versus C2. Runtime yang jauh lebih cepat di Google Cloud ini akan membantu meningkatkan produktivitas teknis bagi pelanggan kami.”

- Eric Lequiniou, Wakil Presiden Senior, Radioss Development dan Altair Solver

TotalCAE adalah penyedia solusi HPC terkelola yang terkemuka untuk aplikasi teknik dan sains. Solusi TotalCAE dirancang agar mudah digunakan dan membantu pelanggan mempercepat waktu mereka untuk mendapatkan hasil, mengurangi biaya, dan meningkatkan produktivitas. Solusi TotalCAE digunakan oleh pelanggan di seluruh dunia untuk memecahkan masalah saintifik dan teknik yang kompleks. Misalnya, solusi TotalCAE digunakan untuk mendesain dan membuat simulasi pesawat, mobil, dan kendaraan lainnya; untuk menganalisis kinerja bangunan dan jembatan; dan untuk mengembangkan obat dan terapi baru.

TotalCAE adalah partner Google Cloud dan produk ini mendukung operasi di Google Cloud. Solusi TotalCAE dioptimalkan untuk Google Cloud dan dapat digunakan untuk memanfaatkan performa, skalabilitas, dan fleksibilitas Google Cloud. Dengan menggunakan infrastruktur HPC Google Cloud, TotalCAE mampu menawarkan performa yang lebih baik kepada pelanggan dengan biaya yang lebih rendah. 

“Dengan instance H3 Google Cloud, kami mendapatkan peningkatan performa hingga 25% per core untuk workload CAE dengan biaya 50% lebih rendah daripada C2, sehingga TotalCAE dapat menawarkan nilai harga hingga 2,5x lebih tinggi kepada pelanggan, serta skalabilitas untuk workload CAE di Google Cloud.”

- Rodney Mach, CEO, TotalCAE