Dokumen ini membahas bahwa tujuan pola hybrid dan multicloud analisis adalah untuk memanfaatkan pemisahan antara beban kerja transaksional dan analisis.
Dalam sistem perusahaan, sebagian besar workload termasuk dalam kategori berikut:
- Workload transaksional mencakup aplikasi interaktif seperti penjualan, pemrosesan keuangan, perencanaan sumber daya perusahaan, atau komunikasi.
- Workload analytics mencakup aplikasi yang mengubah, menganalisis, meningkatkan kualitas, atau memvisualisasikan data untuk membantu proses pengambilan keputusan.
Sistem analisis mendapatkan datanya dari sistem transaksional dengan membuat kueri API atau mengakses database. Di sebagian besar perusahaan, sistem analytics dan transaksi cenderung dipisahkan dan dikaitkan secara longgar. Tujuan pola multi-cloud dan hybrid analytics adalah untuk memanfaatkan pemisahan yang sudah ada ini dengan menjalankan beban kerja transaksional dan analisis di dua lingkungan komputasi yang berbeda. Data mentah diekstraksi terlebih dahulu dari workload yang berjalan di lingkungan komputasi pribadi, lalu dimuat ke Google Cloud, tempat data tersebut digunakan untuk pemrosesan analisis. Beberapa hasilnya mungkin dimasukkan kembali ke sistem transaksional.
Diagram berikut mengilustrasikan arsitektur yang mungkin secara konseptual dengan menampilkan potensi pipeline data. Setiap jalur/panah mewakili kemungkinan opsi pipeline transformasi dan pemindahan data yang dapat didasarkan pada ETL atau ELT, bergantung pada kualitas data yang tersedia dan kasus penggunaan yang ditargetkan.
Untuk memindahkan data Anda ke Google Cloud dan mengoptimalkan manfaat dari data tersebut, gunakan layanan pergerakan data, rangkaian lengkap layanan penyerapan, integrasi, dan replikasi data.
Seperti yang ditunjukkan pada diagram sebelumnya, menghubungkan Google Cloud dengan lingkungan lokal dan lingkungan cloud lainnya dapat memungkinkan berbagai kasus penggunaan analisis data, seperti streaming data dan pencadangan database. Untuk mendukung transpor dasar pola analisis hybrid dan multi-cloud yang memerlukan volume transfer data yang tinggi, Cloud Interconnect dan Cross-Cloud Interconnect menyediakan konektivitas khusus ke penyedia cloud lokal dan lainnya.
Kelebihan
Menjalankan workload analytics di cloud memiliki beberapa keuntungan utama:
- Traffic masuk—memindahkan data dari lingkungan komputasi pribadi Anda atau cloud lain ke Google Cloud—mungkin tidak dikenai biaya.
- Workload analisis sering kali perlu memproses data dalam jumlah besar dan dapat mengalami bursting, sehingga sangat cocok untuk di-deploy di lingkungan cloud publik. Dengan menskalakan resource komputasi secara dinamis, Anda dapat memproses set data besar dengan cepat sambil menghindari investasi di muka atau menyediakan peralatan komputasi secara berlebihan.
- Google Cloud menyediakan berbagai layanan untuk mengelola data
di sepanjang siklus prosesnya, mulai dari akuisisi awal hingga
pemrosesan dan analisis hingga visualisasi akhir.
- Layanan pemindahan data di Google Cloud menyediakan rangkaian lengkap produk untuk memindahkan, mengintegrasikan, dan mengubah data dengan lancar dengan berbagai cara.
- Cloud Storage sangat cocok untuk mem-build data lake.
Google Cloud membantu Anda memodernisasi dan mengoptimalkan platform data untuk memecah silo data. Penggunaan data lakehouse membantu menstandarkan berbagai format penyimpanan. Lakehouse data juga dapat memberikan fleksibilitas, skalabilitas, dan ketangkasan yang diperlukan untuk membantu memastikan bahwa data Anda menghasilkan nilai bagi bisnis Anda, bukan inefisiensi. Untuk mengetahui informasi selengkapnya, lihat BigLake.
BigQuery Omni, menyediakan daya komputasi yang berjalan secara lokal ke penyimpanan di AWS atau Azure. Tindakan ini juga membantu Anda membuat kueri data Anda sendiri yang disimpan di Amazon Simple Storage Service (Amazon S3) atau Azure Blob Storage. Kemampuan analisis multicloud ini memungkinkan tim data mengurai silo data. Untuk informasi selengkapnya tentang cara membuat kueri data yang disimpan di luar BigQuery, lihat Pengantar sumber data eksternal.
Praktik terbaik
Untuk menerapkan pola arsitektur hybrid dan multi-cloud analisis, pertimbangkan praktik terbaik umum berikut:
- Gunakan pola jaringan handover untuk memungkinkan penyerapan data. Jika hasil analisis perlu dimasukkan kembali ke sistem transaksional, Anda dapat menggabungkan pola traffic keluar dengan akses terbatas dan handover.
- Gunakan antrean Pub/Sub atau bucket Cloud Storage untuk menyerahkan data ke Google Cloud dari sistem transaksional yang berjalan di lingkungan komputasi pribadi Anda. Antrean atau bucket ini dapat berfungsi sebagai sumber untuk pipeline dan workload pemrosesan data.
- Untuk men-deploy pipeline data ETL dan ELT, pertimbangkan untuk menggunakan Cloud Data Fusion atau Dataflow bergantung pada persyaratan kasus penggunaan spesifik Anda. Keduanya adalah layanan pemrosesan data berbasis cloud dan terkelola sepenuhnya untuk membuat dan mengelola pipeline data.
- Untuk menemukan, mengklasifikasikan, dan melindungi aset data berharga Anda, pertimbangkan untuk menggunakan kemampuan Perlindungan Data Sensitif Google Cloud, seperti teknik de-identifikasi. Teknik ini memungkinkan Anda menyamarkan, mengenkripsi, dan mengganti data sensitif—seperti informasi identitas pribadi (PII)—menggunakan kunci yang dihasilkan secara acak atau ditentukan sebelumnya, jika berlaku dan mematuhi kebijakan.
- Jika Anda sudah memiliki workload Hadoop atau Spark, pertimbangkan untuk memigrasikan tugas ke Dataproc dan memigrasikan data HDFS yang ada ke Cloud Storage.
Saat melakukan transfer data awal dari lingkungan komputasi pribadi Anda ke Google Cloud, pilih pendekatan transfer yang paling sesuai dengan ukuran set data dan bandwidth yang tersedia. Untuk informasi selengkapnya, lihat Migrasi ke Google Cloud: Mentransfer set data besar.
Jika transfer atau pertukaran data antara Google Cloud dan cloud lainnya diperlukan untuk jangka panjang dengan volume traffic tinggi, Anda harus mengevaluasi penggunaan Cross-Cloud Interconnect Google Cloud untuk membantu Anda membangun konektivitas khusus bandwidth tinggi antara Google Cloud dan penyedia layanan cloud lainnya (tersedia di lokasi tertentu).
Jika enkripsi diperlukan di lapisan konektivitas, berbagai opsi tersedia berdasarkan solusi konektivitas hybrid yang dipilih. Opsi ini mencakup tunnel VPN, VPN dengan ketersediaan tinggi (HA) melalui Cloud Interconnect, dan MACsec untuk Cross-Cloud Interconnect.
Gunakan alat dan proses yang konsisten di seluruh lingkungan. Dalam skenario hybrid analisis, praktik ini dapat membantu meningkatkan efisiensi operasional, meskipun bukan prasyarat.