Bermigrasi ke Google Cloud: Transfer set data besar Anda

Last reviewed 2023-11-13 UTC

Bagi banyak pelanggan, langkah pertama dalam mengadopsi produk Google Cloud adalah memasukkan data mereka ke Google Cloud. Dokumen ini membahas proses tersebut, mulai dari merencanakan transfer data hingga menggunakan praktik terbaik dalam mengimplementasikan rencana.

Mentransfer set data besar melibatkan membangun tim yang tepat, perencanaan lebih awal, dan menguji rencana transfer Anda sebelum menerapkannya di lingkungan produksi. Meskipun langkah-langkah ini dapat memakan waktu yang sama dengan transfer itu sendiri, persiapan tersebut dapat membantu meminimalisasi gangguan pada operasi bisnis Anda selama transfer.

Dokumen ini adalah bagian dari rangkaian multi-bagian berikut tentang migrasi ke Google Cloud:

Apa itu transfer data?

Untuk tujuan dokumen ini, transfer data adalah proses memindahkan data tanpa mengubahnya, misalnya, memindahkan file seperti menjadi objek.

Transfer data tidak sesederhana kedengarannya

Transfer data mungkin terasa seperti satu sesi FTP raksasa, di mana Anda menempatkan file Anda di satu sisi dan menunggu hingga keluar di sisi yang lain. Namun, di sebagian besar lingkungan perusahaan, proses transfer melibatkan banyak faktor seperti berikut:

  • Menyusun rencana transfer yang memperhitungkan waktu administratif, termasuk waktu untuk memutuskan opsi transfer, mendapatkan persetujuan, dan menangani masalah yang tidak terduga.
  • Mengkoordinasikan orang-orang di organisasi Anda, seperti tim yang melakukan transfer, personel yang menyetujui alat dan arsitektur, serta pemangku kepentingan bisnis yang peduli dengan nilai dan gangguan yang dapat ditimbulkan dari pemindahan data.
  • Memilih alat transfer yang tepat berdasarkan sumber daya, biaya, waktu, dan pertimbangan proyek lainnya.
  • Mengatasi tantangan transfer data, termasuk masalah "kecepatan cahaya" (bandwidth tidak memadai), memindahkan set data yang sedang digunakan dengan aktif, melindungi dan memantau data saat dalam pengiriman, serta memastikan data berhasil ditransfer.

Dokumen ini bertujuan untuk membantu Anda memulai inisiatif transfer yang berhasil.

Daftar berikut mencakup resource untuk jenis project transfer data lain yang tidak dibahas dalam dokumen ini:

  • Jika Anda perlu mengubah data (seperti menggabungkan baris, menggabungkan set data, atau memfilter informasi identitas pribadi), Anda harus mempertimbangkan solusi ekstrak, transformasi, dan muat (ETL) yang dapat menyimpan data ke dalam data warehouse Google Cloud. Untuk mengetahui contoh arsitektur ini, lihat tutorial Dataflow ini.
  • Jika Anda perlu memigrasikan database dan aplikasi terkait (misalnya, untuk memigrasikan aplikasi database), lihat Migrasi database: Konsep dan prinsip.

Langkah 1: Mengumpulkan anggota tim

Merencanakan transfer biasanya memerlukan personel dengan peran dan tanggung jawab berikut:

  • Mengaktifkan resource yang diperlukan untuk transfer: Admin penyimpanan, IT, dan jaringan, sponsor eksekutif, dan penasihat lainnya (misalnya, tim Akun Google atau partner integrasi)
  • Menyetujui keputusan transfer: Pemilik atau gubernur data (untuk kebijakan internal tentang siapa yang diizinkan mentransfer data apa), penasihat hukum (untuk peraturan terkait data), dan administrator keamanan (untuk kebijakan internal tentang bagaimana akses data dilindungi)
  • Menjalankan transfer: Pimpinan tim, manajer project (untuk menjalankan dan melacak project), tim engineer, serta penerimaan dan pengiriman di tempat (untuk menerima hardware alat)

Sangat penting untuk mengidentifikasi orang yang memiliki tanggung jawab sebelumnya atas project transfer Anda dan menyertakannya dalam rapat perencanaan dan keputusan jika sesuai. Perencanaan organisasi yang buruk sering kali menjadi penyebab gagalnya inisiatif transfer.

Mengumpulkan persyaratan dan input project dari para pemangku kepentingan ini bisa menjadi tantangan, tetapi membuat perencanaan dan menetapkan peran dan tanggung jawab yang jelas akan membuahkan hasil. Anda tidak dapat diharapkan untuk mengetahui semua detail data Anda. Membentuk tim akan memberi Anda analisis yang lebih besar tentang kebutuhan bisnis. Ini merupakan praktik terbaik untuk mengidentifikasi potensi masalah sebelum Anda menginvestasikan waktu, uang, dan sumber daya untuk menyelesaikan transfer.

Langkah 2: Mengumpulkan persyaratan dan resource yang tersedia

Saat mendesain rencana transfer, sebaiknya kumpulkan persyaratan untuk transfer data terlebih dahulu, lalu tentukan opsi transfer. Untuk mengumpulkan persyaratan, Anda dapat menggunakan proses berikut:

  1. Identifikasi set data apa yang perlu Anda pindahkan.
    • Pilih alat seperti Data Catalog untuk mengatur data Anda ke dalam pengelompokan logis yang dipindahkan dan digunakan bersama.
    • Bekerja samalah dengan tim dalam organisasi Anda untuk memvalidasi atau memperbarui pengelompokan ini.
  2. Identifikasi set data yang dapat Anda pindahkan.
    • Pertimbangkan apakah peraturan, keamanan, atau faktor lain melarang transfer beberapa set data.
    • Jika Anda perlu mengubah beberapa data sebelum memindahkannya (misalnya, untuk menghapus data sensitif atau mengatur ulang data Anda), pertimbangkan untuk menggunakan produk integrasi data seperti Dataflow atau Cloud Data Fusion, atau produk orkestrasi alur kerja seperti Cloud Composer.
  3. Untuk set data yang dapat dipindahkan, tentukan tempat untuk mentransfer setiap set data.
    • Catat opsi penyimpanan yang dipilih untuk menyimpan data Anda. Biasanya, sistem penyimpanan target di Google Cloud adalah Cloud Storage. Meskipun Anda memerlukan solusi yang lebih kompleks setelah aplikasi aktif dan berjalan, Cloud Storage adalah opsi penyimpanan yang skalabel dan andal.
    • Pahami kebijakan akses data apa yang harus dipertahankan setelah migrasi.
    • Tentukan apakah Anda perlu menyimpan data ini di region tertentu.
    • Rencanakan cara membuat struktur data ini di tujuan. Misalnya, apakah akan sama dengan sumber atau berbeda?
    • Tentukan apakah Anda perlu mentransfer data secara berkelanjutan.
  4. Untuk set data yang dapat dipindahkan, tentukan resource apa saja yang tersedia untuk memindahkannya.
    • Waktu: Kapan transfer harus diselesaikan?
    • Biaya: Berapa anggaran yang tersedia untuk tim dan biaya transfer?
    • Orang: Siapa yang dapat menjalankan transfer?
    • Bandwidth (untuk transfer online): Berapa banyak bandwidth yang tersedia untuk Google Cloud yang dapat dialokasikan untuk transfer, dan untuk jangka waktu berapa?

Sebelum mengevaluasi dan memilih opsi transfer di fase perencanaan berikutnya, sebaiknya Anda menilai apakah ada bagian dari model IT Anda yang dapat ditingkatkan, seperti tata kelola data, organisasi, dan keamanan.

Model keamanan Anda

Banyak anggota tim transfer mungkin diberi peran baru di organisasi Google Cloud Anda sebagai bagian dari project transfer data Anda. Perencanaan transfer data adalah waktu yang tepat untuk meninjau izin Identity and Access Management (IAM) Anda dan praktik terbaik untuk menggunakan IAM dengan aman. Masalah ini dapat memengaruhi cara Anda memberikan akses ke penyimpanan Anda. Misalnya, Anda dapat menerapkan batasan ketat pada akses tulis ke data yang telah diarsipkan karena alasan peraturan, tetapi Anda dapat mengizinkan banyak pengguna dan aplikasi untuk menulis data ke lingkungan pengujian Anda.

Organisasi Google Cloud Anda

Cara Anda menyusun data di Google Cloud bergantung pada rencana Anda dalam menggunakan Google Cloud. Menyimpan data di project Google Cloud yang sama tempat Anda menjalankan aplikasi mungkin berfungsi, tetapi mungkin tidak optimal dari sudut pandang pengelolaan. Beberapa developer Anda mungkin tidak memiliki hak istimewa untuk melihat data produksi. Dalam hal ini, developer dapat mengembangkan kode pada data sampel, sementara akun layanan dengan hak istimewa dapat mengakses data produksi. Jadi, sebaiknya simpan seluruh set data produksi Anda dalam project Google Cloud yang terpisah, lalu gunakan akun layanan untuk mengizinkan akses ke data dari setiap project aplikasi.

Google Cloud diatur berdasarkan project. Project dapat dikelompokkan ke dalam folder, dan folder dapat dikelompokkan dalam organisasi Anda. Peran ditetapkan di level project dan izin akses ditambahkan ke peran ini pada level bucket Cloud Storage. Struktur ini selaras dengan struktur izin penyedia penyimpanan objek lainnya.

Untuk praktik terbaik dalam membuat struktur organisasi Google Cloud, lihat Menentukan hierarki resource untuk zona landing Google Cloud Anda.

Langkah 3: Mengevaluasi opsi transfer Anda

Untuk mengevaluasi opsi transfer data Anda, tim transfer perlu mempertimbangkan beberapa faktor, termasuk hal berikut:

  • Biaya
  • Waktu transfer
  • Opsi transfer offline versus online
  • Alat dan teknologi transfer
  • Keamanan

Biaya

Sebagian besar biaya yang terkait dengan transfer data mencakup:

  • Biaya jaringan
    • Ingress ke Cloud Storage tidak dikenai biaya. Namun, jika menghosting data di penyedia cloud publik, Anda mungkin akan dikenai biaya traffic keluar dan potensi biaya penyimpanan (misalnya, operasi baca) untuk mentransfer data Anda. Biaya ini berlaku untuk data yang berasal dari Google atau penyedia cloud lainnya.
    • Jika data dihosting di pusat data pribadi yang Anda operasikan, Anda mungkin juga dikenai biaya tambahan untuk menyiapkan bandwidth yang lebih besar ke Google Cloud.
  • Biaya penyimpanan dan operasi untuk Cloud Storage selama dan setelah transfer data
  • Biaya produk (misalnya, Transfer Appliance)
  • Biaya personel untuk membentuk tim Anda dan memperoleh dukungan logistik

Waktu transfer

Beberapa hal dalam komputasi menyoroti keterbatasan hardware jaringan seperti mentransfer data dalam jumlah besar. Idealnya, Anda dapat mentransfer 1 GB dalam delapan detik melalui jaringan 1 Gbps. Jika Anda menskalakannya ke set data yang sangat besar (misalnya, 100 TB), waktu transfernya adalah 12 hari. Mentransfer set data yang besar dapat menguji batas infrastruktur dan berpotensi menyebabkan masalah bagi bisnis Anda.

Anda dapat menggunakan kalkulator berikut untuk memahami berapa banyak waktu yang mungkin diperlukan untuk transfer, mengingat ukuran set data yang Anda pindahkan dan bandwidth yang tersedia untuk transfer tersebut. Persentase waktu manajemen tertentu dihitung dalam penghitungan. Selain itu, efisiensi bandwidth yang efektif juga disertakan, sehingga jumlah yang dihasilkan lebih realistis.

Anda mungkin tidak ingin mentransfer set data berukuran besar dari jaringan perusahaan selama jam kerja puncak. Jika transfer membebani jaringan, tidak ada orang lain yang akan bisa menyelesaikan pekerjaan yang diperlukan atau untuk misi yang penting. Oleh karena itu, tim transfer perlu mempertimbangkan faktor waktu.

Setelah data ditransfer ke Cloud Storage, Anda dapat menggunakan sejumlah teknologi untuk memproses file baru yang akan dikirim, seperti Dataflow.

Meningkatkan bandwidth jaringan

Cara Anda meningkatkan bandwidth jaringan bergantung pada cara Anda terhubung ke Google Cloud.

Dalam transfer cloud ke cloud antara Google Cloud dan penyedia cloud lainnya, Google akan menyediakan koneksi antara pusat data vendor cloud tanpa perlu penyiapan dari Anda.

Jika Anda mentransfer data antara pusat data pribadi dan Google Cloud, ada beberapa pendekatan, seperti:

  • Koneksi internet publik dengan menggunakan API publik
  • Peering Langsung dengan menggunakan API publik
  • Cloud Interconnect menggunakan API pribadi

Saat mengevaluasi pendekatan ini, sebaiknya pertimbangkan kebutuhan konektivitas jangka panjang Anda. Anda dapat menyimpulkan bahwa membeli bandwidth hanya untuk tujuan transfer tidak mahal, tetapi jika mempertimbangkan penggunaan Google Cloud dalam jangka panjang dan kebutuhan jaringan di seluruh organisasi, investasinya mungkin bermanfaat. Untuk mengetahui informasi selengkapnya tentang cara menghubungkan jaringan Anda ke Google Cloud, lihat Memilih produk Konektivitas Jaringan.

Jika Anda memilih pendekatan yang melibatkan transfer data melalui internet publik, sebaiknya hubungi administrator keamanan untuk mengetahui apakah kebijakan perusahaan Anda melarang transfer tersebut. Selain itu, periksa apakah koneksi internet publik digunakan untuk traffic produksi Anda atau tidak. Terakhir, pertimbangkan bahwa transfer data berskala besar dapat berdampak negatif pada performa jaringan produksi Anda.

Transfer online versus offline

Keputusan penting adalah apakah akan menggunakan proses offline atau online untuk transfer data Anda. Artinya, Anda harus memilih antara mentransfer melalui jaringan, baik itu Cloud Interconnect atau internet publik, atau transfer menggunakan hardware penyimpanan.

Untuk membantu keputusan ini, kami menyediakan kalkulator transfer untuk membantu Anda memperkirakan perbedaan waktu dan biaya antara kedua opsi ini. Diagram berikut juga menunjukkan beberapa kecepatan transfer untuk berbagai ukuran set data dan bandwidth. Sejumlah overhead pengelolaan dibangun ke dalam penghitungan ini.

Diagram yang menunjukkan hubungan antara ukuran transfer dan kecepatan transfer.

Seperti disebutkan sebelumnya, Anda mungkin perlu mempertimbangkan apakah biaya untuk mencapai latensi yang lebih rendah untuk transfer data (seperti memperoleh bandwidth jaringan) diimbangi dengan nilai investasi tersebut untuk organisasi Anda.

Opsi yang tersedia dari Google

Google menawarkan beberapa alat dan teknologi untuk membantu Anda melakukan transfer data.

Menentukan salah satu opsi transfer Google

Memilih opsi transfer bergantung pada kasus penggunaan Anda, seperti yang ditunjukkan dalam tabel berikut.

Dari mana Anda memindahkan data Skenario Produk yang disarankan
Penyedia cloud lain (misalnya, Amazon Web Services atau Microsoft Azure) untuk Google Cloud — Storage Transfer Service
Cloud Storage ke Cloud Storage (dua bucket berbeda) — Storage Transfer Service
Pusat data pribadi Anda ke Google Cloud Bandwidth yang cukup untuk memenuhi batas waktu proyek Anda Perintah gcloud storage
Pusat data pribadi Anda ke Google Cloud Bandwidth yang cukup untuk memenuhi batas waktu proyek Anda Storage Transfer Service untuk data lokal
Pusat data pribadi Anda ke Google Cloud Bandwidth tidak cukup untuk memenuhi batas waktu project Anda Transfer Appliance

Perintah gcloud storage untuk transfer data lokal yang lebih kecil

Perintah gcloud storage adalah alat standar untuk transfer berukuran kecil hingga sedang melalui jaringan skala perusahaan standar, dari pusat data pribadi atau dari penyedia cloud lain ke Google Cloud. Meskipun gcloud storage mendukung upload objek hingga ukuran objek Cloud Storage maksimum, transfer objek besar lebih cenderung mengalami kegagalan daripada transfer berdurasi singkat. Untuk mengetahui informasi selengkapnya tentang cara mentransfer objek besar ke Cloud Storage, lihat Storage Transfer Service untuk transfer data lokal berukuran besar.

Perintah gcloud storage sangat berguna dalam skenario berikut:

  • Transfer Anda harus dijalankan sesuai kebutuhan, atau selama sesi command line oleh pengguna.
  • Anda hanya mentransfer sedikit file, atau file yang sangat besar, atau keduanya.
  • Anda memakai output program (output streaming ke Cloud Storage).
  • Anda harus mengamati direktori yang memiliki jumlah file sedang dan menyinkronkan semua pembaruan dengan latensi yang sangat rendah.

Storage Transfer Service untuk transfer data lokal dalam jumlah besar

Seperti perintah gcloud storage, Storage Transfer Service for On Premises Data memungkinkan transfer dari penyimpanan sistem file jaringan (NFS) ke Cloud Storage. Storage Transfer Service for On Premises Data didesain untuk transfer berskala besar (hingga petabyte data, miliaran file). Fitur ini mendukung salinan lengkap atau salinan inkremental, dan berfungsi pada semua opsi transfer yang tercantum sebelumnya dalam Menentukan di antara opsi transfer Google. Android juga memiliki antarmuka pengguna grafis yang terkelola; bahkan pengguna yang tidak memahami teknis (setelah penyiapan) pun dapat menggunakannya untuk memindahkan data.

Storage Transfer Service for On Premises Data sangat berguna dalam skenario berikut:

  • Anda memiliki bandwidth yang cukup untuk memindahkan volume data (lihat Kalkulator Transfer Data Google Cloud).
  • Anda mendukung banyak pengguna internal yang mungkin menganggap alat command line sulit digunakan.
  • Anda memerlukan pelaporan error yang andal dan catatan semua file dan objek yang dipindahkan.
  • Anda perlu membatasi dampak transfer pada workload lain di pusat data Anda (produk ini dapat tetap di bawah batas bandwidth yang ditentukan pengguna).
  • Anda ingin menjalankan transfer berulang sesuai jadwal.

Siapkan Storage Transfer Service for On Premises Data dengan menginstal software lokal (dikenal sebagai agen) ke komputer di pusat data Anda.

Setelah menyiapkan Storage Transfer Service, Anda dapat memulai transfer di Konsol Google Cloud dengan menyediakan direktori sumber, bucket tujuan, dan waktu atau jadwal. Storage Transfer Service secara rekursif meng-crawl subdirektori dan file di direktori sumber dan membuat objek dengan nama yang sesuai di Cloud Storage (objek /dir/foo/file.txt menjadi objek dalam bucket tujuan bernama /dir/foo/file.txt ). Storage Transfer Service akan otomatis mencoba kembali transfer saat mengalami error sementara. Selama transfer berjalan, Anda dapat memantau jumlah file yang dipindahkan dan kecepatan transfer secara keseluruhan, serta melihat contoh error.

Setelah menyelesaikan transfer, Storage Transfer Service akan menghasilkan file tab delimited (TSV) dengan catatan lengkap berisi semua file yang disentuh dan pesan error yang diterima. Agen fault-tolerant. Jadi, jika agen tidak aktif, transfer akan dilanjutkan dengan agen yang tersisa. Agen juga melakukan update dan pemulihan mandiri, sehingga Anda tidak perlu men-patch versi terbaru atau memulai ulang proses jika tidak dapat bekerja karena masalah yang tidak terduga.

Hal-hal yang perlu dipertimbangkan saat menggunakan Storage Transfer Service:

  • Gunakan penyiapan agen yang sama di setiap mesin. Semua agen harus melihat Network File System (NFS) yang sama terpasang dengan cara yang sama (jalur relatif yang sama). Penyiapan ini merupakan persyaratan agar produk dapat berfungsi.
  • Semakin banyak agen yang digunakan, maka semakin cepat. Karena transfer otomatis diparalelkan di semua agen, sebaiknya Anda men-deploy banyak agen sehingga Anda menggunakan bandwidth yang tersedia.
  • Batas bandwidth dapat melindungi workload Anda. Workload Anda yang lain mungkin menggunakan bandwidth pusat data Anda, jadi tetapkan batas bandwidth untuk mencegah transfer memengaruhi SLA Anda.
  • Merencanakan waktu untuk meninjau error. Transfer berukuran besar sering kali dapat mengakibatkan error yang perlu ditinjau. Dengan Storage Transfer Service, Anda dapat melihat contoh error yang ditemukan langsung di Konsol Google Cloud. Jika diperlukan, Anda dapat memuat data lengkap semua error transfer ke BigQuery untuk memeriksa file atau mengevaluasi error yang tetap ada bahkan setelah percobaan ulang. Error ini mungkin disebabkan oleh berjalannya aplikasi yang menulis ke sumber saat transfer terjadi, atau error mungkin menyebabkan masalah yang memerlukan pemecahan masalah (misalnya, error izin).
  • Siapkan Cloud Monitoring untuk transfer yang berjalan lama. Storage Transfer Service memungkinkan Monitoring memantau kondisi dan throughput agen, sehingga Anda dapat menyetel pemberitahuan yang akan memberi tahu Anda saat agen sedang tidak aktif atau perlu diperhatikan. Tindak lanjut terhadap kegagalan agen sangat penting untuk transfer yang memerlukan waktu beberapa hari atau minggu, sehingga Anda dapat menghindari perlambatan atau gangguan signifikan yang dapat menunda linimasa project Anda.

Transfer Appliance untuk transfer yang lebih besar

Untuk transfer berskala besar (terutama transfer dengan bandwidth jaringan terbatas), Transfer Appliance adalah opsi yang sangat tepat, terutama jika koneksi jaringan yang cepat tidak tersedia dan terlalu mahal untuk mendapatkan lebih banyak bandwidth.

Transfer Appliance sangat berguna dalam skenario berikut:

  • Pusat data Anda berada di lokasi terpencil dengan akses terbatas atau tanpa akses ke bandwidth.
  • Bandwidth tersedia, tetapi tidak dapat diperoleh tepat waktu untuk memenuhi batas waktu Anda.
  • Anda memiliki akses ke resource logistik untuk menerima dan menghubungkan peralatan ke jaringan Anda.

Dengan opsi ini, pertimbangkan hal berikut:

  • Transfer Appliance mengharuskan Anda dapat menerima dan mengirim kembali hardware milik Google.
  • Bergantung pada koneksi internet Anda, latensi untuk mentransfer data ke Google Cloud biasanya lebih tinggi dengan Transfer Appliance daripada online.
  • Transfer Appliance hanya tersedia di negara tertentu.

Dua kriteria utama yang perlu dipertimbangkan dengan Transfer Appliance adalah biaya dan kecepatan. Dengan konektivitas jaringan yang wajar (misalnya, 1 Gbps), proses transfer 100 TB data secara online memerlukan waktu lebih dari 10 hari. Jika tarif ini dapat diterima, transfer online kemungkinan merupakan solusi yang baik untuk kebutuhan Anda. Jika Anda hanya memiliki koneksi 100 Mbps (atau lebih buruk dari lokasi jarak jauh), transfer yang sama memerlukan waktu lebih dari 100 hari. Pada tahap ini, sebaiknya pertimbangkan opsi transfer offline seperti Transfer Appliance.

Mendapatkan Transfer Appliance sangat mudah. Di Konsol Google Cloud, Anda meminta Transfer Appliance, menunjukkan jumlah data yang Anda miliki, lalu Google mengirimkan satu atau beberapa peralatan ke lokasi yang Anda minta. Anda diberi waktu untuk mentransfer data ke perangkat ("pengambilan data") dan mengirimkannya kembali ke Google.

Storage Transfer Service untuk transfer cloud-ke-cloud

Storage Transfer Service adalah layanan yang sangat skalabel dan terkelola sepenuhnya untuk mengotomatiskan transfer dari cloud publik lainnya ke Cloud Storage. Misalnya, Anda dapat menggunakan Storage Transfer Service untuk mentransfer data dari Amazon S3 ke Cloud Storage.

Untuk HTTP, Anda dapat memberi Storage Transfer Service daftar URL publik dalam format tertentu. Pendekatan ini mengharuskan Anda menulis skrip yang menyediakan ukuran setiap file dalam byte, bersama dengan hash MD5 berenkode Base64 untuk konten file. Terkadang ukuran file dan hash tersedia dari situs sumber. Jika tidak, Anda memerlukan akses lokal ke file. Dalam hal ini, akan lebih mudah untuk menggunakan perintah gcloud storage, seperti yang dijelaskan sebelumnya.

Jika Anda menerapkan transfer, Storage Transfer Service adalah cara yang tepat untuk mendapatkan data dan mempertahankannya, terutama saat mentransfer dari cloud publik lainnya.

Jika ingin memindahkan data dari cloud lain yang tidak didukung oleh Storage Transfer Service, Anda dapat menggunakan perintah gcloud storage dari instance virtual machine yang dihosting di cloud.

Keamanan

Bagi banyak pengguna Google Cloud, keamanan adalah fokus utama mereka, dan ada berbagai tingkat keamanan yang tersedia. Beberapa aspek keamanan yang perlu dipertimbangkan meliputi perlindungan data dalam penyimpanan (otorisasi dan akses ke sistem penyimpanan sumber dan tujuan), perlindungan data saat dalam pengiriman, dan perlindungan akses ke produk transfer. Tabel berikut menguraikan aspek keamanan berdasarkan produk ini.

Produk Data dalam penyimpanan Data dalam pengiriman Akses ke produk transfer
Transfer Appliance Semua data dienkripsi saat dalam penyimpanan. Data dilindungi dengan kunci yang dikelola oleh pelanggan. Siapa pun dapat memesan peralatan, tetapi untuk menggunakannya, mereka memerlukan akses ke sumber data.
gcloud storage perintah Kunci akses yang diperlukan untuk mengakses Cloud Storage, yang dienkripsi saat dalam penyimpanan. Data dikirim melalui HTTPS dan dienkripsi saat dalam pengiriman. Siapa pun dapat mendownload dan menjalankan Google Cloud CLI. Modul tersebut harus memiliki izin ke bucket dan file lokal agar dapat memindahkan data.
Storage Transfer Service untuk data lokal Kunci akses yang diperlukan untuk mengakses Cloud Storage, yang dienkripsi saat dalam penyimpanan. Proses agen dapat mengakses file lokal sesuai dengan izin OS. Data dikirim melalui HTTPS dan dienkripsi saat dalam pengiriman. Anda harus memiliki izin editor objek untuk mengakses bucket Cloud Storage.
Storage Transfer Service Kunci akses yang diperlukan untuk resource non-Google Cloud (misalnya, Amazon S3). Kunci akses diperlukan untuk mengakses Cloud Storage, yang dienkripsi saat dalam penyimpanan. Data dikirim melalui HTTPS dan dienkripsi saat dalam pengiriman. Anda harus memiliki izin IAM untuk akun layanan agar dapat mengakses izin sumber dan editor objek untuk setiap bucket Cloud Storage.

Untuk mencapai peningkatan keamanan dasar, transfer online ke Google Cloud menggunakan perintah gcloud storage dilakukan melalui HTTPS, data dienkripsi saat dalam pengiriman, dan semua data di Cloud Storage, secara default, dienkripsi dalam penyimpanan. Jika Anda menggunakan Transfer Appliance, kunci keamanan yang Anda kontrol dapat membantu melindungi data Anda. Secara umum, sebaiknya libatkan tim keamanan Anda untuk memastikan bahwa rencana transfer Anda memenuhi persyaratan perusahaan dan peraturan.

Produk transfer pihak ketiga

Untuk pengoptimalan tingkat jaringan lanjutan atau alur kerja transfer data berkelanjutan, Anda dapat menggunakan alat yang lebih canggih. Untuk mengetahui informasi tentang alat yang lebih canggih, lihat partner Google Cloud.

Langkah 4: Mengevaluasi pendekatan migrasi data

Saat memigrasikan data, Anda dapat mengikuti langkah-langkah umum berikut:

  1. Transfer data dari situs lama ke situs baru.
  2. Selesaikan setiap masalah integrasi data yang muncul—misalnya, menyinkronkan data yang sama dari beberapa sumber.
  3. Validasi migrasi data.
  4. Promosikan situs baru menjadi salinan utama.
  5. Jika Anda tidak lagi memerlukan situs lama sebagai opsi penggantian, hentikan penggunaan situs tersebut.

Anda harus mendasarkan pendekatan migrasi data Anda pada pertanyaan-pertanyaan berikut:

  • Berapa banyak data yang Anda perlu migrasikan?
  • Seberapa sering data ini berubah?
  • Dapatkah Anda membayar periode nonaktif yang diwakili oleh periode migrasi sistem saat memigrasikan data?
  • Apa model konsistensi data Anda saat ini?

Tidak ada pendekatan terbaik; memilih satu bergantung pada lingkungan dan kebutuhan Anda.

Bagian berikut menyajikan empat pendekatan migrasi data:

  • Pemeliharaan terjadwal
  • Replikasi berkelanjutan
  • Y (menulis dan membaca)
  • Microservice akses data

Setiap pendekatan menangani masalah yang berbeda, bergantung pada skala dan persyaratan migrasi data.

Pendekatan microservice akses data adalah opsi pilihan dalam arsitektur microservice. Namun, pendekatan lain berguna untuk migrasi data. Arsitektur ini juga berguna selama periode transisi yang diperlukan untuk memodernisasi infrastruktur Anda agar dapat menggunakan pendekatan microservice akses data.

Grafik berikut menguraikan masing-masing ukuran periode migrasi sistem, upaya pemfaktoran ulang, dan properti fleksibilitas dari setiap pendekatan ini.

Grafik batang dengan setiap batang yang menunjukkan nilai relatif untuk fleksibilitas, upaya pemfaktoran ulang, dan ukuran periode migrasi sistem untuk masing-masing dari 4 pendekatan

Sebelum mengikuti salah satu pendekatan ini, pastikan Anda telah menyiapkan infrastruktur yang diperlukan di lingkungan baru.

Pemeliharaan terjadwal

Pendekatan pemeliharaan terjadwal sangat ideal jika workload Anda mampu menyediakan periode migrasi sistem. Ini dijadwalkan dalam artian Anda dapat merencanakan kapan periode migrasi sistem terjadi.

Dalam pendekatan ini, migrasi Anda terdiri dari langkah-langkah berikut:

  1. Salin data yang ada di situs lama ke situs baru. Salinan awal ini meminimalkan periode migrasi sistem; setelah salinan awal ini, Anda hanya perlu menyalin data yang telah berubah selama periode ini.
  2. Lakukan validasi data dan pemeriksaan konsistensi untuk membandingkan data di situs lama dengan data yang disalin di situs baru.
  3. Hentikan workload dan layanan yang memiliki akses tulis ke data yang disalin, sehingga tidak ada perubahan lebih lanjut.
  4. Menyinkronkan perubahan yang terjadi setelah penyalinan awal.
  5. Faktorkan ulang workload dan layanan untuk menggunakan situs baru.
  6. Mulai workload dan layanan Anda.
  7. Jika Anda tidak lagi memerlukan situs lama sebagai opsi penggantian, hentikan penggunaan situs tersebut.

Pendekatan pemeliharaan terjadwal menempatkan sebagian besar beban pada sisi operasi, karena diperlukan pemfaktoran ulang workload dan layanan yang minimal.

Replikasi berkelanjutan

Karena tidak semua workload dapat menyediakan periode migrasi sistem yang panjang, Anda dapat membuat pendekatan pemeliharaan terjadwal dengan menyediakan mekanisme replikasi berkelanjutan setelah langkah penyalinan dan validasi awal. Saat merancang mekanisme seperti ini, Anda juga harus memperhitungkan laju perubahan yang diterapkan pada data; mungkin sulit untuk menjaga dua sistem agar tetap sinkron.

Pendekatan replikasi berkelanjutan lebih kompleks daripada pendekatan pemeliharaan terjadwal. Namun, pendekatan replikasi berkelanjutan meminimalkan waktu untuk periode migrasi sistem yang diperlukan, karena meminimalkan jumlah data yang perlu Anda sinkronkan. Urutan untuk migrasi replikasi berkelanjutan adalah sebagai berikut:

  1. Salin data yang ada di situs lama ke situs baru. Salinan awal ini meminimalkan periode migrasi sistem; setelah salinan awal ini, Anda hanya perlu menyalin data yang telah berubah selama periode ini.
  2. Lakukan validasi data dan pemeriksaan konsistensi untuk membandingkan data di situs lama dengan data yang disalin di situs baru.
  3. Siapkan mekanisme replikasi berkelanjutan dari situs lama ke situs baru.
  4. Hentikan workload dan layanan yang memiliki akses ke data untuk dimigrasikan (yaitu, ke data yang terkait pada langkah sebelumnya).
  5. Faktorkan ulang workload dan layanan untuk menggunakan situs baru.
  6. Tunggu hingga replikasi menyinkronkan sepenuhnya situs baru dengan situs lama.
  7. Mulai workload dan layanan Anda.
  8. Jika Anda tidak lagi memerlukan situs lama sebagai opsi penggantian, hentikan penggunaan situs tersebut.

Seperti pendekatan pemeliharaan terjadwal, pendekatan replikasi berkelanjutan menempatkan sebagian besar beban pada sisi operasi.

Y (menulis dan membaca)

Jika workload Anda memiliki persyaratan ketersediaan tinggi yang ketat dan Anda tidak dapat menunggu periode nonaktif yang diwakili oleh periode migrasi sistem, Anda perlu melakukan pendekatan yang berbeda. Untuk skenario ini, Anda dapat menggunakan pendekatan yang dalam dokumen ini disebut sebagai Y (menulis dan membaca), yang merupakan bentuk migrasi paralel. Dengan pendekatan ini, workload menulis dan membaca data di situs lama dan situs baru selama migrasi. (Huruf Y digunakan di sini sebagai representasi grafis dari aliran data selama periode migrasi.)

Pendekatan ini diringkas sebagai berikut:

  1. Faktorkan ulang workload dan layanan untuk menulis data ke situs lama dan ke situs baru serta untuk membaca dari situs lama.
  2. Identifikasi data yang ditulis sebelum Anda mengaktifkan penulisan di situs baru dan salin dari situs lama ke situs baru tersebut. Bersama dengan pemfaktoran ulang sebelumnya, ini memastikan bahwa penyimpanan data selaras.
  3. Lakukan validasi data dan pemeriksaan konsistensi yang membandingkan data di situs lama dengan data di situs baru.
  4. Alihkan operasi baca dari situs lama ke situs baru.
  5. Lakukan putaran validasi data dan pemeriksaan konsistensi lagi untuk membandingkan data di situs lama dengan situs baru.
  6. Nonaktifkan penulisan di situs lama.
  7. Jika Anda tidak lagi memerlukan situs lama sebagai opsi penggantian, hentikan penggunaan situs tersebut.

Tidak seperti pendekatan pemeliharaan terjadwal dan replikasi berkelanjutan, pendekatan Y (menulis dan membaca) mengalihkan sebagian besar upaya dari sisi operasi ke sisi pengembangan karena beberapa pemfaktoran ulang.

Microservice akses data

Jika ingin mengurangi upaya pemfaktoran ulang yang diperlukan untuk mengikuti pendekatan Y (menulis dan membaca), Anda dapat memusatkan operasi baca dan tulis data dengan pemfaktoran ulang workload dan layanan untuk menggunakan microservice akses data. Microservice yang skalabel ini menjadi satu-satunya titik masuk ke lapisan penyimpanan data Anda dan berfungsi sebagai proxy untuk lapisan tersebut. Dari pendekatan yang dibahas di sini, Anda mendapatkan fleksibilitas maksimum karena Anda dapat memfaktorkan ulang komponen ini tanpa memengaruhi komponen arsitektur lainnya dan tanpa memerlukan periode migrasi sistem.

Menggunakan microservice akses data sangat mirip dengan pendekatan Y (menulis dan membaca). Perbedaannya adalah upaya pemfaktoran ulang berfokus hanya pada microservice akses data, dan tidak harus memfaktorkan ulang semua workload dan layanan yang mengakses lapisan penyimpanan data. Pendekatan ini diringkas sebagai berikut:

  1. Faktorkan ulang microservice akses data untuk menulis data di situs lama dan di situs baru. Operasi baca dilakukan terhadap situs lama.
  2. Identifikasi data yang ditulis sebelum Anda mengaktifkan penulisan di situs baru dan salin dari situs lama ke situs baru tersebut. Bersama dengan pemfaktoran ulang sebelumnya, ini memastikan bahwa penyimpanan data selaras.
  3. Lakukan validasi data dan pemeriksaan konsistensi yang membandingkan data di situs lama dengan data di situs baru.
  4. Faktorkan ulang microservice akses data untuk membaca dari situs baru.
  5. Lakukan putaran validasi data dan pemeriksaan konsistensi lagi dengan membandingkan data di situs lama dengan data di situs baru.
  6. Faktorkan ulang microservice akses data untuk hanya menulis di situs baru.
  7. Jika Anda tidak lagi memerlukan situs lama sebagai opsi penggantian, hentikan penggunaan situs tersebut.

Seperti pendekatan Y (menulis dan membaca), pendekatan microservice akses data menempatkan sebagian besar beban pada sisi pengembangan. Namun, pendekatan ini jauh lebih ringan dibandingkan dengan pendekatan Y (menulis dan membaca), karena upaya pemfaktoran ulang difokuskan pada microservice akses data.

Langkah 5: Mempersiapkan transfer Anda

Untuk transfer besar, atau transfer dengan dependensi yang signifikan, penting untuk memahami cara mengoperasikan produk transfer Anda. Pelanggan biasanya melalui langkah-langkah berikut:

  1. Penetapan harga dan estimasi ROI. Langkah ini memberikan banyak pilihan untuk membantu pengambilan keputusan.

  2. Pengujian fungsional. Pada langkah ini, Anda harus mengonfirmasi bahwa produk telah berhasil disiapkan dan bahwa konektivitas jaringan (jika berlaku) berfungsi. Anda juga menguji apakah Anda dapat memindahkan sampel perwakilan data (termasuk langkah-langkah non-transfer yang menyertai, seperti memindahkan instance VM) ke tujuan.

    Anda biasanya dapat melakukan langkah ini sebelum mengalokasikan semua resource seperti mesin transfer atau bandwidth. Tujuan dari langkah ini meliputi:

    • Konfirmasi bahwa Anda dapat menginstal dan mengoperasikan transfer.
    • Tunjukkan potensi masalah penghentian project yang menghambat perpindahan data (misalnya, rute jaringan) atau operasi Anda (misalnya, pelatihan yang diperlukan pada langkah non-transfer).

  3. Pengujian performa. Pada langkah ini, Anda menjalankan transfer pada sampel data yang besar (biasanya 3–5%) setelah resource produksi dialokasikan untuk melakukan hal berikut:

    • Pastikan Anda dapat menggunakan semua resource yang dialokasikan dan dapat mencapai kecepatan yang diharapkan.
    • Memunculkan dan memperbaiki bottleneck (misalnya, sistem penyimpanan sumber lambat).

Langkah 6: Memastikan integritas transfer Anda

Untuk membantu memastikan integritas data Anda selama transfer, sebaiknya lakukan tindakan pencegahan berikut:

  • Aktifkan pembuatan versi dan pencadangan di tujuan Anda untuk membatasi kerusakan karena penghapusan yang tidak disengaja.
  • Validasi data Anda sebelum menghapus data sumber.

Untuk transfer data berskala besar (dengan data berukuran petabyte dan miliaran file), tingkat error laten dasar pengukuran sistem penyimpanan sumber yang mendasarinya hingga serendah 0,0001% tetap mengakibatkan hilangnya data bagi ribuan file dan Gigabyte. Biasanya, aplikasi yang berjalan pada sumber sudah toleran terhadap error ini, sehingga validasi tambahan tidak diperlukan. Dalam beberapa skenario luar biasa (misalnya, arsip jangka panjang), validasi lebih lanjut diperlukan sebelum menghapus data dari sumber dianggap aman.

Bergantung pada persyaratan aplikasi Anda, sebaiknya jalankan beberapa pengujian integritas data setelah transfer selesai untuk memastikan bahwa aplikasi terus berfungsi sebagaimana mestinya. Banyak produk transfer memiliki pemeriksaan integritas data bawaan. Namun, bergantung pada profil risiko, Anda mungkin ingin melakukan serangkaian pemeriksaan tambahan pada data dan aplikasi yang membaca data tersebut sebelum menghapus data dari sumber. Misalnya, Anda mungkin ingin mengonfirmasi apakah checksum yang Anda rekam dan hitung secara independen cocok dengan data yang ditulis di tujuan, atau mengonfirmasi bahwa set data yang digunakan oleh aplikasi berhasil ditransfer.

Langkah selanjutnya