Alur proses ELT memanfaatkan kekuatan dan skalabilitas platform pemrosesan dan penyimpanan data modern. Mari kita bahas setiap komponennya:

• Ekstraksi: Langkah awal ini mencakup pengumpulan data mentah dari sumber aslinya. Sumber ini dapat sangat beragam, termasuk database (SQL dan NoSQL), aplikasi perusahaan (seperti CRM dan ERP), platform SaaS, API, dan file log. Proses ekstraksi berfokus pada pengambilan data dari sistem ini secara efisien.
• Pemuatan: Pada langkah kedua, data mentah yang diekstrak dimuat, biasanya dalam format aslinya atau dengan pemrosesan minimal, langsung ke sistem penyimpanan berkapasitas tinggi. Target umum untuk data mentah ini adalah data lake cloud atau data warehouse cloud modern yang dapat menangani data terstruktur, semi-terstruktur, dan tidak terstruktur dalam volume besar.
• Transformasi: Langkah terakhir ini terjadi setelah data disimpan dengan aman di sistem target. Dengan menggunakan kemampuan komputasi data warehouse atau data lake, data mentah dibersihkan, distrukturkan, diperkaya, dan dikonversi ke format yang sesuai untuk analisis, pelaporan, dan machine learning. Transformasi dapat mencakup pemfilteran, penggabungan, pengompakan, standarisasi format, dan penarikan poin data baru.

Proses ELT menawarkan fleksibilitas karena transformasi tidak diperbaiki sebelum dimuat. Data scientist, misalnya, dapat mengakses data mentah untuk mengeksplorasi pola yang tidak terduga atau melakukan analisis ad-hoc, sementara tim business intelligence dapat membuat set data yang diseleksi dan diubah untuk pelaporan.

Pendekatan ELT menawarkan beberapa potensi keunggulan, terutama di lingkungan yang menangani volume data besar dan berbagai jenis data:

• Penyerapan data lebih cepat: Memasukkan data mentah ke sistem target umumnya lebih cepat daripada menunggu transformasi selesai di area staging. Artinya, data dapat tersedia untuk eksplorasi awal atau kasus penggunaan tertentu dengan lebih cepat.
• Fleksibilitas dan ketangkasan: Karena data mentah disimpan di sistem target, transformasi dapat dikembangkan, dimodifikasi, atau ditambahkan secara berulang seiring dengan berkembangnya kebutuhan bisnis. Tidak perlu melakukan ingest ulang data dari sistem sumber jika logika transformasi berubah; Anda cukup menjalankan ulang transformasi pada data mentah yang sudah dimuat.
• Skalabilitas: Cloud data warehouse dan data lake modern dirancang untuk skalabilitas yang sangat besar. ELT memanfaatkan kemampuan bawaan ini dengan melakukan transformasi menggunakan mesin pemroses yang andal dari sistem target tersebut. Dengan demikian, organisasi dapat menangani volume data yang terus bertambah dan transformasi kompleks secara efisien.
• Preservasi data mentah: Penyimpanan data mentah memungkinkan pembuatan kumpulan data historis yang lebih lengkap. Hal ini dapat sangat berguna untuk mengaudit data, memproses ulang jika ditemukan error dalam transformasi sebelumnya, atau untuk kebutuhan analisis di masa mendatang yang belum terantisipasi. Data scientist sering kali diuntungkan dengan memiliki akses ke data yang paling terperinci dan belum ditransformasi.
• Efisiensi biaya untuk workload tertentu: Menggunakan daya komputasi data warehouse cloud untuk transformasi terkadang lebih hemat biaya daripada memelihara infrastruktur terpisah atau melisensikan alat ETL khusus untuk transformasi, terutama jika data warehouse menawarkan pemrosesan yang dioptimalkan.
• Dukungan untuk berbagai jenis data: ELT dapat digunakan untuk menangani data terstruktur, semi-terstruktur (seperti JSON atau XML), dan tidak terstruktur (seperti teks atau gambar). Data dapat dimuat dalam format aslinya dan diubah sesuai kebutuhan, yang dapat menjadi keuntungan signifikan dalam skenario big data. Pendekatan "schema-on-read" ini, yang menerapkan struktur selama pemrosesan, bukan sebelum pemuatan, adalah ciri khas ELT.

Meskipun ELT menawarkan beberapa manfaat, ELT juga dapat menimbulkan pertimbangan tertentu yang harus dicari solusinya oleh organisasi:

• Pengawasan dan keamanan data: Memuat data mentah, yang mungkin berisi informasi sensitif atau informasi identitas pribadi (PII), ke data lake atau data warehouse memerlukan pengawasan data, keamanan, dan langkah kepatuhan yang andal. Kontrol akses, enkripsi, dan teknik penyamaran data sangat penting untuk melindungi data ini dalam lingkungan target.
• Kompleksitas transformasi dalam sistem target: Meskipun sangat bermanfaat, mengelola logika transformasi yang kompleks secara langsung dalam data warehouse (misalnya, menggunakan SQL) atau data lake dapat menjadi tantangan tersendiri. Hal ini memerlukan personel terampil yang mahir dalam menggunakan alat-alat tersebut serta pendekatan yang disiplin terhadap pengelolaan dan pengoptimalan kode.
• Alat dan orkestrasi: Penerapan ELT yang efektif mengandalkan alat yang tepat untuk mengatur langkah ekstraksi dan pemuatan, serta mengelola dan menjalankan transformasi dalam sistem target. Meskipun banyak platform cloud menawarkan alat, mengintegrasikannya dan mengelola alur kerja secara keseluruhan memerlukan perencanaan yang cermat.
• Potensi "rawa data": Jika data mentah yang dimuat ke dalam data lake tidak dikatalog, dikelola, dan diatur dengan benar, data lake dapat berubah menjadi "rawa data" yang membuat data sulit ditemukan, dipercaya, atau digunakan secara efektif. Strategi pengelolaan data yang kuat sangatlah penting.
• Tanggung jawab kualitas data: Karena transformasi terjadi di bagian akhir proses, memastikan kualitas data mungkin memerlukan langkah khusus setelah proses upload. Memantau dan memvalidasi data dalam sistem target menjadi penting.

Mengatasi tantangan ini secara proaktif dapat membantu organisasi memanfaatkan sepenuhnya keunggulan paradigma ELT.

Memahami perbedaan antara ELT dan proses ETL (ekstraksi, transformasi, pemuatan) yang lebih tradisional adalah hal yang penting untuk memilih strategi integrasi data yang tepat. Perbedaan utamanya terletak pada kapan langkah transformasi terjadi dan di mana langkah tersebut dilakukan.

ELT adalah pola yang direkomendasikan Google Cloud untuk integrasi data. ELT melibatkan proses mengekstrak data dari sistem sumber, memuatnya ke BigQuery, lalu mengubahnya ke format yang diinginkan untuk dianalisis. Tidak seperti ETL (ekstraksi, pemuatan, transformasi), yang melibatkan transformasi data sebelum dimuat ke data warehouse, pendekatan ELT memungkinkan Anda menggunakan kemampuan penuh BigQuery untuk melakukan transformasi data dan pengguna SQL mana pun untuk mengembangkan pipeline integrasi data secara efektif.

Pilihan antara ELT dan ETL sering kali bergantung pada kasus penggunaan tertentu, infrastruktur yang ada, volume data, dan kebutuhan analisis organisasi. Dalam banyak arsitektur data modern, pendekatan hybrid, yang menggunakan ELT dan ETL untuk bagian pipeline yang berbeda, juga dapat digunakan.