Halaman ini menjelaskan cara menghapus error umum dari set data saat Anda menyiapkan data di ruang kerja Wrangler di Cloud Data Fusion Studio.
Jenis error berikut terjadi dalam set data:
- Error sistemik, seperti kegagalan layanan atau instance
- Error logika, seperti kegagalan pengoperasian pipeline
- Kesalahan data, seperti nomor kartu kredit tidak valid, format tanggal tidak valid, atau kode pos tidak valid
Wrangler menyediakan serangkaian lebih dari 50 perintah untuk membantu Anda menghapus error umum dari set data.
Untuk mengirim data ke error, ikuti langkah-langkah berikut:
- Buka ruang kerja Wrangler di Cloud Data Fusion.
- Di tab Data, buka nama kolom, lalu klik panah peluas arrow_drop_down.
- Pilih Kirim ke error, lalu pilih kondisi yang mengirim data buruk ke error.
Wrangler menghapus nilai yang cocok dengan kondisi yang ditentukan dari sampel dan menambahkan perintah send to error ke resep. Saat Anda menjalankan pipeline data, transformasi akan diterapkan ke semua nilai dalam kolom.
Menambahkan plugin kolektor error ke pipeline data
Saat menambahkan transformasi Wrangler dengan resep yang menyertakan perintah send to
error ke pipeline data, Anda dapat memilih untuk menghubungkannya ke plugin Error
Collector. Plugin Error Collector biasanya terhubung ke plugin sink downstream, seperti sink BigQuery.
Saat Anda menjalankan pipeline, kumpulan data yang ditandai oleh perintah send to error
akan berpindah dari langkah transformasi Wrangler di pipeline, ke langkah Error Collector, ke langkah sink. Setelah operasi selesai, Anda dapat memeriksa data yang ditandai tersebut yang ditulis ke sink.
Jika resep Anda menyertakan transformasi send to error, tetapi pipeline
tidak menyertakan plugin Error Collector, data yang ditandai oleh perintah send to
error akan dihapus selama pipeline dijalankan.
Langkah selanjutnya
- Pelajari perintah Wrangler lebih lanjut.