Halaman ini menjelaskan direktif yang dapat Anda gunakan di Wrangler.
Di Wrangler Mode daya (Wrangler CLI), Anda dapat menambahkan perintah dan fungsi ke resep. Untuk mengetahui informasi selengkapnya, lihat Pedoman Wrangler CLI dan Fungsi Wrangler.
Wrangler mendukung perintah berikut:
Operasi kolom
Perintah | Deskripsi |
---|---|
Mengubah Huruf Besar/Kecil Kolom | Mengubah nama kolom menjadi huruf kecil atau huruf besar. |
Mengubah Kasus | Mengubah kapitalisasi nilai kolom. |
Cleanse Column Names | Membersihkan nama kolom, dengan mengikuti aturan tertentu. |
Kolom Ganti | Mengubah nama kolom secara massal. |
Salin | Menyalin nilai dari kolom sumber ke kolom tujuan. |
Drop Column | Melepaskan kolom dalam data. |
Fill Null atau Empty | Jika nilai null atau kosong, memasukkan nilai kolom tetap. |
Keep | Menyimpan kolom tertentu dari kumpulan data. |
Gabungkan | Menggabungkan dua kolom dengan menyisipkan kolom ketiga. |
Ganti nama | Mengganti nama kolom yang ada dalam kumpulan data. |
Menetapkan Header | Menetapkan nama kolom, sesuai urutan yang ditentukan. |
Memisahkan ke Kolom | Memisahkan kolom berdasarkan pemisah menjadi beberapa kolom. |
Tukar | Menukar nama kolom yang terdiri dari dua kolom. |
Jenis Set | Mengonversi jenis data kolom. |
Transformasi tanggal
Perintah | Deskripsi |
---|---|
Tanggal Perbedaan | Menghitung selisih antara dua tanggal. |
Format Tanggal | Pola kustom untuk pemformatan tanggal-waktu. |
Format Stempel Waktu UNIX | Memformat stempel waktu UNIX sebagai tanggal. |
Transformasi tanggal dan waktu
Perintah | Deskripsi |
---|---|
Tanggal & Waktu Saat Ini | Menghasilkan datetime saat ini dengan zona waktu tertentu. |
Datetime to Stempel Waktu | Membuat stempel waktu dari tanggal dan zona waktu tertentu. |
Format Datetime | Memformat datetime ke string format tertentu. |
Stempel waktu ke Tanggal & waktu | Mengonversi stempel waktu menjadi tanggal dan waktu. |
Encoder dan decoder
Perintah | Deskripsi |
---|---|
Dekode | Mendekode nilai kolom sebagai salah satu dari base32 ,
base64 , atau hex. |
Mengenkode | Mengenkode nilai kolom sebagai salah satu dari base32 ,
base64 , atau hex. |
{i>Hashing<i} dan penyamaran
Perintah | Deskripsi |
---|---|
Hash | Membuat ringkasan pesan. |
Nomor Mask | Menerapkan penyamaran substitusi pada nilai kolom. |
Masker Acak | Menerapkan penyamaran acak pada nilai kolom. |
Pencarian
Perintah | Deskripsi |
---|---|
Pencarian Katalog | Pencarian katalog statis untuk kode ICD-9, ICD-10-2016, dan ICD-10-2017. |
Pencarian Tabel | Melakukan pencarian ke dalam set data Tabel. |
Natural language processing
Perintah | Deskripsi |
---|---|
Membuat Kata dengan Token | Menerapkan algoritma stemmer Porter untuk kata-kata dalam bahasa Inggris. |
Pemformat Output
Perintah | Deskripsi |
---|---|
Tulis sebagai CSV | Mengonversi data ke dalam format CSV. |
Tulis sebagai Peta JSON | Mengonversi data menjadi peta JSON. |
Menulis Objek JSON | Menyusun objek JSON berdasarkan kolom yang ditentukan. |
Format as Currency | Memformat angka sebagai mata uang seperti yang ditentukan oleh lokalitas. |
Parser
Perintah | Deskripsi |
---|---|
Jalur JSON | Menggunakan DSL (ekspresi jalur JSON) untuk mengurai data JSON. |
Mengurai sebagai File AVRO | Mengurai file data AVRO. |
Mengurai sebagai CSV | Mengurai data input sebagai nilai yang dipisahkan koma |
Mengurai sebagai Mata Uang | Mengurai nilai mata uang yang merupakan representasi string mata uang lokal ke dalam angka. |
Mengurai sebagai Datetime | Mengurai string sebagai jenis data datetime dengan format tertentu. |
Mengurai sebagai Excel | Mengurai ke dalam file Microsoft Excel. |
Mengurai sebagai Panjang Tetap | Mengurai sebagai kumpulan data panjang tetap dengan lebar yang ditentukan. |
Mengurai sebagai HL7 | Mengurai pesan Health Level 7 Versi 2 (HL7 V2). |
Mengurai sebagai JSON | Mengurai objek JSON. |
Mengurai sebagai Log | Mengurai file log akses, seperti server Apache httpd dan NGINX. |
Mengurai sebagai Tanggal Sederhana | Mengurai string tanggal. |
Mengurai sebagai Stempel Waktu | Mengurai nilai kolom yang merepresentasikan stempel waktu unix sebagai tanggal. |
Mengurai XML ke JSON | Mengurai dokumen XML ke dalam struktur JSON. |
Operasi baris
Perintah | Deskripsi |
---|---|
Filter Baris | Memfilter kumpulan data berdasarkan kondisi. |
Baris Filter jika Cocok | Memfilter baris yang cocok dengan pola kolom. |
Ratakan | Memisahkan elemen dalam kolom berulang. |
Fail on condition | Pemrosesan gagal saat kondisi dievaluasi ke benar (true). |
Kirim ke Error | Memfilter kumpulan data ke pengumpul error. |
Kirim ke Error dan Lanjutkan Pemrosesan | Memfilter kumpulan data ke pengumpul error dan melanjutkan pemrosesan. |
Pisahkan ke Baris | Pemisahan berdasarkan pemisah menjadi beberapa kumpulan data. |
Transformations
Perintah | Deskripsi |
---|---|
Mengubah Kasus | Mengubah kapitalisasi nilai kolom menjadi karakter huruf besar atau huruf kecil. |
Buat Data | Membuat kolom kumpulan data dengan nilai bertingkat dengan menyalin nilai dari kolom sumber ke kolom tujuan. |
Potongan Karakter | Memilih bagian dari nilai string. |
Tetapkan Kolom | Menetapkan nilai kolom ke hasil eksekusi ekspresi. |
Temukan dan Ganti | Mengubah nilai kolom string menggunakan ekspresi seperti "sed". |
Kuantisasi | Menerapkan kuantisasi ke nilai kolom. |
Mengekstrak Grup Regex | Mengekstrak data dari sekelompok ekspresi reguler ke kolomnya sendiri. |
Menetapkan Karakter | Menetapkan encoding, lalu mengonversi data menjadi String UTF-8. |
Menyetel Delim Kumpulan Data | Menetapkan pembatas kumpulan data. |
Email Terpisah | Memisahkan ID email ke akun dan domainnya. |
URL terpisah | Memisahkan URL ke konstituennya. |
Jarak Teks (Pencocokan String Fuzzy) | Mengukur perbedaan antara dua urutan karakter. |
Metrik Teks (Pencocokan String Fuzzy) | Mengukur perbedaan antara dua urutan karakter. |
Dekode URL | Mendekode dari format MIME application/x-www-form-urlencoded . |
Encode URL | Mengenkode ke format MIME application/x-www-form-urlencoded . |
Pemangkasan Ruang | Fungsi untuk memangkas spasi kosong di sekitar data string. |
Agregator dan penyetel sementara
Perintah | Deskripsi |
---|---|
Variabel Penambahan | Menambahkan variabel sementara dengan catatan pemrosesan. |
Tetapkan Variabel | Menetapkan variabel sementara dengan kumpulan data pemrosesan. |
ID unik
Perintah | Deskripsi |
---|---|
Membuat UUID | Menghasilkan ID unik universal (UUID). |
Langkah selanjutnya
- Pelajari fungsi Wrangler lebih lanjut.