Cette page décrit les directives que vous pouvez utiliser dans Wrangler.
Dans le mode Power de Wrangler (la CLI Wrangler), vous pouvez ajouter des directives et des fonctions à une recette. Pour en savoir plus, consultez les pages Directives de la CLI Wrangler et Fonctions Wrangler.
Wrangler accepte les directives suivantes:
Opérations sur les colonnes
Directive | Description |
---|---|
Modifier la casse de la colonne | Modifie les noms des colonnes en minuscules ou en majuscules. |
Changer de cas | Modifie la casse des valeurs de colonne. |
Nettoyer les noms de colonnes | Nettoyez les noms de colonnes en suivant des règles spécifiques. |
Colonnes Remplacer | Modifie les noms des colonnes de manière groupée. |
Copy | Copie les valeurs d'une colonne source dans une colonne de destination. |
Supprimer une colonne | Supprime une colonne d'un enregistrement. |
Remplir une valeur nulle ou vide | Si la valeur est nulle ou vide, saisissez une valeur de colonne fixe. |
Keep | Conserve les colonnes spécifiées de l'enregistrement. |
Fusionner | Fusionne deux colonnes en insérant une troisième colonne. |
Renommer | Renomme une colonne existante dans l'enregistrement. |
Définir des en-têtes | Définit les noms des colonnes, dans l'ordre dans lequel ils sont spécifiés. |
Diviser en colonnes | Divise une colonne en plusieurs colonnes en fonction d'un séparateur. |
Intervertir | Intervertit les noms des colonnes de deux colonnes. |
Type de set | Convertit le type de données d'une colonne. |
Transformations de date
Directive | Description |
---|---|
Date de différence | Calcule la différence entre deux dates. |
Format Date | Modèles personnalisés pour le formatage de la date et de l'heure. |
Formater l'horodatage UNIX | Met en forme un horodatage UNIX en tant que date. |
Transformations de type "Date/Heure"
Directive | Description |
---|---|
Date et heure actuelles | Génère la date et l'heure actuelles avec un fuseau horaire donné. |
Datetime to Timestamp | Crée un code temporel à partir de la date et de l'heure et du fuseau horaire spécifié. |
Formater Date/Heure | Convertit les dates et heures en chaîne d'un format donné. |
Horodatage jusqu'à Date/Heure | Convertit un code temporel en date et heure. |
Encodeurs et décodeurs
Directive | Description |
---|---|
Décodage | Décode une valeur de colonne comme base32 , base64 ou hex. . |
Encoder | Encode une valeur de colonne au format base32 , base64 ou hex. |
Hachage et masquage
Directive | Description |
---|---|
Hachage | Il génère un condensé du message. |
Mask Number (Numéro de masque) | Applique un masquage de substitution sur les valeurs de colonne. |
Brassage de masques | Applique un masquage du brassage sur les valeurs de colonne. |
Recherches
Directive | Description |
---|---|
Recherche dans le catalogue | Recherche statique dans le catalogue des codes ICD-9, ICD-10-2016 et ICD-10-2017 |
Recherche de table | Effectue des recherches dans des ensembles de données Table. |
Traitement du langage naturel
Directive | Description |
---|---|
Faire des mots tokenisés dans un même radical | Applique l'algorithme de recherche de radical de Porter pour les mots anglais. |
Formateurs de sortie
Directive | Description |
---|---|
Écrire au format CSV | Convertit un enregistrement au format CSV. |
Écrire sous forme de mappage JSON | Convertit l'enregistrement en mappage JSON. |
Écrire un objet JSON | Compose un objet JSON basé sur les champs spécifiés. |
Format en tant que devise | Met en forme un nombre en tant que devise selon les paramètres régionaux. |
Analyseurs
Directive | Description |
---|---|
Chemin d'accès JSON | Utilise un DSL (expression de chemin JSON) pour analyser les enregistrements JSON. |
Analyser en tant que fichier AVRO | Analyse un fichier de données AVRO. |
Analyser au format CSV | Analyse un enregistrement d'entrée en tant que valeurs séparées par une virgule |
Analyser en tant que devise | Analyse une valeur de devise (représentation sous forme de chaîne d'une devise locale) sous la forme d'un nombre. |
Analyser en tant que date/heure | Analyse la chaîne en tant que type de données date/heure avec un format donné. |
Analyser au format Excel | Analyse les données dans un fichier Microsoft Excel. |
Analyser en tant que longueur fixe | Analyse sous la forme d'un enregistrement de longueur fixe avec des largeurs spécifiées. |
Analyser au format HL7 | Analyse les messages HL7 V2 (Health Level 7 Version 2). |
Analyser au format JSON | Analyse un objet JSON. |
Analyser en tant que journal | Analyse les fichiers journaux d'accès, tels que les serveurs Apache httpd et NGINX. |
Analyser en tant que date simple | Analyse les chaînes de date. |
Analyser en tant que code temporel | Analyse les valeurs de colonne représentant le code temporel Unix en tant que date. |
Analyser un fichier XML en JSON | Analyse un document XML dans une structure JSON. |
Opérations sur les lignes
Directive | Description |
---|---|
Filtrer les lignes | Filtre les enregistrements en fonction d'une condition. |
Filtrer la ligne en cas de correspondance | Filtre les lignes correspondant à un modèle pour une colonne. |
Aplatir | Sépare les éléments dans un champ répété. |
Échec à la condition | Échec du traitement lorsque la condition est évaluée comme étant vraie. |
Envoyer en cas d'erreur | Filtre les enregistrements en fonction d'un collecteur d'erreurs. |
Envoyer en cas d'erreur et poursuivre le traitement | Filtre les enregistrements vers un collecteur d'erreurs et poursuit le traitement. |
Diviser en lignes | Divise en plusieurs enregistrements en fonction d'un séparateur. |
Transformations
Directive | Description |
---|---|
Changer de cas | Fait passer la casse des valeurs de colonne en majuscules ou en minuscules. |
Créer un enregistrement | Crée une colonne d'enregistrement avec des valeurs imbriquées en copiant les valeurs des colonnes sources dans une colonne de destination. |
Caractère coupé | Sélectionne les parties d'une valeur de chaîne. |
Définir la colonne | Définit la valeur de la colonne sur le résultat de l'exécution d'une expression. |
Rechercher et remplacer | Transforme les valeurs des colonnes de chaîne à l'aide d'une expression de type "sed". |
Quantification | Applique une quantification aux valeurs de colonne. |
Extraire des groupes d'expressions régulières | Extrait les données d'un groupe d'expressions régulières dans sa propre colonne. |
Définir le jeu de caractères | Définit l'encodage, puis convertit les données en chaîne UTF-8. |
Set Record Delim | Définit le délimiteur d'enregistrement. |
Adresse e-mail partagée | Décompose un ID de messagerie en un compte et son domaine. |
URL de fractionnement | Divise une URL en plusieurs éléments. |
Distance du texte (correspondance de chaîne partielle) | Mesure la différence entre deux séquences de caractères. |
Métrique textuelle (correspondance de chaîne partielle) | Mesure la différence entre deux séquences de caractères. |
Décodage d'URL | Décodage à partir du format MIME application/x-www-form-urlencoded . |
Encodage sous forme d'URL | Elle est encodée au format MIME application/x-www-form-urlencoded . |
Couper des espaces | Fonctions permettant de supprimer les espaces autour des données de chaîne |
Agrégateurs et setters temporaires
Directive | Description |
---|---|
Incrémenter une variable | Incrémente une variable temporaire avec un enregistrement de traitement. |
Définir une variable | Définit une variable temporaire avec un enregistrement de traitement. |
ID unique
Directive | Description |
---|---|
Générer un UUID | Génère un identifiant unique universel (UUID). |
Étapes suivantes
- En savoir plus sur les fonctions Wrangler