Diretivas de linha de comando do Wrangler

Nesta página, descrevemos as diretivas que podem ser usadas no Wrangler.

No modo Power do Wrangler (a CLI do Wrangler), você pode adicionar diretivas e funções a um roteiro. Para mais informações, consulte Diretivas da CLI Wrangler e Funções Wrangler.

O Wrangler é compatível com as seguintes diretivas:

Operações de coluna

Diretiva Descrição
Alterar caso da coluna Muda os nomes das colunas para minúsculas ou maiúsculas.
Alteração de caso Altera o caso dos valores da coluna.
Limpar nomes de colunas Limpa os nomes das colunas, seguindo regras específicas.
Colunas Substituir Altera nomes de colunas em massa.
Texto Copia os valores de uma coluna de origem para uma coluna de destino.
Drop Column Descarta uma coluna em um registro.
Preencher nulo ou vazio Se o valor for nulo ou vazio, insere um valor de coluna fixo.
Keep Mantém as colunas especificadas do registro.
Mesclar Mescla duas colunas inserindo uma terceira coluna.
Renomear Renomeia uma coluna existente no registro.
Definir cabeçalhos Define os nomes das colunas na ordem em que são especificados.
Dividir em colunas Divida uma coluna em várias colunas com base em um separador.
Trocar Troca os nomes de duas colunas.
Tipo de conjunto Converte o tipo de dados de uma coluna.

Transformações de data

Diretiva Descrição
Data da diferença Calcula a diferença entre duas datas.
Formatar Data Padrões personalizados para a formatação de data e hora.
Formatar carimbo de data/hora do UNIX Formata um carimbo de data/hora UNIX como uma data.

Transformações de data e hora

Diretiva Descrição
Data e hora atual Gera data e hora atual com um determinado fuso horário.
De data e hora aos carimbos de data/hora Cria um carimbo de data/hora com base em uma data e hora e um determinado fuso horário.
Formatar Datetime Formata datetime para uma string de um determinado formato.
Carimbo de data/hora como Datetime Converte um carimbo de data/hora em datetime.

Codificadores e decodificadores

Diretiva Descrição
Decodificar Decodifica um valor de coluna como base32, base64 ou hex.
Codificar Codifica um valor de coluna como base32, base64 ou hex..

Hash e mascaramento

Diretiva Descrição
Hash Gera um resumo de mensagens.
Número da máscara Aplica o mascaramento de substituição aos valores da coluna.
Mascarar embaralhamento Aplica mascaramento de embaralhamento aos valores das colunas.

Pesquisas

Diretiva Descrição
Pesquisa de catálogo Pesquisa de catálogo estático dos códigos ICD-9, ICD-10-2016 e ICD-10-2017.
Pesquisa de tabela Realiza pesquisas em conjuntos de dados de tabelas.

Processamento de linguagem natural

Diretiva Descrição
Stemming de palavras tokenizadas Aplica o algoritmo de derivação de Porter para palavras em inglês.

Formatadores de saída

Diretiva Descrição
Gravar como CSV Converte um registro em formato CSV.
Gravar como mapa JSON Converte o registro em um mapa JSON.
Gravar objeto JSON Compõe um objeto JSON com base nos campos especificados.
Formatar como moeda Formata um número como moeda conforme especificado pela localidade.

Analisadores

Diretiva Descrição
Caminho do JSON Usa uma DSL (uma expressão de caminho JSON) para analisar registros JSON.
Analisar como arquivo AVRO Analisa um arquivo de dados AVRO.
Analisar como CSV Analisa um registro de entrada como valores separados por vírgula
Analisar como moeda Analisa um valor de moeda que é uma representação de string de moeda local em um número.
Analisar como Datetime Analisa string como tipo de dados datetime com um determinado formato.
Analisar como Excel Analisa em um arquivo do Microsoft Excel.
Analisar como tamanho fixo Analisa como um registro de comprimento fixo com larguras especificadas.
Analisar como HL7 Analisa mensagens de nível 7 de integridade versão 2 (HL7 V2).
Analisar como JSON Analisa um objeto JSON.
Analisar como registro Analisa arquivos de registro de acesso, como servidores Apache httpd e NGINX.
Analisar como data simples Analisa strings de data.
Analisar como carimbo de data/hora Analisa valores de coluna que representam o carimbo de data/hora Unix como data.
Analisar XML para JSON Analisa um documento XML em uma estrutura JSON.

Operações de linha

Diretiva Descrição
Filtrar linhas Filtra registros com base em uma condição.
Filtrar linha se houver correspondência Filtra as linhas que correspondem a um padrão de uma coluna.
Nivelar Separa os elementos em um campo repetido.
Falha na condição Falha no processamento quando a condição é avaliada como verdadeira.
Enviar para erro Filtra os registros para um coletor de erros.
Enviar para erro e continuar o processamento Filtra os registros para um coletor de erros e continua o processamento.
Dividir em linhas Divida com base em um separador em vários registros.

Transformações

Diretiva Descrição
Alteração de caso Muda a configuração de letras maiúsculas e minúsculas dos valores da coluna para caracteres maiúsculos ou minúsculos.
Criar registro Cria uma coluna de registro com valores aninhados copiando os valores das colunas de origem para uma coluna de destino.
Cut Character Seleciona partes de um valor de string.
Definir coluna Define o valor da coluna como o resultado da execução de uma expressão.
Localizar e substituir Transforma valores de colunas de string usando uma expressão do tipo "sed".
Quantização Aplica a quantização a valores de coluna.
Extrair grupos regex Extrai os dados de um grupo de expressões regulares na própria coluna.
Definir charset Define a codificação e converte os dados em uma string UTF-8.
Definir exclusão de registro Define o delimitador de registro.
Dividir e-mail Divide um ID de e-mail em uma conta e no domínio dela.
Dividir URL Divide um URL em seus constituintes.
Distância do texto (correspondência de string difusa) Mede a diferença entre duas sequências de caracteres.
Métrica de texto (correspondência de string difusa) Mede a diferença entre duas sequências de caracteres.
Decodificação de URL Decodifica o formato MIME application/x-www-form-urlencoded.
Codificação de URL Codifica no formato MIME application/x-www-form-urlencoded.
Como cortar espaços Funções para cortar espaços em branco ao redor de dados de string.

Agregadores e setters temporários

Diretiva Descrição
Aumentar variável Incrementa uma variável temporária com um registro de processamento.
Definir variável Define uma variável temporária com um registro de processamento.

ID exclusivo

Diretiva Descrição
Gerar UUID Gera um identificador universalmente exclusivo (UUID).

A seguir