Nesta página, descrevemos as diretivas que podem ser usadas no Wrangler.
No modo Power do Wrangler (a CLI do Wrangler), você pode adicionar diretivas e funções a um roteiro. Para mais informações, consulte Diretivas da CLI Wrangler e Funções Wrangler.
O Wrangler é compatível com as seguintes diretivas:
Operações de coluna
Diretiva | Descrição |
---|---|
Alterar caso da coluna | Muda os nomes das colunas para minúsculas ou maiúsculas. |
Alteração de caso | Altera o caso dos valores da coluna. |
Limpar nomes de colunas | Limpa os nomes das colunas, seguindo regras específicas. |
Colunas Substituir | Altera nomes de colunas em massa. |
Texto | Copia os valores de uma coluna de origem para uma coluna de destino. |
Drop Column | Descarta uma coluna em um registro. |
Preencher nulo ou vazio | Se o valor for nulo ou vazio, insere um valor de coluna fixo. |
Keep | Mantém as colunas especificadas do registro. |
Mesclar | Mescla duas colunas inserindo uma terceira coluna. |
Renomear | Renomeia uma coluna existente no registro. |
Definir cabeçalhos | Define os nomes das colunas na ordem em que são especificados. |
Dividir em colunas | Divida uma coluna em várias colunas com base em um separador. |
Trocar | Troca os nomes de duas colunas. |
Tipo de conjunto | Converte o tipo de dados de uma coluna. |
Transformações de data
Diretiva | Descrição |
---|---|
Data da diferença | Calcula a diferença entre duas datas. |
Formatar Data | Padrões personalizados para a formatação de data e hora. |
Formatar carimbo de data/hora do UNIX | Formata um carimbo de data/hora UNIX como uma data. |
Transformações de data e hora
Diretiva | Descrição |
---|---|
Data e hora atual | Gera data e hora atual com um determinado fuso horário. |
De data e hora aos carimbos de data/hora | Cria um carimbo de data/hora com base em uma data e hora e um determinado fuso horário. |
Formatar Datetime | Formata datetime para uma string de um determinado formato. |
Carimbo de data/hora como Datetime | Converte um carimbo de data/hora em datetime. |
Codificadores e decodificadores
Diretiva | Descrição |
---|---|
Decodificar | Decodifica um valor de coluna como base32 ,
base64 ou hex. |
Codificar | Codifica um valor de coluna como base32 ,
base64 ou hex. . |
Hash e mascaramento
Diretiva | Descrição |
---|---|
Hash | Gera um resumo de mensagens. |
Número da máscara | Aplica o mascaramento de substituição aos valores da coluna. |
Mascarar embaralhamento | Aplica mascaramento de embaralhamento aos valores das colunas. |
Pesquisas
Diretiva | Descrição |
---|---|
Pesquisa de catálogo | Pesquisa de catálogo estático dos códigos ICD-9, ICD-10-2016 e ICD-10-2017. |
Pesquisa de tabela | Realiza pesquisas em conjuntos de dados de tabelas. |
Processamento de linguagem natural
Diretiva | Descrição |
---|---|
Stemming de palavras tokenizadas | Aplica o algoritmo de derivação de Porter para palavras em inglês. |
Formatadores de saída
Diretiva | Descrição |
---|---|
Gravar como CSV | Converte um registro em formato CSV. |
Gravar como mapa JSON | Converte o registro em um mapa JSON. |
Gravar objeto JSON | Compõe um objeto JSON com base nos campos especificados. |
Formatar como moeda | Formata um número como moeda conforme especificado pela localidade. |
Analisadores
Diretiva | Descrição |
---|---|
Caminho do JSON | Usa uma DSL (uma expressão de caminho JSON) para analisar registros JSON. |
Analisar como arquivo AVRO | Analisa um arquivo de dados AVRO. |
Analisar como CSV | Analisa um registro de entrada como valores separados por vírgula |
Analisar como moeda | Analisa um valor de moeda que é uma representação de string de moeda local em um número. |
Analisar como Datetime | Analisa string como tipo de dados datetime com um determinado formato. |
Analisar como Excel | Analisa em um arquivo do Microsoft Excel. |
Analisar como tamanho fixo | Analisa como um registro de comprimento fixo com larguras especificadas. |
Analisar como HL7 | Analisa mensagens de nível 7 de integridade versão 2 (HL7 V2). |
Analisar como JSON | Analisa um objeto JSON. |
Analisar como registro | Analisa arquivos de registro de acesso, como servidores Apache httpd e NGINX. |
Analisar como data simples | Analisa strings de data. |
Analisar como carimbo de data/hora | Analisa valores de coluna que representam o carimbo de data/hora Unix como data. |
Analisar XML para JSON | Analisa um documento XML em uma estrutura JSON. |
Operações de linha
Diretiva | Descrição |
---|---|
Filtrar linhas | Filtra registros com base em uma condição. |
Filtrar linha se houver correspondência | Filtra as linhas que correspondem a um padrão de uma coluna. |
Nivelar | Separa os elementos em um campo repetido. |
Falha na condição | Falha no processamento quando a condição é avaliada como verdadeira. |
Enviar para erro | Filtra os registros para um coletor de erros. |
Enviar para erro e continuar o processamento | Filtra os registros para um coletor de erros e continua o processamento. |
Dividir em linhas | Divida com base em um separador em vários registros. |
Transformações
Diretiva | Descrição |
---|---|
Alteração de caso | Muda a configuração de letras maiúsculas e minúsculas dos valores da coluna para caracteres maiúsculos ou minúsculos. |
Criar registro | Cria uma coluna de registro com valores aninhados copiando os valores das colunas de origem para uma coluna de destino. |
Cut Character | Seleciona partes de um valor de string. |
Definir coluna | Define o valor da coluna como o resultado da execução de uma expressão. |
Localizar e substituir | Transforma valores de colunas de string usando uma expressão do tipo "sed". |
Quantização | Aplica a quantização a valores de coluna. |
Extrair grupos regex | Extrai os dados de um grupo de expressões regulares na própria coluna. |
Definir charset | Define a codificação e converte os dados em uma string UTF-8. |
Definir exclusão de registro | Define o delimitador de registro. |
Dividir e-mail | Divide um ID de e-mail em uma conta e no domínio dela. |
Dividir URL | Divide um URL em seus constituintes. |
Distância do texto (correspondência de string difusa) | Mede a diferença entre duas sequências de caracteres. |
Métrica de texto (correspondência de string difusa) | Mede a diferença entre duas sequências de caracteres. |
Decodificação de URL | Decodifica o formato MIME
application/x-www-form-urlencoded . |
Codificação de URL | Codifica no formato MIME application/x-www-form-urlencoded . |
Como cortar espaços | Funções para cortar espaços em branco ao redor de dados de string. |
Agregadores e setters temporários
Diretiva | Descrição |
---|---|
Aumentar variável | Incrementa uma variável temporária com um registro de processamento. |
Definir variável | Define uma variável temporária com um registro de processamento. |
ID exclusivo
Diretiva | Descrição |
---|---|
Gerar UUID | Gera um identificador universalmente exclusivo (UUID). |
A seguir
- Saiba mais sobre as funções Wrangler.