Esta página descreve as diretivas que pode usar no Wrangler.
No modo avançado do Wrangler (a CLI do Wrangler), pode adicionar diretivas e funções a uma receita. Para mais informações, consulte as diretivas da CLI do Wrangler e as funções do Wrangler.
O Wrangler suporta as seguintes diretivas:
Operações de colunas
Diretiva | Descrição |
---|---|
Alterar maiúsculas/minúsculas das colunas | Altera os nomes das colunas para minúsculas ou maiúsculas. |
Alterar maiúsculas/minúsculas | Altera as maiúsculas e minúsculas dos valores das colunas. |
Limpar Nomes das colunas | Limpa os nomes das colunas, seguindo regras específicas. |
Colunas Substituir | Altera os nomes das colunas em massa. |
Copiar | Copia valores de uma coluna de origem para uma coluna de destino. |
Coluna de destino | Remove uma coluna num registo. |
Preencher nulo ou vazio | Se o valor for nulo ou estiver vazio, introduz um valor de coluna fixo. |
Keep | Mantém as colunas especificadas do registo. |
Unir | Mescla duas colunas inserindo uma terceira coluna. |
Mudar o nome | Muda o nome de uma coluna existente no registo. |
Set Headers | Define os nomes das colunas na ordem em que são especificados. |
Dividir em colunas | Divide uma coluna com base num separador em várias colunas. |
Trocar | Troca os nomes das colunas de duas colunas. |
Tipo de conjunto | Converte o tipo de dados de uma coluna. |
Transformações de datas
Diretiva | Descrição |
---|---|
Diff Date | Calcula a diferença entre duas datas. |
Formatar Data | Padrões personalizados para a formatação de data/hora. |
Formatar data/hora UNIX | Formata uma indicação de tempo UNIX como uma data. |
Transformações de data/hora
Diretiva | Descrição |
---|---|
Data/hora atual | Gera a data/hora atual com um determinado fuso horário. |
Data/hora para Indicação de tempo | Cria uma data/hora a partir de data/hora e do fuso horário especificado. |
Formato Data/hora | Formata a data/hora numa string de um determinado formato. |
Indicação de tempo para Data/hora | Converte uma data/hora num formato de data/hora. |
Codificadores e descodificadores
Diretiva | Descrição |
---|---|
Descodificar | Descodifica um valor de coluna como um de base32 ,
base64 ou hex. |
Codificar | Codifica um valor de coluna como um de base32 ,
base64 ou hex. |
Aplicação de hash e ocultação
Diretiva | Descrição |
---|---|
Hash | Gera um resumo da mensagem. |
Máscara Número | Aplica a ocultação de substituição nos valores das colunas. |
Máscara Aleatório | Aplica a ocultação aleatória aos valores das colunas. |
Pesquisas
Diretiva | Descrição |
---|---|
Procura no catálogo | Procura estática no catálogo de códigos ICD-9, ICD-10-2016 e ICD-10-2017. |
Tabela de pesquisa | Realiza pesquisas em conjuntos de dados de tabelas. |
Processamento de linguagem natural
Diretiva | Descrição |
---|---|
Flexão Palavras tokenizadas | Aplica o algoritmo de segmentação de Porter para palavras em inglês. |
Formatadores de saída
Diretiva | Descrição |
---|---|
Escrever como CSV | Converte um registo no formato CSV. |
Escrever como Mapa JSON | Converte o registo num mapa JSON. |
Escrever objeto JSON | Compõe um objeto JSON com base nos campos especificados. |
Formatar como Moeda | Formata um número como moeda, conforme especificado pela localidade. |
Analisadores
Diretiva | Descrição |
---|---|
Caminho JSON | Usa uma DSL (uma expressão de caminho JSON) para analisar registos JSON. |
Analisar como AVRO Ficheiro | Analisa um ficheiro de dados AVRO. |
Analisar como CSV | Analisa um registo de entrada como valores separados por vírgulas |
Analisar como Moeda | Analisa um valor de moeda que é uma representação de string da moeda local num número. |
Analisar como Data/hora | Analisa a string como um tipo de dados de data/hora com um formato específico. |
Analisar como Excel | Analisa para um ficheiro do Microsoft Excel. |
Analisar como Comprimento fixo | Analisa como um registo de comprimento fixo com larguras especificadas. |
Analisar como HL7 | Analisa mensagens da versão 2 do Health Level 7 (HL7 V2). |
Analisar como JSON | Analisa um objeto JSON. |
Analisar como Registo | Analisa ficheiros de registo de acesso, como servidores Apache httpd e NGINX. |
Analisar como Data simples | Analisa strings de datas. |
Analisar como Data/hora | Analisa os valores das colunas que representam a indicação de tempo Unix como data. |
Analise XML para JSON | Analisa um documento XML numa estrutura JSON. |
Operações de linhas
Diretiva | Descrição |
---|---|
Filtrar Linhas | Filtra registos com base numa condição. |
Filtrar linha se corresponder | Filtra linhas que correspondem a um padrão para uma coluna. |
Achatar | Separa os elementos num campo repetido. |
Falha na condição | Falha no processamento quando a condição é avaliada como verdadeira. |
Enviar para Erro | Filtra registos para um coletor de erros. |
Enviar para Erro e continuar processamento | Filtra os registos para um coletor de erros e continua o processamento. |
Dividir em Linhas | Divide com base num separador em vários registos. |
Transformações
Diretiva | Descrição |
---|---|
Alterar maiúsculas/minúsculas | Altera as letras maiúsculas ou minúsculas dos valores das colunas. |
Criar Registo | Cria uma coluna de registo com valores aninhados copiando valores de colunas de origem para uma coluna de destino. |
Cortar Caráter | Seleciona partes de um valor de string. |
Definir Coluna | Define o valor da coluna como o resultado da execução de uma expressão. |
Localizar e substituir | Transforma os valores das colunas de strings através de uma expressão semelhante a "sed". |
Quantização | Aplica a quantização aos valores das colunas. |
Extrair grupos de regex | Extrai os dados de um grupo de expressões regulares para a sua própria coluna. |
Set Charset | Define a codificação e, em seguida, converte os dados numa string UTF-8. |
Set Record Delim | Define o delimitador de registos. |
Dividir Email | Divide um ID de email numa conta e no respetivo domínio. |
Dividir URL | Divide um URL nos respetivos constituintes. |
Text Distance (Fuzzy String Match) | Mede a diferença entre duas sequências de carateres. |
Text Metric (Fuzzy String Match) | Mede a diferença entre duas sequências de carateres. |
URL Descodificar | Descodifica a partir do formato MIME application/x-www-form-urlencoded . |
URL Codificar | Codifica para o formato application/x-www-form-urlencoded MIME. |
Recortar Espaços | Funções para cortar espaços em branco em torno de dados de strings. |
Agregadores e definidores transitórios
Diretiva | Descrição |
---|---|
Increment Variable | Incrementa uma variável transitória com um registo de processamento. |
Definir variável | Define uma variável temporária com um registo de processamento. |
ID único
Diretiva | Descrição |
---|---|
Gerar UUID | Gera um identificador exclusivo universal (UUID). |
O que se segue?
- Saiba mais sobre as funções do Wrangler.