Gerenciar valores nulos

Em termos gerais, um valor nulo é uma definição que não aponta para nada. O contêiner de um valor existe, como a combinação linha-coluna ou uma variável, mas ele não aponta para nenhum valor real.

Observações importantes sobre valores nulos

OBSERVAÇÃO: na plataforma, os valores nulos são um subconjunto da categoria que identifica valores ausentes. No entanto, por razões técnicas, o Cloud Dataprep by TRIFACTA® INC. exibe valores nulos como ausentes e visualmente os trata da mesma forma. Internamente, eles são reconhecidos como valores diferentes.

Implicações:

  • Os valores nulos são representados visualmente como ausentes.
    • Na barra de qualidade de dados, os valores nulos e ausentes são representados na barra escura (valores ausentes).
  • Na computação, eles são tipos diferentes de valores.
    • A maioria das funções aplicadas aos valores nulos e ausentes retorna os mesmos resultados.
      • Por exemplo, a função ISMISSING retorna true para os valores nulos e ausentes.
      • No entanto, a função ISNULL retorna true para um valor nulo e false para um valor ausente. Consulte abaixo.
    • Se você usar uma função para gerar valores nulos, eles serão exibidos como ausentes, embora sejam registrados como nulos.
      • Por exemplo, a transformação a seguir gera uma coluna de valores nulos, que são representados como ausentes na barra de qualidade dos dados.

        Nome da transformação New formula
        Parâmetro: fórmula NULL()
        Parâmetro: novo nome da coluna nulls
  • Quando um grupo de resultados é gerado, os valores nulos e não encontrados são gravados como ausentes, a menos que o formato de saída tenha um esquema específico associado.

Localizar valores nulos

Os valores nulos são exibidos com os ausentes na categoria "Valores ausentes" da barra de qualidade de dados (em preto).

Você pode usar a seguinte transformação para distinguir os valores nulos dos ausentes. Essa transformação gera uma nova coluna de valores, definidos como true caso o valor em isActive seja nulo:

Nome da transformação New formula
Parâmetro: fórmula ISNULL(isActive)
Parâmetro: novo nome da coluna nulls2

Alta porcentagem de nulos

Na importação, se uma coluna tiver uma porcentagem suficientemente alta de valores nulos, a plataforma poderá reclassificar a coluna como String, o que pode gerar valores incompatíveis, além dos ausentes que foram importados com base nos valores nulos.

Corrigir valores nulos

Consulte Localizar dados ausentes.

Valores nulos nas transformações

Funções:

  • A aplicação de um valor nulo como uma entrada para uma função escalar retorna um valor nulo, propagando o valor nulo.
  • Em funções de agregação ou de janela, os valores nulos são ignorados, já que um único valor nulo pode corromper uma coluna inteira de cálculos.

Transformações:

  • Em uma mescla, um valor nulo em um conjunto de dados nunca corresponde a um valor nulo em outro conjunto de dados. Linhas com valores nulos em colunas de chave de mesclagem nunca são incluídas no resultado. Consulte Tipos de mesclagem.

Gravar valores nulos

Se necessário, será possível gravar um valor nulo em um grupo de dados. No exemplo a seguir, todos os valores não encontrados em uma coluna são substituídos por nulos, usando a função NULL:

OBSERVAÇÃO: normalmente, a função NULL é usada para transferir valores nulos para funções que foram criadas especificamente para resolvê-los.

O exemplo a seguir testa todas as colunas no intervalo entre column1 e column255 para determinar se um valor não encontrado foi detectado. Nesse caso, um valor nulo é gravado. Do contrário, o valor da coluna é gravado na coluna:

Nome da transformação Edit column with formula
Parâmetro: colunas column1~column255
Parâmetro: fórmula IF(ISMISSING([$col]), null(), $col)

A transformação acima grava os valores nulos, mas eles são convertidos em ausentes na exportação.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Google Cloud Dataprep
Precisa de ajuda? Acesse nossa página de suporte.