Pré-processamento manual de caraterísticas

Pode usar a cláusula TRANSFORM da declaração CREATE MODEL em combinação com funções de pré-processamento manual para definir o pré-processamento de dados personalizado. Também pode usar estas funções de pré-processamento manual fora da cláusula TRANSFORM.

Se quiser separar o pré-processamento de dados da preparação do modelo, pode criar um modelo apenas de transformação que só executa transformações de dados através da cláusula TRANSFORM.

Pode usar a função ML.TRANSFORM para aumentar a transparência do pré-processamento de funcionalidades. Esta função permite-lhe devolver os dados pré-processados da cláusula TRANSFORM de um modelo, para que possa ver os dados de preparação reais que entram na preparação do modelo, bem como os dados de previsão reais que entram na publicação do modelo.

Para obter informações sobre o apoio técnico da pré-processamento de funcionalidades no BigQuery ML, consulte o artigo Vista geral do pré-processamento de funcionalidades.

Tipos de funções de pré-processamento

Existem vários tipos de funções de pré-processamento manual:

• As funções escalares operam numa única linha. Por exemplo, ML.BUCKETIZE.
• As funções de valor de tabela operam em todas as linhas e produzem uma tabela. Por exemplo, ML.FEATURES_AT_TIME.

• As funções analíticas operam em todas as linhas e produzem o resultado para cada linha com base nas estatísticas recolhidas em todas as linhas. Por exemplo, ML.QUANTILE_BUCKETIZE.

  Tem de usar sempre uma cláusula OVER() vazia com funções analíticas de ML.

  Quando usa funções analíticas de ML na cláusulaTRANSFORM durante a preparação, as mesmas estatísticas são aplicadas automaticamente à entrada na previsão.

As secções seguintes descrevem as funções de pré-processamento disponíveis.

Geral – Funções

Use a seguinte função em expressões numéricas ou de string para fazer a limpeza de dados:

• ML.IMPUTER

Funções numéricas

Use as seguintes funções em expressões numéricas para regularizar os dados:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

Funções categóricas

Use as seguintes funções para categorizar dados:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

Funções de texto

Use as seguintes funções em expressões de strings de texto:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

Funções de imagem

Use as seguintes funções em dados de imagens:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

Limitações conhecidas

• O BigQuery ML suporta o pré-processamento automático e o pré-processamento manual na exportação de modelos. Consulte os tipos de dados suportados e as funções para exportar modelos preparados com a cláusula BigQuery ML TRANSFORM.

O que se segue?

Para mais informações sobre as funções e as declarações SQL suportadas para modelos que suportam o pré-processamento manual de caraterísticas, consulte os seguintes documentos:

• Percursos do utilizador completos para modelos de ML
• Percurso do utilizador da análise das contribuições