Pre-elaborazione manuale delle funzionalità

Puoi utilizzare lo Clausola TRANSFORM dell'istruzione CREATE MODEL in combinazione con la pre-elaborazione manuale per definire la pre-elaborazione personalizzata dei dati. Puoi anche utilizzare queste funzioni di pre-elaborazione manuale al di fuori della clausola TRANSFORM.

Se vuoi disaccoppiare il pretrattamento dei dati dall'addestramento del modello, puoi creare un modello solo di trasformazione che esegue solo le trasformazioni dei dati utilizzando la clausola TRANSFORM.

Puoi utilizzare la funzione ML.TRANSFORM per aumentare la trasparenza della pre-elaborazione delle funzionalità. Questa funzione consente di restituire i dati pre-elaborati dalla clausola TRANSFORM di un modello, in modo da poter visualizzare i dati di addestramento effettivi utilizzati per l'addestramento del modello, nonché i dati di previsione effettivi utilizzati per la pubblicazione del modello.

Per informazioni sul supporto della pre-elaborazione delle caratteristiche in BigQuery ML, consulta Panoramica della pre-elaborazione delle funzionalità.

Per informazioni sulle istruzioni e sulle funzioni SQL supportate per ogni modello consulta Percorso dell'utente end-to-end per ogni modello.

Tipi di funzioni di pre-elaborazione

Esistono diversi tipi di funzioni di pre-elaborazione manuale:

• Le funzioni scalari operano su una singola riga. Ad esempio, ML.BUCKETIZE.
• Le funzioni con valori di tabella operano su tutte le righe e producono una tabella. Ad esempio, ML.FEATURES_AT_TIME.

• Le funzioni di analisi operano su tutte le righe e restituiscono il risultato per ogni riga in base alle statistiche raccolte in tutte le righe. Ad esempio: ML.QUANTILE_BUCKETIZE

  Devi sempre utilizzare una clausola OVER() vuota con le funzioni di analisi ML.

  Quando utilizzi le funzioni di analisi ML all'interno della clausolaTRANSFORM durante l'addestramento, le stesse statistiche vengono applicate automaticamente al input nella previsione.

Le seguenti sezioni descrivono le funzioni di preelaborazione disponibili.

Funzioni generali

Utilizza la seguente funzione su stringhe o espressioni numeriche per eseguire la pulizia dei dati:

• ML.IMPUTER

Funzioni numeriche

Utilizza le seguenti funzioni sulle espressioni numeriche per normalizzare i dati:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

Funzioni categoriche

Per classificare i dati, utilizza le seguenti funzioni:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

Funzioni di testo

Utilizza le seguenti funzioni per le espressioni di stringhe di testo:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

Funzioni immagine

Utilizza le seguenti funzioni sui dati delle immagini:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

Limitazioni note

• BigQuery ML supporta sia la pre-elaborazione automatica sia quella manuale nell'esportazione del modello. Consulta i tipi di dati e le funzioni supportati per esportare i modelli addestrati con la clausola TRANSFORM di BigQuery ML.