Questa pagina spiega perché e come utilizzare la funzionalità MLTransform
per preparare i dati per l'addestramento dei modelli di machine learning (ML). Combinando più trasformazioni dell'elaborazione dei dati in un'unica classe, MLTransform
semplifica il processo di applicazione delle operazioni di elaborazione dati ML di Apache Beam al tuo flusso di lavoro.
MLTransform
nella fase di pre-elaborazione del flusso di lavoro.
Vantaggi
Il corso MLTransform
offre i seguenti vantaggi:
- Trasforma i tuoi dati senza scrivere codice complesso o gestire le librerie sottostanti.
- Genera incorporamenti da utilizzare per eseguire il push dei dati nei database vettoriali o per eseguire l'inferenza.
- Concatena in modo efficiente più tipi di operazioni di elaborazione con un'unica interfaccia.
Supporto e limitazioni
La classe MLTransform
ha le seguenti limitazioni:
- Disponibile per le pipeline che usano l'SDK Apache Beam Python versione 2.53.0 e successive.
- Le pipeline devono usare finestre predefinite.
Trasformazioni dell'incorporamento del testo:
- Supporto per Python 3.8, 3.9, 3.10, 3.11 e 3.12.
- Supporta pipeline in modalità flusso e batch.
- Supporta l'API Text-Embeddings di Vertex AI e il modulo Hugging Face Sentence Transformers.
Trasformazioni dell'elaborazione dei dati che utilizzano TFT:
- Supporto per Python 3.9, 3.10, 3.11.
- Supporta pipeline in modalità batch.
Casi d'uso
I blocchi note di esempio mostrano come utilizzare MLTransform
per casi d'uso specifici.
- Voglio generare incorporamenti di testo per il mio LLM utilizzando Vertex AI
- Utilizza la classe
MLTransform
Apache Beam con l'API text-embeddings di Vertex AI per generare incorporamenti di testo. Gli incorporamenti di testo sono un modo per rappresentare il testo come vettori numerici, requisito necessario per molte attività di elaborazione del linguaggio naturale (NLP). - Voglio generare incorporamenti di testo per il mio LLM utilizzando Hugging Face
- Utilizza la classe
MLTransform
Apache Beam con i modelli Hugging Face Hub per generare incorporamenti di testo. Il framework Hugging FaceSentenceTransformers
utilizza Python per generare incorporamenti di frasi, testo e immagini. - Voglio calcolare un vocabolario da un set di dati
- Calcola un vocabolario univoco da un set di dati, quindi mappa ogni parola o token a un indice intero distinto. Usa questa trasformazione per trasformare i dati testuali in rappresentazioni numeriche per le attività di machine learning.
- Voglio scalare i miei dati per addestrare il mio modello ML
- Scala i tuoi dati in modo da poterli utilizzare per addestrare il tuo modello ML. La classe
MLTransform
di Apache Beam include più trasformazioni di scalabilità dei dati.
Per un elenco completo delle trasformazioni disponibili, consulta Transforms nella documentazione di Apache Beam.
Utilizzo di MLTransform
Per utilizzare la classe MLTransform
per pre-elaborare i dati, includi il seguente codice nella
pipeline:
import apache_beam as beam
from apache_beam.ml.transforms.base import MLTransform
from apache_beam.ml.transforms.tft import TRANSFORM_NAME
import tempfile
data = [
{
DATA
},
]
artifact_location = gs://BUCKET_NAME
TRANSFORM_FUNCTION_NAME = TRANSFORM_NAME(columns=['x'])
with beam.Pipeline() as p:
transformed_data = (
p
| beam.Create(data)
| MLTransform(write_artifact_location=artifact_location).with_transform(
TRANSFORM_FUNCTION_NAME)
| beam.Map(print))
Sostituisci i seguenti valori:
TRANSFORM_NAME
: il nome della trasformazione da utilizzareBCUKET_NAME
: il nome del tuo bucket Cloud StorageDATA
: i dati di input da trasformareTRANSFORM_FUNCTION_NAME
: il nome che assegni alla funzione di trasformazione nel codice
Passaggi successivi
- Per ulteriori dettagli su
MLTransform
, consulta Pre-elaborare i dati nella documentazione di Apache Beam. - Per altri esempi, consulta
MLTransform
per l'elaborazione dei dati nel catalogo delle trasformazioni di Apache Beam. - Esegui un blocco note interattivo in Colab.