Questo documento contiene un elenco di tutorial di blocchi note per l'IA generativa su Vertex AI. Sono tutorial end-to-end che mostrano come utilizzare alcuni degli LLM di IA generativa.
Tutorial in primo piano
-
Casi d'uso multimodali con Gemini
Esplora vari casi d'uso relativi al multimodale con Gemini.
-
Chiamate di funzione con l'API Gemini di Vertex AI e l'SDK per Python
Utilizza l'API Vertex AI Gemini con l'SDK Vertex AI per Python per effettuare chiamate di funzione utilizzando il modello Gemini 1.0 Pro (
gemini-1.0-pro). -
Inizia a utilizzare il grounding con Gemini in Vertex AI
Utilizza modelli di testo generativi per generare contenuti basati su documenti e dati.
Elenco dei tutorial
| Multimodale Gemini |
Usa Gemini 1.5 Pro per analizzare i file audio, comprendere i video, estrarre informazioni da un PDF ed elaborare più tipi di contenuti multimediali contemporaneamente. |
|
| Multimodale Gemini |
Usa questo blocco note per imparare a generare codice, riassumere un codebase, eseguire il debug, migliorare il codice e valutare il codice con Gemini 1.5 Pro. |
|
| Multimodale Gemini |
Inizia a utilizzare Gemini (cUrl) Utilizza l'API Gemini, che ti dà accesso ai più recenti modelli linguistici di grandi dimensioni (LLM) di Google con REST/curl. |
|
| Multimodale Gemini |
Inizia a utilizzare Gemini (SDK Python) Utilizza l'API Gemini, che ti dà accesso ai più recenti modelli LLM di Google, con l'SDK Vertex AI per Python. |
|
| Multimodale Gemini |
Casi d'uso multimodali con Gemini Il modello Gemini è un innovativo modello linguistico multimodale sviluppato dall'IA di Google, in grado di estrarre insight significativi da un'ampia gamma di formati di dati, tra cui immagini e video. Questo blocco note esplora vari casi d'uso con prompt multimodali. |
|
| Valutazione di Gemini |
Introduzione alla valutazione rapida nell'SDK Vertex AI per Python Utilizza la valutazione rapida per valutare il modello Gemini in un'attività di valutazione, con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Ingegneria del prompt, valutazione e modelli di prompt con Gemini Utilizza la valutazione rapida per il prompt engineering e la valutazione con il modello Gemini e il modello di prompt per la progettazione dei prompt con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Valutare e selezionare i modelli generativi Usa la valutazione rapida per assegnare un punteggio e valutare diversi modelli generativi in una specifica attività di valutazione, quindi visualizza e confronta i risultati di valutazione per l'attività con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Valuta e seleziona le impostazioni di generazione del modello Gemini Usa la valutazione rapida per valutare e selezionare la temperatura e altre configurazioni di generazione del modello di Gemini e confrontare i risultati delle metriche delle diverse impostazioni di generazione in termini di qualità, fluidità, sicurezza e livello di dettaglio, con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Definisci le tue metriche di valutazione con Gemini Utilizza la valutazione rapida per valutare con metriche di valutazione personalizzate, con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Valutare la qualità delle chiamate di funzione del modello Gemini 1.0 Pro Genera chiamate di funzione con il modello Gemini 1.0 Pro e utilizza la valutazione rapida per valutare la qualità delle chiamate di funzione del modello Gemini 1.0 Pro, con l'SDK Vertex AI per Python. |
|
| Valutazione di Gemini |
Utilizza la valutazione rapida per valutare un'attività di risposta alle domande dalle risposte generate dalla Retrieval-Augmented Generation (RAG), con l'SDK Vertex AI per Python. |
|
| Gemini multimodale - Streamlit |
Esegui il deployment di un'app Streamlit in Cloud Run con Gemini Pro App di esempio per il deployment di una semplice app di chatbot utilizzando Streamlit in Cloud Run con Gemini Pro. |
|
| Generazione avanzata del recupero multimodale di Gemini |
Partendo da RAG, che tradizionalmente viene eseguito su dati di testo, questo blocco note mostra come eseguire RAG su dati multimodali per svolgere domande e risposte in un articolo scientifico contenente testo e immagini. |
|
| Multimodale Gemini |
Utilizzare Gemini in Education Utilizzo del modello Gemini nel settore dell'istruzione, con vari esempi di prompt e in varie modalità, tra cui immagini e video. |
|
| Multimodale Gemini |
Utilizzo di Gemini per i suggerimenti per la vendita al dettaglio multimodali Nel mondo del retail, i suggerimenti svolgono un ruolo fondamentale nell'influenzare le decisioni dei clienti e nell'incrementare le vendite. In questo blocco note, imparerai a sfruttare la potenza della multimodalità per eseguire suggerimenti per la vendita al dettaglio e aiutare un cliente a scegliere la sedia migliore tra quattro immagini di sedie, in base a un'immagine del suo salotto. |
|
| Chiamate di funzione multimodali Gemini |
Introduzione alla chiamata di funzione con Gemini Utilizza il modello Gemini Pro per:
|
|
| Ottimizzazione |
Ottimizza i modelli di base con Vertex AI Seguire l'intero processo di configurazione e integrazione. Dalla configurazione dell'ambiente alla selezione dei modelli di base, fino all'ottimizzazione con Vertex AI. |
|
| Valutazione |
Servizi di valutazione LLM Vertex AI Utilizzare Vertex AI LLM Evaluation Services insieme ad altri servizi Vertex AI. |
|
| LangChain |
Esegui una catena LangChain e stampa i dettagli di ciò che accade in ogni passaggio della catena e con punti di interruzione di debug facoltativi. |
|
| Testo |
Formazione avanzata sul prompt engineering Usa Chain of Thought and ReAct (Reasoning + Acting) per progettare i prompt e ridurre le allucinazioni. |
|
| Incorporamenti |
Utilizzare Vertex AI Embeddings per la ricerca multimodale e vettoriale Crea incorporamenti da testo a immagine utilizzando il set di dati DiffusionDB e il modello Vertex AI Embeddings per multimodali. Gli incorporamenti vengono caricati sul servizio Vector Search, una soluzione su larga scala e a bassa latenza per trovare vettori simili per un corpus di grandi dimensioni. |
|
| Incorporamenti |
Ricerca semantica mediante incorporamenti Crea un incorporamento generato dal testo ed esegui una ricerca semantica. Gli incorporamenti vengono generati utilizzando lo ScaNN di Google: Efficient Vector Similarity Search. |
|
| Valutazione |
AutoSxS: valuta un LLM in Vertex AI Model Registry rispetto a un modello di terze parti Usa Vertex AI automatico affiancato (AutoSxS) per valutare le prestazioni di un modello di IA generativa nel registro dei modelli di Vertex AI e un modello linguistico di terze parti. |
|
| Valutazione |
Utilizza Vertex AI automatico affiancato (AutoSxS) per determinare il livello di allineamento del classificatore automatico con quello umano. |
|
| Ottimizzazione |
Apprendimento per rinforzo LLM di Vertex AI grazie al feedback umano Utilizzare Vertex AI RLHF per ottimizzare un modello linguistico di grandi dimensioni (LLM). Questo flusso di lavoro migliora l'accuratezza di un modello perfezionando un modello di base con un set di dati di addestramento. |
|
| Ottimizzazione |
Inferenza batch di Vertex AI con modelli ottimizzati RLHF Questo tutorial mostra come eseguire l'inferenza su modelli LLM (LLM) ottimizzati per RLHF con Vertex AI. |
|
| Incorporamenti |
Prova i nuovi modelli di incorporamento del testo. |
|
| Ottimizzazione |
Ottimizzazione di un modello PEFT in Vertex AI Ottimizza un modello linguistico di grandi dimensioni (LLM) PEFT e fai una previsione. Questo flusso di lavoro migliora l'accuratezza di un modello perfezionando un modello di base con un set di dati di addestramento. |
|
| Testo |
Utilizzare l'SDK Vertex AI con modelli linguistici di grandi dimensioni (LLM) Utilizzare l'SDK Vertex AI per eseguire modelli linguistici di grandi dimensioni (LLM) su Vertex AI. Testa, ottimizza ed esegui il deployment di modelli linguistici di AI generativa. Inizia esplorando esempi di riepilogo dei contenuti, analisi del sentiment, chat, incorporamento del testo e ottimizzazione dei prompt. |
|
Indicizzazione dei datastore della conversazione di ricerca |
Controllo dello stato del datastore di Vertex AI Search and Conversation Lo strumento di controllo dello stato del datastore di Vertex AI Search and Conversation è un blocco note che utilizza l'API Cloud Discovery Engine per controllare la presenza di documenti indicizzati in un datastore. Consente all'utente di eseguire le seguenti attività:
|
|
Chirp di riconoscimento vocale |
Iniziare a utilizzare Chirp su Google Cloud Questo blocco note è un'introduzione a Chirp, un servizio di conversione della voce in testo che utilizza la tecnologia di riconoscimento vocale all'avanguardia di Google. Fornisce agli sviluppatori un'interfaccia semplice e facile da usare per creare applicazioni con riconoscimento vocale. |
|
Filtra ricerca metadati |
Vertex AI Search con filtri e metadati Vertex AI Search è un servizio completamente gestito che consente di creare ed eseguire il deployment di applicazioni di ricerca su Google Cloud. Questo blocco note mostra come utilizzare i filtri e i metadati nelle richieste di ricerca a Vertex AI Search. |
|
Document Question-answering - Generazione potenziata del recupero |
Domande e risposte su un documento con una generazione aumentata per il recupero Questo blocco note mostra come utilizzare RAG (Retrieval Augmented Generation) per creare un sistema di risposta alle domande per la documentazione di Google. Mostra come utilizzare RAG per generare testo che risponda a una determinata domanda e come utilizzarlo per migliorare le prestazioni di un sistema di question answering. |
|
Ricerca di recupero della generazione di contratti |
Questo blocco note mostra come utilizzare la generazione aumentata del recupero per generare testo contrattuale. Utilizza i modelli Palm2 e LangChain, preaddestrati su grandi corpora di testo legale e finanziario. |
|
Ricerca con risposta alle domande LangChain con recupero della generazione aumentata |
Question answering sui documenti Questo blocco note mostra come fare domande sui dati e rispondere combinando un motore Vertex AI Search con gli LLM. In particolare, ci concentriamo sull'esecuzione di query su dati "non strutturati" come PDF e file HTML. Per eseguire questo blocco note, devi aver creato un motore di ricerca non strutturato e aver importato documenti PDF o HTML al suo interno. |
|
Domande in blocco su Vertex AI Search - Question-answering Search |
Risposta collettiva alle domande con Vertex AI Search Questo blocco note mostra come rispondere alle domande da un file CSV utilizzando un datastore di Vertex AI Search. Può essere eseguito in Colab o Vertex AI Workbench. |
|
Orchestrazione linguistica LangChain PaLM |
Introduzione a LangChain 🦜️🔗 + API PaLM Questo blocco note fornisce un'introduzione a LangChain, un framework di orchestrazione di modelli linguistici. Mostra come utilizzare LangChain con l'API PaLM per creare ed eseguire il deployment di un modello di generazione da testo a testo. |
|
LangChain del caricatore dati BigQuery |
Come utilizzare il caricatore dei dati BigQuery 🦜️🔗 di LangChain Questo blocco note mostra come utilizzare il caricatore dei dati BigQuery di LangChain per caricare i dati da BigQuery in un modello LangChain. Il blocco note fornisce istruzioni passo passo su come configurare il caricatore dati, caricare dati nel modello e addestrarlo. |
|
Codice Code-generation Retrieval-augmented-generation Codey |
Utilizzare la RAG (Retrieval Augmented Generation) con le API Codey Questo blocco note mostra come utilizzare Retrieval Augmented Generation (RAG) con le API Codey. RAG è una tecnica che combina il recupero del codice con la generazione del codice per produrre suggerimenti di completamento del codice più accurati e informativi. |
|
Linguaggio di generazione codice Codey |
Iniziare a utilizzare le API Vertex AI Codey - Generazione del codice Questo blocco note fornisce un'introduzione alle API Vertex AI Codey per la generazione del codice. Descrive le nozioni di base sull'utilizzo delle API, tra cui come creare ed eseguire il deployment di modelli di generazione del codice e come utilizzarli per generare codice. |
|
Completamento del codice Codey - Generazione del codice |
Iniziare a utilizzare le API Codey di Vertex AI - Completamento del codice Questo blocco note mostra come utilizzare le API Vertex AI Codey per ottenere suggerimenti di completamento del codice Python. Mostra inoltre come utilizzare le API per generare snippet di codice ed eseguire snippet di codice in un ambiente remoto. |
|
Chat Codey - Chat del codice - Generazione di codici - Generazione di testi |
Iniziare a utilizzare le API Codey di Vertex AI - Chat di codice Questo blocco note è un'introduzione alle API Vertex AI Codey. Descrive le nozioni di base sull'utilizzo delle API, tra cui come creare ed eseguire il deployment dei modelli e come interagire con questi ultimi utilizzando l'interfaccia a riga di comando Codey. |
|
SDK Python PaLM del linguaggio |
Iniziare a utilizzare l'API PaLM e l'SDK per Python Questo blocco note fornisce un'introduzione all'API PaLM e all'SDK per Python. Descrive le nozioni di base sull'utilizzo dell'API, tra cui come creare ed eseguire il deployment dei modelli e come utilizzare l'API per generare testo, tradurre lingue e scrivere diversi tipi di contenuti creativi. |
|
Prompt relativi alla lingua |
Progettazione dei prompt - Best practice Questo blocco note fornisce un'introduzione alla progettazione di prompt per i modelli linguistici basati su testo. Descrive le nozioni di base dei prompt, incluso il loro funzionamento e come scriverli. Il blocco note fornisce anche suggerimenti su come migliorare i prompt ed evitare gli errori più comuni. |
|
Estrazione testo |
Estrazione del testo con i modelli generativi su Vertex AI Questo blocco note mostra come utilizzare i modelli generativi per estrarre testo dalle immagini. Utilizza il modello da testo a immagine della libreria di IA generativa di Vertex AI e il modello di estrazione del testo della libreria di estrazione del testo di Vertex AI. |
|
Classificazione del testo |
Classificazione del testo con modelli generativi su Vertex AI Questo blocco note mostra come utilizzare i modelli generativi per eseguire la classificazione del testo su Vertex AI. Gli argomenti trattati sono i seguenti: * Preparazione dei dati * Addestramento di un modello * Deployment di un modello * Utilizzo di un modello per classificare il testo |
|
Reazione della catena di pensiero |
Questo blocco note presenta Chain of Thought and ReAct, due strumenti che possono essere utilizzati per migliorare le prestazioni degli algoritmi di apprendimento per rinforzo. La catena di pensiero è una tecnica che può essere utilizzata per migliorare l'efficienza dell'iterazione del valore, mentre ReAct è una tecnica che può essere utilizzata per migliorare la stabilità degli algoritmi attore-critico. |
|
Ideazione dei prompt di linguaggio |
Ideazione con modelli generativi su Vertex AI Questo blocco note mostra come utilizzare modelli generativi per generare testo, immagini e codice. Mostra inoltre come utilizzare Vertex AI per eseguire il deployment e gestire i modelli generativi. |
|
Riassunto |
Riassunto di testi con modelli generativi su Vertex AI Questo blocco note mostra come utilizzare Vertex AI per addestrare un modello di riassunto del testo ed eseguirne il deployment. Utilizza il modello BART, un modello linguistico di grandi dimensioni (LLM) preaddestrato su un enorme set di dati di testo. Il modello viene quindi perfezionato su un set di dati di riassunti di testo e può quindi essere utilizzato per generare riepiloghi di nuovo testo. |
|
Risposta alle domande |
Risposta alle domande con i modelli generativi su Vertex AI Questo blocco note mostra come utilizzare i modelli generativi per rispondere a domande di dominio aperto. Utilizza il modello Vertex AI Transformer per generare testo in base a una determinata domanda. |
|
Deployment dell'ottimizzazione del modello di base per la generazione di testo |
Ottimizzazione ed deployment di un modello di base Questo blocco note mostra come ottimizzare un modello di base utilizzando Vertex AI. Mostra inoltre come eseguire il deployment del modello ottimizzato su un endpoint Vertex AI. |
|
Riassunto dei documenti |
Riassunto di documenti di grandi dimensioni Questo blocco note mostra come utilizzare il modello t5 large per riepilogare documenti di grandi dimensioni. Il modello viene addestrato su un enorme set di dati di testo e codice e può generare riassunti sia precisi che concisi. |
|
Riassunto di documenti - Riassunto LangChain |
Riassunto testuale di documenti di grandi dimensioni con LangChain 🦜🔗 Questo blocco note mostra come utilizzare il modello LangChain per riepilogare documenti di grandi dimensioni. LangChain è un modello linguistico di grandi dimensioni (LLM) in grado di generare testi, tradurre lingue, scrivere diversi tipi di contenuti creativi e rispondere alle tue domande in modo informativo. |
|
Riassunto di documenti Riassunto di documenti con IA Modello linguistico |
Riassunto con documenti di grandi dimensioni utilizzando le API Document AI e PaLM Questo blocco note mostra come utilizzare le API Document AI e PaLM per riassumere documenti di grandi dimensioni. Mostra inoltre come utilizzare l'API Document AI per estrarre entità e frasi chiave da un documento. |
|
Generazione di testo dei chatbot |
GroceryBot, un assistente di esempio per la spesa e le ricette - RAG + ReAct Questo blocco note riguarda un esempio di assistente per la spesa e le ricette che utilizza RAG e ReAct. Può aiutarti a trovare ricette, a creare liste della spesa e a rispondere a domande sul cibo. |
|
Documento per risposte a domande - QA LangChain |
Risposta alle domande con documenti di grandi dimensioni utilizzando LangChain 🦜🔗 Questo blocco note mostra come utilizzare il modello LangChain per creare un sistema di question answering in grado di rispondere a domande su documenti lunghi. Il modello viene addestrato su un grande corpus di testo e può essere utilizzato per rispondere a domande su qualsiasi argomento. |
|
Ricerca vettoriale LangChain Question-answering Document-QA LangChain |
Risposta alle domande con documenti utilizzando LangChain 🦜️🔗 e Vertex AI Vector Search Questo blocco note mostra come utilizzare LangChain e Vertex AI Vector Search (in precedenza Matching Engine) per creare un sistema di risposta alle domande per i documenti. Il sistema può rispondere a domande su entità, date e numeri nei documenti. |
|
PaLM per la risposta alle domande di Document AI |
Risposta alle domande con Documenti utilizzando Document AI, Pandas e PaLM Questo blocco note mostra come utilizzare Document AI, Pandas e PaLM per creare un sistema di question answering. Utilizza prima Document AI per estrarre dati strutturati da un documento, poi usa Pandas per creare un dataframe dai dati estratti e infine usa PaLM per generare risposte alle domande sui dati. |
|
QA del documento per la risposta alle domande |
Risposta alle domande con documenti di grandi dimensioni Questo blocco note mostra come utilizzare il servizio di risposta alle domande di Vertex AI per creare un modello di question answering in grado di rispondere a domande da documenti di grandi dimensioni. Il modello viene addestrato su un set di dati di articoli di Wikipedia e può rispondere a domande su una varietà di argomenti. |
|
Generazione di immagini |
Generatore di descrizione prodotto dall'immagine Questo blocco note mostra come generare descrizioni dei prodotti a partire dalle immagini utilizzando un modello da testo a immagine. Il modello viene addestrato su un set di dati di immagini prodotto e relative descrizioni. |
|
LangChain per la vendita al dettaglio di generazione |
Questo blocco note mostra come utilizzare il modello LangChain per generare descrizioni di prodotti ottimizzate per la SEO per la vendita al dettaglio. Il modello utilizza come input un elenco di attributi del prodotto e genera una breve descrizione che evidenzia le caratteristiche chiave del prodotto. |
|
Generazione di testo di BigQuery DataFrames |
BigQuery DataFrames ML: generazione di nomi farmaco Questo blocco note mostra come utilizzare BigQuery DataFrames ML per generare nomi di farmaci. Utilizza un modello linguistico preaddestrato per generare il testo e poi filtra i risultati per rimuovere i nomi dei farmaci già in uso. |
|
Generazione del codice di BigQuery DataFrames |
Utilizzare BigQuery DataFrames con l'IA generativa per la generazione di codice Questo blocco note mostra come utilizzare i DataFrames di BigQuery con l'IA generativa per la generazione di codice. Mostra come utilizzare un modello linguistico preaddestrato per generare codice che trasformi una tabella BigQuery in un DataFrame Pandas. |
|
Modello linguistico BigQuery |
Utilizzo degli LLM Vertex AI con dati in BigQuery Questo blocco note mostra come utilizzare gli LLM di Vertex AI con i dati in BigQuery. Mostra come caricare i dati da BigQuery, creare un modello LLM e quindi utilizzare il modello per generare testo in base ai dati. |
|
Visualizzazione somiglianza incorporamenti |
Visualizzare la somiglianza di incorporamento da documenti di testo utilizzando i grafici t-SNE Questo blocco note mostra come visualizzare la somiglianza di incorporamento dai documenti di testo utilizzando i grafici t-SNE. Utilizza un set di dati delle recensioni di film provenienti dal [set di dati IMDB](https://datasets.imdbws.com/). |
|
Ricerca vettoriale con incorporamenti di testo |
Introduzione a Text Embeddings + Vertex AI Vector Search Questo blocco note fornisce un'introduzione agli incorporamenti di testo e a come utilizzarli con Vertex AI Vector Search. Descrive le nozioni di base degli incorporamenti di testo, come addestrarli e come utilizzarli per eseguire ricerche vettoriali. |
|
Ricerca vettoriale degli incorporamenti |
Guida rapida di Vertex AI Vector Search Questo blocco note è una guida rapida per l'utilizzo di Vertex AI Vector Search. Illustra le nozioni di base della ricerca vettoriale, tra cui come creare un indice vettoriale, come caricare i dati nell'indice ed eseguire query di ricerca vettoriale. |
|
Generazione di immagini Imagen 2 |
Generazione di immagini con Imagen su Vertex AI In questo blocco note esplorerai le funzionalità di generazione di immagini di Imagen utilizzando l'SDK Vertex AI per Python. Scopri di più sulla funzionalità di generazione di immagini di Imagen. |
|
Generazione di immagini Imagen 2 |
Creare asset visivi di alta qualità con Imagen e Gemini 1.0 Pro In questo blocco note, utilizzerai Imagen e Gemini 1.0 Pro per creare asset visivi di alta qualità per il menu di un ristorante. Scopri di più sulla generazione di immagini e sui modelli multimodali. |
|
Modifica di immagini Imagen 2 |
In questo blocco note esplorerai le funzionalità di modifica delle immagini di Imagen utilizzando l'SDK Vertex AI per Python. |
|
Imagen Imagen Visual Question Answering (VQA) |
VQA (Visual Question Answering) con Imagen su Vertex AI Questo blocco note mostra come utilizzare Imagen per generare immagini che rispondono a determinate domande. Mostra inoltre come eseguire il deployment di un modello su Vertex AI e utilizzarlo per generare immagini in risposta alle domande fornite dall'utente. |
|
Generazione di didascalie per le immagini Imagen |
Sottotitolaggio visivo con Imagen su Vertex AI Questo blocco note mostra come utilizzare Imagen, un modello linguistico di grandi dimensioni (LLM) per la generazione di immagini, per generare didascalie per le immagini. Mostra inoltre come eseguire il deployment del modello su Vertex AI. |
Passaggi successivi
- Scopri di più sui modelli LLM, Vertex AI e PaLM con i tutorial per blocchi note.
- Esplora altre risorse nel repository GitHub per l'IA generativa.
- Consulta altri tutorial sui blocchi note di Vertex AI nella panoramica dei tutorial.