Lavorare con le funzioni remote
Una funzione remota BigQuery ti consente di implementare la tua funzione in altri linguaggi oltre a SQL e JavaScript o con le librerie o i servizi non consentiti nelle funzioni definite dall'utente di BigQuery.
Panoramica
Una funzione remota di BigQuery ti consente di incorporare la funzionalità GoogleSQL con software esterno a BigQuery, fornendo un'integrazione diretta con le funzioni Cloud Run e Cloud Run. Con funzioni remote di BigQuery, puoi eseguire il deployment Funzioni di Cloud Run o Cloud Run implementato con qualsiasi per le lingue supportate e richiamarle da GoogleSQL query.
Flusso di lavoro
- Crea l'endpoint HTTP nelle funzioni Cloud Run o in Cloud Run.
- Creare una funzione remota in BigQuery.
- Crea una connessione di tipo
CLOUD_RESOURCE
. - Crea una funzione remota.
- Crea una connessione di tipo
- Utilizza la funzione remota in una query come qualsiasi altra funzione definita dall'utente.
Limitazioni
Le funzioni remote supportano solo una delle seguenti opzioni tipi di dati come argomento o tipo restituito:
- Booleano
- Byte
- Numerico
- Stringa
- Data
- Data/ora
- Ora
- Timestamp
- JSON
Le funzioni remote non supportano i tipi
ARRAY
,STRUCT
,INTERVAL
oGEOGRAPHY
.Non puoi creare funzioni remote temporanee.
Non puoi creare funzioni remote con valori di tabella.
Non puoi utilizzare le funzioni remote durante la creazione di viste materializzate.
Si presume sempre che il valore restituito di una funzione remota sia non deterministico, pertanto il risultato di una query che chiama una funzione remota non viene memorizzato nella cache.
Potresti vedere richieste ripetute con gli stessi dati per il tuo endpoint, anche in seguito a risposte positive, a causa di errori di rete temporanei Errori interni di BigQuery.
Quando la valutazione di una funzione remota viene saltata per alcune righe a causa di un cortocircuito, ad esempio nelle espressioni condizionali o in un istruzione
MERGE
conWHEN [NOT] MATCHED
, il raggruppamento non viene utilizzato con la funzione remota. In questo caso, il campocalls
nel corpo della richiesta HTTP ha esattamente un elemento.Se il set di dati associato alla funzione remota viene replicato in una regione di destinazione tramite un set di dati interregionale di replica, la funzione remota può nella regione in cui è stato creato.
Creazione di un endpoint
Per creare una funzione remota che possa implementare la logica di business, devi creare un endpoint HTTP utilizzando le funzioni Cloud Run o Cloud Run. L'endpoint deve essere in grado di elaborare un batch di righe in una singola richiesta POST HTTP e restituire i risultati del batch come risposta HTTP.
Se stai creando la funzione remota mediante utilizzando BigQuery DataFrames, non è necessario creare manualmente l'endpoint HTTP, il servizio lo fa per automaticamente.
Consulta il tutorial sulle funzioni Cloud Run e altra documentazione sulle funzioni Cloud Run su come scrivere, eseguire il deployment, testare e gestire una funzione Cloud Run.
Consulta la guida rapida di Cloud Run e altra documentazione di Cloud Run su come scrivere, eseguire il deployment, testare e gestire un servizio Cloud Run.
Ti consigliamo di mantenere l'autenticazione predefinita anziché consentire una chiamata non autenticata per la tua funzione Cloud Run o dal servizio Cloud Run.
Formato di input
BigQuery invia richieste POST HTTP con corpo JSON nel seguente formato:
Nome campo | Descrizione | Tipo di campo |
---|---|---|
requestId | ID della richiesta. Univoco in più richieste inviate a questo endpoint in una query GoogleSQL. | Forniti sempre. Stringa. |
chiamante | Nome completo della risorsa del job per la query GoogleSQL che chiama la funzione remota. | Forniti sempre. Stringa. |
sessionUser | Indirizzo email dell'utente che esegue la query GoogleSQL. | Forniti sempre. Stringa. |
userDefinedContext | Il contesto definito dall'utente utilizzato durante la creazione della funzione remota in BigQuery. | Facoltativo. Un oggetto JSON con coppie chiave-valore. |
chiamate | Un batch di dati di input. | Fornito sempre. Un array JSON.
Ogni elemento è un array JSON, ovvero un elenco di argomenti codificati in JSON di una chiamata di funzione remota. |
Esempio di richiesta:
{
"requestId": "124ab1c",
"caller": "//bigquery.googleapis.com/projects/myproject/jobs/myproject:US.bquxjob_5b4c112c_17961fafeaf",
"sessionUser": "test-user@test-company.com",
"userDefinedContext": {
"key1": "value1",
"key2": "v2"
},
"calls": [
[null, 1, "", "abc"],
["abc", "9007199254740993", null, null]
]
}
Formato di output
BigQuery si aspetta che l'endpoint restituisca una risposta HTTP nel seguente formato, altrimenti BigQuery non può utilizzarla e la query che chiama la funzione remota non andrà a buon fine.
Nome campo | Descrizione | Intervallo di valori |
risposte | Un gruppo di valori restituiti. | Obbligatorio per una risposta corretta. Un array JSON.
Ogni elemento corrisponde a un valore restituito codificato JSON della funzione esterna.
Le dimensioni dell'array devono corrispondere a quelle dell'array JSON di |
errorMessage | Messaggio di errore quando viene restituito un codice di risposta HTTP diverso da 200. Per gli errori non ripetibili, lo restituisce all'utente come parte del messaggio di errore del job BigQuery. | Facoltativo. Stringa. La dimensione deve essere inferiore a 1 kB. |
Un esempio di risposta corretta:
{
"replies": [
1,
0
]
}
Esempio di risposta non riuscita:
{
"errorMessage": "Received but not expected that the argument 0 be null".
}
Codice di risposta HTTP
Per una risposta corretta, l'endpoint dovrebbe restituire il codice di risposta HTTP 200. Quando BigQuery riceve un qualsiasi altro valore, considera la risposta come un errore e riprova quando il codice di risposta HTTP viene 408, 429, 500, 503 o 504 fino a un limite interno.
Codifica JSON del tipo di dati SQL
Segue la codifica JSON nelle richieste/risposte HTTP la codifica JSON di BigQuery esistente per la funzione TO_JSON_STRING.
Esempio di codice della funzione Cloud Run
Il seguente codice di esempio Python implementa l'aggiunta di tutti gli argomenti interi della funzione remota. Gestisce una richiesta con gli argomenti per le invocazioni collettive e restituisce tutto il risultato in una risposta.
import functions_framework
from flask import jsonify
# Max INT64 value encoded as a number in JSON by TO_JSON_STRING. Larger values are encoded as
# strings.
# See https://cloud.google.com/bigquery/docs/reference/standard-sql/json_functions#json_encodings
_MAX_LOSSLESS=9007199254740992
@functions_framework.http
def batch_add(request):
try:
return_value = []
request_json = request.get_json()
calls = request_json['calls']
for call in calls:
return_value.append(sum([int(x) if isinstance(x, str) else x for x in call if x is not None]))
replies = [str(x) if x > _MAX_LOSSLESS or x < -_MAX_LOSSLESS else x for x in return_value]
return_json = jsonify( { "replies": replies } )
return return_json
except Exception as e:
return jsonify( { "errorMessage": str(e) } ), 400
Supponendo che la funzione sia dipiattata nel progetto my_gcf_project
nella regione
us-east1
come nome della funzione remote_add
, è possibile accedervi tramite
l'endpoint https://us-east1-my_gcf_project.cloudfunctions.net/remote_add
.
Esempio di codice Cloud Run
Il codice Python di esempio seguente implementa un servizio web che può essere creato e i cui deployment sono stati eseguiti in Cloud Run per la stessa funzionalità.
import os
from flask import Flask, request, jsonify
# Max INT64 value encoded as a number in JSON by TO_JSON_STRING. Larger values are encoded as
# strings.
# See https://cloud.google.com/bigquery/docs/reference/standard-sql/json_functions#json_encodings
_MAX_LOSSLESS=9007199254740992
app = Flask(__name__)
@app.route("/", methods=['POST'])
def batch_add():
try:
return_value = []
request_json = request.get_json()
calls = request_json['calls']
for call in calls:
return_value.append(sum([int(x) if isinstance(x, str) else x for x in call if x is not None]))
replies = [str(x) if x > _MAX_LOSSLESS or x < -_MAX_LOSSLESS else x for x in return_value]
return jsonify( { "replies" : replies } )
except Exception as e:
return jsonify( { "errorMessage": str(e) } ), 400
if __name__ == "__main__":
app.run(debug=True, host="0.0.0.0", port=int(os.environ.get("PORT", 8080)))
Consulta la guida su come creare ed eseguire il deployment del codice.
Supponendo che sia stato eseguito il deployment del servizio Cloud Run nel progetto
my_gcf_project
nella regione us-east1
come nome del servizio remote_add
, può
accessibile tramite l'endpoint
https://remote_add-<project_id_hash>-ue.a.run.app
.
Creare una funzione remota
BigQuery utilizza una connessione CLOUD_RESOURCE
per interagire con la funzione Cloud Run. Per creare una funzione remota, devi creare una connessione CLOUD_RESOURCE
. Se stai creando la funzione remota mediante
utilizzando BigQuery DataFrames
e ti è stato concesso
Amministratore IAM progetto (roles/resourcemanager.projectIamAdmin
), quindi
Non è necessario creare manualmente la connessione e concederle l'accesso; il servizio
lo fa automaticamente.
Crea una connessione
Devi disporre di una connessione alle risorse Cloud per connetterti alla funzione Cloud Run e Cloud Run.
Seleziona una delle seguenti opzioni:
Console
Vai alla pagina BigQuery.
Per creare una connessione, fai clic su
Aggiungi e poi su Connessioni a origini dati esterne.Nell'elenco Tipo di connessione, seleziona Modelli remoti di Vertex AI, funzioni remote e BigLake (risorsa Cloud).
Nel campo ID connessione, inserisci un nome per connessione.
Fai clic su Crea connessione.
Fai clic su Vai alla connessione.
Nel riquadro Informazioni sulla connessione, copia l'ID account di servizio da utilizzare in un passaggio successivo.
bq
In un ambiente a riga di comando, crea una connessione:
bq mk --connection --location=REGION --project_id=PROJECT_ID \ --connection_type=CLOUD_RESOURCE CONNECTION_ID
Il parametro
--project_id
sostituisce il progetto predefinito.Sostituisci quanto segue:
REGION
: il tuo regione di connessionePROJECT_ID
: il tuo ID progetto Google CloudCONNECTION_ID
: un ID per la connessione
Quando crei una risorsa di connessione, BigQuery crea un account di servizio di sistema unico e lo associa alla connessione.
Risoluzione dei problemi: se ricevi il seguente errore di connessione, Aggiorna Google Cloud SDK:
Flags parsing error: flag --connection_type=CLOUD_RESOURCE: value should be one of...
Recupera e copia l'ID account di servizio per utilizzarlo in un passaggio successivo:
bq show --connection PROJECT_ID.REGION.CONNECTION_ID
L'output è simile al seguente:
name properties 1234.REGION.CONNECTION_ID {"serviceAccountId": "connection-1234-9u56h9@gcp-sa-bigquery-condel.iam.gserviceaccount.com"}
Terraform
Aggiungi la seguente sezione al tuo file main.tf
.
## This creates a cloud resource connection. ## Note: The cloud resource nested object has only one output only field - serviceAccountId. resource "google_bigquery_connection" "connection" { connection_id = "CONNECTION_ID" project = "PROJECT_ID" location = "REGION" cloud_resource {} }
CONNECTION_ID
: un ID per connessionePROJECT_ID
: l'ID del tuo progetto Google CloudREGION
: il tuo regione di connessione
Configura l'accesso
Devi concedere alla nuova connessione l'accesso in sola lettura al tuo Funzione Cloud Run o servizio Cloud Run. Non è consigliabile consentire l'invocazione non autenticata per la funzione o il servizio Cloud Run.
Per concedere i ruoli:
Vai alla pagina IAM e amministrazione.
Fai clic su
Aggiungi.Viene visualizzata la finestra di dialogo Aggiungi entità.
Nel campo Nuove entità, inserisci l'ID account di servizio che hai copiato in precedenza.
Nel campo Seleziona un ruolo, scegli una delle seguenti opzioni:
- Se utilizzi una funzione Cloud Run di 1a generazione, scegli funzione Cloud Functions Functions, quindi seleziona il ruolo Invoker della funzione Cloud Functions.
- Se utilizzi una funzione Cloud Run di 2ª generazione, scegli Cloud Run e poi seleziona Ruolo Invoker di Cloud Run.
- Se utilizzi un servizio Cloud Run, scegli Cloud Run e poi seleziona Ruolo invocatore Cloud Run.
Fai clic su Salva.
Creare una funzione remota
Per creare una funzione remota:
SQL
Esegui questo comando
CREATE FUNCTION
in BigQuery:
Nella console Google Cloud, vai alla pagina BigQuery.
Nell'editor di query, inserisci la seguente istruzione:
CREATE FUNCTION
PROJECT_ID.DATASET_ID
.remote_add(x INT64, y INT64) RETURNS INT64 REMOTE WITH CONNECTIONPROJECT_ID.LOCATION.CONNECTION_NAME
OPTIONS ( endpoint = 'ENDPOINT_URL' )Sostituisci quanto segue:
DATASET_ID
: l'ID del set di dati BigQuery.ENDPOINT_URL
: l'URL della funzione Cloud Run o dell'endpoint della funzione remota di Cloud Run.
Fai clic su
Esegui.
Per ulteriori informazioni su come eseguire le query, consulta Eseguire una query interattiva.
BigQuery DataFrames
- Abilita le API richieste e assicurati che ti sia stato concesso ai ruoli richiesti, come descritto nella sezione Requisiti del Funzioni remote.
Utilizza il decoratore
remote_function
:import bigframes.pandas as bpd # Set BigQuery DataFrames options bpd.options.bigquery.project = your_gcp_project_id bpd.options.bigquery.location = "us" # BigQuery DataFrames gives you the ability to turn your custom scalar # functions into a BigQuery remote function. It requires the GCP project to # be set up appropriately and the user having sufficient privileges to use # them. One can find more details about the usage and the requirements via # `help` command. help(bpd.remote_function) # Read a table and inspect the column of interest. df = bpd.read_gbq("bigquery-public-data.ml_datasets.penguins") df["body_mass_g"].head(10) # Define a custom function, and specify the intent to turn it into a remote # function. It requires a BigQuery connection. If the connection is not # already created, BigQuery DataFrames will attempt to create one assuming # the necessary APIs and IAM permissions are setup in the project. In our # examples we will be letting the default connection `bigframes-default-connection` # be used. We will also set `reuse=False` to make sure we don't # step over someone else creating remote function in the same project from # the exact same source code at the same time. Let's try a `pandas`-like use # case in which we want to apply a user defined scalar function to every # value in a `Series`, more specifically bucketize the `body_mass_g` value # of the penguins, which is a real number, into a category, which is a # string. @bpd.remote_function( float, str, reuse=False, ) def get_bucket(num: float) -> str: if not num: return "NA" boundary = 4000 return "at_or_above_4000" if num >= boundary else "below_4000" # Then we can apply the remote function on the `Series`` of interest via # `apply` API and store the result in a new column in the DataFrame. df = df.assign(body_mass_bucket=df["body_mass_g"].apply(get_bucket)) # This will add a new column `body_mass_bucket` in the DataFrame. You can # preview the original value and the bucketized value side by side. df[["body_mass_g", "body_mass_bucket"]].head(10) # The above operation was possible by doing all the computation on the # cloud. For that, there is a google cloud function deployed by serializing # the user code, and a BigQuery remote function created to call the cloud # function via the latter's http endpoint on the data in the DataFrame. # The BigQuery remote function created to support the BigQuery DataFrames # remote function can be located via a property `bigframes_remote_function` # set in the remote function object. print(f"Created BQ remote function: {get_bucket.bigframes_remote_function}") # The cloud function can be located via another property # `bigframes_cloud_function` set in the remote function object. print(f"Created cloud function: {get_bucket.bigframes_cloud_function}") # Warning: The deployed cloud function may be visible to other users with # sufficient privilege in the project, so the user should be careful about # having any sensitive data in the code that will be deployed as a remote # function. # Let's continue trying other potential use cases of remote functions. Let's # say we consider the `species`, `island` and `sex` of the penguins # sensitive information and want to redact that by replacing with their hash # code instead. Let's define another scalar custom function and decorate it # as a remote function. The custom function in this example has external # package dependency, which can be specified via `packages` parameter. @bpd.remote_function( str, str, reuse=False, packages=["cryptography"], ) def get_hash(input: str) -> str: from cryptography.fernet import Fernet # handle missing value if input is None: input = "" key = Fernet.generate_key() f = Fernet(key) return f.encrypt(input.encode()).decode() # We can use this remote function in another `pandas`-like API `map` that # can be applied on a DataFrame df_redacted = df[["species", "island", "sex"]].map(get_hash) df_redacted.head(10)
Devi disporre dell'autorizzazione bigquery.routines.create
sul set di dati in cui crei la funzione remota e dell'autorizzazione bigquery.connections.delegate
(disponibile nel ruolo Amministratore connessione BigQuery) sulla connessione utilizzata dalla funzione remota.
Fornire un contesto definito dall'utente
Puoi specificare user_defined_context
in OPTIONS
come forma di coppie chiave-valore, che faranno parte di ogni richiesta HTTP all'endpoint. Con il contesto definito dall'utente, puoi creare più funzioni remote, ma riutilizzare un singolo endpoint che fornisce comportamenti diversi in base al contesto passato.
Gli esempi seguenti creano due funzioni remote per criptare e decriptare
BYTES
di dati utilizzando lo stesso endpoint.
CREATE FUNCTION `PROJECT_ID.DATASET_ID`.encrypt(x BYTES)
RETURNS BYTES
REMOTE WITH CONNECTION `PROJECT_ID.LOCATION.CONNECTION_NAME`
OPTIONS (
endpoint = 'ENDPOINT_URL',
user_defined_context = [("mode", "encryption")]
)
CREATE FUNCTION `PROJECT_ID.DATASET_ID`.decrypt(x BYTES)
RETURNS BYTES
REMOTE WITH CONNECTION `PROJECT_ID.LOCATION.CONNECTION_NAME`
OPTIONS (
endpoint = 'ENDPOINT_URL',
user_defined_context = [("mode", "decryption")]
)
Limitazione del numero di righe in una richiesta batch
Puoi specificare max_batching_rows
in OPTIONS
come numero massimo di righe
in ogni richiesta HTTP per evitare il timeout delle funzioni Cloud Run. Se non viene specificato, BigQuery decide quante righe sono incluse in un batch.
Utilizza una funzione remota in una query
Assicurati di avere conseguito l'autorizzazione per la funzione Cloud Run, in modo che sia accessibile all'account di servizio di BigQuery associato alla connessione della funzione remota.
Devi disporre anche dell'autorizzazione bigquery.routines.get
per il set di dati in cui si trova la funzione remota e dell'autorizzazione bigquery.connections.use
, che puoi ottenere tramite il ruolo BigQuery Connection User
, per la connessione utilizzata dalla funzione remota.
Puoi utilizzare una funzione remota in una query proprio come funzione definita dall'utente.
Ad esempio, puoi utilizzare la funzione remote_add
nella query di esempio:
SELECT
val,
`PROJECT_ID.DATASET_ID`.remote_add(val, 2)
FROM
UNNEST([NULL,2,3,5,8]) AS val;
Questo esempio produce il seguente output:
+------+-----+
| val | f0_ |
+------+-----+
| NULL | 2 |
| 2 | 4 |
| 3 | 5 |
| 5 | 7 |
| 8 | 10 |
+------+-----+
Aree geografiche supportate
In BigQuery esistono due tipi di località:
Una regione è un luogo geografico ben preciso, come Londra.
Una più regioni è una grande area geografica, come gli Stati Uniti, che contiene due o più luoghi geografici.
Regioni singole
In un set di dati BigQuery di una singola regione, puoi creare solo una funzione remota che utilizza una funzione Cloud Run di cui è stato eseguito il deployment nella stessa regione. Per esempio:
- Una funzione remota in una singola regione di BigQuery
us-east4
può usare solo una funzione Cloud Run inus-east4
.
Pertanto, per singole regioni, le funzioni remote sono supportate solo nelle regioni che supportare sia le funzioni di Cloud Run sia BigQuery.
Più regioni
In un set di dati BigQuery multiregionale (US
, EU
), puoi solo
crea una funzione remota che utilizza una funzione Cloud Run di cui è stato eseguito il deployment
regione all'interno di una stessa area geografica di grandi dimensioni (Stati Uniti, UE). Ad esempio:
- Una funzione remota in BigQuery
US
multi-regione può utilizzare solo una funzione Cloud Run di cui è stato eseguito il deployment in una singola regione dell'area geografica degli Stati Uniti, comeus-central1
,us-east4
,us-west2
e così via. - Una funzione remota in BigQuery
EU
multiregionale può utilizzare solo una funzione Cloud Run di cui è stato eseguito il deployment in una singola regione stati membri di nell'Unione Europea, ad esempioeurope-north1
,europe-west3
e così via
Per saperne di più sulle regioni e sui multiregioni di BigQuery, consulta la pagina Località dei set di dati. Per ulteriori informazioni sulle regioni di Cloud Run Functions, consulta la pagina Località di Cloud Run Functions.
Connessioni
Per una località in una singola regione o in più regioni, puoi creare una funzione remota solo nella stessa località della connessione utilizzata. Per
Ad esempio, per creare una funzione remota nell'area multiregionale US
, utilizza una connessione
situata nell'area multiregionale US
.
Prezzi
Si applicano i prezzi standard di BigQuery.
Inoltre, potrebbero essere addebitati costi per le funzioni Cloud Run e Cloud Run utilizzando questa funzionalità. Per informazioni dettagliate, consulta le pagine dei prezzi delle funzioni Cloud Run e di Cloud Run.
Utilizzo dei Controlli di servizio VPC
Controlli di servizio VPC è una funzionalità di Google Cloud che ti consente di configurare un perimetro sicuro per proteggerti dall'esfiltrazione di dati. Per utilizzare
Controlli di servizio VPC con funzioni remote per una maggiore sicurezza o per utilizzare
endpoint con internal traffic
impostazioni di ingresso,
segui la
guida ai Controlli di servizio VPC per:
Creare un perimetro di servizio.
Aggiungi il progetto BigQuery della query che utilizza la funzione remota al perimetro.
Aggiungi il progetto dell'endpoint al perimetro e imposta
Cloud Functions API
oCloud Run API
nei servizi limitati in base al tipo di endpoint. Per maggiori dettagli, consulta Controlli di servizio VPC per le funzioni Cloud Run e Controlli di servizio VPC per Cloud Run.
Best practice per le funzioni remote
Prefiltra l'input: se i tuoi input possono essere facilmente filtrati prima di essere trasmessi a un telecomando la query sarà probabilmente più veloce e più economica.
Mantieni scalabile la funzione Cloud Run. La scalabilità è una funzione minimo di istanze, numero massimo di istanze; contemporaneità.
- Se possibile, utilizza il valore predefinito per il numero massimo di istanze della funzione Cloud Run.
- Tieni presente che non esiste un limite predefinito per le funzioni Cloud Run HTTP di 1ª generazione. Per evitare eventi di scalabilità illimitati con le funzioni Cloud Run HTTP di 1ª gen. durante i test o in produzione, ti consigliamo di impostare un limite, ad esempio 3000.
Segui altri suggerimenti per le funzioni Cloud Run per migliorare il rendimento. Le query di funzione remota che interagiscono con una funzione Cloud Run ad alta latenza potrebbero non riuscire a causa del timeout.
Implementa l'endpoint in modo da restituire un codice di risposta HTTP e un payload corretti per una risposta non riuscita.
Per ridurre al minimo i nuovi tentativi da BigQuery, utilizza i codici di risposta HTTP diversi da 408, 429, 500, 503 e 504 per una risposta non riuscita e assicurati di intercetta tutte le eccezioni nel codice della funzione. In caso contrario, il framework del servizio HTTP potrebbe restituire automaticamente 500 per eventuali eccezioni non rilevate. Potresti comunque visualizzare richieste HTTP riprovate quando BigQuery riprova una query o una partizione di dati non riuscita.
L'endpoint deve restituire un payload JSON nel formato definito per un risposta non riuscita. Anche se non è strettamente necessario, aiuta BigQuery a distinguere se la risposta non riuscita proviene dall'implementazione della funzione o dall'infrastruttura delle funzioni Cloud Run/Cloud Run. Quest'ultimo, BigQuery potrebbe riprovare con un limite interno diverso.
Quote
Per informazioni sulle quote per le funzioni remote, consulta Quote e limiti.