Panoramica di Bigtable Data Boost

Data Boost è un servizio di serverless computing progettato per eseguire velocità effettiva elevata di leggere job sui dati Bigtable senza influire sulle prestazioni che gestiscono il traffico della tua applicazione. Ti consente di inviare job di lettura utilizzando il serverless computing mentre l'applicazione principale continua a utilizzare nodi cluster per il calcolo. Gli SKU e le tariffe di fatturazione per il computing serverless e separate dagli SKU e dalle tariffe per i nodi di cui è stato eseguito il provisioning. Non puoi inviare messaggi le richieste con Data Boost.

Questo documento descrive Data Boost e quando e come utilizzarlo li annotino. Prima di leggere questa pagina, è bene conoscere istanze, cluster e nodi.

Per cosa è utile

Data Boost è ideale per i carichi di lavoro di analisi ed elaborazione dati. Isolare le analisi e l'elaborazione del traffico con Data Boost garantisce che Non devi regolare la capacità di un cluster o il conteggio dei nodi per carichi di lavoro di analisi. Puoi eseguire job di analisi a velocità effettiva elevata su un in un unico cluster con Data Boost, mentre il traffico costante delle applicazioni instradato tramite i nodi del cluster.

Di seguito sono riportati i casi d'uso ideali per Data Boost:

  • Job della pipeline ETL o di esportazione pianificati o attivati da Da Bigtable a Cloud Storage per l'arricchimento, l'analisi e archiviazione, addestramento dei modelli ML offline o importazione da parte partner terzi
  • ETL utilizzando uno strumento come Dataflow per la scansione breve o di lettura in batch che supportano le aggregazioni in loco, basate su regole trasformazioni per job MDM, o ML
  • Applicazioni Spark che utilizzano il connettore Bigtable Spark per lettura dati Bigtable

Cosa non è utile

Letture punti: Data Boost non è l'opzione migliore per la lettura punti. operazioni, ovvero richieste di lettura inviate per singole righe. Sono inclusi letture dei punti in batch. A causa della struttura di fatturazione, molti punti su riga singola le letture costano molto di più di una scansione lunga.

Lettura dei dati subito dopo la loro scrittura: quando leggi i dati con Data Boost, potresti non leggere tutti i dati scritti nell' mezz'ora. Ciò è particolarmente vero se l'istanza utilizza la replica e leggere dati scritti in un cluster in una regione diversa da quella attuale che legge. Per ulteriori informazioni, vedi Token di coerenza.

Carichi di lavoro sensibili alla latenza: Data Boost è ottimizzato per la velocità effettiva, pertanto la latenza di lettura è più lenta quando utilizzi Data Boost rispetto a quando leggi con di cluster e nodi. Per questo motivo, Data Boost non è adatto a per la gestione delle applicazioni.

Per ulteriori informazioni su carichi di lavoro, configurazioni e funzionalità non compatibile con Data Boost. Consulta Limitazioni.

Profili app Data Boost

Per utilizzare Data Boost, devi inviare le richieste di lettura utilizzando un'app Data Boost anziché un profilo dell'app standard.

I profili app standard ti consentono di specificare criterio di routing e livello di priorità per le richieste che usano il profilo dell'app, nonché per le richieste a riga singola transazioni sono consentite. Il traffico inviato utilizzando un profilo app standard viene instradato a un cluster e i relativi nodi instradano il traffico su disco. Per ulteriori informazioni le informazioni, vedi Panoramica dei profili app standard.

Con un profilo app Data Boost, invece, configuri un criterio di routing a cluster singolo a uno dei cluster dell'istanza e il traffico utilizzando il profilo dell'app viene usato il serverless computing al posto dei nodi del cluster.

Puoi creare un nuovo profilo app Data Boost o convertire un profilo profilo dell'app per utilizzare invece Data Boost. Ti consigliamo di utilizzare una profilo dell'app separato per ogni carico di lavoro o applicazione.

Token di coerenza

Dati scritti o replicati nel cluster di destinazione più di 35 minuti prima che la richiesta di lettura sia leggibile da Data Boost.

Puoi assicurarti che i dati di un job di scrittura o di un periodo di tempo specifici siano leggibile da Data Boost, prima di avviare un Data Boost del carico di lavoro, creando e utilizzando token di coerenza. Ecco un flusso di lavoro di esempio:

  1. Scrivere alcuni dati in una tabella.
  2. Crea un token di coerenza.
  3. Invia il token in modalità DataBoostReadLocalWrites per determinare quando le scritture sono leggibili da Data Boost sul cluster di destinazione.

Facoltativamente, puoi verificare la coerenza della replica prima di controllare Data Boost coerenza inviando prima un token di coerenza in modalità StandardReadRemoteWrites.

Per ulteriori informazioni, consulta il riferimento API per CheckConsistencyRequest.

Quota e fatturazione

Data Boost utilizza unità di elaborazione serverless (SPU), indipendenti, risorse di calcolo on demand, per misurare la potenza di calcolo utilizzata per leggere con Data Boost. A differenza dei nodi, le SPU vengono addebitate solo quando le utilizzi. Ogni richiesta viene fatturata per un minimo di 60 secondi SPU e vengono addebitate almeno 10 SPU al secondo. Per ulteriori informazioni su Data Boost sui prezzi, consulta Bigtable prezzi.

Ti viene allocata la quota e ti vengono addebitate le SPU separatamente dalla quota e costi aggiuntivi per i nodi.

Metriche di idoneità

Data Boost è progettato per scansioni con velocità effettiva elevata, mentre i carichi di lavoro devono essere compatibile per poter utilizzare Data Boost. Prima di convertire un'app standard per utilizzare Data Boost o creare un profilo dell'app Data Boost per un carico di lavoro esistente, visualizza Data Boost metriche di idoneità per assicurarti che configurazione e utilizzo soddisfano i criteri richiesti. Devi inoltre consultare limitazioni.

Monitoraggio

Per monitorare il traffico di Data Boost, puoi controllare le metriche per Profilo dell'app Data Boost nella pagina di monitoraggio di Bigtable in nella console Google Cloud. Per un elenco delle metriche disponibili per profilo dell'app, consulta Grafici sul monitoraggio delle risorse Bigtable.

Puoi monitorare l'utilizzo delle unità di elaborazione serverless (SPU), controllando le la metrica del conteggio di utilizzo SPU (data_boost/spu_usage_count) in Esplora metriche.

Puoi anche continuare a monitorare l'idoneità metriche per il profilo dell'app dopo aver iniziato a utilizzare Data Boost.

Limitazioni

Le seguenti proprietà dei carichi di lavoro e configurazioni delle risorse non sono supportate per Data Boost.

  • Operazioni di scrittura ed eliminazione
  • Traffico costituito principalmente da letture per punti (letture su riga singola)
  • Più di 1000 letture al secondo per cluster
  • Scansioni invertite
  • Flussi di modifiche
  • Priorità delle richieste
  • Routing a cluster multipli
  • Transazioni su riga singola
  • Endpoint regionali
  • Istanze HDD
  • Istanze che utilizzano la crittografia CMEK
  • Librerie client incompatibili. Devi utilizzare Client Bigtable per Java versione 2.31.0 o successiva.
    • Affinché i job Dataflow che utilizzano BigtableIO possano leggere i dati Bigtable, devi utilizzare Apache Beam versione 2.54.0 o successive.
    • Affinché i job Dataflow che utilizzano CloudBigtableIO per leggere i dati Bigtable, devi usare bigtable-hbase-beam versione 2.14.1 o successiva.

Le seguenti funzionalità non sono supportate per l'anteprima.

  • Creazione e configurazione del profilo dell'app Data Boost nella console Google Cloud
  • Lettura dei dati di Bigtable da BigQuery

Passaggi successivi