Differenze tra HBase e Bigtable
Un modo per accedere a Bigtable è utilizzare una versione personalizzata del client Apache HBase per Java. In generale, il client personalizzato espone la stessa API di un'installazione standard di HBase. Questa pagina descrive le differenze tra il client HBase di Cloud Bigtable per Java e un'installazione HBase standard. Molte di queste differenze sono legate alle attività di gestione che Bigtable gestisce automaticamente.
Famiglie di colonne
Quando crei una famiglia di colonne, non puoi configurare la dimensione del blocco o il metodo di compressione, né con la shell HBase che tramite l'API HBase. Bigtable gestisce automaticamente le dimensioni e la compressione dei blocchi.
Inoltre, se utilizzi la shell HBase per ottenere informazioni su una tabella, la shell HBase segnalerà sempre che ogni famiglia di colonne non utilizza la compressione. In realtà, Bigtable utilizza metodi di compressione proprietari per tutti i dati.
Bigtable richiede che i nomi famiglia di colonne seguano l'espressione regolare [_a-zA-Z0-9][-_.a-zA-Z0-9]*
. Se stai importando dati in Bigtable da HBase, potresti dover prima modificare i nomi delle famiglie in modo da seguire questo schema.
Righe e celle
- Non puoi definire un ACL per una singola riga.
- Non puoi impostare la visibilità di singole celle.
- I tag non sono supportati. Non puoi utilizzare la classe
org.apache.hadoop.hbase.Tag
per aggiungere metadati alle singole celle.
Mutazioni ed eliminazioni
- Le operazioni di
Append
in Bigtable sono completamente atomiche sia per i lettori che per gli scrittori. I lettori non potranno mai leggere un'operazioneAppend
parzialmente applicata. - L'eliminazione di una versione specifica di una colonna specifica in base al timestamp è supportata, ma l'eliminazione di tutti i valori con un timestamp specifico in una determinata famiglia di colonne o riga non è supportata. I seguenti metodi nella classe
org.apache.hadoop.hbase.client.Delete
non sono supportati:new Delete(byte[] row, long timestamp)
addColumn(byte[] family, byte[] qualifier)
addFamily(byte[] family, long timestamp)
addFamilyVersion(byte[] family, long timestamp)
- In HBase, elimina mascheramento, ma Bigtable non maschera le operazioni dopo le operazioni di eliminazione quando le richieste di immissione vengono inviate dopo le richieste di eliminazione. Ciò significa che in Bigtable una richiesta di scrittura inviata a una cella non è interessata da una richiesta di eliminazione inviata in precedenza alla stessa cella.
Recupera e analizza
- Le scansioni inverse consentono di leggere un intervallo di righe all'indietro. Per maggiori dettagli, consulta Scansioni inverse.
- L'esecuzione di query sulle versioni delle famiglie di colonne all'interno di un intervallo di timestamp non è supportata. Non puoi chiamare i seguenti metodi:
org.apache.hadoop.hbase.client.Query#setColumnFamilyTimeRange(byte[] cf, long minStamp, long maxStamp)
org.apache.hadoop.hbase.client.Get#setColumnFamilyTimeRange(byte[] cf, long minStamp, long maxStamp)
org.apache.hadoop.hbase.client.Scan#setColumnFamilyTimeRange(byte[] cf, long minStamp, long maxStamp)
- La limitazione del numero di valori per riga per famiglia di colonne non è supportata. Non puoi chiamare il metodo
org.apache.hadoop.hbase.client.Scan#setMaxResultsPerColumnFamily(int limit)
. - L'impostazione del numero massimo di celle da restituire per ogni chiamata a
next()
non è supportata. Le chiamate al metodoorg.apache.hadoop.hbase.client.Scan#setBatch(int batch)
vengono ignorate. - L'impostazione del numero di righe per la memorizzazione nella cache non è supportata. Le chiamate al metodo
org.apache.hadoop.hbase.client.Scan#setCaching(int caching)
vengono ignorate.
Coprocessori
I coprocessori non sono supportati. Non puoi creare classi che implementano l'interfaccia org.apache.hadoop.hbase.coprocessor
.
Filtri
La tabella seguente mostra i filtri supportati. Tutti questi filtri si trovano nel pacchetto org.apache.hadoop.hbase.filter
.
Supportato | Supportata, con limitazioni | Non supportata |
---|---|---|
|
||
ColumnPrefixFilter FamilyFilter FilterList FuzzyRowFilter MultipleColumnPrefixFilter MultiRowRangeFilter PrefixFilter 6RandomRowFilter TimestampsFilter
|
ColumnCountGetFilter 1ColumnPaginationFilter 1ColumnRangeFilter 1FirstKeyOnlyFilter 1KeyOnlyFilter 2PageFilter 5QualifierFilter 3RowFilter 1, 4SingleColumnValueExcludeFilter 1, 4, 7SingleColumnValueFilter 4, 7ValueFilter 4
|
DependentColumnFilter FirstKeyValueMatchingQualifiersFilter InclusiveStopFilter ParseFilter SkipFilter WhileMatchFilter |
Inoltre, le seguenti differenze influiscono sui filtri Bigtable:
- Nei filtri che utilizzano il comparatore delle espressioni regolari (
org.apache.hadoop.hbase.filter.RegexStringComparator
), le espressioni regolari utilizzano la sintassi RE2, non la sintassi Java. - I filtri personalizzati non sono supportati. Non puoi creare corsi che ereditano da
org.apache.hadoop.hbase.filter.Filter
. - Esiste un limite di dimensioni di 20 kB per le espressioni di filtro. Come soluzione alternativa per ridurre le dimensioni di un'espressione di filtro, utilizza una colonna supplementare che memorizzi il valore hash dei criteri del filtro.
Timestamp
Bigtable archivia i timestamp in microsecondi, mentre HBase archivia i timestamp in millisecondi. Questa distinzione ha conseguenze sull'utilizzo della libreria client HBase per Bigtable e sui dati con timestamp invertiti.
La libreria client converte tra microsecondi e millisecondi, ma poiché il timestamp HBase più grande che Bigtable può archiviare è Long.MAX_VALUE/1000, qualsiasi valore superiore viene convertito in Long.MAX_VALUE/1000. Di conseguenza, valori di timestamp invertiti di grandi dimensioni potrebbero non generare conversioni corrette.
Amministrazione
Questa sezione descrive i metodi nell'interfaccia org.apache.hadoop.hbase.client.Admin
che non sono disponibili su Bigtable o che si comportano in modo diverso in Bigtable rispetto a HBase. Questi elenchi non sono esaustivi e potrebbero non riflettere i metodi dell'API HBase aggiunti più di recente.
La maggior parte di questi metodi non è necessaria su Bigtable, perché le attività di gestione vengono gestite automaticamente. Alcuni metodi non sono disponibili perché si riferiscono a funzionalità non supportate da Bigtable.
Attività di manutenzione generali
Bigtable gestisce automaticamente la maggior parte delle attività di manutenzione. Di conseguenza, i seguenti metodi non sono disponibili:
abort(String why, Throwable e)
balancer()
enableCatalogJanitor(boolean enable)
getMasterInfoPort()
getOperationTimeout()
isCatalogJanitorEnabled()
rollWALWriter(ServerName serverName)
runCatalogScan()
setBalancerRunning(boolean on, boolean synchronous)
shutdown()
stopMaster()
updateConfiguration()
updateConfiguration(ServerName serverName)
Gruppi di località
Bigtable non consente di specificare gruppi di località per le famiglie di colonne. Di conseguenza, non puoi chiamare metodi HBase che restituiscono un gruppo di località.
Spazi dei nomi
Bigtable non utilizza gli spazi dei nomi. Puoi utilizzare prefissi chiave di riga per simulare gli spazi dei nomi. I seguenti metodi non sono disponibili:
createNamespace(NamespaceDescriptor descriptor)
deleteNamespace(String name)
getNamespaceDescriptor(String name)
listNamespaceDescriptors()
listTableDescriptorsByNamespace(String name)
listTableNamesByNamespace(String name)
modifyNamespace(NamespaceDescriptor descriptor)
Gestione regioni
Bigtable utilizza tablet, che sono simili alle regioni. Bigtable gestisce automaticamente i tablet. Di conseguenza, i seguenti metodi non sono disponibili:
assign(byte[] regionName)
closeRegion(byte[] regionname, String serverName)
closeRegion(ServerName sn, HRegionInfo hri)
closeRegion(String regionname, String serverName)
closeRegionWithEncodedRegionName(String encodedRegionName, String serverName)
compactRegion(byte[] regionName)
compactRegion(byte[] regionName, byte[] columnFamily)
compactRegionServer(ServerName sn, boolean major)
flushRegion(byte[] regionName)
getAlterStatus(byte[] tableName)
getAlterStatus(TableName tableName)
getCompactionStateForRegion(byte[] regionName)
getOnlineRegions(ServerName sn)
majorCompactRegion(byte[] regionName)
majorCompactRegion(byte[] regionName, byte[] columnFamily)
mergeRegions(byte[] encodedNameOfRegionA, byte[] encodedNameOfRegionB, boolean forcible)
move(byte[] encodedRegionName, byte[] destServerName)
offline(byte[] regionName)
splitRegion(byte[] regionName)
splitRegion(byte[] regionName, byte[] splitPoint)
stopRegionServer(String hostnamePort)
unassign(byte[] regionName, boolean force)
Snapshot
I seguenti metodi non sono disponibili.
deleteSnapshots(Pattern pattern)
deleteSnapshots(String regex)
isSnapshotFinished(HBaseProtos.SnapshotDescription snapshot)
restoreSnapshot(byte[] snapshotName)
restoreSnapshot(String snapshotName)
restoreSnapshot(byte[] snapshotName, boolean takeFailSafeSnapshot)
restoreSnapshot(String snapshotName, boolean takeFailSafeSnapshot)
snapshot(HBaseProtos.SnapshotDescription snapshot)
Gestione delle tabelle
Attività come la compattazione della tabella vengono gestite automaticamente. Di conseguenza, i seguenti metodi non sono disponibili:
compact(TableName tableName)
compact(TableName tableName, byte[] columnFamily)
flush(TableName tableName)
getCompactionState(TableName tableName)
majorCompact(TableName tableName)
majorCompact(TableName tableName, byte[] columnFamily)
modifyTable(TableName tableName, HTableDescriptor htd)
split(TableName tableName)
split(TableName tableName, byte[] splitPoint)
Coprocessori
Bigtable non supporta i coprocessori. Di conseguenza, i seguenti metodi non sono disponibili:
coprocessorService()
coprocessorService(ServerName serverName)
getMasterCoprocessors()
Procedure distribuite
Bigtable non supporta le procedure distribuite. Di conseguenza, i seguenti metodi non sono disponibili:
execProcedure(String signature, String instance, Map<String, String> props)
execProcedureWithRet(String signature, String instance, Map<String, String> props)
isProcedureFinished(String signature, String instance, Map<String, String> props)