Standardmäßig verwendet Looker eine HyperSQL-In-Memory-Datenbank, um deren Konfiguration, Benutzer und andere Daten zu speichern. Auf einer ausgelasteten Instanz kann diese Datenbank zu einer Größe von Gigabyte anwachsen, was zu Leistungsproblemen, Auslastung des Java-Arbeitsspeichers und langen Startzeiten führen kann.
Bei einer vom Kunden gehosteten Instanz empfehlen wir, die HyperSQL-Datenbank durch ein vollständiges MySQL-Datenbank-Backend zu ersetzen, wenn die interne HyperSQL-Datenbank größer als 600 MB ist. Sehen Sie sich die Größe der Datei looker.script an, um die Größe der HyperSQL-Datenbank zu prüfen:
cd looker
cd .db
ls -lah
Wenn die Datei looker.script 600 MB überschreitet, führen Sie die folgenden Schritte aus, um zu einer externen MySQL-Datenbank zu migrieren.
MySQL-Instanz bereitstellen
Stellen Sie eine MySQL 8.0.x-Instanz bereit, die als Back-End verwendet werden soll. MySQL-Versionen vor 8.0 werden nicht unterstützt.
In AWS RDS ist eine Instanz der Klasse db.m5.large wahrscheinlich als Back-End für eine einzelne Looker-Instanz ausreichend. Auch wenn die tatsächliche Nutzung der Datenbank wahrscheinlich im Bereich von 5–10 GB liegt, empfiehlt es sich, 100–150 GB SSD-Speicher bereitzustellen, da die bereitgestellten IOPS auf der angeforderten Speichermenge basieren.
MySQL 8.0.X – Standard-Authentifizierungs-Plug-in ändern
In MySQL 8.0.X ist das Standard-Plug-in für die Authentifizierung caching_sha2_password. Looker verwendet das Plug-in mysql_native_password
für die Authentifizierung bei MySQL-Datenbanken über den JDBC-Treiber. Damit diese MySQL-Version ordnungsgemäß funktioniert,
müssen Sie die folgenden zusätzlichen Schritte ausführen:
Konfigurieren Sie die MySQL-Datenbank für die Verwendung des Plug-ins
mysql_native_password. Dafür gibt es verschiedene Vorgehensweisen, die je nach Bereitstellungsvariante der MySQL 8-Datenbank und Art der Zugriffsberechtigung variieren:Starten Sie den Prozess mit dem Flag
--default-auth=mysql_native_password.Legen Sie das Attribut in der Konfigurationsdatei
my.cnffest:[mysqld] default-authentication-plugin=mysql_native_passwordWenn Ihre Datenbankinstanz über AWS RDS gehostet wird, legen Sie den Parameter
default_authentication_pluginüber eine RDS-Parametergruppe fest, die auf diese Datenbankinstanz angewendet wird.
Geben Sie die folgenden Anweisungen aus und ersetzen Sie
some_password_heredurch ein eindeutiges, sicheres Passwort:CREATE USER looker IDENTIFIED WITH mysql_native_password BY 'some_password_here'; GRANT SELECT ON database_name.* TO 'looker'@'%';
MySQL abstimmen
Passen Sie die folgenden Einstellungen auf Ihrer MySQL-Instanz an.
Maximale Paketgröße erhöhen
Die Standardgröße von max_allowed_packet von MySQL ist zu klein für die Datenbankmigration und kann dazu führen, dass die Migration mit dem Fehler PACKET_TOO_LARGE fehlschlägt. Setzen Sie max_allowed_packet auf den maximal zulässigen Wert von 1073741824:
max_allowed_packet = 1073741824
Algorithmus für temporäre Tabelle festlegen
MySQL 8 behandelt interne temporäre Tabellen anders als frühere Versionen. Die Standardeinstellungen können Probleme beim Ausführen einiger der für Looker erforderlichen Abfragen verursachen, insbesondere bei Looker-Instanzen mit vielen Benutzern und Projekten. Es empfiehlt sich, die folgende globale Servereinstellung festzulegen:
internal_tmp_mem_storage_engine = MEMORY
Zeichensätze konfigurieren
Legen Sie für die folgenden Standardparameter UTF8mb4 fest, die UTF8-Zeichensätze unterstützt. Weitere Informationen finden Sie im Artikel In MySQL nie „utf8“ verwenden. Verwenden Sie "utf8mb4"., um zu erfahren, warum wir die Verwendung von UTF8mb4 anstelle von UTF8 mit MySQL empfehlen.
character_set_client = utf8mb4
character_set_results = utf8mb4
character_set_connection = utf8mb4
character_set_database = utf8mb4
character_set_server = utf8mb4
collation_connection = utf8mb4_general_ci
collation_server = utf8mb4_general_ci
Bei Amazon RDS-Instanzen können Sie diese Einstellung anwenden, indem Sie eine Parametergruppe erstellen oder ändern und die entsprechenden Einstellungen bearbeiten. Wir empfehlen, die aktuelle Parametergruppe zu kopieren und die Änderungen daran vorzunehmen, insbesondere wenn Sie Parametergruppen für mehrere RDS-Instanzen gemeinsam nutzen. Nachdem Sie die Parametergruppe gespeichert haben, wenden Sie sie auf die RDS-Instanz an. Möglicherweise ist ein Neustart erforderlich.
Replikatschema festlegen
Looker stützt sich auf Funktionen, die ein mixed- oder row-Binlog erfordern. Wenn Sie Ihre eigene MySQL-Instanz hosten, setzen Sie binlog_format auf mixed oder row. Führen Sie dazu einen der folgenden Befehle aus:
SET GLOBAL binlog_format = 'MIXED';
oder
SET GLOBAL binlog_format = 'ROW';
Datenbank und Nutzer erstellen
Erstellen Sie einen Nutzer und eine Datenbank auf der Datenbankinstanz und ersetzen Sie <DB_username>, <DB_name> und <DB_password> durch die tatsächlichen Werte für den Nutzer und die Datenbank. Ersetzen Sie außerdem <DB_charset> und <DB_collation> durch den ausgewählten Zeichensatz und die Sortierung, die den Einstellungen der RDS-Instanzparametergruppe entsprechen (für echte UTF8-Unterstützung empfehlen wir utf8mb4 und utf8mb4_general_ci).
create user <DB_username>;
set password for <DB_username> = password ('<DB_password>');
create database <DB_name> default character set <DB_charset> default collate <DB_collation>;
grant all on <DB_name>.* to <DB_username>@'%';
grant all on looker_tmp.* to '<DB_username>'@'%';
Die looker_tmp-Datenbank in der letzten Zeile muss nicht tatsächlich vorhanden sein. Die grant-Anweisung ist jedoch für die interne Berichterstellung erforderlich.
Datei mit Datenbankanmeldedaten erstellen
Looker muss wissen, mit welcher MySQL-Datenbank kommuniziert und welche Anmeldedaten verwendet werden sollen. Erstellen Sie im Looker-Verzeichnis eine Datei mit dem Namen looker-db.yml und dem folgenden Inhalt und ersetzen Sie dabei <DB_hostname>, <DB_username>, <DB_password> und <DB_name> durch Werte für Ihre Datenbank:
dialect: mysql
host: <DB_hostname>
username: <DB_username>
password: <DB_password>
database: <DB_name>
port: 3306
Wenn Ihre MySQL-Datenbank eine SSL-Verbindung erfordert, fügen Sie die folgende Zeile zu looker-db.yml hinzu:
ssl: true
Wenn Sie auch die Bestätigung des SSL-Zertifikats aktivieren möchten, fügen Sie die folgende Zeile zu looker-db.yml hinzu:
verify_ssl: true
Optional können Sie auch alle anderen JDBC-Parameter angeben, die vom MariaDB-JDBC-Treiber unterstützt werden, indem Sie jdbc_additional_params hinzufügen. Wenn Sie beispielsweise eine bestimmte Trust Store-Datei verwenden müssen, können Sie dem MySQL-JDBC-Verbindungsstring den folgenden Parameter hinzufügen:
jdbc_additional_params: trustStore=/path/to/my/truststore.jks&keyStore=/path/to/my/keystore.jks
Bei von Kunden gehosteten Installationen können Sie optional die maximale Anzahl von Verbindungen angeben, die Looker mit Ihrer Datenbank herstellen kann. Fügen Sie dazu max_connections hinzu. Fügen Sie beispielsweise Folgendes hinzu, um die Anzahl gleichzeitiger Verbindungen zu Ihrer Datenbank auf 10 zu begrenzen:
max_connections: 10
Unter dem Verschlüsselungsschema von Looker werden alle sensiblen Daten in der Datenbank im inaktiven Zustand verschlüsselt. Selbst wenn sich jemand Zugang zu Klartext-Datenbankanmeldedaten und zum Zugriff auf die Datenbank verschaffen sollte, verschlüsselt oder hasht Looker sensible Daten vor dem Speichern. Dies gilt für Passwörter, Anmeldedaten für Analysedatenbanken, Abfrage-Cache usw. Wenn Sie das Klartextpasswort für diese Konfiguration jedoch nicht in der Datei looker-db.yml auf der Festplatte speichern möchten, können Sie die Umgebungsvariable LOOKER_DB so konfigurieren, dass sie für jede Zeile in der Datei looker-db.yml eine Liste mit Schlüsseln/Werten enthält. Beispiel:
export LOOKER_DB="dialect=mysql&host=localhost&username=root&password=&database=looker&port=3306"
Verzeichnis .db sichern
Sichern Sie das Verzeichnis .db, das die Dateien enthält, die zum Erstellen der speicherinternen HyperSQL-Datenbank benötigt werden, falls Sie HyperSQL wiederherstellen müssen:
cp -r .db .db-backup
tar -zcvf db-backup.tar.gz ./.db-backup
Datenbank migrieren
Die Migration der Datenbank zu MySQL kann auf einer mittleren oder großen Instanz Stunden dauern, insbesondere wenn die HyperSQL-Datenbank 1 GB oder mehr groß ist. Wir empfehlen ein vorübergehendes Upgrade der EC2-Instanz auf eine m5.2xlarge (mit 32 GB RAM, um den in den Schritten angegebenen Heap mit 26 GB zuzulassen). Dadurch reduziert sich die erforderliche Zeit auf ca. 10 Minuten.
Auf dem Looker-Host:
cd looker ./looker stop vi lookerErstellen Sie im Looker-Startskript eine neue zweite Zeile in der Datei:
exitBeenden Sie die Instanz in der AWS-Konsole. Ändern Sie nach dem Beenden die Größe der EC2-Instanz in
m5.2xlarge. Starten Sie dann die Instanz neu.Stellen Sie eine SSH-Verbindung zum Host als Looker-Nutzer her. Stellen Sie zunächst sicher, dass Java nicht ausgeführt wird. Führen Sie dann folgenden Befehl aus:
cd looker java -Xms26000m -Xmx26000m -jar looker.jar migrate_internal_data looker-db.ymlBeim Ausführen des Schritts
migrate_internal_datawirdlibcryptmöglicherweise nicht gefunden und ein Stacktrace wird angezeigt, der so beginnt:NotImplementedError: getppid unsupported or native support failed to load ppid at org/jruby/RubyProcess.java:752 ppid at org/jruby/RubyProcess.java:749Legen Sie in diesem Fall
LD_LIBRARY_PATHmanuell fest, bevor Sie den Java-Befehl ausführen:export LD_LIBRARY_PATH=$HOME/looker/.tmp/:$LD_LIBRARY_PATHBeenden Sie anschließend die Instanz über die AWS-Konsole.
Sie können jetzt die ursprüngliche Größe der Instanz wiederherstellen.
Starten Sie die Instanz neu.
Looker starten
Bearbeiten Sie das Looker-Startskript und löschen Sie die zuvor hinzugefügte
exit-Zeile.Achten Sie darauf, dass im Startskript keine Argumente in
LOOKERARGSdefiniert sind. Stattdessen sollten alle Argumente in die Dateilookerstart.cfgverschoben werden, damit sie nicht von neuen Versionen des Startskripts überschrieben werden. Speichern Sie das Startskript und beenden Sie es.lookerstart.cfgbearbeiten Dies sollte in etwa wie folgt aussehen:LOOKERARGS="-d looker-db.yml"Wenn das Looker-Startskript weitere Argumente enthält, fügen Sie sie der Datei
lookerstart.cfghinzu.Archivieren Sie das Verzeichnis
.db, falls es nicht bereits archiviert ist.mv .db .db-backup tar -zcvf db-backup.tar.gz ./.db-backup rm -rf ./.db-backup/Starten Sie Looker:
./looker start
Überprüfen, ob Looker die neue Datenbank verwendet
Wenn Looker das MySQL-Back-End erfolgreich verwendet, sollten Netzwerkverbindungen zwischen der Looker-Instanz und der neuen Datenbankinstanz angezeigt werden. Um dies zu überprüfen, führen Sie den folgenden Befehl in der Looker-Instanz aus:
netstat -na | grep 3306
Sie sollten einige Verbindungen zur Datenbankinstanz sehen. Das folgende Beispiel zeigt eine Datenbankinstanz unter der IP-Adresse 10.0.3.155:
looker@instance1:~$ netstat -na | grep 3306
tcp6 0 0 10.0.5.131:56583 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56506 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56582 10.0.3.155:3306 ESTABLISHED
tcp6 0 0 10.0.5.131:56508 10.0.3.155:3306 ESTABLISHED
Looker sichern
Nach der Migration zu einem MySQL-Backend funktionieren die automatischen S3-Sicherungen von Looker nicht mehr. Wir empfehlen mindestens nächtliche Sicherungen der MySQL-Datenbank zusammen mit nächtlichen Dateisystemsicherungen des Looker-Arbeitsverzeichnisses. Das Verzeichnis looker/log/ wurde möglicherweise aus den Dateisystemsicherungen ausgeschlossen. Weitere Informationen finden Sie auf der Dokumentationsseite Sicherungen erstellen.