Questa pagina spiega come installare e configurare i componenti necessari per implementare un flusso di lavoro CI/CD in Looker.
Queste istruzioni utilizzano un sistema a tre livelli che include sviluppo, QA e produzione. Tuttavia, gli stessi principi possono essere applicati a un sistema a due o quattro livelli.
Queste istruzioni presuppongono anche l'utilizzo di GitHub come provider Git. Puoi utilizzare altri provider Git per creare un flusso di lavoro CI/CD; tuttavia, devi possedere le competenze necessarie per modificare queste istruzioni per il tuo provider.
Segui le istruzioni nella sezione che ti interessa:
- Prerequisiti
- Procedura di configurazione solo per la prima volta
- Procedura di configurazione per ogni sviluppatore di Looker
Prerequisiti
Ambiente Linux
Questo processo utilizza strumenti chiamati Gazer e Occhiali progettati per funzionare con sistemi operativi simili a Unix. Ogni sviluppatore LookML deve avere accesso alla riga di comando in un ambiente Linux o macOS in cui prevedi di eseguire il flusso di lavoro CI/CD.
Se usi Windows, Gazer e Spectacles possono essere utilizzati all'interno di Windows Subsystem for Linux (WSL) di Microsoft. WSL consente di eseguire diverse versioni di Linux. Se non hai un sistema operativo Linux preferito, l'ultima versione di Ubuntu Linux è una buona scelta per via dell'ampio supporto.
Queste istruzioni forniscono esempi per sistemi Linux e potrebbero richiedere modifiche se utilizzi macOS o WSL.
Un'istanza Looker per livello
Per abilitare questa configurazione, avrai bisogno di un'istanza di Looker per ogni livello del sistema. Ad esempio, un sistema con una fase di sviluppo, una fase di QA e una fase di produzione avrà bisogno di tre istanze separate. Le istanze possono essere ospitate da Google o dal cliente.
Nomi di connessione identici
Le connessioni di database devono avere lo stesso nome all'interno di ogni istanza di Looker, indipendentemente dal livello che rappresentano. Ad esempio, una connessione sales dovrebbe avere lo stesso nome in tutte le istanze, anziché sales_dev o sales_qa.
Le connessioni possono puntare allo stesso database o a database diversi. Tuttavia, se puntano allo stesso database, devono essere definiti schemi temporanei diversi, in modo che le tabelle derivate permanenti nell'istanza di sviluppo o QA non interferiscano con la produzione.
Ad esempio, se viene utilizzato lo stesso database per tutte e tre le istanze, queste possono essere configurate come segue:
| Produzione | QA | Sviluppo | |
| Nome connessione | sales |
sales |
sales |
| Database | sales_db |
sales_db |
sales_db |
| Schema di Scratch | prod_sales_scratch |
qa_sales_scratch |
dev_sales_scratch |
Oppure, se viene utilizzato un database univoco per tutte e tre le istanze, queste potrebbero essere configurate come segue:
| Produzione | QA | Sviluppo | |
| Nome connessione | sales |
sales |
sales |
| Database | sales_db_prod |
sales_db_qa |
sales_db_dev |
| Schema di Scratch | sales_scratch |
sales_scratch |
sales_scratch |
Repository Git
Per ogni progetto verrà utilizzato un unico repository Git in tutti e tre i livelli. L'istanza di sviluppo monitora il ramo main, mentre le istanze di QA e di produzione in genere puntano a tag Git (descritti più dettagliatamente in seguito).
Procedura di configurazione solo per la prima volta
I passaggi in questa sezione devono essere completati una sola volta da un utente con le autorizzazioni di amministratore di Looker e le autorizzazioni di amministratore del proprio provider Git.
Credenziali Git
L'ambiente Linux di ogni sviluppatore deve connettersi allo stesso repository che utilizzi per gestire il tuo LookML. Probabilmente si tratta di un repository esterno ospitato in un servizio come GitHub. Avrai bisogno di un account con quel servizio che disponga delle credenziali appropriate per configurare il repository. Utilizzando l'account, puoi configurare una chiave SSH per consentire al tuo ambiente Linux di connettersi automaticamente al servizio.
Per GitHub, segui le istruzioni riportate in Aggiunta di una nuova chiave SSH all'account GitHub.
Creazione e configurazione di un repository del server Git
Affinché il flusso di lavoro CI/CD funzioni, LookML deve essere archiviato in un repository Git e connesso a un progetto Looker. Nelle impostazioni del progetto, Nome ramo di produzione Git deve essere impostato su main e deve essere abilitata l'opzione Abilita modalità di deployment avanzata.
Se i passaggi seguenti non sono già stati eseguiti, segui queste istruzioni per GitHub:
Crea nuovo repository
- Nella UI di GitHub, premi il pulsante + nell'angolo in alto a destra, quindi seleziona Nuovo repository.
- Seleziona il proprietario (probabilmente la tua organizzazione) e inserisci un REPOSITORY_NAME.
- Scegli se rendere il repository pubblico o privato (i repository privati richiedono un abbonamento GitHub a pagamento) e seleziona la casella per inizializzarlo con un file README.
- Premi il pulsante Crea repository.
- Premi il pulsante verde <> Code e copia l'URL SSH. Sarà simile a:
git@github.com:org_name/REPOSITORY_NAME.git. - In Looker, crea un nuovo progetto.
- Accedi alla modalità sviluppo, scegli l'elemento Impostazioni progetto dalla barra laterale sinistra, quindi Configura Git.
- Incolla l'URL del repository (
git@github.com:org_name/REPOSITORY_NAME.gitin questo esempio) e seleziona Continua. - Copia la chiave di deployment e torna alla UI di GitHub per questo repository.
- Scegli Impostazioni e poi Esegui il deployment delle chiavi.
- Fai clic sul pulsante Aggiungi chiave di deployment e incolla la chiave di deployment nel campo Chiave.
- Aggiungi un titolo, ad esempio
Looker-REPOSITORY_NAME, seleziona la casella di controllo Consenti accesso in scrittura e premi il pulsante Aggiungi chiave. - Torna a Looker e scegli Testa e finalizza configurazione.
- Scegli di nuovo le impostazioni progetto dalla barra laterale sinistra. Modifica il Nome ramo di produzione Git in
main. - Scegli Abilita modalità di deployment avanzata e seleziona Salva configurazione del progetto.
Sotto l'icona delle impostazioni del progetto, sul lato sinistro, dovresti vedere un'icona di deployment per Deployment Manager.
Utilizza repository esistente
- Vai al repository GitHub in cui è archiviato il tuo LookML.
- Premi il pulsante verde <> Code e copia l'URL SSH. Sarà simile a:
git@github.com:org_name/REPOSITORY_NAME.git. - In Looker, crea un nuovo progetto.
- Accedi alla modalità sviluppo e scegli l'elemento delle impostazioni progetto dalla barra laterale sinistra, quindi seleziona Configura Git.
- Incolla l'URL del repository (
git@github.com:org_name/REPOSITORY_NAME.gitin questo esempio) e seleziona Continua. - Copia la chiave di deployment e torna alla UI di GitHub per questo repository.
- Scegli Impostazioni e poi Esegui il deployment delle chiavi.
- Fai clic sul pulsante Aggiungi chiave di deployment e incolla la chiave di deployment nel campo Chiave.
- Aggiungi un titolo, ad esempio
Looker-REPOSITORY_NAME, seleziona la casella di controllo Consenti accesso in scrittura e premi il pulsante Aggiungi chiave. - Torna a Looker e scegli Testa e finalizza configurazione.
- Scegli di nuovo le impostazioni progetto dalla barra laterale sinistra. Modifica il Nome ramo di produzione Git in
main. - Scegli Abilita modalità di deployment avanzata e seleziona Salva configurazione del progetto.
Sotto l'icona delle impostazioni del progetto, sul lato sinistro, dovresti vedere un'icona di deployment per Deployment Manager.
Creazione di azioni GitHub
È utile creare svariate azioni GitHub in modo che i vari controlli vengano eseguiti automaticamente ogni volta che vengono apportate modifiche a LookML. L'aggiunta di queste azioni richiede la possibilità di apportare modifiche al repository Git sul tuo ambiente Linux. Se non è già disponibile, segui le istruzioni per configurare Git.
Per aggiungere le azioni GitHub, vai alla directory del repository nell'ambiente Linux e aggiungi la sottodirectory .github/workflows. Una volta configurate, queste azioni possono essere eseguite manualmente dalla pagina Azioni della UI di GitHub.
Look-at-me-lateralmente (LAMS)
LAMS è un linter open source che ispeziona il tuo LookML per rilevare errori e pratiche scorrette. Aggiungi un file denominato lams.yml alla directory .github/workflows con il seguente contenuto:
name: LAMS
on:
pull_request:
branches: [ main ]
push:
workflow_dispatch:
jobs:
lams_job:
runs-on: ubuntu-latest
name: LAMS LookML Linter Job
steps:
- name: Checkout your LookML
uses: actions/checkout@v1
- name: Setup Node
uses: actions/setup-node@v1
with:
node-version: '16.x'
- name: Install LAMS
run: npm install -g @looker/look-at-me-sideways@3
- name: Run LAMS
run: lams --reporting=no
Ogni volta che viene eseguito il push di un commit su GitHub o viene aperta una richiesta di pull per unire il codice con il ramo main, viene eseguito LAMS.
Rilascia per favore
Release please è uno strumento open source che tagga automaticamente le release con i numeri di versione corretti.
Aggiungi un file denominato release-please.yml alla directory .github/workflows con il seguente contenuto:
name: release-please
on:
push:
branches:
- main
workflow_dispatch:
permissions:
contents: write
pull-requests: write
jobs:
release-please:
runs-on: ubuntu-latest
steps:
- uses: google-github-actions/release-please-action@v3
with:
release-type: simple
package-name: sales_project
Impegni convenzionali
Questa azione GitHub assicura che venga aperta una richiesta di pull con un titolo conforme allo standard di commit convenzionale.
Aggiungi un file denominato lint_pr_title.yml alla directory .github/workflows con il seguente contenuto:
name: "Lint Pull Request Title"
on:
pull_request_target:
types:
- opened
- edited
- synchronize
jobs:
main:
name: Validate PR title
runs-on: ubuntu-latest
steps:
- uses: amannn/action-semantic-pull-request@v5
env:
GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
Esegui il push delle modifiche in GitHub
Infine, usa i comandi seguenti per eseguire il commit delle modifiche alle azioni di GitHub ed eseguirne il push su GitHub:
git add .github/workflows/
git commit -m "chore: Added github actions"
git push
Protezione del ramo main in corso...
Nella UI di GitHub devi abilitare le protezioni dei rami per il ramo main, in modo che gli sviluppatori normali non possano eseguire il push delle modifiche direttamente a quel ramo. Apportano modifiche in un ramo diverso e aprono una richiesta di pull. La richiesta di pull può essere esaminata da un altro sviluppatore prima che venga approvata e unita a main.
Per configurare la protezione dei rami, vai alla UI di GitHub per il repository, scegli Impostazioni, poi Ramo e premi il pulsante Aggiungi regola di protezione dei rami:
Inserisci main come Pattern nome ramo e controlla le seguenti opzioni:
- Richiedere una richiesta di pull prima dell'unione
- Richiedere approvazioni
- Ignora le approvazioni delle richieste di pull obsolete quando vengono inviati nuovi commit
Infine, premi il pulsante Crea nella parte inferiore della pagina.
Quando viene creata una richiesta di pull, vengono eseguite le azioni GitHub configurate in precedenza in queste istruzioni. Dopo l'esecuzione per la prima volta, possono anche essere selezionate in questa UI, in modo che debbano andare a buon fine prima che la richiesta di pull possa essere unita a main.
Configurazione delle richieste di pull
In Looker puoi richiedere l'utilizzo delle richieste di pull e consentire a Looker di aprire PR per conto dello sviluppatore. Deve essere configurato solo per l'istanza di sviluppo. Il team addetto al QA e l'istanza di produzione utilizzeranno la modalità di deployment avanzata per ricevere gli aggiornamenti.
Abilita questa opzione andando alle Impostazioni progetto per ciascun progetto, quindi seleziona Richieste di pull richieste sotto l'intestazione Integrazione GitHub:
Premi il pulsante per impostare un secret webhook, copia la stringa casuale generata e premi il pulsante Salva configurazione progetto.
Torna nella UI di GitHub per il tuo repository, scegli Impostazioni e poi Webhook. Premi il pulsante Aggiungi webhook in alto a destra:
- Nel campo Payload URL (URL payload), inserisci
https://LOOKER_HOST_NAME/webhooks/projects/PROJECT_NAME/deploy - Nel campo Secret, incolla il secret che hai salvato da Looker.
- Per la domanda Quali eventi vuoi attivare questo webhook?, scegli Fammi selezionare i singoli eventi.
Assicurati che siano selezionati Richieste pull e Push:
Infine, premi il pulsante Aggiungi webhook nella parte inferiore della pagina.
Passaggi di configurazione per ogni sviluppatore di Looker
Tutti i seguenti passaggi di installazione devono essere eseguiti sull'ambiente Linux.
Installazione di Ruby
Per eseguire Gazer è necessario installare il linguaggio di programmazione Ruby. Qualsiasi versione di Ruby successiva alla 2.7.7 funzionerà con Gazer, ma è preferibile Ruby 3.x.x. Per installare Ruby su Ubuntu Linux, esegui questi comandi:
sudo apt update
sudo apt install ruby
Verifica che Ruby sia installato correttamente eseguendo ruby -v. Dovrebbe essere visualizzata una risposta simile alla seguente:
ruby 3.1.3p185 (2022-11-24 revision 1a6b16756e) [x86_64-linux]
Questi comandi funzionano anche su Debian Linux, Linux Mint e su molte altre versioni di Linux che utilizzano il gestore di pacchetti Aptitude. Potresti dover cercare i comandi che funzionano su altre versioni di Linux o i comandi da installare su macOS. Per ulteriori informazioni, consulta Installazione di Ruby.
Installazione di Gazer
Gazer è un progetto open source creato dai dipendenti Google per navigare e gestire Spazi, Look e dashboard utilizzando uno strumento a riga di comando.
Con Ruby installato, lo strumento Gem di Ruby può essere utilizzato per installare Gazer:
gem install gazer
Verifica che Gazer sia installato con il comando gzr version. Dovrebbe essere visualizzata una risposta simile alla seguente:
v0.3.12
Installazione di occhiali
Spectacles è uno strumento non Google utilizzato per testare LookML. Gli Spectacles offrono sia una versione a pagamento che una versione open source e puoi trovare i dettagli per l'installazione nella pagina Come iniziare.
Installazione di Git in corso...
Il software di controllo della versione Git può essere installato su Ubuntu Linux con questo comando:
sudo apt update
sudo apt install git
Verifica che l'installazione sia riuscita con il comando git --version. Dovrebbe essere visualizzata una risposta simile alla seguente:
git version 2.42.0.609.gbb76f46606
Questi comandi funzionano anche su Debian Linux, Linux Mint e su molte altre versioni di Linux che utilizzano il gestore di pacchetti Aptitude. Potrebbe essere necessario cercare i comandi che funzionano su altre versioni di Linux. Ad esempio, puoi trovare istruzioni per Fedora e macOS nella guida introduttiva - Installazione di Git.
Configurazione di Git
Git sul tuo ambiente Linux deve essere configurato per interagire con qualsiasi repository Git in cui è archiviato il tuo LookML. Queste istruzioni sono state scritte per i repository Git LookML archiviati in GitHub.
Nome e email
GitHub (e la maggior parte delle altre implementazioni Git) devono conoscere il tuo nome e il tuo indirizzo email in modo da poter registrare le attività. Configura il tuo nome e la tua email in Git eseguendo questi comandi:
git config --global user.name "FIRST_NAME LAST_NAME"
git config --global user.email "EMAIL_ADDRESS"
Credenziali Git
Nella configurazione CI/CD iniziale, sono state create le credenziali git. La chiave SSH privata generata deve essere configurata in un file $HOME/.ssh/config. Per creare il file, utilizza questi comandi:
touch $HOME/.ssh/config
chmod 600 $HOME/.ssh/config
Inserisci il seguente testo nel file $HOME/.ssh/config:
Host github.com
User git
IdentityFile ~/.ssh/KEY_NAME
ControlMaster auto
ControlPath ~/.ssh/ctrl-%r@%h:%p
ControlPersist yes
Al posto di KEY_NAME, utilizza il nome del file della chiave privata che hai generato con le istruzioni per l'aggiunta di una nuova chiave SSH all'account GitHub. Il file della chiave privata ha lo stesso nome del file della chiave pubblica, ma senza l'estensione .pub. Ad esempio, se hai usato la chiave pubblica trovata nel file id_ed25519.pub, il nome della chiave privata sarà id_ed25519.
Configurazione del repository Git locale
Dopo aver configurato il repository LookML, devi crearne una copia nel tuo ambiente Linux. Per farlo, esegui questo comando:
git clone GIT_URL
Ad esempio, il comando potrebbe essere visualizzato come segue:
git clone git@github.com:my_org_name/sales_project.git
Il repository LookML verrà copiato in una sottodirectory, ad esempio sales_project. Usa il comando cd SUB_DIRECTORY per accedere al repository. In questo esempio, il comando sarebbe cd sales_project.
Una volta nella directory del repository, puoi utilizzare i seguenti comandi:
| Comando | Finalità |
|---|---|
git checkout BRANCH_NAME |
Utilizzato per cambiare ramo. Nella maggior parte dei casi, il ramo principale si chiama main, ma nei sistemi meno recenti potrebbe chiamarsi master. |
git fetch |
Utilizzato per recuperare le ultime modifiche dal server. |
git pull |
Utilizzato per applicare modifiche ai file locali pagati. git pull esegue implicitamente un git fetch. |
git tag |
Utilizzato per creare un tag significativo per una determinata revisione. |
git push |
Utilizzato per eseguire il push delle modifiche locali al server. |
Configurazione di Gazer
Per utilizzare Gazer, avrai bisogno delle credenziali API per ogni istanza di sviluppo, QA e produzione. Per istruzioni sulla creazione delle credenziali API, consulta la pagina Impostazioni amministratore - Utenti. Le credenziali API potrebbero essere già state create dalla persona che ha configurato inizialmente il flusso di lavoro CI/CD. In questo caso, puoi utilizzare la credenziale esistente; non sarà necessario generare nuove credenziali per ogni persona.
Archivia le credenziali API in un file .netrc con autorizzazioni minime nella home directory. Puoi creare un file vuoto con le autorizzazioni corrette utilizzando questi comandi:
touch $HOME/.netrc
chmod 600 $HOME/.netrc
Aggiungi voci come la seguente al file, ma utilizza i tuoi nomi host del server Looker per machine, l'API client_id per l'accesso e l'API client_secret per la password. Ad esempio:
machine dev.example.looker.com
login 80ka7nl6lj87ftmn
password u7kw3mj5h2trfz0
machine qa.example.looker.com
login fi3qtv5at5crvd1q
password bdxtaeghnzyz0wm
machine example.looker.com
login k7lr6yv57wvzy9p2
password wcvr5qjd2isbs2s
Verifica che funzioni eseguendo un semplice comando Gazer su ciascun server, ad esempio:
gzr user me --host dev.example.looker.com
Il risultato dovrebbe essere simile al seguente:
+----+---------------+---------+----------+------------------+--------------+
| id|email |last_name|first_name|personal_folder_id|home_folder_id|
+----+---------------+---------+----------+------------------+--------------+
|2345|jsm@example.com|Smith |John | 2161| 708|
+----+---------------+---------+----------+------------------+--------------+
Se il comando precedente non funziona, potresti dover aggiungere --port 443 alla fine del comando gzr, come segue:
gzr user me --host dev.example.looker.com --port 443
Configurazione degli occhiali
Il modello Spectacles utilizza la stessa API client_id e client_secret di Gazer. Nella directory Spectacles, crea un file per ogni livello denominato config-TIER.yaml, ad esempio config-dev.yaml. Aggiungi il contenuto seguente ai file in base alle esigenze dell'istanza di Looker di quel livello, come i seguenti:
config-dev.yaml
base_url: https://dev.example.looker.com/
client_id: 80ka7nl6lj87ftmn
client_secret: u7kw3mj5h2trfz0
config-qa.yaml
base_url: https://qa.example.looker.com/
client_id: fi3qtv5at5crvd1q
client_secret: bdxtaeghnzyz0wm
config-prod.yaml
base_url: https://example.looker.com/
client_id: k7lr6yv57wvzy9p2
client_secret: wcvr5qjd2isbs2s
Puoi testare ogni file eseguendo questo comando e sostituendo il nome di ciascun file:
$ spectacles connect --config-file config-dev.yaml
Dovresti ricevere una risposta simile alla seguente:
Connected to Looker version 23.18.60 using Looker API 4.0