Conéctate a una VM de GCE con SSHOperator

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

En esta página, se describe cómo conectarse a una VM de Compute Engine desde un DAG.

Crea un DAG que se conecte a una instancia de VM de Compute Engine

En el parámetro ssh_hook de SSHOperator, usa ComputeEngineSSHHook con parámetros que apunten a la VM de Compute Engine.

En el siguiente ejemplo, se muestra cómo usar SSHOperator para ejecutar un comando en una instancia de VM de Compute Engine.

Reemplaza los valores:

  • GCE_INSTANCE por el nombre de la instancia de VM
  • GCE_ZONE por la zona de Compute Engine en la que se encuentra la VM.
  • GCP_PROJECT_ID con el ID del proyecto de un proyecto en el que se encuentran la VM y el entorno que ejecuta el DAG. 
import datetime

import airflow
from airflow.providers.ssh.operators.ssh import SSHOperator
from airflow.providers.google.cloud.hooks.compute_ssh import ComputeEngineSSHHook

GCE_INSTANCE = 'example-compute-instance'
GCE_ZONE = 'us-central1-a'
GCP_PROJECT_ID = 'example-project'

with airflow.DAG(
        'composer_compute_ssh_dag',
        start_date=datetime.datetime(2022, 1, 1)
        ) as dag:

  ssh_task = SSHOperator(
      task_id='composer_compute_ssh_task',
      ssh_hook=ComputeEngineSSHHook(
          instance_name=GCE_INSTANCE,
          zone=GCE_ZONE,
          project_id=GCP_PROJECT_ID,
          use_oslogin=True,
          use_iap_tunnel=False,
          use_internal_ip=True),
      command='echo This command is executed from a DAG',
      dag=dag)

¿Qué sigue?