Solucionar problemas de Vertex AI Workbench

En esta página, se describen los pasos para solucionar problemas que pueden servirte si tienes dificultades cuando usas Vertex AI Workbench.

Consulta también Solución de problemas de Vertex AI para obtener ayuda sobre cómo usar otros componentes de Vertex AI.

Para filtrar el contenido de esta página, haz clic en un tema:

Instancias de Vertex AI Workbench

En esta sección, se describen los pasos para solucionar problemas de las instancias de Vertex AI Workbench.

Abre JupyterLab y conéctate a él

En esta sección, se describen los pasos para solucionar problemas de conexión y apertura de JupyterLab.

No sucede nada cuando hago clic en Abrir JupyterLab

Problema

Cuando haces clic en Abrir JupyterLab, no sucede nada.

Solución

Verifica que tu navegador no bloquee la apertura automática de pestañas nuevas. JupyterLab se abre en una pestaña del navegador nueva.

No se puede acceder a la terminal en una instancia de Vertex AI Workbench

Problema

Si no puedes acceder a la terminal o no puedes encontrar la ventana de la terminal en el selector, es posible que tu instancia de Vertex AI Workbench no tenga habilitado el acceso a la terminal.

Solución

Debes crear una instancia nueva de Vertex AI Workbench con la opción Acceso a la terminal habilitada. Esta opción no se puede cambiar después de crear la instancia.

Error 502 cuando se abre JupyterLab

Problema

Un error 502 puede significar que tu instancia de Vertex AI Workbench aún no está lista.

Solución

Espera unos minutos, actualiza la pestaña del navegador de la consola de Google Cloud y vuelve a intentarlo.

El notebook no responde

Problema

Tu instancia de Vertex AI Workbench no ejecuta celdas o parece estar inmovilizada.

Solución

Primero, intenta reiniciar el kernel. Para ello, haz clic en Kernel en el menú superior y, luego, en Reiniciar kernel. Si eso no funciona, puedes intentar lo siguiente:

  • Actualiza la página del navegador de JupyterLab. No se conservarán los resultados de celda no guardados, por lo que debes volver a ejecutar esas celdas para volver a generar el resultado.
  • Restablece tu instancia

No se puede establecer una conexión con la instancia de Vertex AI Workbench mediante SSH

Problema

No puedes conectarte a tu instancia con SSH a través de una ventana de terminal.

Las instancias de Vertex AI Workbench usan el Acceso al SO para habilitar el acceso SSH. Cuando creas una instancia, Vertex AI Workbench habilita Acceso al SO de forma predeterminada configurando la clave de metadatos enable-oslogin como TRUE. Si no puedes usar SSH para conectarte a tu instancia, es posible que debas configurar esta clave de metadatos en TRUE.

Solución

No se admite la conexión a una instancia de Vertex AI Workbench con la consola de Google Cloud. Si no puedes conectarte a tu instancia con SSH a través de una ventana de terminal, consulta lo siguiente:

Para configurar la clave de metadatos enable-oslogin en TRUE, usa el método projects.locations.instances.patch en la API de Notebooks o el comando gcloud workbench instances update en el SDK de Google Cloud.

Se superó la cuota de GPU

Problema

No puedes crear una instancia de Vertex AI Workbench con GPUs.

Solución

Determina la cantidad de GPU disponibles en el proyecto. Para hacerlo, verifica la página de cuotas. Si las GPUs no están enumeradas en la página de cuotas o si necesitas obtener más cuota de GPU, puedes solicitar un aumento de cuota. Consulta Solicita un límite de cuota más alto.

Crea instancias de Vertex AI Workbench

En esta sección, se describe cómo solucionar problemas relacionados con la creación de instancias de Vertex AI Workbench.

La instancia permanece en estado pendiente de forma indefinida o está atascada en el estado de aprovisionamiento

Problema

Después de crear una instancia de Vertex AI Workbench, permanece en estado pendiente de forma indefinida. Puede aparecer un error como el siguiente en los registros en serie:

Could not resolve host: notebooks.googleapis.com

Si tu instancia está atascada en el estado de aprovisionamiento, es posible que tengas una configuración de red privada no válida para tu instancia.

Solución

Sigue los pasos que se indican en la sección Los registros de instancias muestran errores de conexión o tiempo de espera.

No se puede crear una instancia dentro de una red de VPC compartida

Problema

Si intentas crear una instancia dentro de una red de VPC compartida, se mostrará un mensaje de error como el siguiente:

Required 'compute.subnetworks.use' permission for
'projects/network-administration/regions/us-central1/subnetworks/v'

Solución

El problema es que la cuenta de servicio de Notebooks intenta crear la instancia sin los permisos correctos.

Para garantizar que la cuenta de servicio de Notebooks tenga los permisos necesarios para crear una instancia de Vertex AI Workbench en una red de VPC compartida, pídele a tu administrador que le otorgue a la cuenta de servicio de Notebooks el rol de IAM de Usuario de red de procesamiento (roles/compute.networkUser) en el proyecto host. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Este rol predefinido contiene los permisos necesarios para garantizar que la cuenta de servicio de Notebooks pueda crear una instancia de Vertex AI Workbench en una red de VPC compartida. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para garantizar que la cuenta de servicio de Notebooks pueda crear una instancia de Vertex AI Workbench dentro de una red de VPC compartida:

  • Para usar subredes, haz lo siguiente: compute.subnetworks.use

Es posible que tu administrador también pueda otorgar estos permisos a la cuenta de servicio de Notebooks con roles personalizados o con otros roles predefinidos.

No se puede crear una instancia de Vertex AI Workbench con un contenedor personalizado

Problema

No hay una opción para usar un contenedor personalizado cuando se crea una instancia de Vertex AI Workbench en la consola de Google Cloud.

Solución

No se admite agregar un contenedor personalizado a una instancia de Vertex AI Workbench y no puedes agregar un contenedor personalizado mediante la consola de Google Cloud.

Se recomienda agregar un entorno conda en lugar de usar un contenedor personalizado.

Puedes agregar un contenedor personalizado a una instancia de Vertex AI Workbench mediante la API de Notebooks, pero esta función no es compatible.

No aparece el botón para activar el almacenamiento compartido

Problema

El botón Activar almacenamiento compartido no se encuentra en la pestaña Navegador de archivos de la interfaz de JupyterLab.

Solución

El permiso storage.buckets.list es obligatorio para que el botón Activar almacenamiento compartido aparezca en la interfaz de JupyterLab de tu instancia de Vertex AI Workbench. Pídele al administrador que le otorgue a la cuenta de servicio de tu instancia de Vertex AI Workbench el permiso storage.buckets.list en el proyecto.

Error 599 cuando se usa Dataproc

Problema

Si intentas crear una instancia habilitada para Dataproc, aparecerá un mensaje de error similar al siguiente:

HTTP 599: Unknown (Error from Gateway: [Timeout while connecting]
Exception while attempting to connect to Gateway server url.
Ensure gateway url is valid and the Gateway instance is running.)

Solución

En la configuración de Cloud DNS, agrega una entrada de Cloud DNS para el dominio *.googleusercontent.com.

No se pudo instalar la extensión de JupyterLab de terceros

Problema

Si intentas instalar una extensión de JupyterLab de terceros, se mostrará un mensaje Error: 500.

Solución

Las extensiones de JupyterLab de terceros no son compatibles con instancias de Vertex AI Workbench.

No se puede editar la máquina virtual subyacente

Problema

Cuando intentas editar la máquina virtual (VM) subyacente de una instancia de Vertex AI Workbench, es posible que recibas un mensaje de error similar al siguiente:

Current principal doesn't have permission to mutate this resource.

Solución

Este error se produce porque no puedes editar la VM subyacente de una instancia con la consola de Google Cloud o la API de Compute Engine.

Para editar la VM subyacente de una instancia de Vertex AI Workbench, usa el método projects.locations.instances.patch en la API de Notebooks o gcloud workbench instances update comando en el SDK de Google Cloud.

Los paquetes pip no están disponibles después de agregar el entorno de conda.

Problema

Tus paquetes pip no estarán disponibles después de agregar un kernel basado en conda.

Solución

Para resolver el problema, consulta Agrega un entorno conda y prueba lo siguiente:

  • Verifica que hayas usado la variable DL_ANACONDA_ENV_HOME y que contenga el nombre de tu entorno.

  • Verifica que pip se encuentre en una ruta similar a opt/conda/envs/ENVIRONMENT/bin/pip. Puedes ejecutar el comando which pip para obtener la ruta de acceso.

No se puede acceder ni copiar datos de una instancia con acceso de usuario único

Problema

No se puede acceder a los datos de una instancia con acceso de usuario único.

Para las instancias de Vertex AI Workbench que están configuradas con acceso de usuario único, solo el usuario especificado (el propietario) puede acceder a los datos en la instancia.

Solución

Para acceder a los datos o copiarlos cuando no eres el propietario de la instancia, abre un caso de asistencia.

Cierre inesperado

Problema

Tu instancia de Vertex AI Workbench se cierra de forma inesperada.

Solución

Si tu instancia se cierra de forma inesperada, es posible que se haya iniciado el apagado inactivo.

Si habilitaste el cierre inactivo, la instancia se cerrará cuando no haya actividad del kernel durante el período especificado. Por ejemplo, ejecutar una celda o una nueva impresión de resultado en un notebook es una actividad que restablece el temporizador de tiempo de espera inactivo. El uso de CPU no restablece el temporizador de tiempo de espera de inactividad.

Los registros de instancias muestran errores de conexión o tiempo de espera

Problema

Los registros de tu instancia de Vertex AI Workbench muestran errores de conexión o tiempo de espera.

Solución

Si observas errores de conexión o tiempo de espera en los registros de la instancia, asegúrate de que el servidor de Jupyter se ejecute en el puerto 8080. Sigue los pasos que se indican en la sección Verifica que la API interna de Jupyter esté activa.

Si desactivaste External IP y usas una red de VPC privada, asegúrate de haber seguido la documentación de las opciones de configuración de red. Ten en cuenta lo siguiente:

Los registros de la instancia muestran "No se puede comunicar con la API de Jupyter" "ReadTimeoutError".

Problema

Los registros de tu instancia de Vertex AI Workbench muestran un error como el siguiente:

notebooks_collection_agent. Unable to contact Jupyter API:
HTTPConnectionPool(host=\'127.0.0.1\', port=8080):
Max retries exceeded ReadTimeoutError(\"HTTPConnectionPool(host=\'127.0.0.1\', port=8080

Solución

Sigue los pasos que se indican en la sección Los registros de la instancia muestran errores de conexión o tiempo de espera. También puedes intentar modificar la secuencia de comandos del agente de recopilación de Notebooks para cambiar HTTP_TIMEOUT_SESSION a un valor más alto, por ejemplo: 60, para verificar si la solicitud falló debido a que la llamada tarda demasiado en responder o no se puede acceder a la URL solicitada.

La dirección docker0 entra en conflicto con la dirección de la VPC

Problema

De forma predeterminada, la interfaz docker0 se crea con una dirección IP de 172.17.0.1/16. Esto puede generar conflictos con la asignación de IP en tu red de VPC, de modo que la instancia no pueda conectarse a otros extremos con direcciones 172.17.0.1/16.

Solución

Puedes forzar que la interfaz docker0 se cree con una dirección IP que no entre en conflicto con tu red de VPC. Para ello, usa la siguiente secuencia de comandos posterior al inicio y establece el comportamiento de la secuencia de comandos posterior al inicio en run_once.

   #!/bin/bash
   # Wait for Docker to be fully started
   while ! systemctl is-active docker; do
    sleep 1
   done
   # Stop the Docker service
   systemctl stop docker
   # Modify /etc/docker/daemon.json
   cat < /etc/docker/daemon.json
   {
    "bip": "CUSTOM_DOCKER_IP/16"
   }
   EOF
   # Restart the Docker service
   systemctl start docker

Las reservas especificadas no existen

Problema

La operación para crear la instancia genera un mensaje de error Specified reservations do not exist. El resultado de la operación podría ser similar al siguiente:

{
  "name": "projects/PROJECT/locations/LOCATION/operations/OPERATION_ID",
  "metadata": {
    "@type": "type.googleapis.com/google.cloud.notebooks.v2.OperationMetadata",
    "createTime": "2025-01-01T01:00:01.000000000Z",
    "endTime": "2025-01-01T01:00:01.000000000Z",
    "target": "projects/PROJECT/locations/LOCATION/instances/INSTANCE_NAME",
    "verb": "create",
    "requestedCancellation": false,
    "apiVersion": "v2",
    "endpoint": "CreateInstance"
  },
  "done": true,
  "error": {
    "code": 3,
    "message": "Invalid value for field 'resource.reservationAffinity': '{  \"consumeReservationType\": \"SPECIFIC_ALLOCATION\",  \"key\": \"compute.googleapis.com/reservation-name...'. Specified reservations [projects/PROJECT/zones/ZONE/futureReservations/RESERVATION_NAME] do not exist.",
    "details": [
      {
        "@type": "type.googleapis.com/google.rpc.RequestInfo",
        "requestId": "REQUEST_ID"
      }
    ]
  }
}

Solución

Algunos tipos de máquinas de Compute Engine requieren parámetros adicionales durante la creación, como discos locales o una plataforma de CPU mínima. La especificación de la instancia debe incluir estos campos adicionales.

Por ejemplo, el tipo de máquina a3-megagpu-8g requiere 16 discos SSD locales, que se deben incluir en la reserva y especificar en la solicitud de creación de instancias.

BODY='{
  "gce_setup": {
    "machine_type": "a3-megagpu-8g",
    "reservation_affinity": {
      "consume_reservation_type": "RESERVATION_SPECIFIC",
      "key": "compute.googleapis.com/reservation-name",
      "values": ["RESERVATION_NAME"]
    },
    "bootDisk": {
        "disk_type": "PD_SSD",
        "diskSizeGb": "150",
        "diskEncryption": "GMEK"
    },
    "data_disks": [
      {
        "disk_type": "PD_SSD",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
      {
        "disk_type": "SCRATCH",
        "interface_type": "NVME",
      },
    ],
  }
}'

Notebooks administrados

En esta sección, se describen los pasos para solucionar problemas de los notebooks administrados.

Abre JupyterLab y conéctate a él

En esta sección, se describe cómo solucionar problemas de conexión y apertura de JupyterLab.

No sucede nada cuando hago clic en Abrir JupyterLab

Problema

Cuando haces clic en Abrir JupyterLab, no sucede nada.

Solución

Verifica que tu navegador no bloquee la apertura automática de pestañas nuevas. JupyterLab se abre en una pestaña del navegador nueva.

No se puede establecer una conexión con la instancia de notebooks administrados mediante SSH

Problema

No hay una opción para conectarse a instancias de notebooks administrados con SSH.

Solución

El acceso SSH a las instancias de notebooks administrados no está disponible.

No puedes acceder a la terminal en una instancia de notebooks administrados

Problema

Si no puedes acceder a la terminal o no puedes encontrar la ventana de la terminal en el selector, es posible que tu instancia de notebooks administrados no tenga habilitado el acceso a la terminal.

Solución

Debes crear una nueva instancia de notebooks administrados con la opción Acceso a la terminal habilitada. Esta opción no se puede cambiar después de crear la instancia.

Error 502 cuando se abre JupyterLab

Problema

Un error 502 puede significar que tu instancia de notebooks administrados aún no está lista.

Solución

Espera unos minutos, actualiza la pestaña del navegador de la consola de Google Cloud y vuelve a intentarlo.

Cuando abro un notebook, se produce un error 524 (se produjo un tiempo de espera)

Problema

Por lo general, un error 524 indica que el agente del proxy de inversión no se está conectando al servidor del proxy de inversión o que las solicitudes tardan demasiado en el servidor de backend (Jupyter). Las causas comunes de este error incluyen problemas de red o que el agente del proxy de inversión o el servicio de Jupyter no se estén ejecutando.

Solución

Verifica que se haya iniciado la instancia de notebook administrada por el usuario.

El notebook no responde

Problema

La instancia de notebooks administrados no ejecuta celdas o parece estar inmovilizada.

Solución

Primero, intenta reiniciar el kernel. Para ello, haz clic en Kernel en el menú superior y, luego, en Reiniciar kernel. Si eso no funciona, puedes intentar lo siguiente:

  • Actualiza la página del navegador de JupyterLab. No se conservarán los resultados de celda no guardados, por lo que debes volver a ejecutar esas celdas para volver a generar el resultado.
  • Restablece tu instancia

Cómo migrar a instancias de Vertex AI Workbench

En esta sección, se describen métodos para diagnosticar y resolver problemas con la migración de una instancia de notebooks administrados a una instancia de Vertex AI Workbench.

No se puede encontrar un kernel que estaba en la instancia de notebooks administrados

Problema

Un kernel que estaba en tu instancia de notebooks administrados no aparece en la instancia de Vertex AI Workbench a la que migraste.

Los contenedores personalizados aparecen como kernels en los notebooks administrados. La herramienta de migración de Vertex AI Workbench no admite la migración de contenedores personalizados.

Solución

Para resolver este problema, agrega un entorno conda a tu instancia de Vertex AI Workbench.

Diferente versión del framework en la instancia migrada

Problema

Un framework que estaba en tu instancia de notebooks administrados tenía una versión diferente a la de la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench proporcionan un conjunto predeterminado de versiones de framework. La herramienta de migración no agrega versiones de framework de tu instancia de notebooks administrados original. Consulta los comportamientos predeterminados de la herramienta de migración.

Solución

Para agregar una versión específica de un framework, agrega un entorno conda a tu instancia de Vertex AI Workbench.

Las GPUs no se migran a la nueva instancia de Vertex AI Workbench

Problema

Las GPUs que estaban en tu instancia de notebooks administrados no están en la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench admiten un conjunto predeterminado de GPUs. Si las GPUs en tu instancia de notebooks administrados original no están disponibles, tu instancia se migra sin GPU.

Solución

Después de la migración, puedes agregar GPUs a tu instancia de Vertex AI Workbench mediante el método projects.locations.instances.patch en la API de Notebooks o gcloud workbench instances update en el SDK de Google Cloud.

El tipo de máquina de la instancia migrada es diferente

Problema

El tipo de máquina de tu instancia de notebooks administrados es diferente de la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench no son compatibles con todos los tipos de máquinas. Si el tipo de máquina de tu instancia de notebooks administrados original no está disponible, tu instancia se migra al tipo de máquina e2-standard-4.

Solución

Después de la migración, puedes cambiar el tipo de máquina de tu instancia de Vertex AI Workbench mediante el método projects.locations.instances.patch en la API de Notebooks o la gcloud workbench instances update en el SDK de Google Cloud.

Se superó la cuota de GPU

Problema

No puedes crear una instancia de notebooks administrados con GPUs.

Solución

Determina la cantidad de GPU disponibles en el proyecto. Para hacerlo, verifica la página de cuotas. Si las GPUs no están enumeradas en la página de cuotas o si necesitas obtener más cuota de GPU, puedes solicitar un aumento de cuota. Consulta Solicita un límite de cuota más alto.

Usa imágenes de contenedor

En esta sección, se describe cómo solucionar problemas relacionados con el uso de imágenes de contenedores.

La imagen de contenedor no aparece como un kernel en JupyterLab

Problema

Las imágenes de contenedor que no tienen una especificación de kernel válida no se cargan de forma correcta como kernels en JupyterLab.

Solución

Asegúrate de que tu contenedor cumpla con nuestros requisitos. Para obtener más información, consulta los requisitos personalizados del contenedor.

El notebook se desconecta en trabajos de larga duración

Problema

Si ves el siguiente mensaje de error cuando ejecutas un trabajo en un notebook, es posible que la solicitud tarde demasiado en cargarse o que el uso de CPU o memoria sea alto, lo que puede hacer que el servicio de Jupyter no responda.

{"log":"2021/06/29 18:10:33 failure fetching a VM ID: compute: Received 500
`internal error`\n","stream":"stderr","time":"2021-06-29T18:10:33.383650241Z"}
{"log":"2021/06/29 18:38:26 Websocket failure: failed to read a websocket
message from the server: read tcp [::1]:40168-\u003e[::1]:8080: use of closed
network connection\n","stream":"stderr","time":"2021-06-29T18:38:26.057622824Z"}

Solución

Este problema se produce cuando se ejecuta una tarea de larga duración en un notebook. Para ejecutar un trabajo que podría tardar mucho tiempo en completarse, se recomienda usar el ejecutor.

Usa el ejecutor

En esta sección, se describe cómo solucionar problemas relacionados con el uso del ejecutor.

Instalaciones de paquetes no disponibles para el ejecutor

Problema

El ejecutor ejecuta el código del notebook en un entorno independiente del kernel en el que ejecutas el código del archivo del notebook. Debido a esto, es posible que algunos de los paquetes que instalaste no estén disponibles en el entorno del ejecutor.

Solución

A fin de resolver este problema, consulta Asegúrate de que las instalaciones de paquetes estén disponibles para el ejecutor.

Errores 401 o 403 cuando se ejecuta el código de notebook con el ejecutor

Problema

Un error 401 o 403 cuando ejecutas el ejecutor puede significar que este no puede acceder a los recursos.

Solución

Consulta la siguiente información para ver las posibles causas:

  • El ejecutor ejecuta el código del notebook en un proyecto de usuario separado del proyecto de la instancia de notebooks administrados. Por lo tanto, cuando accedes a los recursos a través del código que ejecuta el ejecutor, es posible que el ejecutor no se conecte al proyecto de Google Cloud correcto de forma predeterminada. Para resolver este problema, usa la selección explícita de proyectos.

  • De forma predeterminada, tu instancia de notebooks administrados puede tener acceso a recursos que existen en el mismo proyecto y, por lo tanto, cuando ejecutas el código de tu archivo de notebook de forma manual, estos recursos no necesitan autenticación adicional. Sin embargo, debido a que el ejecutor se ejecuta en un proyecto de usuario independiente, no tiene el mismo acceso predeterminado. Para resolver este problema, autentica el acceso mediante cuentas de servicio.

  • El ejecutor no puede usar credenciales de usuario final para autenticar el acceso a los recursos, por ejemplo, el comando gcloud auth login. Para resolver este problema, autentica el acceso mediante cuentas de servicio.

Error exited with a non-zero status of 127 cuando se usa el ejecutor

Problema

Puede producirse un error exited with a non-zero status of 127 o de “comando no encontrado” cuando usas el ejecutor para ejecutar código en un contenedor personalizado que no tiene instalada la extensión nbexecutor.

Solución

Para garantizar que tu contenedor personalizado tenga la extensión nbexecutor, puedes crear una imagen de contenedor derivada a partir de una imagen de contenedores de aprendizaje profundo. Las imágenes de contenedores de aprendizaje profundo incluyen la extensión nbexecutor.

Mensaje de error de configuración de herramientas de redes de servicio no válida

Problema

Este error puede verse de la siguiente manera:

Invalid Service Networking configuration. Couldn't find free blocks in allocated IP ranges.
Please use a valid range using: /24 mask or below (/23,/22, etc).

Esto significa que no se encontraron bloques libres en los rangos de IP asignados de tu red.

Solución

Usa una máscara de subred de /24 o inferior. Crea un rango más grande de direcciones IP asignadas y adjunta este rango mediante la modificación de la conexión privada a servicios para servicenetworking-googleapis-com.

Para obtener más información, consulta Configura una red.

No se pudo instalar la extensión de JupyterLab de terceros

Problema

Si intentas instalar una extensión de JupyterLab de terceros, se mostrará un mensaje Error: 500.

Solución

Las extensiones de JupyterLab de terceros no son compatibles con instancias de notebooks administrados.

No se puede acceder ni copiar datos de una instancia con acceso de usuario único

Problema

No se puede acceder a los datos de una instancia con acceso de usuario único.

Solución

En las instancias de notebooks administrados que están configuradas con acceso de usuario único, solo el usuario especificado (el propietario) puede acceder a los datos de la instancia.

Para acceder a los datos o copiarlos cuando no eres el propietario de la instancia, abre un caso de asistencia.

Cierre inesperado

Problema

Tu instancia de Vertex AI Workbench se cierra de forma inesperada.

Solución

Si tu instancia se cierra de forma inesperada, es posible que se haya iniciado el apagado inactivo.

Si habilitaste el cierre inactivo, la instancia se cerrará cuando no haya actividad del kernel durante el período especificado. Por ejemplo, ejecutar una celda o una nueva impresión de resultado en un notebook es una actividad que restablece el temporizador de tiempo de espera inactivo. El uso de CPU no restablece el temporizador de tiempo de espera de inactividad.

Restablecer instancia

Problema

No se admite restablecer una instancia de notebooks administrados después de borrarla.

Solución

Para crear una copia de seguridad de los datos en tu instancia, puedes guardar tus notebooks en GitHub.

Recupera datos de una instancia

Problema

No se admite la recuperación de datos de una instancia de notebooks administrados después de borrarla.

Solución

Para crear una copia de seguridad de los datos en tu instancia, puedes guardar tus notebooks en GitHub.

Crea instancias de notebooks administrados

En esta sección, se describe cómo solucionar problemas con la creación de instancias de notebooks administrados.

Error: Problema con la creación de una conexión

Problema

Si encuentras este error mientras creas una instancia, haz lo siguiente:

We encountered a problem while creating a connection.

Service 'servicenetworking.googleapis.com' requires at least
one allocated range to have minimal size; please make sure
at least one allocated range will have prefix length at most '24'.

Solución

Crea un rango de IP asignado mayor que /24 y adjunta este rango a través de la modificación de la conexión privada a servicios para la conexión servicenetworking-googleapis-com.

Crea una instancia que da como resultado un error de disponibilidad de recursos

Problema

No puedes crear una instancia debido a un error de disponibilidad de recursos.

Este error puede verse de la siguiente manera:

Creating notebook INSTANCE_NAME: ZONE does not have
enough resources available to fulfill the request.
Retry later or try another zone in your configurations.

Los errores de recursos se producen cuando solicitas recursos nuevos en una zona que no puede admitir tu solicitud debido a la falta de disponibilidad actual de recursos de Compute Engine, como GPU o CPU.

Los errores de recursos solo se aplican a las solicitudes de recursos nuevas de la zona y no afectan a los recursos existentes. Los errores de recursos no están relacionados con tu cuota de Compute Engine. Los errores de recursos son temporales y pueden cambiar con frecuencia según la demanda fluctuante.

Solución

Para continuar, prueba lo siguiente:

  • Crea una instancia con un tipo de máquina diferente.
  • Crea la instancia en una zona diferente.
  • Vuelve a intentar la solicitud más tarde.
  • Reduce la cantidad de recursos que solicitas. Por ejemplo, intenta crear una instancia con menos GPUs, discos, CPUs virtuales o memoria.

Inicia una instancia que da como resultado un error de disponibilidad de recursos

Problema

No puedes iniciar una instancia debido a un error de disponibilidad de recursos.

Este error puede verse de la siguiente manera:

The zone ZONE_NAME doesn't have enough resources available to fulfill
the request. '(resource type:compute)'.

Los errores de recursos se producen cuando intentas iniciar una instancia en una zona que no puede admitir tu solicitud debido a la falta de disponibilidad actual de recursos de Compute Engine, como GPU o CPU.

Los errores de recursos solo se aplican a los recursos que especificaste en tu solicitud cuando la enviaste, no a todos los recursos de la zona. Los errores de recursos no están relacionados con tu cuota de Compute Engine. Los errores de recursos son temporales y pueden cambiar con frecuencia según la demanda fluctuante.

Solución

Para continuar, prueba lo siguiente:

  • Cambia el tipo de máquina de tu instancia.
  • Migra tus archivos y datos a una instancia en una zona diferente.
  • Vuelve a intentar la solicitud más tarde.
  • Reduce la cantidad de recursos que solicitas. Por ejemplo, inicia una instancia diferente con menos GPUs, discos, CPUs virtuales o memoria.

No route to host en conexiones salientes desde notebooks administradas

Problema

Por lo general, las únicas rutas que puedes ver en la consola de Google Cloud son las conocidas para tu VPC y los rangos reservados cuando completas la configuración de Intercambio de tráfico entre redes de VPC.

Las instancias de notebooks administrados residen en una red administrada por Google y ejecutan una versión modificada de Jupyter en un espacio de nombres de red de Docker dentro de la instancia.

La interfaz de red de Docker y el puente de Linux en esta instancia pueden seleccionar una IP local que entra en conflicto con los rangos de IP que tu VPC exporta a través del intercambio de tráfico. Por lo general, se encuentran en los rangos 172.16.0.0/161 y 192.168.10.0/24, respectivamente.

En estas circunstancias, las conexiones salientes de la instancia a estos rangos fallarán con un reclamo que es alguna variación de No route to host a pesar de que las rutas de VPC se compartan de forma correcta.

Solución

Invoca ifconfig en una sesión de terminal y asegúrate de que ninguna dirección IP en ninguna interfaz virtual en la instancia entre en conflicto con los rangos de IP que tu VPC exporta a la conexión de intercambio de tráfico.

Notebooks administrados por el usuario

En esta sección, se describen los pasos para solucionar problemas de los notebooks administrados por el usuario.

Abre JupyterLab y conéctate a él

En esta sección, se describe cómo solucionar problemas de conexión y apertura de JupyterLab.

No sucede nada cuando hago clic en Abrir JupyterLab

Problema

Cuando haces clic en Abrir JupyterLab, no sucede nada.

Solución

Verifica que tu navegador no bloquee la apertura automática de pestañas nuevas. JupyterLab se abre en una pestaña del navegador nueva.

No hay acceso del servidor proxy de inversión a JupyterLab

Problema

No puedes acceder a JupyterLab.

Vertex AI Workbench usa un servidor proxy de inversión interno de Google para proporcionar acceso a JupyterLab. La configuración de la instancia de notebook administrado por el usuario, la configuración de la red y otros factores pueden impedir el acceso a JupyterLab.

Solución

Usa SSH para conectarte a JupyterLab y obtener más información sobre los posibles motivos que podrían impedirte acceder mediante el proxy de inversión.

No se puede establecer una conexión con la instancia de notebooks administrados por el usuario mediante SSH

Problema

No puedes conectarte a tu instancia con SSH a través de una ventana de terminal.

Las instancias de notebooks administrados por el usuario usan el Acceso al SO para habilitar el acceso SSH. Cuando creas una instancia, Vertex AI Workbench habilita el Acceso al SO de forma predeterminada configurando la clave de metadatos enable-oslogin como TRUE. Si no puedes usar SSH para conectarte a tu instancia, es posible que esta clave de metadatos se deba establecer en TRUE.

Solución

Para que los usuarios tengan acceso SSH a los notebooks administrados por el usuario, completa los pasos para configurar los roles de Acceso al SO en las cuentas de usuario.

Cuando abres una instancia de notebooks administrados por el usuario, se produce un error 403 (Prohibido)

Problema

Un error 403 (Forbidden) cuando se abre una instancia de notebooks administrados por el usuario a menudo significa que hay un problema de acceso.

Solución

Para solucionar problemas de acceso, considera las tres formas en las que se puede otorgar acceso a una instancia de notebooks administrados por el usuario:

  • Único usuario
  • Cuenta de servicio
  • Editores del proyecto

El modo de acceso se configura durante la creación de la instancia de notebook administrado por el usuario y se define en los metadatos del notebook:

  • Usuario único: proxy-mode=mail, proxy-user-mail=user@domain.com
  • Cuenta de servicio: proxy-mode=service_account
  • Editores del proyecto: proxy-mode=project_editors

Si no puedes acceder a un notebook cuando haces clic en Abrir JupyterLabprueba lo siguiente:

En el siguiente ejemplo, se muestra cómo especificar una cuenta de servicio cuando creas una instancia:

gcloud notebooks instances create nb-1 \
  --vm-image-family=tf-latest-cpu \
  --metadata=proxy-mode=mail,proxy-user-mail=user@domain.com \
  --service-account=your_service_account@project_id.iam.gserviceaccount.com \
  --location=us-west1-a

Cuando haces clic en Abrir JupyterLab para abrir un notebook, el notebook se abre en una pestaña nueva del navegador. Si accediste a más de una Cuenta de Google, la pestaña nueva se abre con tu Cuenta de Google predeterminada. Si no creaste tu instancia de notebook con tu Cuenta de Google predeterminada, la pestaña del navegador nueva mostrará un error 403 (Forbidden).

Sin acceso a JupyterLab, modo de usuario único habilitado

Problema

No puedes acceder a JupyterLab.

Solución

Si un usuario no puede acceder a JupyterLab y el acceso de la instancia a JupyterLab se establece en Single user only, intenta lo siguiente:

  1. En la página Notebooks administrados por el usuario de la consola de Google Cloud, haz clic en el nombre de tu instancia para abrir la página Detalles del notebook.

  2. Junto a Ver detalles de VM, haz clic en Ver en Compute Engine.

  3. En la página de detalles de la instancia de VM, haz clic en Editar.

  4. En la sección Metadatos, verifica que la entrada de metadatos proxy-mode esté configurada como mail.

  5. Verifica que la entrada de metadatos proxy-user-mail esté configurada en una dirección de correo electrónico del usuario válida, no en una cuenta de servicio.

  6. Haz clic en Guardar.

  7. En la página Notebooks administrados por el usuario de la consola de Google Cloud, para inicializar los metadatos actualizados, detén tu instancia y vuelve a iniciar la instancia.

Cuando abro un notebook, se produce un error 504 (Tiempo de espera de la puerta de enlace)

Problema

Esto indica que existe un tiempo de espera del proxy interno o de un servidor de backend (Jupyter). Esto se puede ver en los siguientes casos:

  • La solicitud nunca llegó al servidor proxy de inversión interno
  • El backend (Jupyter) muestra un error 504.

Solución

Abre un caso de asistencia de Google.

Cuando abro un notebook, se produce un error 524 (se produjo un tiempo de espera)

Problema

El servidor proxy de inversión interno no recibió una respuesta del agente del proxy de inversión para la solicitud durante el tiempo de espera. El agente de proxy de inversión se ejecuta dentro de la instancia de notebook administrado por el usuario como un contenedor de Docker. Por lo general, un error 524 indica que el agente del proxy de inversión no se está conectando al servidor del proxy de inversión o que las solicitudes tardan demasiado en el servidor de backend (Jupyter). Un caso típico de este error se produce con el usuario (por ejemplo, un problema de herramientas de redes, o que el servicio del agente del proxy de inversión no está en ejecución).

Solución

Si no puedes acceder a un notebook, verifica que se haya iniciado la instancia de notebook administrada por el usuario y prueba lo siguiente:

Opción 1: Ejecuta la herramienta de diagnóstico para verificar y reparar de forma automática los servicios principales de los notebooks administrados por el usuario, verificar el almacenamiento disponible y generar archivos de registro útiles. Para ejecutar la herramienta en tu instancia, realiza los siguientes pasos:

  1. Asegúrate de que tu instancia esté en la versión M58 o posterior.

  2. Conéctate a la instancia de Deep Learning VM Image mediante SSH.

  3. Ejecuta el siguiente comando:

    sudo /opt/deeplearning/bin/diagnostic_tool.sh [--repair] [--bucket=$BUCKET]

    Ten en cuenta que las marcas --repair y --bucket son opcionales. La marca --repair intentará corregir errores comunes del servicio principal y la marca --bucket te permitirá especificar un bucket de Cloud Storage para almacenar los archivos de registro creados.

    El resultado de este comando mostrará mensajes de estado útiles para los servicios principales de los notebooks administrados por el usuario y exportará los archivos de registro de sus resultados.

Opción 2: Usa los siguientes pasos para verificar los requisitos específicos de los notebooks administrados por el usuario de forma individual.

Abrir un notebook genera un error 598 (tiempo de espera de lectura de red)

Problema

El servidor proxy de inversión no ha recibido ninguna notificación del agente proxy de inversión durante más de 10 minutos. Esto es un claro indicio de un problema entre el agente proxy de inversión.

Solución

Si no puedes acceder a un notebook, intenta lo siguiente:

El notebook no responde

Problema

Tu instancia de notebooks administrada por el usuario no ejecuta celdas o parece estar inmovilizada.

Solución

Primero, intenta reiniciar el kernel. Para ello, haz clic en Kernel en el menú superior y, luego, en Reiniciar kernel. Si eso no funciona, puedes intentar lo siguiente:

  • Actualiza la página del navegador de JupyterLab. No se conservarán los resultados de celda no guardados, por lo que debes volver a ejecutar esas celdas para volver a generar el resultado.
  • Desde una sesión de terminal en el notebook, ejecuta el comando top para ver si hay procesos que consumen la CPU.
  • En la terminal, verifica la cantidad de espacio libre en el disco con el comando df o verifica la RAM disponible con el comando free.
  • Para cerrar tu instancia, selecciónala en la página de notebooks administrados por el usuario y haz clic en Detener. Luego de que se haya detenido por completo, selecciónala y haz clic en Iniciar.

Cómo migrar a instancias de Vertex AI Workbench

En esta sección, se describen los métodos para diagnosticar y resolver problemas con la migración de una instancia de notebooks administrada por el usuario a una instancia de Vertex AI Workbench.

No se pueden encontrar R, Beam ni otros kernels que estaban en la instancia de notebooks administrados por el usuario.

Problema

Un kernel que estaba en tu instancia de notebooks administrados por el usuario no aparece en la instancia de Vertex AI Workbench a la que migraste.

Algunos kernels, como los de R y Beam, no están disponibles en las instancias de Vertex AI Workbench de forma predeterminada. No se admite la migración de esos kernels.

Solución

Para resolver este problema, agrega un entorno conda a tu instancia de Vertex AI Workbench.

No se puede configurar una instancia de Dataproc Hub en la instancia de Vertex AI Workbench

Problema

Dataproc Hub no es compatible con las instancias de Vertex AI Workbench.

Solución

Seguir usando Dataproc Hub en instancias de notebooks administradas por el usuario

Diferente versión del framework en la instancia migrada

Problema

Un framework que estaba en tu instancia de notebooks administrados por el usuario tenía una versión diferente a la de la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench proporcionan un conjunto predeterminado de versiones de framework. La herramienta de migración no agrega versiones del framework de tu instancia original de notebooks administrada por el usuario. Consulta los comportamientos predeterminados de la herramienta de migración.

Solución

Para agregar una versión específica de un framework, agrega un entorno conda a tu instancia de Vertex AI Workbench.

Las GPUs no se migran a la nueva instancia de Vertex AI Workbench

Problema

Las GPUs que estaban en tu instancia de notebooks administrados por el usuario no están en la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench admiten un conjunto predeterminado de GPUs. Si las GPUs en tu instancia de notebooks administrada por el usuario original no están disponibles, tu instancia se migra sin GPUs.

Solución

Después de la migración, puedes agregar GPUs a tu instancia de Vertex AI Workbench mediante el método projects.locations.instances.patch en la API de Notebooks o gcloud workbench instances update en el SDK de Google Cloud.

El tipo de máquina de la instancia migrada es diferente

Problema

El tipo de máquina de tu instancia de notebooks administrados por el usuario es diferente de la instancia de Vertex AI Workbench a la que migraste.

Las instancias de Vertex AI Workbench no son compatibles con todos los tipos de máquinas. Si el tipo de máquina de tu instancia de notebooks administrada por el usuario original no está disponible, tu instancia se migra al tipo de máquina e2-standard-4.

Solución

Después de la migración, puedes cambiar el tipo de máquina de tu instancia de Vertex AI Workbench mediante el método projects.locations.instances.patch en la API de Notebooks o la gcloud workbench instances update en el SDK de Google Cloud.

Trabaja con archivos

En esta sección, se describe cómo solucionar problemas con los archivos de las instancias de notebooks administrados por el usuario.

Se inhabilitó la descarga de archivos, pero el usuario aún puede descargar archivos

Problema

En las instancias de notebooks administrados por el usuario de Dataproc Hub, no se admite la inhabilitación de la descarga de archivos desde la interfaz de usuario de JupyterLab. Las instancias de notebooks administrados por el usuario que usan el framework de Dataproc Hub permiten la descarga de archivos, incluso si no seleccionas Habilitar la descarga de archivos desde la IU de JupyterLab cuando creas la instancia.

Solución

Las instancias de notebooks administrados por el usuario de Dataproc Hub no admiten la restricción de descargas de archivos.

Los archivos descargados se truncan o no se completa la descarga

Problema

Cuando descargas archivos de tu instancia de notebooks administrados por el usuario, una configuración de tiempo de espera en el agente de reenvío de proxy limita el tiempo de conexión para que se complete la descarga. Si la descarga tarda demasiado, esto puede truncar el archivo descargado o evitar que se descargue.

Solución

Para descargar el archivo, copia el archivo en Cloud Storage y, luego, descárgalo desde Cloud Storage.

Considera migrar tus archivos y datos a una nueva instancia de notebooks administrados por el usuario.

Después de reiniciar la VM, no se puede hacer referencia a los archivos locales desde la terminal del notebook

Problema

A veces, después de reiniciar una instancia de notebook administrado por el usuario, no se puede hacer referencia a los archivos locales desde una terminal de notebook.

Solución

Este es un problema conocido. Para hacer referencia a tus archivos locales desde una terminal de notebook, primero vuelve a establecer tu directorio de trabajo actual con el siguiente comando:

cd PWD

En este comando, reemplaza PWD por tu directorio de trabajo actual. Por ejemplo, si tu directorio de trabajo actual era /home/jupyter/, usa el comando cd /home/jupyter/.

Después de restablecer tu directorio de trabajo actual, se puede hacer referencia a tus archivos locales desde la terminal del notebook.

Crea instancias de notebooks administrados por el usuario

En esta sección, se describe cómo solucionar problemas con la creación de instancias de notebooks administrados por el usuario.

Se superó la cuota de GPU

Problema

No puedes crear una instancia de notebook administrado por el usuario con GPUs.

Solución

Determina la cantidad de GPU disponibles en el proyecto. Para hacerlo, verifica la página de cuotas. Si las GPUs no están enumeradas en la página de cuotas o si necesitas obtener más cuota de GPU, puedes solicitar un aumento de cuota. Consulta Solicita un límite de cuota más alto.

La instancia permanece en estado pendiente de forma indefinida

Problema

Después de crear una instancia de notebook administrada por el usuario, permanece en estado pendiente de forma indefinida. Puede aparecer un error como el siguiente en los registros en serie:

Could not resolve host: notebooks.googleapis.com

Solución

Tu instancia no se puede conectar al servidor de APIs de Notebooks debido a una configuración de Cloud DNS o a otro problema de red. Para resolver el problema, verifica tu configuración de Cloud DNS y de red. Para obtener más información, consulta la sección de opciones de configuración de red.

No se crea una nueva instancia de notebook administrado por el usuario (permisos insuficientes)

Problema

Por lo general, la creación de una instancia de notebook administrado por el usuario toma alrededor de un minuto. Si la nueva instancia de notebooks administrados por el usuario permanece en el estado pending de forma indefinida, podría deberse a que la cuenta de servicio que se usa para iniciarla no tiene los permisos necesarios en tu Google Cloud proyecto.

Puedes iniciar una instancia de notebook administrado por el usuario con una cuenta de servicio personalizada que crees o en modo de usuario único con un ID de usuario. Si inicias una instancia de notebook administrado por el usuario en modo de usuario único, esta comienza el proceso de inicio con la cuenta de servicio predeterminada de Compute Engine antes de pasar el control a tu ID de usuario.

Solución

Para verificar que una cuenta de servicio tenga los permisos apropiados, sigue estos pasos:

Consola

  1. Abre la página de IAM en la consola de Google Cloud.

    Abrir la página de IAM

  2. Determina la cuenta de servicio que se usó con la instancia de notebook administrado por el usuario, que es una de las que se mencionan a continuación:

    • Una cuenta de servicio personalizada que especificaste cuando creaste tu instancia de notebook administrado por el usuario.

    • La cuenta de servicio predeterminada de Compute Engine para tu proyecto deGoogle Cloud , que se usa cuando inicias la instancia de notebooks administrada por el usuario en modo de usuario único. La cuenta de servicio predeterminada de Compute Engine para tu proyecto de Google Cloud se llama PROJECT_NUMBER-compute@developer.gserviceaccount.com. Por ejemplo: 113377992299-compute@developer.gserviceaccount.com.

  3. Verifica que tu cuenta de servicio tenga el rol de Notebooks Runner (roles/notebooks.runner). De lo contrario, otórgale a la cuenta de servicio el rol de Notebooks Runner (roles/notebooks.runner).

Para obtener más información, consulta Otorga, cambia y revoca el acceso a los recursos en la documentación de IAM.

gcloud

  1. Si aún no lo hiciste, instala la Google Cloud CLI.

  2. Obtén el nombre y el número de proyecto de tu proyecto Google Cloud con el siguiente comando. Reemplaza PROJECT_ID por el ID de tu proyectoGoogle Cloud .

    gcloud projects describe PROJECT_ID

    Deberías ver un resultado similar al siguiente, que muestra el nombre (name:) y el número (projectNumber:) del proyecto.

    createTime: '2018-10-18T21:03:31.408Z'
lifecycleState: ACTIVE
name: my-project-name
parent:
 id: '396521612403'
 type: folder
projectId: my-project-id-1234
projectNumber: '113377992299'

  3. Determina la cuenta de servicio que se usó con la instancia de notebook administrado por el usuario, que es una de las que se mencionan a continuación:

    • Una cuenta de servicio personalizada que especificaste cuando creaste tu instancia de notebook administrado por el usuario.

    • La cuenta de servicio predeterminada de Compute Engine para tu proyecto deGoogle Cloud , que se usa cuando inicias la instancia de notebooks administrada por el usuario en modo de usuario único. La cuenta de servicio predeterminada de Compute Engine para tu proyecto de Google Cloud se llama PROJECT_NUMBER-compute@developer.gserviceaccount.com. Por ejemplo: 113377992299-compute@developer.gserviceaccount.com.

  4. Agrega el rol de roles/notebooks.runner a la cuenta de servicio con el siguiente comando. Reemplaza project-name por el nombre de tu proyecto y service-account-id por el ID de la cuenta de servicio de tu instancia de notebooks administrados por el usuario.

    gcloud projects add-iam-policy-binding project-name \
 --member serviceAccount:service-account-id \
 --role roles/notebooks.runner

Cuando creas una instancia, se produce un error Permission denied

Problema

La cuenta de servicio en la instancia proporciona acceso a otros servicios de Google Cloud. Puedes usar cualquier cuenta de servicio dentro del mismo proyecto, pero debes tener el permiso de usuario de la cuenta de servicio (iam.serviceAccounts.actAs) para crear la instancia. Si no se especifica, se usa la cuenta de servicio predeterminada de Compute Engine.

Solución

Cuando crees una instancia, verifica que el usuario que la crea tenga el permiso iam.serviceAccounts.ActAs en la cuenta de servicio definida.

En el siguiente ejemplo, se muestra cómo especificar una cuenta de servicio cuando creas una instancia:

gcloud notebooks instances create nb-1 \
  --vm-image-family=tf-latest-cpu \
  --service-account=your_service_account@project_id.iam.gserviceaccount.com \
  --location=us-west1-a

Para otorgar el rol de Usuario de cuenta de servicio, consulta Administra el acceso a las cuentas de servicio.

Cuando creas una instancia, se produce un error already exists

Problema

Cuando crees una instancia, verifica que Compute Engine no haya borrado una instancia de notebooks administrados por el usuario con el mismo nombre y que aún exista en la base de datos de la API de Notebooks.

Solución

En el siguiente ejemplo, se muestra cómo enumerar las instancias con la API de Notebooks y verificar su estado.

gcloud notebooks instances list --location=LOCATION

Si el estado de una instancia es DELETED, ejecuta el siguiente comando para borrarlo de forma permanente.

gcloud notebooks instances delete INSTANCE_NAME --location=LOCATION

No se puede crear una instancia en una VPC compartida

Problema

No puedes crear una instancia en una VPC compartida.

Solución

Si usas una VPC compartida, debes agregar el host y los proyectos de servicio al perímetro de servicio. En el proyecto host, también debes otorgar los permisos del rol de usuario de la red de Compute (roles/compute.networkUser) al Agente de servicio de Notebooks del proyecto de servicio. Para obtener más información, consulta Administra perímetros de servicio.

Crea una instancia que da como resultado un error de disponibilidad de recursos

Problema

No puedes crear una instancia debido a un error de disponibilidad de recursos.

Este error puede verse de la siguiente manera:

Creating notebook INSTANCE_NAME: ZONE does not have enough
resources available to fulfill the request. Retry later or try another zone in
your configurations.

Los errores de recursos se producen cuando solicitas recursos nuevos en una zona que no puede admitir tu solicitud debido a la falta de disponibilidad actual de recursos de Compute Engine, como GPU o CPU.

Los errores de recursos solo se aplican a las solicitudes de recursos nuevas de la zona y no afectan a los recursos existentes. Los errores de recursos no están relacionados con tu cuota de Compute Engine. Los errores de recursos son temporales y pueden cambiar con frecuencia según la demanda fluctuante.

Solución

Para continuar, puedes intentar lo siguiente:

  • Crea una instancia con un tipo de máquina diferente.
  • Crea la instancia en una zona diferente.
  • Vuelve a intentar la solicitud más tarde.
  • Reduce la cantidad de recursos que solicitas. Por ejemplo, intenta crear una instancia con menos GPUs, discos, CPUs virtuales o memoria.

Inicia una instancia que da como resultado un error de disponibilidad de recursos

Problema

No puedes iniciar una instancia debido a un error de disponibilidad de recursos.

Este error puede verse de la siguiente manera:

The zone ZONE_NAME doesn't have enough resources available to fulfill
the request. '(resource type:compute)'.

Los errores de recursos se producen cuando intentas iniciar una instancia en una zona que no puede admitir tu solicitud debido a la falta de disponibilidad actual de recursos de Compute Engine, como GPU o CPU.

Los errores de recursos solo se aplican a los recursos que especificaste en tu solicitud cuando la enviaste, no a todos los recursos de la zona. Los errores de recursos no están relacionados con tu cuota de Compute Engine. Los errores de recursos son temporales y pueden cambiar con frecuencia según la demanda fluctuante.

Solución

Para continuar, puedes intentar lo siguiente:

  • Cambia el tipo de máquina de tu instancia.
  • Migra tus archivos y datos a una instancia en una zona diferente.
  • Vuelve a intentar la solicitud más tarde.
  • Reduce la cantidad de recursos que solicitas. Por ejemplo, inicia una instancia diferente con menos GPUs, discos, CPUs virtuales o memoria.

Actualiza las instancias de notebooks administrados por el usuario

En esta sección, se describe cómo solucionar problemas con la actualización de instancias de notebooks administrados por el usuario.

No se pudo actualizar porque no se pudo obtener la información del disco de la instancia

Problema

La actualización no es compatible con instancias de notebooks de un solo disco administrados por usuarios.

Solución

Te recomendamos migrar tus datos de usuario a una nueva instancia de notebook administrado por el usuario.

No se puede actualizar porque la instancia no es compatible con UEFI

Problema

Vertex AI Workbench depende de la compatibilidad con UEFI para completar una actualización.

Las instancias de notebooks administrados por el usuario creadas a partir de imágenes más antiguas no son compatibles con UEFI y, por lo tanto, no se pueden actualizar.

Solución

Para verificar que tu instancia sea compatible con UEFI, escribe el siguiente comando en Cloud Shell o en cualquier entorno en el que esté instalada la Google Cloud CLI.

gcloud compute instances describe INSTANCE_NAME \
  --zone=ZONE | grep type

Reemplaza lo siguiente:

  • INSTANCE_NAME: el nombre de tu instancia
  • ZONE: La zona en la que se encuentra la instancia.

Si deseas verificar que la imagen que usaste para crear tu instancia sea compatible con UEFI, usa el siguiente comando:

gcloud compute images describe VM_IMAGE_FAMILY \
  --project deeplearning-platform-release | grep type

Reemplaza VM_IMAGE_FAMILY por el nombre de la familia de imágenes que usaste para crear la instancia.

Si determinas que tu instancia o imagen no es compatible con UEFI, puedes intentar migrar tus datos de usuario a una nueva instancia de notebook administrado por el usuario. Para ello, completa los siguientes pasos:

  1. Verifica que la imagen que quieras usar para crear tu instancia nueva sea compatible con UEFI. Para hacerlo, escribe el siguiente comando en Cloud Shell o en cualquier entorno en el que esté instalada la Google Cloud CLI.

    gcloud compute images describe VM_IMAGE_FAMILY \
  --project deeplearning-platform-release --format=json | grep type

    Reemplaza VM_IMAGE_FAMILY por el nombre de la familia de imágenes que deseas usar para crear tu instancia.

  2. Migra tus datos de usuario a una nueva instancia de notebook administrado por el usuario.

No se puede acceder a la instancia de notebook administrado por el usuario después de la actualización

Problema

Si no se puede acceder a la instancia de notebook administrado por el usuario después de una actualización, es posible que se haya producido un error durante el reemplazo de la imagen del disco de arranque.

Las instancias de notebooks administradas por el usuario que se pueden actualizar son de dos discos, con un disco de arranque y uno de datos. El proceso de actualización actualiza el disco de arranque a una imagen nueva mientras conserva tus datos en el disco de datos.

Solución

Completa los siguientes pasos para adjuntar una imagen válida nueva al disco de arranque.

  1. Si deseas almacenar los valores que usarás para completar este procedimiento, escribe el siguiente comando en Cloud Shell o en cualquier entorno en el que la Google Cloud CLI esté instalada.

    export INSTANCE_NAME=MY_INSTANCE_NAME
export PROJECT_ID=MY_PROJECT_ID
export ZONE=MY_ZONE

    Reemplaza lo siguiente:

    • MY_INSTANCE_NAME: el nombre de tu instancia
    • MY_PROJECT_ID: El ID de tu proyecto
    • MY_ZONE: La zona en la que se encuentra la instancia.

  2. Usa el siguiente comando para detener la instancia:

    gcloud compute instances stop $INSTANCE_NAME \
  --project=$PROJECT_ID --zone=$ZONE

  3. Desvincula el disco de arranque de la instancia.

    gcloud compute instances detach-disk $INSTANCE_NAME --device-name=data \
  --project=$PROJECT_ID --zone=$ZONE

  4. Borra la VM de la instancia.

    gcloud compute instances delete $INSTANCE_NAME --keep-disks=all --quiet \
  --project=$PROJECT_ID --zone=$ZONE

  5. Usa la API de Notebooks para borrar la instancia de notebook administrado por el usuario.

    gcloud notebooks instances delete $INSTANCE_NAME \
  --project=$PROJECT_ID --location=$ZONE

  6. Crea una instancia de notebooks administrados por el usuario con el mismo nombre que tu instancia anterior.

    gcloud notebooks instances create $INSTANCE_NAME \
  --vm-image-project="deeplearning-platform-release" \
  --vm-image-family=MY_VM_IMAGE_FAMILY \
  --instance-owners=MY_INSTANCE_OWNER \
  --machine-type=MY_MACHINE_TYPE \
  --service-account=MY_SERVICE_ACCOUNT \
  --accelerator-type=MY_ACCELERATOR_TYPE \
  --accelerator-core-count=MY_ACCELERATOR_CORE_COUNT \
  --install-gpu-driver \
  --project=$PROJECT_ID \
  --location=$ZONE

    Reemplaza lo siguiente:

    • MY_VM_IMAGE_FAMILY: Es el nombre de la familia de imágenes.
    • MY_INSTANCE_OWNER: El propietario de la instancia
    • MY_MACHINE_TYPE: tipo de máquina de la VM de tu instancia
    • MY_SERVICE_ACCOUNT: Es la cuenta de servicio que se usará con esta instancia, o bien se usará "default".
    • MY_ACCELERATOR_TYPE: Es el tipo de acelerador, por ejemplo, "NVIDIA_TESLA_T4".
    • MY_ACCELERATOR_CORE_COUNT: El recuento de núcleos; por ejemplo, 1

Supervisa el estado de las instancias de notebooks administrados por el usuario

En esta sección, se describe cómo solucionar problemas con errores de estado de supervisión.

Error de estado docker-proxy-agent

Sigue estos pasos después de una falla de estado docker-proxy-agent:

  1. Verifica que el agente de proxy de inversión esté en ejecución. Si no, ve al paso 3.

  2. Reinicia el agente del proxy de inversión.

  3. Vuelve a registrarte con el servidor proxy de inversión.

Error de estado docker-service

Sigue estos pasos después de una falla de estado docker-service:

  1. Verifica que el servicio de Docker esté en ejecución.

  2. Reinicia el servicio de Docker

Error de estado jupyter-service

Sigue estos pasos después de una falla de estado jupyter-service:

  1. Verifica que el servicio de Jupyter esté en ejecución.

  2. Reinicia el servicio de Jupyter​

Error de estado jupyter-api

Sigue estos pasos después de una falla de estado jupyter-api:

  1. Verifica que la API interna de Jupyter esté activa

  2. Reinicia el servicio de Jupyter​

Porcentaje de uso del disco de arranque

El estado del espacio del disco de arranque está en mal estado si está lleno por encima del 85%.

Si el espacio en el disco de arranque está en mal estado, intenta lo siguiente:

  1. Desde la sesión de terminal en la instancia de notebook administrado por el usuario o usando SSH para conectarte, verifica la cantidad de espacio libre en el disco con el comando df -H.

  2. Usa el comando find . -type d -size +100M para ayudarte a encontrar archivos grandes que tal vez puedas borrar, pero no los borres, a menos que estés seguro de que puedes hacerlo de forma segura. Si no estás seguro, puedes obtener ayuda del equipo de asistencia.

  3. Si los pasos anteriores no resuelven el problema, obtén asistencia.

Porcentaje de uso del disco de datos

El estado del espacio del disco de datos está en mal estado si está lleno por encima del 85%.

Si el estado de espacio de tu disco de datos está en mal estado, intenta lo siguiente:

  1. Desde la sesión de terminal en la instancia de notebook administrado por el usuario o usando SSH para conectarte, verifica la cantidad de espacio libre en el disco con el comando df -h -T /home/jupyter.

  2. Borra archivos grandes para aumentar el espacio disponible en disco. Usa el comando find . -type d -size +100M para encontrar archivos grandes.

  3. Si los pasos anteriores no resuelven el problema, obtén asistencia.

No se pudo instalar la extensión de JupyterLab de terceros

Problema

Si intentas instalar una extensión de JupyterLab de terceros, se mostrará un mensaje Error: 500.

Solución

Las extensiones de JupyterLab de terceros no son compatibles con instancias de notebooks administrados por el usuario.

Restablecer instancia

Problema

No se admite restablecer una instancia de notebooks administrados por el usuario después de borrarla.

Solución

Para crear una copia de seguridad de los datos en tu instancia, puedes guardar tus notebooks en GitHub o hacer una instantánea del disco.

Recupera datos de una instancia

Problema

No se admite la recuperación de datos de una instancia de notebooks administrados por el usuario después de que se borra.

Solución

Para crear una copia de seguridad de los datos en tu instancia, puedes guardar tus notebooks en GitHub o hacer una instantánea del disco.

No se puede aumentar la memoria compartida

Problema

No puedes aumentar la memoria compartida en una instancia de notebooks administrada por el usuario existente.

Solución

Sin embargo, puedes especificar un tamaño de memoria compartida cuando creas una instancia de notebook administrada por el usuario con la clave de metadatos container-custom-params, con un valor como el siguiente:

--shm-size=SHARED_MEMORY_SIZE gb

Reemplaza SHARED_MEMORY_SIZE por el tamaño que desees en GB.

Procedimientos útiles

En esta sección, se describen los procedimientos que pueden resultarte útiles.

Usa SSH para conectarte a tu instancia de notebooks administrados por el usuario.

Usa ssh a fin de conectarte a tu instancia heredada; para ello, escribe el siguiente comando en Cloud Shell o en cualquier entorno en el que esté instalada la Google Cloud CLI.

gcloud compute ssh --project PROJECT_ID \
  --zone ZONE \
  INSTANCE_NAME -- -L 8080:localhost:8080

Reemplaza lo siguiente:

  • PROJECT_ID: el ID de tu proyecto
  • ZONE: La Google Cloud zona en la que se encuentra la instancia
  • INSTANCE_NAME: el nombre de tu instancia.

También puedes conectarte a tu instancia si abres su página de detalles de Compute Engine y, luego, haces clic en el botón SSH.

Vuelve a registrarte con el servidor proxy de inversión.

Para volver a registrar la instancia de notebook administrado por el usuario con el servidor de proxy de inversión interno, puedes detener y volver a iniciar la VM desde la página de notebooks administrados por el usuario o puedes usar SSH para conectarte a tu instancia de notebook administrado por el usuario y, luego, ingresar lo siguiente:

cd /opt/deeplearning/bin
sudo ./attempt-register-vm-on-proxy.sh

Verifica el estado del servicio de Docker

Si deseas verificar el estado del servicio de Docker, puedes usar SSH para conectarte a tu instancia de notebook administrado por el usuario y, luego, ingresar lo siguiente:

sudo service docker status

Verifica que el agente de proxy de inversión esté en ejecución

Para verificar si el agente del proxy de inversión del notebook está en ejecución, usa ssh para conectarte a la instancia de notebook administrado por el usuario y, luego, ingresa lo siguiente:

# Confirm Inverting Proxy agent Docker container is running (proxy-agent)
sudo docker ps

# Verify State.Status is running and State.Running is true.
sudo docker inspect proxy-agent

# Grab logs
sudo docker logs proxy-agent

Verifica el estado del servicio de Jupyter y recopila registros

A fin de verificar el estado del servicio de Jupyter, puedes usar SSH para conectarte a tu instancia de notebook administrado por el usuario y, luego, ingresar lo siguiente:

sudo service jupyter status

Para recopilar registros del servicio de Jupyter, ingresa lo siguiente:

sudo journalctl -u jupyter.service --no-pager

Verifica que la API interna de Jupyter esté activa

La API de Jupyter siempre debe ejecutarse en el puerto 8080. Para verificar esto, inspecciona los syslogs de la instancia en busca de una entrada similar a la siguiente:

Jupyter Server ... running at:
http://localhost:8080

Para verificar que la API interna de Jupyter esté activa, también puedes usar ssh para conectarte a la instancia de notebook administrado por el usuario y, luego, ingresar lo siguiente:

curl http://127.0.0.1:8080/api/kernelspecs

También puedes medir el tiempo que tarda la API en responder en caso de que las solicitudes tarden demasiado:

time curl -V http://127.0.0.1:8080/api/status
time curl -V http://127.0.0.1:8080/api/kernels
time curl -V http://127.0.0.1:8080/api/connections

Para ejecutar estos comandos en tu instancia de Vertex AI Workbench, abre JupyterLab y crea una terminal nueva.

Reinicia el servicio de Docker

Para reiniciar el servicio de Docker, puedes detener y volver a iniciar la VM en la página de notebooks administrados por el usuario o puedes usar SSH a fin de conectarte a la instancia de notebooks administrados por el usuario y, luego, ingresar lo siguiente:

sudo service docker restart

Reinicia el agente del proxy de inversión

Para reiniciar el agente de proxy de inversión, puedes detener y volver a iniciar la VM en la página de notebooks administrados por el usuario o puedes usar SSH a fin de conectarte a la instancia de notebooks administrados por el usuario y, luego, ingresar lo siguiente:

sudo docker restart proxy-agent

Reinicia el servicio de Jupyter

Para reiniciar el servicio de Jupyter, puedes detener y volver a iniciar la VM en la página de notebooks administrados por el usuario o puedes usar SSH a fin de conectarte a tu instancia de notebooks administrados por el usuario y, luego, ingresar lo siguiente:

sudo service jupyter restart

Reinicia el Agente de recopilación de Notebooks

El servicio del agente de recopilación de notebooks ejecuta un proceso de Python en segundo plano que verifica el estado de los servicios principales de la instancia de Vertex AI Workbench.

Para reiniciar el servicio del agente de recopilación de notebooks, puedes detener y volver a iniciar la VM desde la consola de Google Cloud o puedes usar SSH a fin de conectarte a tu instancia de Vertex AI Workbench y, luego, ingresar lo siguiente:

sudo systemctl stop notebooks-collection-agent.service

seguido de lo siguiente:

sudo systemctl start notebooks-collection-agent.service

Para ejecutar estos comandos en tu instancia de Vertex AI Workbench, abre JupyterLab y crea una terminal nueva.

Modifica la secuencia de comandos del agente de recopilación de notebooks

Para acceder a la secuencia de comandos y editarla, abre una terminal en nuestra instancia o usa SSH para conectarte a tu instancia de Vertex AI Workbench y, luego, ingresa lo siguiente:

nano /opt/deeplearning/bin/notebooks_collection_agent.py

Después de editar el archivo, recuerda guardarlo.

Luego, debes reiniciar el servicio del agente de recopilación de notebooks.

Verifica que la instancia pueda resolver los dominios DNS requeridos

Para verificar que la instancia pueda resolver los dominios de DNS requeridos, puedes usar SSH para conectarte a tu instancia de notebooks administrados por el usuario y, luego, ingresar lo siguiente:

host notebooks.googleapis.com
host *.notebooks.cloud.google.com
host *.notebooks.googleusercontent.com
host *.kernels.googleusercontent.com

o:

curl --silent --output /dev/null "https://notebooks.cloud.google.com"; echo $?

Si la instancia tiene habilitado Dataproc, puedes verificar que la instancia resuelve *.kernels.googleusercontent.com ejecutando lo siguiente:

curl --verbose -H "Authorization: Bearer $(gcloud auth print-access-token)" https://${PROJECT_NUMBER}-dot-${REGION}.kernels.googleusercontent.com/api/kernelspecs | jq .

Para ejecutar estos comandos en tu instancia de Vertex AI Workbench, abre JupyterLab y crea una terminal nueva.

Realiza una copia de los datos del usuario en una instancia

Para almacenar una copia de los datos del usuario de la instancia en Cloud Storage, completa los siguientes pasos.

Crea un bucket de Cloud Storage (opcional)

En el mismo proyecto en el que se encuentra la instancia, crea un bucket de Cloud Storage en el que puedas almacenar tus datos del usuario. Si ya tienes un bucket de Cloud Storage, omite este paso.

  • Create a Cloud Storage bucket: 
    gcloud storage buckets create gs://BUCKET_NAME
     Replace BUCKET_NAME with a bucket name that meets the bucket naming requirements.

Copia los datos del usuario

  1. En la interfaz de JupyterLab de tu instancia, selecciona Archivo > Nuevo > Terminal para abrir una ventana de la terminal. En el caso de las instancias de notebooks administrados por el usuario, puedes conectarte a la terminal de tu instancia mediante SSH.

  2. Usa gcloud CLI para copiar tus datos del usuario en un bucket de Cloud Storage. Con el siguiente comando de ejemplo, se copian todos los archivos del directorio /home/jupyter/ de la instancia a un directorio en un bucket de Cloud Storage.

    gcloud storage cp /home/jupyter/* gs://BUCKET_NAMEPATH --recursive

    Reemplaza lo siguiente:

    • BUCKET_NAME: el nombre de tu bucket de Cloud Storage.
    • PATH: La ruta de acceso al directorio en el que deseas copiar los archivos, por ejemplo: /copy/jupyter/.

Usa gcpdiag para investigar una instancia atascada en el aprovisionamiento

gcpdiag es una herramienta de código abierto. No es un producto Google Cloud compatible oficialmente. Puedes usar la herramienta gcpdiag para identificar y corregir problemas del proyecto de Google Cloud. Para obtener más información, consulta el proyecto gcpdiag en GitHub.

En este runbook de gcpdiag, se investigan las posibles causas por las que una instancia de Vertex AI Workbench se bloquea en el estado de aprovisionamiento, incluidas las siguientes áreas:
  • Estado: Verifica el estado actual de la instancia para asegurarse de que esté atascada en el aprovisionamiento y no esté detenida o activa.
  • Imagen de disco de arranque de la VM de Compute Engine de la instancia: Verifica si la instancia se creó con un contenedor personalizado, una imagen workbench-instances oficial, imágenes de VM de Deep Learning o imágenes no admitidas que podrían hacer que la instancia se bloquee en el estado de aprovisionamiento.
  • Secuencias de comandos personalizadas: Verifica si la instancia usa secuencias de comandos de inicio o posteriores al inicio personalizadas que cambian el puerto predeterminado de Jupyter o rompen dependencias que podrían hacer que la instancia se bloquee en el estado de aprovisionamiento.
  • Versión del entorno: Verifica si la instancia usa la versión más reciente del entorno comprobando su capacidad de actualización. Las versiones anteriores pueden hacer que la instancia se bloquee en el estado de aprovisionamiento.
  • Rendimiento de la VM de Compute Engine de la instancia: Verifica el rendimiento actual de la VM para garantizar que no se vea afectado por un uso alto de la CPU, memoria insuficiente o problemas de espacio en el disco que podrían interrumpir las operaciones normales.
  • Registro del sistema o puerto en serie de Compute Engine de la instancia: Comprueba si la instancia tiene registros de puertos en serie, que se analizan para garantizar que Jupyter se ejecute en el puerto 127.0.0.1:8080.
  • Acceso a SSH y a la terminal de Compute Engine de la instancia: Verifica si la VM de Compute Engine de la instancia se está ejecutando para que el usuario pueda usar SSH y abrir una terminal para verificar que el uso de espacio en "home/jupyter" sea inferior al 85%. Si no queda espacio, es posible que la instancia permanezca atascada en el estado de aprovisionamiento.
  • IP externa desactivada: Verifica si el acceso a la IP externa está desactivado. Una configuración de red incorrecta puede hacer que la instancia se bloquee en el estado de aprovisionamiento.

Consola de Google Cloud

  1. Completa y, luego, copia el siguiente comando. 
    2. gcpdiag runbook vertex/workbench-instance-stuck-in-provisioning \
    --parameter project_id=PROJECT_ID \
    --parameter instance_name=INSTANCE_NAME \
    --parameter zone=ZONE
  2. Abre la consola de Google Cloud y activa Cloud Shell.
    3. Abre la consola de Cloud
  3. Pega el comando copiado.
  4. Ejecuta el comando gcpdiag, que descarga la imagen de Docker gcpdiag y, luego, realiza verificaciones de diagnóstico. Si corresponde, sigue las instrucciones de salida para corregir las verificaciones que fallaron.

Docker

Puedes ejecutar gcpdiag con un wrapper que inicie gcpdiag en un contenedor de Docker. Se debe instalar Docker o Podman.

  1. Copia y ejecuta el siguiente comando en tu estación de trabajo local. 
    curl https://gcpdiag.dev/gcpdiag.sh >gcpdiag && chmod +x gcpdiag
  2. Ejecuta el comando gcpdiag. 
    ./gcpdiag runbook vertex/workbench-instance-stuck-in-provisioning \
    --parameter project_id=PROJECT_ID \
    --parameter instance_name=INSTANCE_NAME \
    --parameter zone=ZONE

Consulta los parámetros disponibles para este runbook.

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto que contiene el recurso.
  • INSTANCE_NAME: Es el nombre de la instancia de Vertex AI Workbench objetivo dentro de tu proyecto.
  • ZONE: Es la zona en la que se encuentra la instancia de Vertex AI Workbench de destino.

Marcas útiles:

Para obtener una lista y una descripción de todas las marcas de la herramienta gcpdiag, consulta las instrucciones de uso de gcpdiag.