Python 2 ya no es compatible con la comunidad. Recomendamos que migres las apps de Python 2 a Python 3.

Lee y escribe en Google Cloud Storage

En este documento, se describe cómo almacenar y recuperar datos mediante Cloud Storage en una app de App Engine que usa la biblioteca cliente de App Engine para Cloud Storage. Se supone que realizaste las tareas descritas en Configura Google Cloud Storage para activar un bucket de Cloud Storage y descargar las bibliotecas cliente. También se supone que sabes compilar una aplicación de App Engine, como se describe en la Guía de inicio rápido del entorno estándar de App Engine para Python 2.

Importaciones requeridas

El archivo main.py contiene las importaciones típicas que se usan para acceder a Cloud Storage a través de la biblioteca cliente:

python/demo/main.py 
import logging
import os
import cloudstorage as gcs
import webapp2

from google.appengine.api import app_identity

Necesitas el módulo os y la API de app_identity para obtener el nombre del bucket predeterminado en el entorno de ejecución. Ten en cuenta que si no usas el bucket predeterminado, necesitarás otra manera de proporcionar el nombre del bucket.

Cómo especificar el bucket de Cloud Storage

Antes de realizar cualquier operación en Cloud Storage, debes proporcionar el nombre del bucket. La forma más fácil de hacer esto es con el bucket predeterminado para tu proyecto, que puedes obtenerlo de la siguiente manera:

python/demo/main.py 
def get(self):
  bucket_name = os.environ.get('BUCKET_NAME',
                               app_identity.get_default_gcs_bucket_name())

  self.response.headers['Content-Type'] = 'text/plain'
  self.response.write('Demo GCS Application running from Version: '
                      + os.environ['CURRENT_VERSION_ID'] + '\n')
  self.response.write('Using bucket name: ' + bucket_name + '\n\n')

La llamada a get_default_gcs_bucket_name se realiza de forma correcta solo si creaste el bucket predeterminado para tu proyecto.

Escribe en Cloud Storage

En el siguiente ejemplo, se muestra como escribir en el bucket:

python/demo/main.py 
def create_file(self, filename):
  """Create a file.

  The retry_params specified in the open call will override the default
  retry params for this particular file handle.

  Args:
    filename: filename.
  """
  self.response.write('Creating file %s\n' % filename)

  write_retry_params = gcs.RetryParams(backoff_factor=1.1)
  gcs_file = gcs.open(filename,
                      'w',
                      content_type='text/plain',
                      options={'x-goog-meta-foo': 'foo',
                               'x-goog-meta-bar': 'bar'},
                      retry_params=write_retry_params)
  gcs_file.write('abcde\n')
  gcs_file.write('f'*1024*4 + '\n')
  gcs_file.close()
  self.tmp_filenames_to_clean_up.append(filename)

Ten en cuenta que en la llamada para open (abrir) el archivo en el que deseas escribir, el ejemplo especifica determinados encabezados de Cloud Storage que escriben metadatos personalizados del archivo. Estos metadatos se pueden recuperar mediante cloudstorage.stat. Puedes encontrar la lista de encabezados compatibles en la referencia de cloudstorage.open.

También, ten en cuenta que no se configuró el encabezado x-goog-acl. Esto significa que la LCA predeterminada de Cloud Storage de lectura pública se aplicará al objeto cuando se escriba en el bucket.

Por último, observa la llamada para close (cerrar) el archivo después de terminar la escritura. Si no lo haces, el archivo no se escribirá en Cloud Storage. Ten en cuenta que después de llamar a close, no puedes adjuntar el archivo. Si necesitas modificar un archivo, tienes que abrirlo de nuevo en modo de escritura, lo cual reemplaza el archivo, no lo adjunta.

Lee en Cloud Storage

En el siguiente ejemplo, se muestra cómo leer un archivo del bucket:

python/demo/main.py 
def read_file(self, filename):
  self.response.write('Reading the full file contents:\n')

  gcs_file = gcs.open(filename)
  contents = gcs_file.read()
  gcs_file.close()
  self.response.write(contents)

El argumento filename se especifica en el formato de YOUR_BUCKET_NAME/PATH_IN_GCS. En la muestra, se indica cómo mostrar las líneas seleccionadas del archivo que se lee, en este caso, la línea de apertura y las últimas 1,000 líneas, mediante seek.

Ten en cuenta que no se especifica ningún modo en el código anterior cuando el archivo está abierto para lectura. La opción predeterminada para open es el modo de solo lectura.

Enumera el contenido del bucket

En el código de muestra, se indica cómo desplazarse por un bucket con una gran cantidad de archivos. A fin de desplazarse por una lista de contenidos del bucket, usa los parámetros marker y max_keys:

python/demo/main.py 
def list_bucket(self, bucket):
  """Create several files and paginate through them.

  Production apps should set page_size to a practical value.

  Args:
    bucket: bucket.
  """
  self.response.write('Listbucket result:\n')

  page_size = 1
  stats = gcs.listbucket(bucket + '/foo', max_keys=page_size)
  while True:
    count = 0
    for stat in stats:
      count += 1
      self.response.write(repr(stat))
      self.response.write('\n')

    if count != page_size or count == 0:
      break
    stats = gcs.listbucket(bucket + '/foo', max_keys=page_size,
                           marker=stat.filename)

Ten en cuenta que el nombre completo del archivo se muestra como una string sin delimitadores de directorio. Si deseas mostrar el archivo con su jerarquía de directorios más reconocible, establece el parámetro delimiter en el delimitador del directorio que deseas usar.

Borra archivos en Cloud Storage

En el siguiente código, se muestra cómo borrar un archivo de Cloud Storage mediante el método cloudstorage.delete() (importado como gcs).

python/demo/main.py 
def delete_files(self):
  self.response.write('Deleting files...\n')
  for filename in self.tmp_filenames_to_clean_up:
    self.response.write('Deleting file %s\n' % filename)
    try:
      gcs.delete(filename)
    except gcs.NotFoundError:
      pass

Este ejemplo limpia los archivos que se escribieron en el depósito en la sección Cómo escribir en Cloud Storage.

¿Qué sigue?