一般公開データへのアクセス

Cloud Storage に保存されているデータには、いつでも誰でもアクセスできるように構成されているものもあります。この一般公開データには、データの処理方法に応じて、さまざまな方法でアクセスできます。

Google Cloud Console から一般公開データにアクセスする場合は、Google アカウントで認証を行う必要があります。アカウントは、一般公開データを含むプロジェクトに関連付けられている必要はなく、Cloud Storage サービスに登録する必要もありません。

これに対し、gsutil や Cloud Storage API リンクで一般公開データにアクセスする場合には、認証を行う必要はありません。これらの方法は、一般公開されるデータの汎用リンクに適しています。たとえば、クライアント ライブラリや cURL などのコマンドライン ツールを使って API リンクをウェブページで使用できます。

一般公開データにアクセスするには:

このリンクにアクセスするのに認証は必要ありません。たとえば、ウェブページ内のリンクや、cURL などのコマンドライン ツールでのダウンロードに適しています。

  1. 一般公開データが含まれるバケットの名前を取得します。

  2. 次の URI を使用してバケットのオブジェクトにアクセスします。

    https://storage.googleapis.com/BUCKET_NAME/OBJECT_NAME

たとえば、Google 一般公開バケット gcp-public-data-landsat には Landsat 一般公開データセットが含まれています。次のリンクを使用して、一般公開オブジェクト LC08/01/001/003/LC08_L1GT_001003_20140812_20170420_01_T2/LC08_L1GT_001003_20140812_20170420_01_T2_B3.TIF にリンクできます。

https://storage.googleapis.com/gcp-public-data-landsat/LC08/01/001/003/LC08_L1GT_001003_20140812_20170420_01_T2/LC08_L1GT_001003_20140812_20170420_01_T2_B3.TIF

Console

このリンクにアクセスするには、Google での認証が必要です。一般には [API リンク] タブで説明されている方法を使用して、公開バケット内の個々のオブジェクトへのリンクにアクセスしてください。オブジェクトが含まれているバケットに対する storage.objects.list 権限がある場合は、Cloud Console 経由で一般公開オブジェクトのみにアクセスできます。

  1. 公開バケットの名前を取得します。

  2. ウェブブラウザを使用し、次の URI を使ってバケットにアクセスします(必要に応じてログインするよう求められます)。

    https://console.cloud.google.com/storage/browser/BUCKET_NAME

たとえば、Google 一般公開バケット gcp-public-data-landsat には Landsat 一般公開データセットが含まれています。次の URL でこのバケットにアクセスできます。

https://console.cloud.google.com/storage/browser/gcp-public-data-landsat

gsutil

  1. gsutil がインストールされていない場合は、こちらの手順に沿って gsutil をインストールします。

  2. 一般公開データが含まれるバケットの名前を取得します。

  3. バケットが公開されている場合(かつ、バケット内の一部のデータだけが公開されているわけではない場合)は、ls コマンドを使用して、そのバケットに含まれるデータ(オブジェクト)の一部またはすべての一覧を表示できます。

    たとえば、Google 一般公開バケット gcp-public-data-landsat には Landsat 一般公開データセットが含まれています。次のコマンドに接頭辞 LC08/01/001/003/LC を付けてファイルを一覧表示できます。

    gsutil ls -r gs://gcp-public-data-landsat/LC08/01/001/003/LC*
  4. cp コマンドを使用して、バケット内の特定の一般公開オブジェクトを取得します。

    たとえば、次のコマンドを使ってバケット gcp-public-data-landsat からローカル ディレクトリにファイルをダウンロードできます。

    gsutil cp gs://gcp-public-data-landsat/LC08/01/001/003/LC08_L1GT_001003_20140812_20170420_01_T2/LC08_L1GT_001003_20140812_20170420_01_T2_B3.TIF .

コードサンプル

C++

詳細については、Cloud Storage C++ API のリファレンス ドキュメントをご覧ください。

namespace gcs = google::cloud::storage;
[](std::string const& bucket_name, std::string const& object_name) {
  // Create a client that does not authenticate with the server.
  auto client = gcs::Client{
      google::cloud::Options{}.set<google::cloud::UnifiedCredentialsOption>(
          google::cloud::MakeInsecureCredentials())};

  // Read an object, the object must have been made public.
  gcs::ObjectReadStream stream = client.ReadObject(bucket_name, object_name);

  int count = 0;
  std::string line;
  while (std::getline(stream, line, '\n')) {
    ++count;
  }
  std::cout << "The object has " << count << " lines\n";
}

Go

詳細については、Cloud Storage Go API のリファレンス ドキュメントをご覧ください。

import (
	"context"
	"fmt"
	"io"
	"io/ioutil"
	"time"

	"cloud.google.com/go/storage"
	"google.golang.org/api/option"
)

// downloadPublicFile downloads a public object.
func downloadPublicFile(w io.Writer, bucket, object string) ([]byte, error) {
	// bucket := "bucket-name"
	// object := "object-name"
	ctx := context.Background()
	// Create a client that does not authenticate with the server.
	client, err := storage.NewClient(ctx, option.WithoutAuthentication())
	if err != nil {
		return nil, fmt.Errorf("storage.NewClient: %v", err)
	}
	defer client.Close()

	ctx, cancel := context.WithTimeout(ctx, time.Second*50)
	defer cancel()

	rc, err := client.Bucket(bucket).Object(object).NewReader(ctx)
	if err != nil {
		return nil, fmt.Errorf("Object(%q).NewReader: %v", object, err)
	}
	defer rc.Close()

	data, err := ioutil.ReadAll(rc)
	if err != nil {
		return nil, fmt.Errorf("ioutil.ReadAll: %v", err)
	}
	fmt.Fprintf(w, "Blob %v downloaded.\n", object)
	return data, nil
}

Java

詳細については、Cloud Storage Java API のリファレンス ドキュメントをご覧ください。

import com.google.cloud.storage.Blob;
import com.google.cloud.storage.BlobId;
import com.google.cloud.storage.Storage;
import com.google.cloud.storage.StorageOptions;
import java.nio.file.Path;

public class DownloadPublicObject {
  public static void downloadPublicObject(
      String bucketName, String publicObjectName, Path destFilePath) {
    // The name of the bucket to access
    // String bucketName = "my-bucket";

    // The name of the remote public file to download
    // String publicObjectName = "publicfile.txt";

    // The path to which the file should be downloaded
    // Path destFilePath = Paths.get("/local/path/to/file.txt");

    // Instantiate an anonymous Google Cloud Storage client, which can only access public files
    Storage storage = StorageOptions.getUnauthenticatedInstance().getService();

    Blob blob = storage.get(BlobId.of(bucketName, publicObjectName));
    blob.downloadTo(destFilePath);

    System.out.println(
        "Downloaded public object "
            + publicObjectName
            + " from bucket name "
            + bucketName
            + " to "
            + destFilePath);
  }
}

Node.js

詳細については、Cloud Storage Node.js API のリファレンス ドキュメントをご覧ください。

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of your GCS bucket
// const bucketName = 'your-unique-bucket-name';

// The ID of your GCS file
// const srcFilename = 'your-file-name';

// The path to which the file should be downloaded
// const destFileName = '/local/path/to/file.txt';

// Imports the Google Cloud client library
const {Storage} = require('@google-cloud/storage');

// Creates a client
const storage = new Storage();

async function downloadPublicFile() {
  const options = {
    destination: destFileName,
  };

  // Download public file.
  await storage.bucket(bucketName).file(srcFileName).download(options);

  console.log(
    `Downloaded public file ${srcFileName} from bucket name ${bucketName} to ${destFileName}`
  );
}

downloadPublicFile().catch(console.error);

Python

詳細については、Cloud Storage Python API のリファレンス ドキュメントをご覧ください。

from google.cloud import storage

def download_public_file(bucket_name, source_blob_name, destination_file_name):
    """Downloads a public blob from the bucket."""
    # bucket_name = "your-bucket-name"
    # source_blob_name = "storage-object-name"
    # destination_file_name = "local/path/to/file"

    storage_client = storage.Client.create_anonymous_client()

    bucket = storage_client.bucket(bucket_name)
    blob = bucket.blob(source_blob_name)
    blob.download_to_filename(destination_file_name)

    print(
        "Downloaded public blob {} from bucket {} to {}.".format(
            source_blob_name, bucket.name, destination_file_name
        )
    )

Ruby

詳細については、Cloud Storage Ruby API のリファレンス ドキュメントをご覧ください。

def download_public_file bucket_name:, file_name:, local_file_path:
  # The name of the bucket to access
  # bucket_name = "my-bucket"

  # The name of the remote public file to download
  # file_name = "publicfile.txt"

  # The path to which the file should be downloaded
  # local_file_path = "/local/path/to/file.txt"

  require "google/cloud/storage"

  storage = Google::Cloud::Storage.anonymous
  bucket  = storage.bucket bucket_name, skip_lookup: true
  file    = bucket.file file_name

  file.download local_file_path

  puts "Downloaded public object #{file.name} from bucket #{bucket} to #{local_file_path}"
end

次のステップ