Membuat daftar URL

Halaman ini menjelaskan cara membuat daftar URL dan menguji proses Anda untuk menghasilkan hash MD5. Anda dapat menggunakan Storage Transfer Service untuk mentransfer data dari daftar lokasi data publik ke bucket Cloud Storage. Saat mengonfigurasi transfer, Anda cukup merujuk ke daftar URL.

Persyaratan

Berikut adalah persyaratan daftar URL:

  • Daftar URL harus berupa file nilai yang dipisahkan tab (TSV).

  • URL harus diurutkan dalam urutan leksikografis UTF-8.

  • Server menetapkan header Etag yang kuat dalam respons HTTP saat menampilkan daftar URL.

  • Daftar URL dapat diakses secara publik dari URL yang dimulai dengan http atau https.

Untuk memastikan data Anda dapat ditransfer, pastikan hal-hal berikut:

  • Bahwa setiap URL yang Anda tentukan dapat diakses secara publik.

    Misalnya, di Cloud Storage, Anda dapat membagikan objek secara publik dan mendapatkan link ke objek tersebut.

  • File robots.txt server memungkinkan akses ke setiap URL.

  • Server yang menghosting setiap objek:

    • Mendukung permintaan Range.
    • Menampilkan header Content-Length dalam setiap respons.

Memformat daftar URL

Lakukan hal berikut untuk memformat daftar URL:

  1. Buat file nilai yang dipisahkan tab (TSV).

  2. Masukkan penentu format TsvHttpData-1.0 di baris pertama.

  3. Tambahkan baris tambahan untuk setiap objek yang akan ditransfer. Sertakan kolom yang dipisahkan tab berikut secara berurutan di setiap baris:

    • URL HTTP atau HTTPS objek sumber.

      Saat objek yang terletak di http(s)://[HOSTNAME]:[PORT]/[URL_PATH] ditransfer ke Cloud Storage, nama objek di Cloud Storage adalah [HOSTNAME]/[URL_PATH].

    • Ukuran objek dalam byte.

      Pastikan ukuran yang ditentukan sesuai dengan ukuran objek yang sebenarnya saat diambil. Jika ukuran objek yang diterima oleh Cloud Storage tidak sesuai dengan ukuran yang ditentukan, transfer objek akan gagal.

    • Checksum MD5 berenkode base64 untuk objek.

      Pastikan checksum MD5 yang ditentukan cocok dengan checksum MD5 yang dihitung dari byte yang ditransfer. Jika checksum MD5 objek yang diterima oleh Cloud Storage tidak cocok dengan checksum MD5 yang ditentukan, transfer objek akan gagal.

    Berikut adalah contoh file TSV yang menentukan dua objek untuk ditransfer:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Langkah selanjutnya