Membuat daftar URL

Halaman ini menjelaskan cara membuat daftar URL dan menguji proses Anda untuk membuat hash MD5. Anda dapat menggunakan Storage Transfer Service untuk mentransfer data dari daftar lokasi data publik ke bucket Cloud Storage. Saat mengonfigurasi transfer, Anda cukup melihat daftar URL.

Persyaratan

Berikut adalah persyaratan daftar URL:

  • Daftar URL harus berupa file nilai yang dipisahkan tab (TSV).

  • URL harus diurutkan dalam urutan leksikografis UTF-8.

  • Server menetapkan header Etag yang kuat dalam respons HTTP saat menampilkan daftar URL.

  • Daftar URL dapat diakses secara publik dari URL yang diawali dengan http atau https.

Untuk memastikan data Anda dapat ditransfer, verifikasi hal berikut:

  • Setiap URL yang Anda tentukan dapat diakses secara publik.

    Misalnya, di Cloud Storage, Anda dapat membagikan objek secara publik dan mendapatkan link ke objek tersebut.

  • File robots.txt server memungkinkan akses ke setiap URL.

  • Server yang menghosting setiap objek:

    • Mendukung permintaan Range.
    • Menampilkan header Content-Length di setiap respons.

Memformat daftar URL

Lakukan hal berikut untuk memformat daftar URL:

  1. Buat file nilai yang dipisahkan tab (TSV).

  2. Sisipkan pengonfigurasi format TsvHttpData-1.0 di baris pertama.

  3. Tambahkan baris tambahan untuk setiap objek yang akan ditransfer. Sertakan kolom yang dipisahkan tab berikut, secara berurutan, di setiap baris:

    • URL HTTP atau HTTPS dari objek sumber.

      Saat objek yang terletak di http(s)://[HOSTNAME]:[PORT]/[URL_PATH] ditransfer ke Cloud Storage, nama objek di Cloud Storage adalah [HOSTNAME]/[URL_PATH].

    • Ukuran objek dalam byte.

      Pastikan ukuran yang ditentukan cocok dengan ukuran sebenarnya dari objek saat diambil. Jika ukuran objek yang diterima oleh Cloud Storage tidak cocok dengan ukuran yang ditentukan, transfer objek akan gagal.

    • Checksum MD5 objek yang dienkode base64.

      Pastikan checksum MD5 yang ditentukan cocok dengan checksum MD5 yang dihitung dari byte yang ditransfer. Jika checksum MD5 objek yang diterima oleh Cloud Storage tidak cocok dengan checksum MD5 yang ditentukan, transfer objek akan gagal.

    Berikut adalah contoh file TSV yang menentukan dua objek yang akan ditransfer:

    TsvHttpData-1.0
https://example.com/buckets/obj1      1357      wHENa08V36iPYAsOa2JAdw==
https://example.com/buckets/obj2      2468      R9acAaveoPd2y8nniLUYbw==

Langkah selanjutnya