Halaman ini diterjemahkan oleh Cloud Translation API.

Mengonfigurasi sumber

MySQL | PostgreSQL | PostgreSQL ke AlloyDB

Ringkasan

Database Migration Service mendukung migrasi berkelanjutan dari database sumber ke database tujuan Cloud SQL.

Database sumber yang didukung untuk PostgreSQL meliputi:

Amazon RDS 9.6.10+, 10.5+, 11.1+, 12, 13, 14, 15, 16, 17.
Amazon Aurora 10.11+, 11.6+, 12.4+, 13.3+, 14.6+, 15.2+, 16, 17.
PostgreSQL yang dikelola sendiri (di lokasi atau di VM cloud apa pun yang Anda kontrol sepenuhnya) 9.4, 9.5, 9.6, 10, 11, 12, 13, 14, 15, 16, 17.
Cloud SQL untuk PostgreSQL 9.6, 10, 11, 12, 13, 14, 15, 16, 17.
Microsoft Azure Database untuk Server Fleksibel PostgreSQL: 11+

Mengonfigurasi sumber memerlukan konfigurasi instance sumber dan database sumber yang mendasarinya.

Mengonfigurasi instance sumber

Untuk mengonfigurasi instance sumber, ikuti langkah-langkah berikut:

Untuk sumber Cloud SQL: Jika Anda bermigrasi dari instance Cloud SQL yang menggunakan koneksi IP Pribadi ke instance Cloud SQL yang menggunakan rentang IP alamat non-RFC 1918, tambahkan rentang non-RFC 1918 ke konfigurasi jaringan instance Cloud SQL sumber Anda. Lihat Mengonfigurasi jaringan yang diizinkan dalam dokumentasi Cloud SQL.
Instance sumber Anda harus menyertakan database postgres. Jika Anda tidak memiliki database ini, buat database.
Instal paket pglogical pada instance sumber dan pastikan paket tersebut disertakan dalam variabel shared_preload_libraries. Lihat Menginstal paket pglogical pada instance sumber untuk lingkungan Anda.
Verifikasi ekstensi di instance sumber Anda. Database Migration Service tidak memigrasikan ekstensi yang tidak didukung oleh Cloud SQL. Kehadiran ekstensi ini tidak memblokir migrasi, tetapi untuk memastikan proses migrasi yang lancar, pastikan objek atau aplikasi Anda tidak mereferensikan ekstensi yang tidak didukung. Sebaiknya hapus ekstensi dan referensi ini dari database sumber sebelum melanjutkan.
Untuk sumber yang menggunakan ekstensi pg_cron: Ekstensi pg_cron (atau setelan cron apa pun yang terkait dengan ekstensi) tidak dimigrasikan oleh Database Migration Service, tetapi didukung di tujuan Cloud SQL untuk PostgreSQL. Jika menggunakan ekstensi pg_cron di database sumber, Anda dapat menginstalnya kembali di instance tujuan setelah migrasi selesai.

Mengonfigurasi database sumber

Database Migration Service memigrasikan semua database pada instance sumber Anda, kecuali database berikut:

Untuk sumber PostgreSQL lokal: database template template0 dan template1
Untuk sumber Amazon RDS: template0, template1, dan rdsadmin
Untuk sumber Cloud SQL: database template template0 dan template1
Untuk sumber Microsoft Azure: azure_maintenance, azure_sys, template0, template1

Lakukan hal berikut pada setiap database dalam instance sumber yang tidak disebutkan di atas:

Khusus untuk sumber PostgreSQL versi 9.4, instal ekstensi pglogical berikut di setiap database di instance sumber Anda:
- CREATE EXTENSION IF NOT EXISTS pglogical;
- CREATE EXTENSION IF NOT EXISTS pglogical_origin;
Untuk semua versi lainnya, hanya instal ekstensi pglogical di setiap database di instance sumber Anda: CREATE EXTENSION IF NOT EXISTS pglogical.
Untuk tabel yang tidak memiliki kunci utama, Database Migration Service mendukung migrasi snapshot awal dan pernyataan INSERT selama fase CDC. Anda harus memigrasikan pernyataan UPDATE dan DELETE secara manual.

Lihat Proses debug dan alat lainnya untuk mempelajari cara membuat kueri guna mencantumkan tabel dalam database PostgreSQL tanpa kunci utama. Untuk setiap tabel database yang Anda temukan yang tidak memiliki kunci utama dan tabel tersebut bukan bagian dari database yang tidak dimigrasikan, Anda harus mengubah tabel tersebut agar memiliki kunci utama atau mengikuti proses ini. Untuk tabel yang tidak memiliki kunci utama, hanya snapshot awal dan pernyataan INSERT yang akan dimigrasikan.
USER yang Anda gunakan untuk terhubung ke instance sumber (yang akan dikonfigurasi sebagai pengguna di halaman Connection Profiles) harus memiliki hak istimewa tertentu di setiap database yang dimigrasikan, serta database postgres default. Anda dapat membuat pengguna baru atau menggunakan kembali pengguna yang sudah ada. Untuk menetapkan hak istimewa ini, hubungkan ke instance dan jalankan perintah berikut:
1. GRANT USAGE on SCHEMA SCHEMA to USER di semua skema (selain skema informasi dan skema yang dimulai dengan "pg_") di setiap database yang akan dimigrasikan.
2. GRANT USAGE on SCHEMA pglogical to PUBLIC; di setiap database yang akan dimigrasikan.
3. GRANT SELECT on ALL TABLES in SCHEMA pglogical to USER di semua database untuk mendapatkan informasi replikasi dari database sumber.
4. GRANT SELECT on ALL TABLES in SCHEMA SCHEMA to USER di semua skema (selain skema informasi dan skema yang dimulai dengan "pg_") di setiap database yang akan dimigrasikan.
5. GRANT SELECT on ALL SEQUENCES in SCHEMA SCHEMA to USER di semua skema (selain skema informasi dan skema yang dimulai dengan "pg_") di setiap database yang akan dimigrasikan.
6. Jika sumber Anda adalah Amazon RDS, jalankan perintah berikut:
  1. GRANT rds_replication to USER
7. Jika sumber Anda bukan Amazon RDS, jalankan perintah berikut:
  1. Peran ALTER USER USER with REPLICATION

Menginstal paket `pglogical` di instance sumber

Bagian ini menjelaskan cara mengonfigurasi paket pglogical dan parameter yang berlaku, bergantung pada instance sumber Anda.

PostgreSQL di lokasi atau yang dikelola sendiri

Instal paket pglogical di server.
Hubungkan ke instance dan tetapkan parameter berikut, sesuai kebutuhan:
- shared_preload_libraries harus menyertakan pglogical.
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET shared_preload_libraries = 'pglogical,[any other libraries in your instance]';.
  
  Untuk mendapatkan library yang ada untuk instance Anda, jalankan perintah show shared_preload_libraries.
- Tetapkan wal_level ke logical.
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET wal_level = 'logical';.
- Tetapkan wal_sender_timeout ke 0.
  
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET wal_sender_timeout = 0;, dengan 0 menonaktifkan mekanisme waktu tunggu yang digunakan untuk menghentikan koneksi replikasi tidak aktif.
- max_replication_slots menentukan jumlah maksimum slot replikasi yang dapat didukung instance sumber. Nilai ini harus disetel setidaknya ke jumlah langganan yang diharapkan akan terhubung, ditambah beberapa cadangan untuk sinkronisasi tabel.
  
  Database Migration Service memerlukan satu slot untuk setiap database yang dimigrasikan (yaitu semua database dalam instance sumber).
  
  Misalnya, jika ada 5 database di instance sumber dan jika ada 2 tugas migrasi yang dibuat untuk sumber tersebut, jumlah slot replikasi harus minimal 5 * 2 = 10, ditambah jumlah slot replikasi yang sudah Anda gunakan. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah slot replikasi dan memverifikasi konfigurasi dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
  
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET max_replication_slots = #;, dengan # mewakili jumlah maksimum slot replikasi.
- max_wal_senders harus disetel minimal ke jumlah yang sama dengan max_replication_slots, ditambah jumlah pengirim yang sudah digunakan di instance Anda.
  
  Misalnya, jika parameter max_replication_slots ditetapkan ke 10, dan Anda sudah menggunakan 2 pengirim, jumlah proses pengirim WAL yang berjalan pada saat yang sama adalah 10 + 2 = 12. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah pengirim dan verifikasi konfigurasi Anda dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET max_wal_senders = #;, dengan # mewakili jumlah proses pengirim WAL yang berjalan secara bersamaan.
- max_worker_processes harus disetel minimal ke jumlah database yang sama dengan yang akan dimigrasikan oleh Database Migration Service (yaitu semua database dalam instance sumber), ditambah jumlah max_worker_processes yang sudah digunakan di instance Anda.
  Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah proses pekerja dan verifikasi konfigurasi Anda dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
  
  Untuk menetapkan parameter ini, jalankan perintah ALTER SYSTEM SET max_worker_processes = #;, dengan # mewakili jumlah database yang akan dimigrasikan.
Parameter yang Anda tetapkan pada langkah ini berlaku untuk server database PostgreSQL yang sedang berjalan. Anda juga dapat membuat perubahan ini persisten dengan menambahkan baris kode berikut ke file postgresql.conf:
- shared_preload_libraries = 'pglogical';
- wal_level = 'logical';
- wal_sender_timeout = 0;
- max_replication_slots = #;
- max_wal_senders = #;
- max_worker_processes = #;
Untuk menerapkan perubahan konfigurasi, mulai ulang instance sumber.

Microsoft Azure Database untuk PostgreSQL

Untuk mengonfigurasi sumber Microsoft Azure Database for PostgreSQL, ikuti langkah-langkah berikut:

Instal paket pglogical di server Anda.
Khusus untuk sumber PostgreSQL versi 9.4, instal ekstensi pglogical berikut di setiap database di instance sumber Anda:
- CREATE EXTENSION IF NOT EXISTS pglogical;
- CREATE EXTENSION IF NOT EXISTS pglogical_origin;
Untuk semua versi lainnya, instal ekstensi pglogical di setiap database di instance sumber Anda: CREATE EXTENSION IF NOT EXISTS pglogical.
Konfigurasikan parameter server yang diperlukan di sumber Anda menggunakan portal Microsoft Azure. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi parameter server di Azure Database untuk PostgreSQL dan Parameter server di Azure Database untuk PostgreSQL dalam dokumentasi Microsoft.

Konfigurasikan parameter berikut:
- Tetapkan shared_preload_libraries untuk menyertakan pglogical.
- Tetapkan azure.extensions untuk menyertakan pglogical.
- Tetapkan wal_level ke logical.
- Tetapkan max_replication_slots setidaknya ke jumlah langganan yang diharapkan akan terhubung, ditambah beberapa cadangan untuk sinkronisasi tabel.
  
  Parameter max_replication_slots menentukan jumlah maksimum slot replikasi yang dapat didukung instance sumber.
  
  Database Migration Service memerlukan satu slot untuk setiap database yang dimigrasikan (yaitu semua database dalam instance sumber).
  
  Misalnya, jika ada 5 database di instance sumber dan jika ada 2 tugas migrasi yang dibuat untuk sumber tersebut, jumlah slot replikasi harus minimal 5 * 2 = 10, ditambah jumlah slot replikasi yang sudah Anda gunakan. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah slot replikasi dan memverifikasi konfigurasi dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
- Tetapkan max_wal_senders agar setidaknya sama dengan max_replication_slots, ditambah jumlah pengirim yang sudah digunakan di instance Anda.
  
  Misalnya, jika parameter max_replication_slots ditetapkan ke 10, dan Anda sudah menggunakan 2 pengirim, jumlah proses pengirim WAL yang berjalan pada saat yang sama adalah 10 + 2 = 12.
  
  Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah pengirim dan verifikasi konfigurasi Anda dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
- Tetapkan max_worker_processes ke setidaknya jumlah database yang sama dengan yang akan dimigrasikan oleh Database Migration Service (yaitu semua database dalam instance sumber), ditambah jumlah max_worker_processes yang sudah digunakan di instance Anda.
  
  Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah proses pekerja dan verifikasi konfigurasi Anda dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.
Periksa nilai setelan require_secure_transport Anda.

Secara default, database Microsoft Azure memerlukan enkripsi SSL/TLS untuk semua koneksi masuk. Bergantung pada nilai require_secure_transport, gunakan salah satu setelan enkripsi berikut saat Anda membuat profil koneksi sumber:
- Jika require_secure_transport ditetapkan ke on, pilih Dasar, TLS, atau mTLS.
- Jika require_secure_transport ditetapkan ke off, pilih None.
Untuk menerapkan perubahan konfigurasi, mulai ulang instance sumber.

Amazon RDS PostgreSQL

Instal ekstensi pglogical di database sumber Anda.

Untuk informasi selengkapnya, lihat Menggunakan ekstensi PostgreSQL dengan Amazon RDS for PostgreSQL dalam dokumentasi Amazon RDS.
Konfigurasikan instance sumber menggunakan grup parameter.
1. Buat grup parameter baru. Di grup parameter:
2. Lampirkan grup parameter ke instance. Jika membuat instance baru, Anda dapat menemukan opsi ini di bagian Konfigurasi Tambahan.
  
  Jika tidak, ubah instance untuk melampirkan grup parameter.
Untuk menerapkan perubahan konfigurasi, mulai ulang instance sumber.

Catatan: Ekstensi pglogical dapat mencatat kredensial dalam teks biasa di instance sumber. Perilaku ini disebabkan oleh ekstensi itu sendiri, dan tidak terkait dengan Database Migration Service atau Cloud SQL.

Cloud SQL untuk PostgreSQL

Aktifkan replikasi dan decoding logis untuk database sumber dengan mengonfigurasi flag berikut:

Tetapkan flag cloudsql.logical_decoding dan cloudsql.enable_pglogical ke on.
Tetapkan flag max_replication_slots. Flag ini menentukan jumlah maksimum slot replikasi yang dapat didukung oleh instance sumber. Nilai ini harus disetel setidaknya ke jumlah langganan yang diharapkan akan terhubung, ditambah beberapa cadangan untuk sinkronisasi tabel.

Database Migration Service memerlukan satu slot untuk setiap database yang dimigrasikan (yaitu semua database dalam instance sumber).

Misalnya, jika ada 5 database di instance sumber dan jika akan ada 2 tugas migrasi yang dibuat untuk sumber tersebut, jumlah slot replikasi harus minimal 5 * 2 = 10, ditambah jumlah slot replikasi yang sudah Anda gunakan. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah slot replikasi dan memverifikasi konfigurasi dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.

Nilai default untuk flag ini adalah 10.
Tetapkan flag max_wal_senders agar setidaknya sama dengan max_replication_slots, ditambah jumlah pengirim yang sudah digunakan di instance Anda.

Misalnya, jika flag max_replication_slots ditetapkan ke 10, dan Anda sudah menggunakan 2 pengirim, jumlah proses pengirim WAL yang berjalan secara bersamaan adalah 10 + 2 = 12. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah pengirim dan memverifikasi konfigurasi dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.

Nilai default untuk flag ini adalah 10.
Tetapkan flag sumber max_worker_processes ke setidaknya jumlah database yang sama dengan yang akan dimigrasikan oleh Database Migration Service (yaitu semua database dalam instance sumber), ditambah jumlah max_worker_processes yang sudah digunakan di instance Anda. Jika Anda berencana menggunakan setelan paralelisme dump data yang disesuaikan, pastikan untuk meningkatkan jumlah proses pekerja dan memverifikasi konfigurasi dengan menjalankan pengujian tugas migrasi saat membuat tugas migrasi.

Nilai default untuk flag ini adalah 8.
Tetapkan parameter wal_sender_timeout ke 0:
```
ALTER SYSTEM SET wal_sender_timeout = 0;
```
Nilai 0 menonaktifkan mekanisme waktu tunggu yang menghentikan koneksi replikasi tidak aktif.
Mulai ulang instance sumber sehingga perubahan konfigurasi yang Anda buat pada flag dapat diterapkan.

Mengaktifkan pemantauan penundaan replikasi untuk versi PostgreSQL sebelum 9.6

Jika Anda bermigrasi dari versi PostgreSQL yang lebih lama dari 9.6, metrik penundaan replikasi tidak tersedia secara default. Alternatif berikut memungkinkan Anda melacak metrik ini untuk memastikan periode nonaktif minimal saat mempromosikan database:

Opsi 1: Aktifkan Database Migration Service untuk melacak penundaan replikasi dengan memberikan akses ke kueri tertentu. Dengan menggunakan pengguna dengan hak istimewa SUPERUSER, lakukan hal berikut:

Tentukan fungsi berikut untuk memungkinkan Database Migration Service mengkueri penundaan replikasi.

CREATE OR REPLACE FUNCTION pg_stat_replication_user()
RETURNS TABLE (
pid               integer                  ,
usesysid          oid                      ,
username          name                    ,
application_name  text                     ,
client_addr       inet                     ,
client_hostname   text                     ,
client_port       integer                  ,
backend_start     timestamp with time zone ,
backend_xmin      xid                      ,
state             text                     ,
sent_location     pg_lsn                   ,
write_location    pg_lsn                   ,
flush_location    pg_lsn                   ,
replay_location   pg_lsn                   ,
sync_priority     integer                  ,
sync_state        text
)
LANGUAGE SQL
SECURITY DEFINER
AS $$
 SELECT *
 FROM pg_catalog.pg_stat_replication;
$$;

Berikan izin EXECUTE ke USER dengan menjalankan perintah berikut:
1. REVOKE EXECUTE ON FUNCTION pg_stat_replication_user() FROM public;
2. GRANT EXECUTE ON FUNCTION pg_stat_replication_user() to {replication_user};

Opsi 2: Memberikan hak istimewa SUPERUSER secara langsung ke USER yang digunakan untuk terhubung ke instance sumber. Tindakan ini akan memungkinkan Database Migration Service membaca penundaan replikasi secara langsung.

Opsi 3: Lacak penundaan replikasi secara independen menggunakan kueri berikut:

Untuk versi PostgreSQL yang lebih lama dari 10, jalankan perintah ini sebagai superuser.

    SELECT current_timestamp, application_name,
    pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.sent_location) AS sent_location_lag,
    pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.write_location) AS write_location_lag,
    pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.flush_location) AS flush_location_lag,
    pg_xlog_location_diff(pg_current_xlog_location(), pg_stat_replication.replay_location) AS replay_location_lag
    FROM pg_stat_replication
    WHERE application_name like 'cloudsql%';

Dalam opsi ini, Layanan Migrasi Database tidak akan mencerminkan metrik penundaan replikasi dalam grafik atau respons API.

Sebelumnya

Memulai persiapan

Berikutnya

Membuat profil koneksi sumber