Menggunakan file log WAL database PostgreSQL

Datastream menggunakan log transaksi WAL (Write Ahead Log) PostgreSQL untuk membaca streaming PostgreSQL. Log disimpan dalam file WAL di server database. Setiap data dalam log WAL mewakili satu perubahan pada data aktual di salah satu tabel dalam database.

Menetapkan parameter konfigurasi untuk file WAL PostgreSQL

Sebaiknya terapkan setelan konfigurasi berikut ke database PostgreSQL Anda:

  • max_slot_wal_keep_size: tetapkan parameter ini (hanya tersedia untuk PostgreSQL 13 dan yang lebih baru) untuk membatasi jumlah penyimpanan yang digunakan oleh slot replikasi. Hal ini sangat penting untuk transaksi yang berjalan lama, yang dalam kasus ekstrem dapat menyebabkan ukuran file WAL menghabiskan seluruh penyimpanan dan membuat database error.

  • statement_timeout: tetapkan parameter ini ke nilai yang dipilih untuk mengurangi latensi yang disebabkan oleh transaksi yang berjalan lama. Anda juga dapat menggunakan statement_timeout sebagai tindakan pencegahan alternatif untuk database yang tidak mendukung max_slot_wal_keep_size.

  • wal_sender_timeout: tetapkan parameter ini ke 0 (untuk menonaktifkan waktu tunggu) atau ke nilai yang lebih besar dari atau sama dengan 10 menit.

Jika Anda berencana membuat lebih dari 10 aliran data, atau jumlah slot replika logika yang digunakan oleh resource lain selain jumlah aliran data yang direncanakan melebihi 10, pastikan untuk mengubah parameter berikut:

  • max_replication_slots: meningkatkan nilai parameter ini, bergantung pada jumlah slot replikasi yang ditetapkan untuk database Anda (Anda memerlukan 1 slot replikasi per aliran). Anda hanya dapat menetapkan max_replication_slots saat server dimulai.

  • max_wal_senders: meningkatkan nilai parameter ini, sehingga lebih besar dari nilai parameter max_replication_slots. Anda hanya dapat menetapkan max_wal_senders saat memulai server.

Langkah selanjutnya