AlloyDB Omni에서 열 기반 엔진 구성

문서 버전을 선택합니다. 현재(16.8.0)

• 현재(16.8.0)
• 16.8.0
• 16.3.0
• 15.12.0
• 15.7.1
• 15.7.0
• 15.5.5
• 15.5.4

이 페이지에서는 AlloyDB Omni 데이터베이스 클러스터에서 열 기반 엔진을 사용 설정하거나 사용 중지하는 방법을 설명합니다. 또한 열 저장소의 적절한 초기 크기를 구성하는 방법도 설명합니다.

AlloyDB 열 형식 엔진의 개념 개요는 AlloyDB Omni 열 형식 엔진 개요를 참고하세요.

열 기반 엔진 사용 설정

인스턴스에서 열 형식 엔진을 사용하려면 인스턴스의 google_columnar_engine.enabled 플래그를 on로 설정합니다.

인스턴스에서 이 플래그를 설정하는 단계는 컨테이너에서 AlloyDB Omni를 실행하는지 아니면 Kubernetes 클러스터에서 실행하는지에 따라 다릅니다.

단일 서버

google_columnar_engine.enabled를 on로 설정하려면 다음 단계를 따르세요.

1. ALTER SYSTEM PostgreSQL 명령어를 실행합니다.

   ALTER SYSTEM SET google_columnar_engine.enabled = 'on'
   

2. 열 형식 엔진의 구성을 조정하려면 데이터베이스 서버를 다시 시작하기 전에 다음 섹션의 안내를 따르세요. 그렇지 않으면 다음 단계를 완료하여 지금 데이터베이스 서버를 다시 시작하세요.

3. 구성 매개변수 변경사항을 적용하려면 AlloyDB Omni로 실행 중인 컨테이너를 다시 시작하세요.

   Docker

     sudo docker restart CONTAINER_NAME

   Podman

     sudo podman restart CONTAINER_NAME

Kubernetes

google_columnar_engine.enabled 플래그를 on로 설정하려면 데이터베이스 클러스터 매니페스트를 수정하여 primarySpec 섹션에 parameters 속성을 추가합니다.

    apiVersion: alloydbomni.dbadmin.goog/v1
    kind: DBCluster
    metadata:
      name: CLUSTER_NAME
    spec:
      databaseVersion: "16.8.0"
      primarySpec:
        parameters:
          google_columnar_engine.enabled: "on"

CLUSTER_NAME을 데이터베이스 클러스터 이름으로 바꿉니다. 데이터베이스 클러스터를 만들 때 선언한 데이터베이스 클러스터 이름과 동일합니다.

열 저장소 크기 구성

인스턴스에서 열 형식 엔진이 사용 설정되어 있는 동안 AlloyDB Omni는 열 형식 데이터를 저장하기 위해 인스턴스 메모리의 일부를 할당합니다. 고속 RAM을 열 스토어에 전용으로 할당하면 AlloyDB Omni가 열 형식 데이터에 최대한 빠르게 액세스할 수 있습니다.

메모리와 스토리지 캐시가 함께 열 기반 엔진의 전체 용량을 나타냅니다.

메모리 구성

google_columnar_engine.memory_size_in_mb 플래그를 사용하여 할당을 고정 크기로 설정할 수 있습니다.

AlloyDB Omni의 열 저장소 메모리를 구성하는 단계는 컨테이너에서 AlloyDB Omni를 실행하는지 아니면 Kubernetes 클러스터에서 실행하는지에 따라 다릅니다.

단일 서버

인스턴스에서 google_columnar_engine.memory_size_in_mb 플래그를 설정하려면 다음을 실행하세요.

1. ALTER SYSTEM PostgreSQL 명령어를 실행하여 메모리를 구성합니다.

   ALTER SYSTEM SET google_columnar_engine.memory_size_in_mb = COLUMN_MEMORY_SIZE;
   

   COLUMN_MEMORY_SIZE을 열 스토리지의 새 크기(메가바이트 단위)(예: 256)로 바꿉니다.

2. 구성 매개변수 변경사항을 적용하려면 AlloyDB Omni로 실행 중인 컨테이너를 다시 시작하세요.

   Docker

   sudo docker restart CONTAINER_NAME

   Podman

   sudo podman restart CONTAINER_NAME

Kubernetes

google_columnar_engine.memory_size_in_mb 플래그를 설정하려면 데이터베이스 클러스터 매니페스트를 수정하여 primarySpec 섹션에 parameters 속성을 추가합니다.

    apiVersion: alloydbomni.dbadmin.goog/v1
    kind: DBCluster
    metadata:
      name: CLUSTER_NAME
    spec:
      databaseVersion: "16.8.0"
      primarySpec:
        parameters:
          google_columnar_engine.memory_size_in_mb: "COLUMN_MEMORY_SIZE"

다음을 바꿉니다.

• CLUSTER_NAME: 데이터베이스 클러스터의 이름입니다. 데이터베이스 클러스터를 만들 때 선언한 데이터베이스 클러스터 이름과 동일합니다.
• COLUMN_MEMORY_SIZE: 열 저장소의 새 크기(MB)(예: 256)

스토리지 캐시 구성

참고: 이 단계는 열 형식 엔진을 사용 설정하는 데 선택사항입니다.

AlloyDB Omni의 열 형식 엔진 스토리지 캐시를 구성하는 단계는 컨테이너에서 AlloyDB Omni를 실행하는지 아니면 Kubernetes 클러스터에서 실행하는지에 따라 다릅니다.

단일 서버

전용 기기 또는 공유 기기에서 열 형식 엔진 스토리지 캐시를 구성할 수 있습니다.

전용 기기

전용 기기에서 단일 서버 컨테이너의 AlloyDB Omni 열 기반 엔진 스토리지 캐시를 사용 설정하려면 디스크를 프로비저닝하고 파일 시스템을 만든 후 AlloyDB Omni 내부에 캐시 디렉터리를 마운트하고 마지막으로 열 기반 스토리지 캐시를 사용 설정해야 합니다.

디스크 프로비저닝 및 파일 시스템 생성

디스크를 프로비저닝하고 AlloyDB Omni 열 형식 엔진 스토리지 캐시용 파일 시스템을 만들려면 디스크 또는 여러 디스크에 파일 시스템을 만들고 AlloyDB Omni가 있는 컨테이너 내에 마운트합니다. 또한 mdadm 또는 lvm와 같은 유틸리티를 사용하여 여러 디스크를 사용하여 용량을 풀링하고 파일 시스템을 사용할 수 있습니다. 다음 단계에서는 NVMe SSD를 사용하는 Ubuntu Compute Engine 인스턴스에서 lvm 및 ext4를 사용하는 방법을 보여줍니다.

1. 사용 가능한 모든 실제 기기에서 볼륨 그룹을 만듭니다.

   nvme_prefix="STORAGE_PREFIX"
   nvme_list=$(ls "$nvme_prefix"*)
   sudo vgcreate VOLUME_GROUP ${nvme_list}

   다음을 바꿉니다.

   • STORAGE_PREFIX: 비휘발성 메모리 익스프레스 (NVMe) 인터페이스를 사용하여 가상 머신에 연결된 타겟 로컬 디스크 경로의 접두사입니다. 예를 들어 Google Cloud에서 NVMe 기기 경로는 항상 /dev/nvme0n로 시작합니다.
   • VOLUME_GROUP: SSD가 결합된 볼륨 그룹의 이름입니다(예: omni-disk-cache-volume).

2. 이전 단계의 볼륨 그룹의 여유 용량에서 논리 볼륨을 만들려면 다음 명령어를 사용합니다.

   sudo lvcreate -n LOGICAL_VOLUME -l 100%FREE VOLUME_GROUP

   LOGICAL_VOLUME을 LVM에서 파티션으로 취급하는 논리 볼륨의 이름으로 바꿉니다(예: omni_disk_cache_device).

3. 논리 볼륨에 ext4 파일 시스템을 만듭니다. 필요한 경우 데이터 보안에 따라 다른 ext4 옵션을 지정할 수 있습니다.

   sudo mkfs.ext4 /dev/VOLUME_GROUP/LOGICAL_VOLUME

4. 호스트 머신에서 마운트 지점 역할을 하는 디렉터리를 만들고 파일 시스템을 마운트하려면 다음 명령어를 사용합니다.

   sudo mkdir /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY
   sudo mount /dev/VOLUME_GROUP/LOGICAL_VOLUME /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY

   OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY을 마운트 지점으로 사용되는 디렉터리의 이름 또는 디렉터리 경로로 바꿉니다(예: omni_columnar_storage_cache_directory).

AlloyDB Omni 내에 열 형식 스토리지 캐시 디렉터리 마운트

컨테이너에서 실행되는 AlloyDB Omni의 디스크 캐시를 사용 설정하기 전에 AlloyDB Omni 내부에 캐시 디렉터리를 마운트해야 합니다.

Docker 이미지에서 AlloyDB Omni를 설치하고 이를 맞춤설정하는 방법에 관한 자세한 내용은 AlloyDB Omni 설치 맞춤설정을 참고하세요.

AlloyDB Omni를 실행하는 Docker 컨테이너 내에 OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY를 마운트하려면 다음 명령어를 사용하세요.

Docker

  sudo docker run --name CONTAINER_NAME 

    -e POSTGRES_PASSWORD=PASSWORD 

    -e PGDATA=/var/lib/postgresql/data/pgdata 

    -v DATA_DIR:/var/lib/postgresql/data 

    -v /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER 

    -d google/alloydbomni
  

다음을 바꿉니다.

• CONTAINER_NAME: 새 AlloyDB Omni 컨테이너에 할당할 이름입니다(예: my-omni).
• PASSWORD: PostgreSQL 데이터베이스 루트 관리자의 비밀번호입니다.
• DATA_DIR: AlloyDB Omni가 데이터 디렉터리에 사용할 파일 시스템 경로입니다.
• CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: AlloyDB Omni 컨테이너 내의 캐시 디렉터리로, 호스트 머신의 마운트 지점에 매핑됩니다. 예를 들어 컨테이너 내의 캐시 디렉터리 값을 기반으로 /omni_disk_cache_directory(OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY와 유사) 또는 /disk/cache/inside/container입니다.

Podman

  podman run --name CONTAINER_NAME 

    -e POSTGRES_PASSWORD=PASSWORD 

    -e PGDATA=/var/lib/postgresql/data/pgdata 

    -v DATA_DIR:/var/lib/postgresql/data 

    -v /OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY:/CACHE_DIRECTORY_PATH_INSIDE_CONTAINER 

    -d docker.io/google/alloydbomni
  

다음을 바꿉니다.

• CONTAINER_NAME: 새 AlloyDB Omni 컨테이너에 할당할 이름입니다(예: my-omni).
• PASSWORD: PostgreSQL 데이터베이스 루트 관리자의 비밀번호입니다.
• CACHE_DIRECTORY_PATH_INSIDE_CONTAINER: AlloyDB Omni 컨테이너 내의 캐시 디렉터리로, 호스트 머신의 마운트 지점에 매핑됩니다. 예를 들어 컨테이너 내의 캐시 디렉터리 값을 기반으로 /omni_columnar_storage_cache_directory(OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY와 유사) 또는 /disk/cache/inside/container입니다.

마운트된 OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY에 전체 액세스 권한을 부여하려면 다음 명령어를 사용하세요.

Docker

  sudo docker exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo docker exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  

Podman

  sudo podman exec -it CONTAINER_NAME chown postgres:postgres /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  sudo podman exec -it CONTAINER_NAME chmod -R a+rw  /CACHE_DIRECTORY_PATH_INSIDE_CONTAINER
  

컨테이너에서 실행되는 AlloyDB Omni에 AlloyDB Omni 열 형식 스토리지 캐시 사용 설정

데이터베이스의 전용 기기에서 AlloyDB Omni 열 형식 스토리지 캐시를 사용 설정하려면 마운트된 캐시 디렉터리에 Docker 컨테이너 내부에서 액세스할 수 있는지 확인한 후 적절한 Grand Unified Configuration (GUC) 매개변수를 설정하세요.

1. 열 형식 스토리지 캐시 디렉터리를 설정합니다.

   ALTER SYSTEM SET google_columnar_engine.omni_storage_cache_directory = OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY;
   

   OMNI_COLUMNAR_STORAGE_CACHE_DIRECTORY를 AlloyDB Omni가 열 형식 엔진 스토리지 캐시 파일을 저장할 전용 디렉터리의 절대 경로로 바꿉니다. 이 디렉터리가 존재하고 데이터베이스 사용자에 대한 적절한 쓰기 권한이 있는지 확인합니다.

2. 스토리지 캐시 크기를 구성합니다.

   ALTER SYSTEM SET google_columnar_engine.storage_cache_size = STORAGE_CACHE_SIZE;
   

   STORAGE_CACHE_SIZE를 원하는 열 형식 스토리지 캐시 크기(메가바이트)로 바꿉니다. 기본적으로 전용 기기의 전체 크기는 디스크 캐시에 영향을 주지 않고 열 형식 엔진에 할당됩니다. 이 플래그의 최대 허용 값은 1000 * google_columnar_engine.memory_size_in_mb 중 최솟값입니다.

3. 구성 매개변수 변경사항을 적용하려면 AlloyDB Omni로 실행 중인 컨테이너를 다시 시작하세요.

   Docker

   sudo docker restart CONTAINER_NAME

   Podman

   sudo podman restart CONTAINER_NAME

공유 기기

디스크 캐시가 있는 공유 기기에 열 형식 스토리지 캐시를 구성하려면 먼저 AlloyDB Omni 디스크 캐시를 사용 설정해야 합니다.

공유 기기에서 다음과 같이 저장소 캐시를 구성합니다.

1. 스토리지 캐시를 구성합니다.

   ALTER SYSTEM SET google_columnar_engine.storage_cache_size = STORAGE_CACHE_SIZE;
   

   STORAGE_CACHE_SIZE를 원하는 스토리지 캐시 크기(MB)로 바꿉니다. 기본적으로 디스크 캐시의 5% 가 열 형식 엔진에 할당됩니다. 이 플래그의 최대 허용 값은 총 디스크 캐시의 50% 또는 1,000 * google_columnar_engine.memory_size_in_mb 중 최솟값입니다.

2. 구성 매개변수 변경사항을 적용하려면 AlloyDB Omni로 실행 중인 컨테이너를 다시 시작하세요.

   Docker

   sudo docker restart CONTAINER_NAME

   Podman

   sudo podman restart CONTAINER_NAME

Kubernetes

데이터베이스의 스토리지 캐시를 사용 설정하려면 데이터베이스 클러스터 매니페스트를 수정하여 primarySpec 섹션의 features 섹션에 columnarSpillToDisk 속성을 추가하세요.

apiVersion: alloydbomni.dbadmin.goog/v1
kind: DBCluster
metadata:
  name: CLUSTER_NAME
spec:
  databaseVersion: "16.8.0"
  primarySpec:
    features:
      columnarSpillToDisk:
        cacheSize: STORAGE_CACHE_SIZE
      ultraFastCache:
        cacheSize: ULTRAFAST_CACHE_SIZE
        genericVolume:
          storageClass: "STORAGE_CLASS_NAME"
...

다음을 바꿉니다.

• CLUSTER_NAME: 데이터베이스 클러스터의 이름입니다. 데이터베이스 클러스터를 만들 때 선언한 데이터베이스 클러스터 이름과 동일합니다.
• STORAGE_CACHE_SIZE: 열 형식 스토리지 캐시의 크기입니다(예: 5Gi). 이 필드의 값을 지정하지 않으면 기본적으로 디스크 캐시의 5% 가 열 형식 엔진에 할당됩니다.
• ULTRAFAST_CACHE_SIZE: 캐시 크기입니다(예: 100Gi). shared_buffers보다 커야 합니다. 이 필드는 선택사항입니다. 이 필드의 값을 지정하지 않으면 AlloyDB Omni가 디스크에 남은 모든 공간을 사용합니다. 이는 컨테이너와 Kubernetes 클러스터의 AlloyDB Omni 모두에 적용됩니다. 측정 단위에 대한 자세한 내용은 메모리 리소스 단위를 참고하세요.
• STORAGE_CLASS_NAME: 초고속 캐시 볼륨의 스토리지 클래스 이름입니다(예: local-storage).

참고: spec.primarySpec.features.ultrafastCache.cacheSize와 spec.primarySpec.features.columnarSpillToDisk.cacheSize가 모두 지정된 경우 두 값의 합계는 예약된 디스크 공간의 양과 같습니다. 예를 들어 spec.primarySpec.features.columnarSpillToDisk.cacheSize에 50 Gi을 지정하고 spec.primarySpec.features.ultrafastCache.cacheSize에 200 Gi을 지정하면 예약된 총 디스크 공간은 250Gi입니다.

벡터화된 조인 사용 설정

열 형식 엔진에는 적격한 쿼리에 벡터화된 처리를 적용하여 조인 성능을 개선할 수 있는 벡터화된 조인 기능이 있습니다.

벡터화된 조인을 사용 설정하면 AlloyDB 쿼리 플래너가 표준 PostgreSQL 해시 조인 연산자 대신 벡터화된 조인 연산자를 적용할 수 있습니다. 계획자는 각 방법을 사용하여 쿼리를 실행하는 비용을 비교하여 이 결정을 내립니다.

인스턴스에서 벡터화된 조인을 사용 설정하려면 인스턴스의 google_columnar_engine.enable_vectorized_join 플래그를 on로 설정합니다.

인스턴스에서 이 플래그를 설정하려면 ALTER SYSTEM PostgreSQL 명령어를 실행합니다.

ALTER SYSTEM SET google_columnar_engine.enable_vectorized_join = 'on';

AlloyDB Omni는 기본적으로 벡터화된 조인 기능에 하나의 스레드를 할당합니다. google_columnar_engine.vectorized_join_threads 플래그를 더 큰 값으로 설정하여 이 기능에 사용할 수 있는 스레드 수를 늘릴 수 있습니다. 최댓값은 cpu_count * 2입니다.

열 기반 엔진 수동으로 새로고침

기본적으로 열 기반 엔진이 사용 설정되면 백그라운드에서 열 저장소가 새로고침됩니다.

열 엔진을 수동으로 새로고침하려면 다음 SQL 쿼리를 실행하세요.

SELECT google_columnar_engine_refresh(relation =>'TABLE_NAME');

TABLE_NAME을 수동으로 새로고침하려는 테이블 또는 구체화된 뷰의 이름으로 바꿉니다.

열 기반 엔진 사용 중지

인스턴스에서 columbar 엔진을 사용 중지하려면 google_columnar_engine.enabled 플래그를 off로 설정합니다.

인스턴스에서 이 플래그를 설정하는 단계는 단일 서버의 컨테이너에서 AlloyDB Omni를 실행하는지 아니면 Kubernetes 클러스터에서 실행하는지에 따라 다릅니다.

단일 서버

google_columnar_engine.enabled를 off로 설정하려면 다음 단계를 따르세요.

1. ALTER SYSTEM PostgreSQL 명령어를 실행합니다.

ALTER SYSTEM SET google_columnar_engine.enabled = 'off'

1. 구성 매개변수 변경사항을 적용하려면 AlloyDB Omni로 실행 중인 컨테이너를 다시 시작하세요.

Docker

AlloyDB Omni 컨테이너를 다시 시작하려면 docker container restart 명령어를 실행합니다.

  sudo docker restart CONTAINER_NAME

CONTAINER_NAME을 AlloyDB Omni 컨테이너를 설치할 때 할당한 이름으로 바꿉니다.

Podman

AlloyDB Omni 컨테이너를 다시 시작하려면 podman container start 명령어를 실행합니다.

  sudo podman restart CONTAINER_NAME

CONTAINER_NAME을 AlloyDB Omni 컨테이너를 설치할 때 할당한 이름으로 바꿉니다.

Kubernetes

google_columnar_engine.enabled 플래그를 off로 설정하려면 데이터베이스 클러스터 매니페스트를 수정하여 primarySpec 섹션에 parameters 속성을 추가합니다.

  apiVersion: alloydbomni.dbadmin.goog/v1
  kind: DBCluster
  metadata:
    name: CLUSTER_NAME
  spec:
    databaseVersion: "16.8.0"
    primarySpec:
      parameters:
        google_columnar_engine.enabled: "off"

CLUSTER_NAME을 데이터베이스 클러스터 이름으로 바꿉니다. 데이터베이스 클러스터를 만들 때 선언한 데이터베이스 클러스터 이름과 동일합니다.

다음 단계

• 열 형식 엔진 데이터베이스 플래그의 전체 목록을 참고하세요.

• AlloyDB Omni에서 열 기반 엔진으로 분석 쿼리 가속화 Google Codelab 튜토리얼을 살펴봅니다.