SSD와 HDD 스토리지 중 선택

Cloud Bigtable 인스턴스를 만들 때 해당 클러스터에서 데이터를 SSD(솔리드 스테이트 드라이브)에 저장할지 HDD(하드 디스크 드라이브)에 저장할지 선택합니다.

  • 대부분의 경우 SSD 저장소가 가장 효율적이고 경제적인 선택입니다.
  • 지연 시간에 민감하지 않거나 자주 액세스하지 않으며 10TB가 넘는 매우 큰 데이터 세트에는 HHD 저장소가 적합한 경우도 있습니다.

선택하는 저장소 유형에 관계없이 여러 실제 드라이브에 분산 및 복제된 파일 시스템에 데이터가 저장됩니다.

이 페이지의 가이드라인은 SSD와 HDD 중 무엇을 선택할지 결정하는 데 도움이 됩니다.

확실하지 않은 경우 SSD 저장소 선택

일반적으로 Cloud Bigtable 클러스터에 SSD 스토리지를 사용하는 것이 가장 좋은 이유는 여러 가지가 있습니다.

  • SSD가 HDD보다 훨씬 더 빠르며 더 예측 가능한 성능을 지원합니다. Cloud Bigtable 클러스터에서 SSD 스토리지는 모든 요청의 99%에 대한 읽기와 쓰기 모두의 지연 시간이 6ms입니다. 이와 대조적으로 HDD 스토리지는 동일한 벤치마킹에서 읽기 지연 시간이 200ms이고 쓰기 지연 시간은 50ms입니다.
  • HDD 처리량이 SSD 처리량보다 훨씬 제한적입니다. HDD 스토리지를 사용하는 클러스터에서 CPU 사용량이 100%에 도달하기 전에 최대 처리량에 도달할 수 있습니다. 처리량을 늘리려면 노드를 더 추가해야 하지만 추가 노드 비용이 HDD 스토리지를 사용하여 절약되는 비용을 초과할 수 있습니다. SSD 저장소는 훨씬 더 많은 노드당 처리량을 제공하기 때문에 이러한 제한이 없습니다. 일반적으로 SSD 저장소를 사용하는 클러스터는 사용 가능한 CPU와 메모리를 모두 사용할 때만 최대 처리량에 도달합니다.
  • HDD는 개별 행 읽기 속도가 매우 느립니다. HDD 저장소는 디스크 탐색 시간 때문에 SSD 저장소의 읽기 QPS의 5%만 지원합니다. 그러나 큰 다중 행 검색에는 부정적인 영향을 미치지 않습니다.
  • 매우 많은 양의 데이터를 저장하는 경우가 아니라면 HDD를 사용하여 절약할 수 있는 비용과 Cloud Bigtable 클러스터 노드 비용에 큰 차이가 없습니다. 따라서 대개 10TB 이상의 데이터를 저장하지 않는 한 HDD 저장소를 사용하지 않는 것이 좋습니다.

SSD 저장소의 한 가지 단점은 저장하는 데이터 양에 따라 클러스터에 더 많은 노드가 필요할 수 있다는 것입니다. 그러나 실제로는 클러스터가 데이터를 더 많이 저장하는 것은 물론 더 많은 트래픽을 수신할 수 있도록 이러한 추가 노드가 필요할 수 있습니다.

HDD 저장소가 적합한 사용 사례

HDD 저장소는 다음 조건을 충족하는 사용 사례에 적합합니다.

  • 10TB 이상의 데이터를 저장할 것으로 예상되는 경우
  • 사용자에게 표시되거나 지연 시간에 민감한 애플리케이션을 지원하는 데 데이터를 사용하지 않을 예정인 경우
  • 작업 범주가 다음 카테고리 중 하나에 해당하는 경우

    • 검색과 쓰기를 수행하고 가끔씩만 소량의 행을 임의로 읽는 일괄 작업
    • 매우 많은 양의 데이터를 쓰고 거의 읽지는 않는 데이터 보관

예를 들어, 많은 원격 감지 기기에 대한 광범위한 기록 데이터를 저장한 다음 데이터를 사용하여 일일 보고서를 생성할 예정이라면, HDD 저장소가 가져다 주는 비용 절감 효과로 인해 성능상의 단점이 상쇄될 수 있습니다. 반면에 실시간 데이터를 사용하여 대시보드를 표시할 예정이라면 읽기가 훨씬 더 자주 실행되므로 HDD 저장소를 사용하는 것이 비합리적일 수 있습니다. HDD 저장소는 읽기 속도가 훨씬 더 느리기 때문입니다.

SSD 및 HDD 저장소 전환

Cloud Bigtable 인스턴스 및 클러스터를 만들 때 클러스터에 선택한 SSD 또는 HDD 스토리지는 되돌릴 수 없습니다. Google Cloud Console을 사용하여 클러스터에 사용되는 스토리지 유형을 변경할 수 없습니다.

기존 HDD 클러스터를 SSD로 전환해야 하는 경우 또는 그 반대의 경우, 기존 인스턴스에서 데이터를 내보내고 새 인스턴스로 데이터를 가져와야 합니다. 또는 Dataflow 또는 Hadoop 맵리듀스 작업을 사용하여 한 인스턴스에서 다른 인스턴스로 데이터를 복사할 수 있습니다. 전체 인스턴스를 마이그레이션하는 데 시간이 걸리므로 인스턴스를 마이그레이션하기 전에 Cloud Bigtable 클러스터에 노드를 추가해야 할 수 있습니다.

다음 단계

SSD 또는 HDD 스토리지로 인스턴스 만들기