Apache Spark

Looker는 Spark Thrift 서버에 JDBC 연결을 통해 Apache Spark에 연결합니다.

Apache Spark에 Looker 연결

Looker 인터페이스를 통해 데이터베이스 연결 구성 관리 섹션에서 연결을 선택한 후 연결 추가를 클릭합니다. 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지를 참조하세요.

다음과 같이 페이지를 작성합니다.

  • 이름: 연결의 이름입니다. LookML 모델에서 연결이 참조되는 방식입니다.
  • 언어: Apache Spark 1.5 이상, Apache Spark 2 이상 또는 Apache Spark 3 이상을 선택합니다.
  • Host:Port(호스트:포트): Thrift 서버 호스트 및 포트(기본값: 10000)입니다.
  • 데이터베이스: 모델링할 기본 스키마/데이터베이스입니다. 테이블에 데이터베이스가 지정되지 않은 경우 이 가정이 적용됩니다.
  • 사용자 이름: Looker에서 인증할 사용자입니다.
  • 비밀번호: Looker 사용자의 비밀번호(선택사항)입니다.
  • 영구 파생 테이블: Looker에서 PDT를 사용할 경우에 선택합니다.
  • 임시 데이터베이스: PDT를 저장하기 위한 임시 스키마/데이터베이스입니다. 사전에 CREATE SCHEMA looker_scratch;와 같은 문을 사용하여 만들어야 합니다.
  • 추가 매개변수: 여기에 Hive JDBC 매개변수를 추가합니다. 예를 들면 다음과 같습니다. ;spark.sql.inMemoryColumnarStorage.compressed=true
    ;auth=noSasl
  • SSL: 선택하지 않은 상태로 둡니다.
  • 데이터베이스 시간대: Spark에 저장된 데이터의 시간대입니다. 일반적으로 비워 두거나 UTC로 설정할 수 있습니다.
  • 쿼리 시간대: Looker에서 쿼리하는 데이터를 표시할 시간대입니다.

이 설정 테스트를 클릭하여 연결을 테스트하고 올바르게 구성되었는지 확인합니다. 연결 가능이 표시되면 연결 추가를 누릅니다. 나머지 연결 테스트를 실행하여 서비스 계정이 올바른 역할로 설정되어 있는지 확인합니다.

연결 설정에 대한 자세한 내용은 데이터베이스에 Looker 연결 문서 페이지를 참조하세요.

기능 지원

Looker에서 일부 기능을 지원하려면 데이터베이스 언어도 이 기능을 지원해야 합니다.

최신 버전의 Looker에서는 Apache Spark 1.5+에서 다음과 같은 Looker 기능을 지원합니다.

최신 버전의 Looker에서는 Apache Spark 2.0에서 다음 Looker 기능을 지원합니다.

최신 버전의 Looker에서는 Apache Spark 3+에서 다음과 같은 Looker 기능을 지원합니다.

다음 단계

연결을 만든 후 인증 옵션을 설정합니다.