Spark용 Dataproc Serverless 대화형 세션 및 세션 템플릿 만들기

이 페이지에서는 Dataproc Serverless 대화형 세션 및 세션 템플릿을 만드는 방법을 보여줍니다. 세션 템플릿은 세션 템플릿 구성을 기반으로 여러 대화형 세션을 만드는 데 사용할 수 있습니다.

Dataproc Serverless 세션 만들기

Google Cloud 콘솔, Google Cloud CLI 또는 Dataproc API를 사용하여 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

콘솔

Google Cloud 콘솔을 사용하여 Dataproc Serverless 세션을 만들려면 다음 단계를 완료합니다.

  1. Google Cloud 콘솔에서 대화형 세션 페이지로 이동합니다.

    대화형 세션으로 이동

    1. 만들기를 클릭합니다.

  2. 대화형 세션 추가 (미리보기) 페이지에서 세션 구성 설정을 입력하거나 확인합니다. 다음에 유의하세요.

    • 대화형 세션 이름: 필수입니다. 기본 이름을 그대로 사용하거나 세션 이름을 지정합니다.
    • Region: 필수사항입니다. 기본 리전을 수락하거나 세션에 사용 가능한 리전을 지정합니다.
    • 런타임 구성: 선택사항입니다. 선택 가능한 세션 런타임은 사용 가능한 Spark를 위한 Dataproc Serverless 런타임 버전에 해당합니다. 세션에 사용할 커스텀 컨테이너 이미지를 지정할 수 있습니다.
    • 속성: 선택사항입니다. 각 속성마다 항목 추가를 클릭하여 세션에 설정합니다. 자세한 내용은 Spark 속성을 참고하세요.
    • Spark UI (미리보기): 선택사항입니다. Spark UI를 사용하여 세션 실행 세부정보를 수집하고 모니터링할 수 있습니다.
    • 서비스 계정: 선택사항입니다. 세션에 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.
    • 네트워크 구성: 필수입니다. 세션 서브네트워크에 비공개 Google 액세스 (PGA)가 사용 설정되어 있고 모든 포트에서 서브넷 통신을 허용해야 합니다. PGA가 사용 설정된 지정된 세션 리전에 서브네트워크가 있는 네트워크만 이 섹션에 나열됩니다. 자세한 내용은 Spark 네트워크 구성을 위한 서버리스 Dataproc를 참고하세요.

  3. 제출을 클릭하여 세션을 만듭니다.

gcloud

gcloud beta dataproc sessions create command SESSION_NAME를 사용하여 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

명령어 플래그 참고사항:

REST

Dataproc sessions.create API를 사용하여 Dataproc Serverless 대화형 세션을 만들 수 있습니다.

참고:

Dataproc Serverless 세션 템플릿 만들기

Dataproc Serverless 세션 템플릿은 하나 이상의 Dataproc Serverless 대화형 세션을 만드는 구성 설정을 정의합니다.

Google Cloud 콘솔, gcloud CLI 또는 Dataproc API를 사용하여 Dataproc Serverless 세션 템플릿을 만들 수 있습니다.

콘솔

Google Cloud 콘솔을 사용하여 Dataproc 서버리스 세션 템플릿을 만들려면 다음 단계를 완료하세요.

  1. Google Cloud 콘솔에서 대화형 세션 템플릿 페이지로 이동합니다.

    대화형 세션 템플릿으로 이동

    1. 만들기를 클릭합니다.

  2. 세션 템플릿 만들기 페이지에서 템플릿 구성 설정을 입력하거나 확인합니다. 다음에 유의하세요.

    • 템플릿 런타임 ID: 필수 항목입니다. 기본 ID (이름)를 그대로 사용하거나 템플릿 런타임 이름을 지정합니다.
    • Region: 필수사항입니다. 기본 리전을 수락하거나 템플릿 세션에 사용할 수 있는 리전을 지정합니다.
    • 런타임 버전: 선택사항입니다. 선택 가능한 세션 런타임은 Spark를 위한 Dataproc Serverless 런타임 버전에 해당합니다.
    • 템플릿 구성 유형: 필수사항입니다. 유형을 선택합니다. Jupyter를 선택하면 표시 이름을 지정하고 Jupyter 커널 유형을 선택합니다. 자세한 내용은 Dataproc Serverless에서 Jupyter 노트북 실행을 참고하세요.
    • 서비스 계정: 선택사항입니다. 템플릿 세션을 실행하는 데 사용할 서비스 계정입니다. 지정하지 않으면 Compute Engine 기본 서비스 계정이 사용됩니다.
    • 커스텀 컨테이너 이미지: 선택사항입니다. 템플릿 세션에 사용할 커스텀 컨테이너 이미지입니다.
    • 속성: 선택사항입니다. 각 속성마다 항목 추가를 클릭하여 템플릿 세션에 설정합니다. 자세한 내용은 Spark 속성을 참고하세요.
    • 네트워크 구성: * 필수사항입니다. 세션 서브네트워크에 비공개 Google 액세스 (PGA)가 사용 설정되어 있고 모든 포트에서 서브넷 통신을 허용해야 합니다. PGA가 사용 설정된 세션 Region에 서브네트워크가 있는 네트워크만 이 섹션에 나열됩니다. 자세한 내용은 Spark 네트워크 구성을 위한 서버리스 Dataproc를 참고하세요.

  3. 제출을 클릭하여 세션 템플릿을 만듭니다.

gcloud

gcloud CLI를 사용하여 Dataproc 서버리스 세션 템플릿을 직접 만들 수는 없지만 gcloud beta dataproc session-templates import 명령어를 사용하여 기존 세션 템플릿을 가져올 수 있습니다. 가져온 템플릿을 수정한 후 gcloud beta dataproc session-templates export 명령어를 사용하여 내보낼 수 있습니다.

REST

Dataproc sessionTemplates.create API를 사용하여 Dataproc Serverless 세션 템플릿을 만들 수 있습니다.

참고: