Dataproc 서버리스 대화형 세션 모니터링 및 문제 해결

다음 섹션에서 설명하는 정보와 도구를 사용하여 Spark용 Dataproc 서버리스 대화형 세션을 모니터링하고 문제를 해결할 수 있습니다.

Spark UI

Spark UI는 Spark용 Dataproc 서버리스 대화형 세션에서 Apache Spark 실행 세부정보를 수집합니다. Spark UI 기능은 기본적으로 사용 설정되어 있으며 무료로 사용 가능합니다. Spark UI 기능에서 수집한 데이터는 90일 동안 보관됩니다.

제한사항

Spark UI는 다음 Dataproc 서버리스 워크로드를 지원하지 않습니다.

필요한 Identity and Access Management 권한 및 역할

대화형 세션에서 Spark UI 기능을 사용하려면 다음 권한이 필요합니다.

  • 데이터 수집 권한: dataproc.sessions.sparkApplicationWrite. 이 권한은 대화형 세션을 실행하는 서비스 계정에 부여되어야 합니다. 이 권한은 Dataproc 서버리스에서 기본적으로 사용하는 Compute Engine 기본 서비스 계정에 자동으로 부여되는 Dataproc Worker 역할에 포함되어 있습니다. 그러나 세션 또는 세션 런타임 템플릿에 커스텀 서비스 계정을 지정하는 경우에는 일반적으로 서비스 계정에 Dataproc Worker 역할을 부여하여 이 dataproc.sessions.sparkApplicationWrite 권한을 해당 서비스 계정에 추가해야 합니다.

  • Spark UI 액세스 권한: dataproc.sessions.sparkApplicationRead. Google Cloud 콘솔에서 Spark UI에 액세스하려면 사용자에게 이 권한을 부여해야 합니다. 이 권한은 Dataproc Viewer, Dataproc Editor, Dataproc Administrator 역할에 포함되어 있습니다. Google Cloud 콘솔에서 Spark UI를 열려면 이러한 역할 중 하나가 있거나 이 권한이 포함된 커스텀 역할이 있어야 합니다.

Spark UI 열기

Spark UI 페이지는 Spark용 Google Cloud 콘솔 세션에서 사용 가능합니다.

  1. Dataproc 대화형 세션으로 이동

  2. 대화형 세션 ID를 클릭하여 대화형 세션 세부정보 페이지를 엽니다.
  3. 상단 메뉴에서 Spark UI 보기를 클릭합니다.

Spark UI 보기 링크가 중지되었나요? 필요한 권한이 부여되지 않거나 대화형 세션 세부정보 페이지에서 세션을 만들거나 세션 런타임 템플릿을 만들 때 Spark UI 사용 설정 체크박스를 선택 해제하거나 spark.dataproc.appContext.enabled 속성을 false(기본값: true)로 설정하면 Spark UI 보기 버튼이 중지됩니다.