데이터베이스와 데이터 웨어하우스에서 데이터를 호스팅하고 관리하는 것은 항상 바쁘고 번거로운 작업이었습니다. 데이터를 이해하려면 많은 리소스와 계산 능력이 필요합니다. Amazon Web Services는 이러한 목적을 위한 원스톱 솔루션을 제공합니다. 사용자의 데이터 웨어하우스를 완벽하게 관리하는 Amazon Redshift라는 서비스가 있습니다.
이 문서에서는 데이터 웨어하우스 아키텍처와 함께 Amazon Redshift를 자세히 설명합니다. Redshift 데이터 웨어하우스 시스템 아키텍처의 모든 구성 요소에 대해 자세히 설명합니다.
Amazon Redshift란 무엇입니까?
IT는 Amazon에서 제공하는 데이터 웨어하우징 서비스입니다. 분석 및 보고를 위해 대규모 데이터 세트를 효율적으로 관리하고 분석합니다. 이는 컬럼형 스토리지 모델을 기반으로 구축되었습니다. 리더 노드가 제어하는 컴퓨팅 노드 클러스터를 사용하여 고성능 데이터 처리를 제공합니다.
다양한 소스에서 데이터를 가져와서 모아서 데이터 웨어하우스를 만듭니다. 데이터 공유, 실시간 분석 등 다양한 기능을 제공합니다. Amazon Redshift의 기능을 이해하려면 아래 이미지를 보십시오.
이제 데이터 웨어하우스 시스템 아키텍처를 살펴보겠습니다.
Amazon Redshift 데이터 웨어하우스 시스템 아키텍처란 무엇입니까?
이 시스템 아키텍처에는 세 가지 핵심 부분이 있습니다. 이러한 부분은 다음과 같습니다:
- 저장
- 가속
- 계산
그들의 목적을 이해해보자:
저장
스토리지 부분은 Redshift가 가지고 있는 스토리지 서비스를 다룹니다. 자체 관리형 스토리지 서비스 옵션과 S3 버킷 옵션이 있습니다.
가속
가속 부분은 사용 중인 스토리지 서비스와 사용된 컴퓨팅 성능에 따라 달라집니다. Redshift 관리형 스토리지는 다른 스토리지 옵션에 비해 더 빠릅니다.
계산
계산 부분은 사용 중인 컴퓨팅 성능을 전적으로 다룹니다. 계산은 클러스터로 수행되며 클러스터에는 노드가 있습니다. 노드에는 차례로 조각이 있습니다.
이 아키텍처의 모든 요소와 구성 요소를 더 잘 이해하려면 아래 이미지를 참조하십시오.
그 구성요소를 하나씩 이해해 보도록 하겠습니다.
Amazon Redshift의 아키텍처 구성 요소는 무엇입니까?
다음은 Amazon Redshift의 아키텍처 구성 요소입니다.
- 클러스터
- 노드
- 노드 조각
- 저장
- 내부 네트워크
- 데이터베이스
이것들을 하나씩 논의해보자:
클러스터
클러스터는 기본이자 핵심 단위입니다. 이는 다수의 노드로 구성됩니다. 클러스터가 여러 컴퓨팅 노드로 구성된 경우 추가 리더 노드가 개입하여 이러한 컴퓨팅 노드의 활동을 조정하고 외부 통신을 관리합니다.
노드
클러스터의 노드에는 두 가지 유형이 있습니다. 이것들은:
- 리더 노드
- 컴퓨팅 노드
이것들을 하나씩 이해해 봅시다:
리더 노드
클라이언트 프로그램과의 통신을 관리하고 컴퓨팅 노드와의 상호 작용을 조정합니다. 리더 노드는 복잡한 쿼리를 실행하는 데 중요한 역할을 합니다. 컴퓨팅 노드에 배포된 실행 계획을 기반으로 코드를 컴파일하고 각 개별 컴퓨팅 노드에 데이터 부분을 할당합니다.
컴퓨팅 노드
컴퓨팅 노드는 Amazon Redshift 아키텍처의 백본입니다. 그들은 데이터 저장과 처리를 모두 수행합니다. 여기에는 메모리 및 CPU와 같은 전용 리소스가 있습니다.
노드 조각
컴퓨팅 노드는 조각으로 더 나뉩니다. 이러한 조각은 함께 작동하여 할당된 작업 부하를 처리하고 병렬 처리를 달성하여 쿼리 처리를 향상시킵니다.
저장
Amazon Redshift 내의 데이터 스토리지는 “Redshift Managed Storage(RMS)”로 관리됩니다. 'Amazon S3' 스토리지를 사용하여 스토리지를 독립적으로 확장할 수 있는 기능이 있습니다. RMS는 성능을 최적화하는 Tier-1 캐시로 고성능 SSD 기반 로컬 스토리지를 사용합니다.
내부 네트워크
Amazon Redshift의 이 내부 네트워크는 리더 노드와 컴퓨팅 노드 간의 빠르고 안전한 통신을 돕습니다. 이 네트워크는 클라이언트 애플리케이션에 직접 액세스할 수 없습니다.
데이터베이스
클러스터에는 하나 이상의 데이터베이스가 있습니다. 이러한 데이터베이스의 데이터는 컴퓨팅 노드에 있습니다. 클라이언트 애플리케이션은 리더 노드와 통신합니다. 컴퓨팅 노드는 컴퓨팅 노드 전체의 쿼리 실행을 관리합니다.
이것은 Amazon Redshift와 그 아키텍처 요소에 관한 것입니다. 이 문서에서는 Amazon Redshift의 작동 구성 요소를 포괄적으로 설명했습니다.
결론
Amazon Redshift의 아키텍처는 Amazon Redshift의 기능을 뒷받침하는 이유입니다. 리더 노드는 컴퓨팅 노드를 제어하고 관리하며, 노드 슬라이스는 병렬 처리에 도움이 됩니다. Redshift 관리형 스토리지는 SSD 기반 스토리지를 사용하여 성능을 향상합니다. 이 문서에서는 Amazon Redshift 데이터 웨어하우스 시스템 아키텍처에 대해 설명했습니다.