[Kafka] SaaS형 아파치 카프카 종류 및 장단점

SaaS형 아파치 카프카 종류

컨플루언트

컨플루언트 클라우드	컨틀루언트 플랫폼
- 클라우드 기반 카프카 클러스터 - 요구사항에 따라 자동으로 늘려주는 클러스터 리소스 제공 - GCP, AWS 등 클러스터 설치 위치 지정(리전단위) 가능 - 120개가 넘는 커넥터, ksqlDB, 스키마 레지스트리 서비스 제공 - 99.95% SLA - 엔터프라이즈 수준의 보안 수준 제공 - 데이터 적재 제한 없음	- 온프레미스 기반 설치형 카프카 클러스터 - 서버를 내부에 발급하여 직접 설치 - 필요에 따라 컨플루언트 팀에서 지원, 학습 제공 - 단계별 스토리지 기능 제공 - GUI 기반 모니터링 시스템 제공

 

 

AWS MSK (Managed Streaming for Apache Kafka)

• AWS 인프라에서 카프카 클러스터를 생성, 업데이트, 삭제 등과 같은 운영 요소를 대시보드를 통해 제공
• 안전하게 접속할 수 있도록 클러스터와 연동 시 TLS 인증 보안 설정 가능
• 아파치 카프카 버전을 직접 선택할 수 있기 때문에 버전 차이에 의한 서비스 연동 이슈가 없음
• AWS에서 운영하는 애플리케이션과 쉽게 연동할 수 있기 때문에 AWS 를 사용중이라면 어렵지않게 아키텍처에 포함시킬 수 있음

 

 

SaaS형 카프카 클러스터 운영 장점

• 인프라 관리 효율화
  • 상용 환경에서 최소 3대 이상의 서버로 운영하는데, 이 서버를 모니터링해야하는 운영 이슈가 있음
  • SaaS를 사용하면 브로커가 올라가는 서버는 자동으로 관리, 브로커 이슈 발생 시 카프카 운영자는 크게 신경쓸일 없음
  • 클러스터 데이터 사용량이 많아지더라도 대시보드에서 브로커 개수만 설정하여 쉽게 스케일 아웃 가능 
• 모니터링 대시보드 제공
  • 카프카 사용 시 브로커들이 제공하는 지표들을 수집 & 적재 & 대시보드화 해야 카프카 클러스터를 효과적으로 운영하기 위해 필요한 설정들을 수정하고 적용가능
  • SaaS형 카프카에서는 자동화되어 만들어진 클러스터로부터 운영에 필요한 지표를 수집하고 그래프로 보여주는 옵션 제공
• 보안 설정
  • 보안이 설정되지 않은 클러스터의 경우 호스트와 포트번호만 알면 모든 토픽의 데이터를 가져갈 수 있음
  • 카프카 브로커는 SSL, SASL, ACL과 같이 불특정 다수의 침입을 막기위한 보안 설정 방안을 제공하는데 SaaS를 통해 쉽게 보안설정을 할 수 있음

SaaS형 카프카 클러스터 운영 단점

• 서비스 사용 비용이 높음
  • AWS MSK의 경우 3대의 브로커로 인스턴스(kafka.m5.xlarge : CPU 4, 메모리 16G)를 사용하면 시간당 1.5달러, 한달에 1080달러(약 120만원)
  • 동일 사양의 인스턴스일 경우 시간당 0.7달러 한달에 504 달러(60만원)
• 커스터마이징 제한
  • 인프라부터 애플리케이션 설치까지 다 자동화 되어있기 때문에 아키텍쳐 변화가 어려움
• 클라우드 종속성
  • 클라우드 서비스 업체를 선택하고 클러스터를 운영하면 해당 서비스에 종속됨

 

 

출처 : 인프런 아파치 카프카 애플리케이션 프로그래밍