[Kafka] 카프카 클러스터 운영하는 여러가지 방법

서비스 형태 

온프레미스 (on-premise)

특징

• 사용자가 자체적으로 보유한 전산실 서버에 직접 설치해 운영
• 기업 상황에 맞게 하드웨어를 커스터마이징 구성 가능
• 초기 도입 비용, 운영 및 관리를 위한 유지보수 비용 발생

카프카 운영 방법

• 물리장비(서버)를 구매, 네트워크 설치 구성 수행
• 물리장비 운영체제 설치 수행
• 오픈소스 카프카를 설치, 운영
  •  아파치 2.0에 있는 카프카로 브로커, 프로듀서, 컨슈머, 커넥터 등이 포함됨
• 또는 기업용 카프카(컨플루언트 플랫폼 등) 설치, 운영
  •  기능상 튜닝이 되어있음, 모니터링 툴같은 것들이 있음

---

 

IaaS (Instructure-as-a-Service)

특징 

• 물리/가상 컴퓨팅 리소스를 발급받아서 사용
• 온라인 스토리지, 데이터베이스 등도 포함됨
• 사용자가 운영체제, 애플리케이션 등을 직접 설정, 배포, 운영

카프카 운영 방법

• AWS, GCP와 같은 클라우드 서비스를 통해 물리/가상 컴퓨팅 리소스를 발급
• 컴퓨팅 리소스에 오픈소스 카프카를 설치, 운영
•  또는 기업용 카프카(컨플루언트 플랫폼 등) 설치, 운영

---

 

SaaS (Software-as-a-Service)

특징

• 소프트웨어의 배포, 실행을 업체에서 관리하고 기능을 제공
• 소프트웨어 관리를 업체에 위임하고 기능만 사용할 때 유용

카프카 운영 방법

• 컨플루언트 클라우드 또는 AWS MSK는 대표적인 SaaS
• 다양한 옵션을 제공 - ksqlDB, 모니터링 도구 등 

 

---

 

오픈소스 카프카를 직접 설치하여 운영하는 경우

• 카프카는 전송된 데이터를 모두 파일 시스템에 저장하고 대규모 데이터 통신이 일어나기 때문에 고성능의 하드웨어를 사용해야함

메모리 : 32GB 머신에 힙메모리 6GB로 설정(브로커). 나머지는 OS의 페이지 캐시 영역으로 확용
CPU : 24core 머신 사용. SSL과 같은 보안 설정 사용할 경우 추가 더 높은 사용 필요
디스크 : RAID 10으로 설정된 디스크 사용. NSA는 사용하면 안됨(데이터 처리량에 이슈가 발생함)
네트워크 : 사용하는 데이터 통신량에 따라 다름
파일시스템 : XFS 또는 ext4

 

 

항목	Dev 카프카 클러스터	Prod 카프카 클러스터
브로커 개수	3~5개 + a producer의 acks, topic의 min.insync.replicas가 정상적으로 처리되는지 테스트 필요	10개 + a
메모리	16GB (heap memory 6GB)	32GB (heap memory 6GB)
CPU	16 core	24 core
디스크	사용량에 따라 달라짐	사용량에 따라 달라짐

 

 

 

출처 : 인프런 아파치 카프카 애플리케이션 프로그래밍