[Kafka] 카프카 기본 개념 설명 - 카프카 생태계, 브로커, 클러스터, 주키퍼

카프카 생태계 

• 카프카 클러스터에 목적에 따라 토픽 생성
• 프로듀서가 토픽 생성
• 컨슈머가 토픽의 데이터를 가져감
• 스트림즈 라이브러리를 통해 특정 토픽의 데이터를 가공하여 새로운 토픽으로 넣음 
• 커넥트는  데이터 파이프라인 역할로 커넥트에서 RestAPI를 통해 파프라인을 만들어 토픽을 생성할 수 있음 (소스: 프로듀서 역할, 싱크 : 컨슈머 역할)
• 프러듀서, 커넥트, 스트림즈 등 모두 다 툴이라고 보면 되며 오픈소스는 JAVA로 공식적으로 제공됨   

 

---

 

카프카 브로커와 클러스터 

카프카 브로커는 카프카 클랑언트와 데이터를 주고받기 위한 어플리케이션 프로듀서가 보낸 데이터를 안전하게 분산 저장하고 복제하는 역할  하나의 서버에 한 개의 카프카 브로커 프로세스가 실행 데이터의 안전한 보관/처리를 위해 3대 이상의 브로커 서버를 1개의 클러스터로 묶어서 운영

 

 

 

카프카 클러스터와 주키퍼 

• 카프카 클러스터를 실행하기 위해서는 주키퍼가 필요함 
• 주키퍼의 서로 다른 znode에 클러스터를 지정하면 됨
• root znode에 각 클러스터별 znode를 생성하고 클러스터 실행시 znode를 설정
• 카프카 3.0부터는 주키퍼 없어도 클러스터 동작 가능