[Kafka] 카프카 토픽, 파티션, 로그, 세그먼트

 

요약 

토픽은 데이터의 주제를 정의하고, 파티션은 토픽을 물리적으로 분할하여 처리

각 파티션은 로그로 구성되고, 로그는 세그먼트로 나눠져 디스크에 저장

 

토픽과 파티션

1. 토픽 (Topic):
   • 토픽은 데이터의 주제를 정의
   • 카프카에서는 비슷한 유형이나 관련된 데이터를 포함하는 데 사용되며, 예를들어 주문, 이벤트, 회원 등이 있을 수 있음
   • 각 토픽은 하나 이상의 파티션으로 나누어짐
   • 프로듀서(Producer)가 메시지를 특정 토픽으로 보내면, 컨슈머(Consumer)는 해당 토픽에서 메시지를 구독하여 처리
2. 파티션 (Partition):
   • 파티션은 토픽을 물리적으로 분할한 개념
   • 각 파티션은 병렬로 데이터를 처리하기 위해 사용
   • 큐(queue)와 비슷한 구조
   • 파티션은 순차적으로 메시지를 저장하며, 메시지는 파티션 내에서 순서대로 보존
   • 파티션은 병렬로 데이터를 처리하고 처리량을 확장하기 위해 사용
   • 각 파티션은 별도의 로그 파일로 관리

 

로그와 세그먼트 

 

hello.kafka 토픽의 0번 파티션에 존재하는 로그

 

 

1. 로그 (Log):
   • 로그는 파티션에 저장된 실제 데이터
   • 각 파티션은 하나 이상의 로그를 가질 수 있음.
   • 로그는 순차적으로 메시지를 저장하며, 새로운 메시지가 도착하면 로그에 추가됨
2. 세그먼트 (Segment):
   • 세그먼트는 로그를 물리적으로 관리하는 단위
   • 각 로그는 하나 이상의 세그먼트로 구성
   • 세그먼트는 일정한 크기에 도달하면 닫히고, 새로운 세그먼트가 열림

 

 

출처: 인프런 아파치-카프카-애플리케이션-프로그래밍