Consumer2 [Apache Kafka] Kafka Group Consumer Rebalance Kafka Consumer Rebalance는 Kafka Consumer 그룹내에서 파티션 할당이 변경되는 과정이다. Kafka Broker의 Group Coordinator는 아래와 같은 경우 Consumer Group내의 Consumer 들에게 파티션을 재할당하는 Rebalancing을 하도록 요청한다.Consumer Group 내에 새로운 Consumer가 추가되는 경우기존 Consumer가 종료 될 때Topic에 새로운 Partition이 추가 될 때Kafka Partition Rebalance 시 Consumer Group의 안정성과 중단 시간을 줄이기 위한 방법으로 Eager Protocol과 Cooperative Protocol 방식이 있다.Rebalance 작업 방식Eager Protoco.. 2024. 12. 28. [Apahce Kafka] Kafka Consumer Kafka Consumer는 메시지를 구독하고 처리하는 역할을 담당하는 클라이언트이다.1. Consumer GroupConsumer는 단 하나의 Consumer Group에 소속되며, Consumer Group은 고유한 그룹아이디를 가지고 1개 이상의 Consumer를 가질 수 있다.토픽 메시지는 Consumer Group에서 단 하나의 Consumer 에만 할당된다.2. Kafka Consumer Subscribe, Poll, Commit 과정1. 토픽 구독 (Subscribe)Consumer는 subscribe를 호출하여 읽을 토픽을 등록한다.2. 토픽 메시지 소비 (poll)Consumer는 poll 메소드를 이용하여 주기적으로 브로커의 토픽 파티션에서 메시지를 가져온다.Fetcher는 Consum.. 2024. 12. 28. 이전 1 다음
