전체 글102 [Apache Kafka] Kafka Group Consumer Rebalance Kafka Consumer Rebalance는 Kafka Consumer 그룹내에서 파티션 할당이 변경되는 과정이다. Kafka Broker의 Group Coordinator는 아래와 같은 경우 Consumer Group내의 Consumer 들에게 파티션을 재할당하는 Rebalancing을 하도록 요청한다.Consumer Group 내에 새로운 Consumer가 추가되는 경우기존 Consumer가 종료 될 때Topic에 새로운 Partition이 추가 될 때Kafka Partition Rebalance 시 Consumer Group의 안정성과 중단 시간을 줄이기 위한 방법으로 Eager Protocol과 Cooperative Protocol 방식이 있다.Rebalance 작업 방식Eager Protoco.. 2024. 12. 28. [Apahce Kafka] Kafka Consumer Kafka Consumer는 메시지를 구독하고 처리하는 역할을 담당하는 클라이언트이다.1. Consumer GroupConsumer는 단 하나의 Consumer Group에 소속되며, Consumer Group은 고유한 그룹아이디를 가지고 1개 이상의 Consumer를 가질 수 있다.토픽 메시지는 Consumer Group에서 단 하나의 Consumer 에만 할당된다.2. Kafka Consumer Subscribe, Poll, Commit 과정1. 토픽 구독 (Subscribe)Consumer는 subscribe를 호출하여 읽을 토픽을 등록한다.2. 토픽 메시지 소비 (poll)Consumer는 poll 메소드를 이용하여 주기적으로 브로커의 토픽 파티션에서 메시지를 가져온다.Fetcher는 Consum.. 2024. 12. 28. [Apache Kafka] Kafka Producer Kafka Producer는 메시지를 생성하고 Kafka 토픽에 전송하는 역할을 담당하는 클라이언트이다.1. Kafka Producer의 주요 기능1. 메시지 전송 Producer는 메시지를 생성한 후 Kafka 토픽으로 전송메시지는 특정 토픽의 하나 이상의 파티션으로 저장2. 파티셔닝 (Partitioning)Producer는 메시지가 어느 파티션에 저장될지 결정Key 값을 가지는 경우 키를 기준으로 파티션을 선택Key 값을 가지지 않는 경우 라운드 로빈 또는 스티키 방식으로 파티션을 선택3. 메시지 직렬화메시지를 전송하기 전에 데이터를 바이트 배열로 직렬화메시지의 키와 값을 각각 지정된 Serializer를 사용해 직렬화4. ACK (Acknowledgment)Producer는 메시지가 성공적으로 브.. 2024. 12. 26. ZipOutputStream vs ZipArchiveOutputStream Java에서 ZIP 파일을 생성을 지원하는 라이브러리로 ZipOutputStream과 ZipArchiveOutputStream이 있다.ZipOutputStream은 Java 표준 라이브러리로 기본적인 ZIP 압축 기능을 제공하고, ZipArchiveOutputStream은 Apache Commons Compress 라이브러리이며 다양한 압축 수준과 ZIP64 포맷을 지원한다. ZipOutputStreamJava 표준 라이브러리로 ZIP 파일을 생성하고 데이터를 압축하는 스트림이며 파일 또는 디렉토리를 ZipEntry에 추가하고, 데이터를 압축하여 ZIP 파일로 저장한다. 기본적인 ZIP 압축 기능만 제공하고 압축 수준을 조절할 수 없어 간단하고 기본적인 ZIP 파일 생성에 적합하다.ZIP64 포맷을 지원.. 2024. 11. 8. EML 조회 시 이슈 회사에서 메일 서비스 운영 중 원문 조회 시 CPU가 급격하게 올라가고 조회하는데 오랜 시간이 걸리는 성능 문제가 발생하였다.AS-ISpublic InputStream getFileInputStream(MessageDto.Search search) { try { File file = getFile(search); return new FileInputStream(file); } catch (IOException e) { ... }} 애플리케이션에서 코드를 조회하는 로직을 확인했을 때, FileInputStream 으로 매번 직접 파일 시스템에 접근하여 파일을 읽어오고 있었다. TO-BE파일 시스템에 매번 접근하여 파일을 읽게되면 I/O 접근이 많아 CPU 사.. 2024. 11. 3. FileInputStream vs BufferedInputStream FileInputStreamFileInputStream 은 파일을 읽을 때 버퍼링 없이 직접 파일에서 데이터를 읽는다. 파일 시스템에서 매번 직접 가져오기 때문에 I/O 접근이 많아 성능이 다소 느릴 수 있다.매번 파일에서 데이터를 읽기 위해 파일 시스템과의 통신이 필요하기 때문에 CPU가 더 많은 작업을 한다. 이 과정에서 불필요한 오버헤드가 발생하여 CPU 사용량이 높아 질 수 있다.InputStream inputStream = new InputStream(file);BufferedInputStreamBufferedInputStream 은 내부 버퍼를 사용하여 파일을 읽어 올 때 한번에 여러 바이트를 읽어온다. 읽어온 버퍼를 통해 데이터를 제공하며 파일 시스템에 대한 I/O 호출을 줄일 수 있다.버퍼.. 2024. 11. 3. 이전 1 2 3 4 ··· 17 다음
