system-design2 [시스템디자인 4편] 카프카 무중단 전환 목차는 시스템 디자인 목차 에 있습니다. TIL 형식으로 정리했습니다. 나중에 보기 위한 용도로 간단하게 정리했습니다. [시스템디자인 4편] 카프카 무중단 전환 요약 기존 카프카에 생성된 메시지와 신규 카프카에서 생성된 메시지의 데이터를 비교 한 번에 바꾸는게 아니라 점진적으로 변경하는 방식으로 처리 ex) consumer 를 점진적으로 기존 → 신규 카프카로 교체 Transactional messaging 비즈니스 로직과 이벤트 발행이 원자적으로 함께 실행하는 것을 의미 구현 방법 2가지 Transactional outbox pattern 구현 방식에 Polling Publisher, Transaction Log Tailing 있음 Polling Publisher 은 테이블을 Polling 해서 메시지.. 2024. 3. 18. [시스템디자인 3편] 메시지큐에 이벤트가 대량으로 생성된 경우 목차는 시스템 디자인 목차 에 있습니다. 추후 내용을 더 정리할 예정입니다. 간단하게 정리했습니다. [시스템디자인 3편] 메시지큐에 이벤트가 대량으로 생성된 경우 Case 1. 메시지큐에 이벤트가 대량으로 생성된 경우 Kafka 의 파티션에 대량 이벤트가 생성이 됐다고 가정하겠습니다. 주기적으로 발생하는게 아니라 특정 시간에만 발생했다고 가정합니다. 메시지 이벤트는 MySQL, Redis 등 다양한 스토리지를 사용한다고 가정합니다. 메시지 이벤트가 너무 많이 생성 -> MySQL 부하 -> MySQL session 이 고갈 -> Application Thread 고갈 가정합니다. 메시지큐가 kafka 라고 한다면, 오프셋 랙(offset lag) 이 증가하며, consumer 서버 쪽의 gc, cpu 사.. 2024. 3. 9. 이전 1 다음
