Data/Kafka

Broker, Replication, In-Sync Replica Broker, Replication, ISR(In-Sync Replica)은 kafka 운영에 있어 아주 중요한 역할을 한다. kafka 아키텍처의 핵심인 replication(복제)은 클러스터에서 서버에 장애가 생겼을 때 kafka의 가용성을 보장하는 가장 좋은 방법이다. Kafka Broker Kafka broker란 kafka가 설치되어 있는 서버 단위이다. 보통 3개 이상의 broker를 구성해 사용하는 것을 권장한다. Kafka Replication replication은 partition의 복제이다. replication : 1 → partition 1개만 존재 replication : 2 → 원본 partition 1개 + 복..

아파치 카프카 입문 강의를 보고 정리합니다. Topic 데이터가 들어가는 공간을 topic이라고 부른다. Kafka topic은 일반적인 AMQP(Advanced Message Queing Protocol)와는 다르게 동작한다. kafka에서는 topic을 여러개 생성할 수 있으며, DB의 테이블이나 파일 시스템의 폴더와 유사한 성질을 가진다. topic은 이름을 가질 수 있으므로 어떤 데이터를 담는지, 목적에 따라 명확하게 명시하면 추후 쉽게 유지보수가 가능하다. Topic 내부, Partition 하나의 topic은 여러개의 partition으로 구성될 수 있다. partition 번호는 0번부터 시작하며, queue와 같이 끝에서부터 데이터가 차곡차곡 쌓인다. 한 topic에 consumer가 붙게..

아파치 카프카 입문 강의를 보고 정리합니다. Before Kafka 데이터를 전송하는 Source Application과 데이터를 받는 Target Application이 존재하며, 초기에는 단방향 통신을 사용했다. 시간이 흐름에 따라 Source와 Target application이 많아지면서 데이터 전송 라인 또한 복잡해졌다. 데이터 전송 라인이 복잡해지면 배포, 장애에 대응하기 어려워진다. 또한 데이터를 전송할 때 프로토콜, 포맷의 파현화가 심해지며, 데이터 포맷 변경 사항이 있을 때 유지보수도 어려워진다. 이러한 문제들을 해결하기 위해 LinkedIn에서 Apache Kafka를 개발했고 현재는 오픈소스로 제공되고 있다. Kafka 주변 생태계 Kafka는 source와 target applica..