Apache Kafka terminology summary and Udemy promotion
```
아파치 카프카 단어정리 및 유데미 프로모션
일정: 11월 22일~11월 29일 & 12월 1일~12월 2일
```
이번 글을 통해 배워갈 내용
- 소개
- 아파치 카프카 필수 단어 정리
- 마무리
1. 소개
이 글은 아파치 카프카를 설치 실행 및 공부하고자 하는 분들을
위한 글입니다.
저를 먼저 소개하자면
저는 유데미 강의를 100개 이상 구매했으며,
63개는 현재 보관 중이고, 40개의 강의를 수강 완료했습니다.
아래 캡처 이미지는 제 개인 계정입니다.
유데미와 협력 중인 회사에 다니면서
현재는 회사 계정으로 강의를 수강하고 있습니다.
또한, 유데미에서 제 리뷰를 보고 강의 체험 요청을 받아,
기쁜 마음으로 강의를 시청하고 소정의 보상을 받으며
글을 작성하게 되었습니다.
유데미에서 프로모션도 진행중이여서 그 내용도 글 후반에 공유하고자합니다.
2. 아파치 카프카 필수 단어 정리
핵심 개념
1. 브로커 (Broker)
- 카프카 클러스터를 구성하는 서버로, 메시지를 저장하고 클라이언트의 요청을 처리합니다. 여러 브로커가 협력하여 데이터의 안정성과 확장성을 보장합니다.
2. 클러스터 (Cluster)
- 여러 브로커가 하나의 시스템처럼 동작하는 집합체입니다. 클러스터는 데이터의 분산 저장과 고가용성을 제공하여 대규모 데이터 처리를 가능하게 합니다.
3. 토픽 (Topic)
- 메시지가 저장되고 발행되는 카테고리나 채널의 이름입니다. 예를 들어, "로그"나 "트랜잭션"과 같은 주제로 데이터를 분류할 수 있습니다.
4. 파티션 (Partition)
- 토픽을 더 작은 단위로 나눈 것으로, 병렬 처리를 통해 성능을 향상시킵니다. 각 파티션은 독립적으로 데이터를 저장하고 처리할 수 있습니다.
5. 오프셋 (Offset)
- 파티션 내에서 각 메시지를 식별하는 고유한 번호입니다. 소비자는 오프셋을 기준으로 메시지를 읽고 처리합니다.
6. 프로듀서 (Producer)
- 카프카에 메시지를 보내는 애플리케이션이나 서비스입니다. 프로듀서는 특정 토픽에 데이터를 게시하여 다른 애플리케이션이 이를 소비할 수 있게 합니다.
7. 컨슈머 (Consumer)
- 카프카에서 메시지를 읽어들이는 애플리케이션이나 서비스입니다. 컨슈머는 특정 토픽에서 데이터를 구독하고 처리합니다.
8. 컨슈머 그룹 (Consumer Group)
- 여러 컨슈머가 협력하여 하나의 토픽에서 메시지를 읽는 그룹입니다. 이를 통해 부하 분산과 고가용성을 실현할 수 있습니다.
9. 레플리카 (Replica)
- 장애 대비를 위해 브로커에 저장된 파티션의 복사본입니다. 여러 레플리카가 존재하여 데이터 손실을 방지합니다.
10. 리더 (Leader)
- 파티션에 대한 모든 읽기 및 쓰기 요청을 처리하는 주요 레플리카입니다. 리더는 파티션의 상태를 관리하고 팔로워와 동기화합니다.
11. 팔로워 (Follower)
- 리더의 데이터를 복제하여 동기화 상태를 유지하는 레플리카입니다. 리더에 장애가 발생하면 팔로워가 새로운 리더로 전환됩니다.
----
주요 기능
12. 주키퍼 (Zookeeper)
- 카프카 브로커들을 조율하고 관리하는 서비스입니다. 클러스터 상태를 모니터링하고 메타데이터를 관리하지만, 최신 버전에서는 KRaft로 대체되고 있습니다.
13. 프로듀서 확인 (acks)
- 메시지가 얼마나 안전하게 저장되는지를 결정하는 설정입니다. 예를 들어, `acks=all`로 설정하면 모든 레플리카에 메시지가 기록될 때까지 기다립니다.
14. 보존 정책 (Retention Policy)
- 카프카가 메시지를 얼마나 오래 저장할지를 결정합니다. 시간 기반 또는 용량 기반으로 설정할 수 있어 필요에 따라 데이터 보존 기간을 조절할 수 있습니다.
15. 컴팩션 (Compaction)
- 동일한 키를 가진 메시지 중 최신 것만 남기고 이전 메시지를 삭제하는 과정입니다. 이를 통해 스토리지 효율성을 높이고 필요한 데이터만 유지할 수 있습니다.
16. 직렬화/역직렬화 (SerDe)
- 데이터를 바이트 스트림으로 변환하거나 원래 형태로 복원하는 과정입니다. 프로듀서와 컨슈머 간의 데이터 교환을 원활하게 합니다.
----
성능 및 모니터링
17. 처리량 (Throughput)
- 카프카가 일정 시간 내에 처리할 수 있는 데이터의 양을 나타냅니다. 높은 처리량은 시스템의 효율성과 성능을 의미합니다.
18. 지연 시간 (Latency)
- 메시지가 프로듀서에서 컨슈머로 전달되는 데 걸리는 시간입니다. 낮은 지연 시간은 실시간 데이터 처리를 가능하게 합니다.
19. 지연 (Lag)
- 최신 메시지와 컨슈머가 읽은 마지막 메시지 사이의 차이를 의미합니다. 지연이 크면 컨슈머가 뒤처지고 있음을 나타냅니다.
20. 브로커 메타데이터 (Broker Metadata)
- 브로커와 그 설정에 대한 정보를 포함합니다. 클러스터 상태, 토픽 정보, 파티션 분배 등을 관리합니다.
21. 재밸런싱 (Rebalancing)
- 컨슈머 그룹 내에서 파티션 할당을 다시 조정하는 과정입니다. 새로운 컨슈머가 추가되거나 제거될 때 자동으로 이루어집니다.
----
고급 개념
22. 스트림 API (Streams API)
- 카프카 내에서 실시간 데이터 처리를 가능하게 하는 라이브러리입니다. 데이터를 필터링, 집계, 변환하는 등 복잡한 스트림 처리를 지원합니다.
23. 커넥트 API (Connect API)
- 카프카와 외부 시스템(예: 데이터베이스, 파일 시스템)을 쉽게 연동하도록 도와주는 API입니다. 데이터 파이프라인을 손쉽게 구축할 수 있습니다.
24. 스키마 레지스트리 (Schema Registry)
- 카프카에서 사용하는 데이터 스키마를 중앙에서 관리하는 서비스입니다. 데이터의 구조를 정의하고 호환성을 유지하는 데 도움을 줍니다.
25. 카프카 커넥트 (Kafka Connect)
- 데이터 이동을 자동화하기 위한 프레임워크로, 플러그인을 통해 다양한 시스템과 연결됩니다. 소스와 싱크 커넥터를 이용해 데이터를 손쉽게 이동시킬 수 있습니다.
26. 데드 레터 큐 (DLQ)
- 처리에 실패한 메시지를 저장하는 특수한 토픽입니다. 오류가 발생한 메시지를 별도로 관리하여 시스템의 안정성을 높입니다.
27. 멱등 프로듀서 (Idempotent Producer)
- 중복된 메시지가 기록되지 않도록 보장하여 데이터 일관성을 유지하는 프로듀서입니다. 네트워크 오류 시 재시도해도 메시지가 중복되지 않습니다.
28. 정확히 한 번 처리 (Exactly Once Semantics, EOS)
- 메시지가 한 번만 처리되고 중복이나 손실이 없도록 보장하는 처리 방식입니다. 데이터의 정확성과 일관성을 유지합니다.
29. KRaft (Kafka Raft)
- 주키퍼를 대체하는 새로운 메타데이터 관리 시스템으로, 카프카 자체에 내장된 합의 알고리즘입니다. 클러스터 관리를 더욱 간소화하고 효율적으로 만듭니다.
3. 유데미 강의 리뷰
저는 아파치 카프카에 대한 실무 능력을 향상시키기 위해
【한글자막】 Apache Kafka 시리즈 – 초보자를 위한 아파치 카프카 강의를 수강했습니다.
유데미에서 11/22~11/29 & 12/1~12/2 프로모션 진행중이여서
12000원으로 할인한다고 하더라고요~
강의는 18개 섹션, 122개 강의, 8시간 30분 분량으로 구성되어 있으며,
Kafka의 기본부터 고급 주제까지 다룹니다.
주요 내용은 다음과 같습니다:
Kafka 설치 및 설정: Windows, Mac, Linux 환경
CLI 활용 및 Java 프로듀서/컨슈머 구현
Kafka Streams, Connect, Schema Registry 등 다양한 API 실습
실전 프로젝트: OpenSearch와 Wikimedia 데이터 활용
운영 관리: 보안, 클러스터 구성, 로그 관리
Kafka를 깊이 있게 배우고 실무에 적용할 있어서 좋았습니다.
지금 유데미 프로모션을 통해 할인된 가격에 수강하는 것도 좋다고 생각합니다
4. 마무리
카프카는 현대 소프트웨어 개발에서 꼭 알아야 할 핵심 개념입니다.
이 주제를 깊이 있게 배우고 싶다면, 온라인 교육 플랫폼 유데미(Udemy)를 추천드립니다.
유데미는 개발, 디자인, 마케팅, AI, 취미, 자기계발 등 25만 개 이상의 다양한 강의를 제공하며, 최신 기술과 트렌드에 맞춰 지속적으로 업데이트됩니다. 이를 통해 국내에서 접하기 어려운 전문적인 주제도 쉽게 학습할 수 있습니다.
유데미 강의는 구매 후 평생 소장 가능하여 특정 기간 내에 완료해야 하는 부담이 없고, 온라인 플랫폼이라 언제 어디서나 자유롭게 수강할 수 있습니다. 특히 해외 인기 강의는 한글 자막을 지원해 언어 장벽 없이 학습할 수 있습니다.
유데미의 다양한 강의를 통해 아파치 카프카에 대한 깊은 이해를 쌓아보세요. 이는 더 나은 개발자로 성장하는 데 큰 도움이 될 것입니다. :)
유데미에서 11/22~11/29 & 12/1~12/2 프로모션 진행중이여서
강의를 구매하러 한번 방문해보시는것도 추천드립니다
【한글자막】 Apache Kafka 시리즈 – 초보자를 위한 아파치 카프카 강의 신청하기
'기타 > 프로모션' 카테고리의 다른 글
| 아파치 카프카 윈도우에서 실행 방법 및 유데미 프로모션 (0) | 2024.11.27 |
|---|---|
| 아파치 카프카 유데미 강의 리뷰 와 프로모션 (0) | 2024.11.27 |
| 마이크로서비스 및 이벤트 중심 아키텍처 스터디 및 유데미 강의 리뷰 와 프로모션 (1) | 2024.11.22 |
| 마이크로서비스 및 이벤트 중심 아키텍처 단어정리 유데미 프로모션 (1) | 2024.11.22 |
