Downloaded 91 times
Uploaded byOracle Korea
[Main Session] 카프카, 데이터 플랫폼의 최강자
오늘날 빅데이터 분석, 처리부터 모든 개발 플랫폼을 연결해주는 카프카의 등장 배경과 의미를 살펴보고, 실무에서 적용한 경험을 바탕으로 적절한 카프카 사용 사례를 정비해 보겠습니다. 또한 카프카의 내부 구동 방식에 대하여 소개하는 시간을 갖겠습니다. 마지막으로 실무에서 카프카를 운영하면서 경험한 구성, 운영 및 모니터링 등 경험을 공유하는 시간입니다. (by. 카카오 고승범) * 본 세션은 “입문자/초급자/중급자” 분들께 두루 적합한 세션입니다.
More Related Content
Similar to [Main Session] 카프카, 데이터 플랫폼의 최강자
![[오픈소스컨설팅]Kafka message system 맛보기](https://cdn.slidesharecdn.com/ss_thumbnails/kafkamessagesystem-180730044904-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
![[월간 슬라이드] 단기완성 Apache kafka](https://cdn.slidesharecdn.com/ss_thumbnails/monthlyslideapachekafka-190302052656-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
![[ 2021 AI + X 여름 캠프 ] 2. 장비 상호 연결 kafka를 이용한 매체 전송](https://cdn.slidesharecdn.com/ss_thumbnails/2-210731153335-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
![[Demo session] 관리형 Kafka 서비스 - Oracle Event Hub Service](https://cdn.slidesharecdn.com/ss_thumbnails/oraclouddevmeetupeventhubpublic-180521084803-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
![[Hands-on] CQRS(Command Query Responsibility Segregation) 와 Event Sourcing 패턴 실습](https://cdn.slidesharecdn.com/ss_thumbnails/cqrsesv201804221730publish-180422082848-180423040836-thumbnail.jpg?width=600ounds&width=560&fit=bounds)
[Main Session] 카프카, 데이터 플랫폼의 최강자
- 1. 실시간 비동기 스트리밍솔루션 KAFKA의 기본부터 확장 응용까지 KAFKA
- 2. - 카카오 인프라팀소속 - 페이스북 KAFKA 한국 사용자 그룹 개설자 (facebook.com/groups/kafkakorea/) - <카프카, 데이터 플랫폼의 최강자> 저자 예스24 IT 분야 1위 (이틀..;) - Popit.kr 저자, 개인 브런치 운영 중 고승범(일명 피터)
- 3. ▸ KAFKA와 첫만남 ▸ KAFKA란? ▸ Use Cases ▸ Producer ▸ Consumer ▸ Operational Tips 오늘 나눌 이야기
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10. 출처: confluent blog ▸High Throughput ▸ 실시간 로그 통합 ▸ 무중단(장비의 장애) ▸ 이기종과의 호환성 ▸ 간단한 스케일 아웃 ▸ 프로듀서와 컨슈머 역할 분리
- 11.
- 12.
- 13. 출처: confluent blog 약1조의 메시지 처리
- 14.
- 16. KAFKA Cluster broker 1broker 2 broker 3
- 17. KAFKA Cluster broker 1broker 2 broker 3 peter-topic
- 18. KAFKA Cluster broker 1broker 2 broker 3 peter-topic partition0
- 19. A B CD E offset 0 offset 1 offset 2 partition 0
- 20. 오프셋 < 파티션< 토픽 < 브로커 < 카프카 클러스터
- 21.
- 22. MicroService Architecture RabbitMQ Log System Real Time,Flexible, Scalability
- 23. 로그를 통합하고 싶어요 CS때문에각 서버에서 GREP 하고 있어요
- 24. Service A-1 MicroService Architecture Service A-2 ServiceA-4 Service A-5 Service A-3 Service A-6 Service A-7
- 25. Service A-1 Service A-2 ServiceA-3 Action Metric Nginx Analysis 추가 API 개발 및 배포
- 26. Service A-1 Service A-2 ServiceA-3 Action Metric Nginx 관리 어려움 Analysis
- 27. Service A-1 Service A-2 ServiceA-3 Action Metric Nginx 백앤드 시스템의 장애 Analysis
- 28. 다 해결할 수있어요!!
- 29. Service A-1 Service A-2 ServiceA-3 Action Metric NginxKAFKA Analysis RealTime
- 30. Service A-1 Service A-2 ServiceA-3 Action Metric NginxKAFKA Flexible Analysis
- 31. Service A-1 Service A-2 ServiceA-3 Action Metric NginxKAFKA Flexible Analysis
- 32. Service A-1 Service A-2 ServiceA-3 Action Metric NginxKAFKA Flexible Analysis
- 33. Service A-1 Service A-2 ServiceA-3 Action Metric NginxKAFKA Scalability Analysis
- 34.
- 35.
- 36. 망설이지 말고 카프카써보세요!!
- 37.
- 38. ▸ ACKS =0 ▸ 매우 빠르게 전송할 수 있지만, 파티션의 리더가 받았는지는 알 수 없음. ▸ ACKS = 1 (Strongly Recommend) ▸ 메시지 전송도 빠른 편이고, 파티션의 리더가 받았는지 확인 ▸ 가장 많이 사용되고, 대부분 기본값으로 설정 ▸ ACKS = ALL ▸ 메시지 전송은 느리지만, 손실 없는 메시지 전송 가능 Producer ACKS
- 39.
- 42.
- 43.
- 44.
- 45. 하나의 파티션에는 하나의컨슈머만 가능
- 46. 하나의 파티션에는 하나의컨슈머만 가능
- 47. 하나의 파티션에는 하나의컨슈머만 가능
- 48. 하나의 파티션에는 하나의컨슈머만 가능
- 49. 컨슈머 그룹은 그룹내에서정보를 공유
- 50. 카프카는 메시지를 기본값으로7일간 보관
- 51. 컨슈머 그룹을 이용한멀티 컨슈머
- 52.
- 53.
- 54.
- 56.
- 57.
- 58. ▸ Yahoo ▸ 클러스터관리 ▸ 토픽, 오프셋, 브로커, 파티션 정보 확인 ▸ https://github.com/yahoo/kafka-manager#kafka- manager Kafka Manager
- 60.
- 62. TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG peter-topic 0 2 4 2 peter-topic 1 2 3 1 peter-topic 2 2 3 1
- 63. TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG peter-topic 0 2 4 2 peter-topic 1 2 3 1 peter-topic 2 2 3 1 4 - 2 = 2
- 64. Burrow ▸ Kafka ConsumerLag Checking ▸ HTTP ▸ Go ▸ https://github.com/linkedin/Burrow
- 65.
- 66.
- 67.
- 68.
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.