[Chap 03] 카프카 기본 개념 설명 (3.4.2~ 3.5.1)

[travelbeeee]

[easyfordev]

이지

• 개념이 와르르 들어와서 그렇지, 읽으면서 질문..은 없는 것 같습니당
• 참고) Partition Strategy(파티셔닝 전략)
  • GlobalKTable을 써야하는 사례 설명하는 부분에서 , 'co-partitioning'개념 얘기하면서 나옴
    • 코파티셔닝이란? 조인하는 2개 데이터의 파티션 개수가 동일하고, 파티셔닝 전략(partitioning strategy)을 동일하게 맞추는 작업
  • Producer의 Partitioner를 커스텀하게 지정할 수 있게 하는 것과 , Consumer의 partition.assignment.strategy 옵션 중에 어떤걸 말하는지 헷갈렸는데... 스트림즈 애플리케이션을 위한 것임을 고려했을때 Consumer쪽에 가깝다고 생각했다.
  • Consumer가 어떤 토픽의 어떤 파티션을 할당받을지 정하는 여러가지 전략이 있음
  • https://newrelic.com/blog/best-practices/effective-strategies-kafka-topic-partitioning
  • https://velog.io/@hyun6ik/Apache-Kafka-Partition-Assignment-Strategy

[meloncha]

민석

• 카프카 스트림즈를 사용해야 하는 목적에 대해서 감을 못 잡았습니다. 이 부분 관련하여 잘 아시는 분이 계시면 설명 부탁드려요 ㅠ

[kihyun-yang]

기현

• auto.offset.reset?
  • 컨슈머 오프셋이 없는 경우 어느 오프셋부터 읽을지 선택하는 옵션
  • 컨슈머 오프셋이 없는 경우는 언제인지?
    • 리벨런싱 될때인가?
    • 컨슈머 그룹이 새로 추가될때
• 카프카 리벨런싱?
  • 관련 옵션
    • session.timeout.ms, heartbeat.interval.ms, max.poll.interval.ms
    • https://velog.io/@ryu_log/%EC%B9%B4%ED%94%84%EC%B9%B4-%EB%A6%AC%EB%B0%B8%EB%9F%B0%EC%8B%B1-%EA%B2%BD%EA%B3%A0-Warning-Consumer-group-is-rebalancing
  • 리벨런싱은 크게 컨슈머가 추가되는 상황과 제외되는 상황에 발생하는데, 특히 컨슈머가 제외되는 상황에서의 리벨런싱은 방지할 수 있다면 최대한 방지해야 하지 않을까? 방지가 안된다면 제외된 컨슈머를 빠르게 다시 정상화 시키는게 중요하지 않을까? 라는 생각.
    • 제외된 컨슈머로 인해 기존 컨슈머가 여러 파티션에 대한 소비를 담당하게 되면서 컨슈머 렉 증가 > 처리율 감소를 유발할 수 있으므로…

[KKambi]

Message Delivery Semantics

kafka message delivery semantics
kafka exactly once
블로그1
블로그2
대부분의 스트리밍 플랫폼은 at-least-once 보장.
카프카의 경우 exactly-once를 구현할 수 있으나 비용이 크다!

• at-most-once : 최선으로, 기껏해야, 최대 1번 처리할 것을 보장. 중복은 피할 수 있으나, 유실될 수도 있음.
• at-least-once : 최소 1번 처리할 것을 보장. 유실되진 않지만, 동일한 메세지가 중복으로 처리될 수 있음.
• exactly-once : 정확히 1번 처리할 것을 보장.

Producer Failure

• 메세지를 생성한 후, 네트워크를 통해 전송하기 전에 실패
• 메세지 전송 후, 브로커로부터 승인을 기다리는 동안 실패
• 메세지 전송 후, 브로커의 승인을 네트워크 문제로 전달받지 못함

Broker Failure

• 메세지 전송에 대한 승인 실패
• 오프셋 커밋을 전달받았으나 기록하지 못함

Message Persistence Issue

• 디스크에 write할 때 실패

Consumer Failure

• 오프셋 커밋 전달 실패
• 메세지를 받았으나 처리 실패

---

아래부턴 좀 더 조사하고 보강하겠음 ㅠㅠ 아직 제대로 이해가 안돼요

이 때 Producer / Consumer측의 Message Delivery Semantic을 따로 간주해야 이해하기 편하다.

• 프로듀서 측 : 어떤 원칙으로 메세지를 브로커에 전달할 것인가?
• 컨슈머 측 : 어떤 원칙으로 브로커로부터 메세지를 소비할 것인가?

프로듀서에선 다음과 같은 설정으로 해당 원칙을 달성할 수 있다.

• at-least-once : acks=all (프로듀서가 메세지 전송 후, 리더 파티션 & 팔로워 파티션 모두로부터 ack를 받아야 완료)
• exactly-once : acks=all & enable.idempotence = true (ProducerID를 메세지에 담아 보내서 중복체크 가능)

컨슈머에선 다음과 같은 설정으로 해당 원칙을 달성할 수 있다.