kafka강의5 | 컨슈머 랙(Consumer Lag)이란?

아래의 내용 및 이미지는 [데브원영] 아카피 카프카 for begineers 강의 요약 및 추가 공부한 내용입니다.

---

컨슈머 랙이란?

운영 모니터링 지표 중 하나 

 

파티션에 데이터가 하나하나씩 들어가게 되면 각 데이터에 오프셋 이라는 숫자가 붙는다.

파티션이 한개인 토픽에 프로듀셔가 데이터를 넣을경우 0부터 숫자가 붙는다

그런데 프로듀셔가 데이터를 넣어주는 속도보다 컨슈머가 데이터를 가져가는 속도가 더 빠르다면? 

1.프로듀서가 넣은 데이터의 오프셋

2.컨슈머가 가져간 데이터의 오프셋

이 둘의 차이가 발생함!!! 이걸 컨슈머 랙

 

이 렉의 숫자를 통해 해당 토픽에 대한 프로듀셔와 컨슈머의 상태유츄 가능 (주로 컨슈머 상태)

 

토픽에 여러 파티션이 존재할 경우 lag도 여러개 존재할 수 있음

한개의 토픽와 컨슈머 그룹에 대한 lag이 여러개 존재할 떄, 그 중 높은 숫자의 lag을 records-lag-max

컨슈머가 성능이 안나오거나, 비정상 동작을 하게 되면 lag이 필연적으로 발생한다