上一题下一题

Kafka 日志保留策略、消费者组 offset 保留周期与消息可重放能力之间存在怎样的约束?

进阶版
来源:bytedance高级工程师Kafka日志保留策略重复消费与消息丢失消费进度偏差Kafka Offset提交机制
草稿该题目为草稿状态,前台公开题库中不可见。
答案解析

Kafka 的消息保留和消费者组 offset 保留是两套独立机制,消息能否重放取决于消息还在不在,以及消费者能否定位到合适的 offset。

消息保留策略 由 topic 的 retention.ms、retention.bytes 等配置控制。消息超出保留时间或空间限制后会被清理,消费者无法再从 Kafka 读取这些记录。 消费者组 offset 保留周期 由 broker 的 offsets.retention.minutes 控制。消费者组长时间没有活跃成员或提交进度时,已提交的位点可能过期;offset 过期本身不会删除 topic 消息,但消费者会失去原来的消费位置。 重放需要同时满足条件 :目标消息仍在日志中,并且消费者能选择到覆盖这些消息的位点。若 offset 仍有效,可以重置或 seek 到更早的位点;若 offset 已过期,则需要通过 auto.offset.reset、时间戳查询或手动指定位点重新定位。earliest 也只能回到当前仍保留的最早位点,不能恢复已清理的消息;latest 则可能跳过仍保留的

登录后查看完整内容