运维手册
【kafka运维】kafka-reassign-partitions.sh分区副本重分配、数据迁移、副本扩缩容 (附教学视频)
producer配置解析大全【连载中,关注石臻臻的杂货铺关注最新更新】
consumer配置解析大全【连载中,关注石臻臻的杂货铺关注最新更新】
Kafka文章
入门与使用
- Kafka入门与快速安装 【连载中,关注石臻臻的杂货铺关注最新更新】
- 编译 Kafka 源码并搭建源码环境
- SpringBoot整合Kafka 【连载中,关注石臻臻的杂货铺关注最新更新】
- Kafka的使用场景 【连载中,关注石臻臻的杂货铺关注最新更新】
Kafka Controller
- 创建Topic的源码解析
- 删除Topic源码解析(附教学视频)
- 分区扩容源码解析
- 分区副本的分配规则
- 分区副本重分配源码原理分析(附配套教学视频)
- 【kafka源码】/log_dir_event_notification的LogDir脱机事件通知
- 你想知道的所有关于Kafka Leader选举流程和选举策略都在这(内含12张高清图,建议收藏)
- Controller与Broker之间是如何通信的
- Controller启动过程以及选举流程源码分析 TODO…
Kafka 网络层
TODO…
Kafka服务端
Broker上线
Broker上线流程源码解析
Broker下线
- Broker下线全流程源码解析
- Controller受控关机源码解析
副本同步机制
- 副本同步机制
副本同步限流机制
动态配置
Kafka生产客户端
- 生产者消息生产的全流程解析
- 生产者消息分区分配策略
- 序列化机制
- 生产者常见问题
- 生产者生产环境实战case分析与解决方案
- 生产者限流机制
Kafka消费客户端
- 消费客户端 …
- 消费组的限流机制
日志管理
- logManager日志管理源码解析
- 过期Log清理机制
- Log数据存储
- Log文件夹的每个对应的文件作用
视频
面试集锦
问题合集
修改配置
offsets.topic.replication.factor
之后重启Broker会影响现有副本吗?怎么进行分区迁移呢?
请看这篇文章 –> 【kafka运维】kafka-reassign-partitions.sh分区副本重分配、数据迁移、副本扩缩容 (附教学视频)
【实战】数据重分区执行完成之后,忘记了执行-verify 将限流信息移除,后续如何才能移除限流信息呢?
请看这篇文章 –> 分区副本同步限流三部曲-实战篇
ack=-1,是min.Insync.replica数量的follower落盘成功就发ack还是全部的ISR中的follower都要落盘成功?
ISR中的副本都要落盘成功, ack=-1就表示了所有都要同步成了, min.Insync.replica只是一个下限,表示ISR里面最少需要有多个个副本才能同步成详情请看:TODO…..
topic切换新leader的时候会丢失数据吗?ack不是all的情况下,正常切换leader会丢失数据吗?在切换之前是否会等待数据完全同步成功到ISR里面的副本才会正常切换呢?
.
一个Broker节点上的某块数据盘坏了,需要更换,有什么最佳实践吗?
.
有遇到过topic过期时间,但是到了过期时间却没有正常删除的情况吗?
. 请看Log删除源码分析。TODO.
Kafka有个消费组堆积了.有什么好的解决方法吗?一直在重新平衡
.
没有使用kafka迁移数据脚本,直接将日志文件复制到新的服务器上可行吗?
.
问题集锦都来着滴滴技术答疑群搜集整理
「 如果你也有关于java、 kafka、es、flink、等等相关问题扫描下饭二维码进答疑群!」
TODO….
作者石臻臻,工作8年的互联网老兵,丰富的开发和管理经验,全网「 粉丝数4万 」,
先后从事 「 电商 」、「 中间件 」、「 大数据」 等工作
现在任职于「 滴滴技术专家 」岗位,从事开源建设工作
目前在维护 个人公众号「 石臻臻的杂货铺 」 ; 关注公众号会有「 日常送书活动 」;
欢迎进「 高质量 」 「 滴滴开源技术答疑群 」 , 群内每周技术专家轮流值班答疑
===============================可帮忙「 内推 」一二线大厂 ===============================