kafka指定副本为Leader的3种方法
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
哈喽~大家好啊,我是彦祖😋
之前,我写过一篇文章叫做 Kafka如何修改分区Leader
就是因为在我们实际的运维过程中,需要指定某个副本为ISR,但是呢 Kafka中的Leader选举策略并不支持这个功能,所以需要我们自己来实现它。关于Leader选举策略,你可以看这篇文章Leader选举流程和4种选举策略
但是我们在之前的文章中,是留下了一个小尾巴-优化与改进。
我们先简单的回顾一下之前的2种方案
方案一: 分区副本重分配 (低成本方案)之前关于分区副本重分配 我已经写过很多文章了, 这里我就简单说一下;
一般分区副本重分配主要有三个流程
生成推荐的迁移Json文件
执行迁移Json文件
验证迁移流程是否完成
这里我们主要看第2步骤, 来看看迁移文件一般是什么样子的
12345678{ "version" ...
编译 Kafka 源码并搭建源码环境
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
搭建源码环境可以看这篇文章:编译 Kafka 源码并搭建源码环境
上面有个地方注意,启动的时候,可以传入VM参数来指定 kafka.log.dir 路径(存放各种日志的路径)
1-Dkafka.logs.dir=/Users/shirenchuang/work/IdeaPj/open_source/kafka/logs
按照上面的方法搭建并成功启动了Kafka, 那么当我们想要启动集群怎么办呢?
IDEA同时启动多个Kafka
配置多个server.properties, 例如server1.properties、server2.properties、server3.properties
修改不同server.properties的配置注意以下几个配置不要重复了##不同的idbroker.id=0
##不同的端口listeners ...
kafka生产环境磁盘坏掉了的正确处理姿势,建议收藏以备不时之需
kafka生产环境磁盘坏掉了的正确处理姿势,建议收藏以备不时之需
ISR伸缩机制
ISR什么时候伸展 ISR什么时候缩小 ISR传播机制又是什么?
acks和min.insync.replicas配置详解和数据丢失场景的一次讨论
acks和min.insync.replicas配置详解以及一些误区和数据丢失的场景
分区副本同步限流机制源码解析和测试用例解析
分区副本同步限流机制源码解析和测试用例解析
Kafka Broker所有配置详解
Kafka Broker所有配置详解
多图图解分区副本同步限流三部曲-原理篇
多图图解分区副本同步限流三部曲-原理篇
分区副本同步限流三部曲-实战篇
忘记删除限流设置该怎么办!!!