多图解Kafka中的数据采集和统计机制
想理解限流机制之前 先理解一下采集和统计
分区副本同步限流机制三部曲(源码篇)
分区副本同步限流机制三部曲
在写了在写了,马上好...
大佬,我在奋笔疾书、快马加鞭的 写
不如先关注一下【石臻臻的杂货铺】收到一手推送
如何修改分区的指定副本为Leader|设计方案
修改优先副本,并且重选举就能实现么,还有哪些方案?
【实战】删除Topic失败常见异常和排查思路和解决方案
一次生产环境删除Topic失败异常的排查过程和解决方案
Kafka的灵魂伴侣Logi-KafkaManger(5)之运维管控–平台管理(用户管理和平台配置)
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
运维管控
运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的;
集群列表Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表
集群运维Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
平台管理
应用管理
管理 所有使用Kafka的应用, Topic的创建需要管理到对应的系统(哪个系统); 这里展示的是所有的应用;如果想看自己负责的应用;查看路径是 Topic管理 -> 应用管理
应用申请具有应用申请权限的用户可以申请新的应用 ; 然后由运维人员审批;申请的地方在 Topic管理 -> 应用管理 -> 应用申请应用负责人至少是两个
应用详情
展示一些应用基本信息, 其中AppId和 密钥 在Topic鉴权的时候会使用到 ...
Kafka的灵魂伴侣Logi-KafkaManger(4)之运维管控–集群运维(数据迁移和集群在线升级)
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
运维管控
运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的;
集群列表Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表
集群运维迁移任务
kafka的迁移场景, 一般有同集群数据迁移、跨集群数据迁移; 我们这里主要讲 同集群数据迁移;同集群之间数据迁移,比如在已有的集群中新增了一个Broker节点,此时需要将原来集群中已有的Topic的数据迁移部分到新的集群中,缓解集群压力。
在了解KM的迁移功能之前,我们先了解一下正常情况下是怎么做迁移的;
手动迁移过程实现分区重新分配工具可用于将一些Topic从当前的Broker节点中迁移到新添加的Broker中。这在扩展现有集群时通常很有用,因为将整个Topic移动到新的Broker变得更容易,而不是一次移动一个分区。当执行此操作时,用户需要提供已有 ...
Kafka的灵魂伴侣Logi-KafkaManger(3)之运维管控--集群列表
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
前面的文章简单介绍了如何接入集群,以及Topic的申请和配额申请,这个时候我们还不是很了解Logi-KafkaManager究竟有哪些优点,如何去管理众多的kafka集群;
今天这篇文章,我们就来详细的了解一下;
运维人员如何去了解和管控我们所有的集群
运维管控
运维管控这个菜单栏目下面主要是供运维人员来管理所有集群的;
接入集群Kafka的灵魂伴侣Logi-KafkaManger一之集群的接入及相关概念讲解
物理集群列表列出了所有物理集群,点击一个物理集群进去看详细信息;
如果没有信息请检查一下是否正确开启了JMX; ==> JMX-连接失败问题解决
集群概览.
实时流量 指标说明
因为我发送和消费过消息, 为了不让之前的数据干扰; 我们重新把Broker重启一下,Jmx的数据就会清0了; 历史数据清楚就去数 ...
Kafka的灵魂伴侣Logi-KafkaManger(2)之kafka针对Topic粒度的配额管理(限流)
kafka管控推荐使用 滴滴开源 的 Kafka运维管控平台 更符合国人的操作习惯 ,
更强大的管控能力 ,更高效的问题定位能力 、更便捷的集群运维能力 、更专业的资源治理 、 更友好的运维生态
本文主要是讲解 针对Topic生产/消费 的限流配置; 如果不需要设置限流 则可忽略;
申请配额(限流)
不了解kafak配额管理机制的可以先了解一下 kafka中的配额管理(限速)机制
默认创建完Topic之后是没有设置配额信息的,而且我们都知道Kafka的配额(限流)只支持三种粒度:
user + clientiduserclientid如果kafka集群没有开启身份认证,则只能使用clientid方式来进行限流。
但是KaFkaManager是可以支持到Topic粒度的; 假如你对kafka配额机制原理非常清楚的话,那么你就很容易理解KM是怎么实现的了: 一言以蔽之, clientid+topic组成一个单独的clientId
当你需要对Topic限流的时候 就需要做如下操作了;
研发/运维 选中Topic点击申请配额
运维人员 ...