加载中...

运维手册

  1. 【kafka运维】Kafka全网最全最详细运维手册!!!

  2. 【kafka运维】kafka-reassign-partitions.sh分区副本重分配、数据迁移、副本扩缩容 (附教学视频)

  3. Kafka Broker所有配置详解

  4. producer配置解析大全【连载中,关注石臻臻的杂货铺关注最新更新】

  5. consumer配置解析大全【连载中,关注石臻臻的杂货铺关注最新更新】

扫描二维码获取PDF : 备注 称呼-岗位-城市-PDF

在这里插入图片描述

Kafka文章

入门与使用

  1. Kafka入门与快速安装 【连载中,关注石臻臻的杂货铺关注最新更新】
  2. 编译 Kafka 源码并搭建源码环境
  3. SpringBoot整合Kafka 【连载中,关注石臻臻的杂货铺关注最新更新】
  4. Kafka的使用场景 【连载中,关注石臻臻的杂货铺关注最新更新】

Kafka Controller

  1. 创建Topic的源码解析
  2. 删除Topic源码解析(附教学视频)
  3. 分区扩容源码解析
  4. 分区副本的分配规则
  5. 分区副本重分配源码原理分析(附配套教学视频)
  6. 【kafka源码】/log_dir_event_notification的LogDir脱机事件通知
  7. 你想知道的所有关于Kafka Leader选举流程和选举策略都在这(内含12张高清图,建议收藏)
  8. Controller与Broker之间是如何通信的
  9. Controller启动过程以及选举流程源码分析 TODO…

Kafka 网络层

TODO…

Kafka服务端

  1. kafka在zookeeper中的存储结构大榄图

Broker上线

  1. Broker上线流程源码解析

  2. ISR伸缩机制

Broker下线

  1. Broker下线全流程源码解析
  2. Controller受控关机源码解析

副本同步机制

  1. 副本同步机制

副本同步限流机制

  1. 分区副本同步限流机制三部曲(源码篇)
  2. 多图图解分区副本同步限流三部曲-原理篇
  3. 分区副本同步限流三部曲-实战篇

动态配置

  1. Kafka中的动态配置源码分析

Kafka生产客户端

  1. 生产者消息生产的全流程解析
  2. 生产者消息分区分配策略
  3. 序列化机制
  4. 生产者常见问题
  5. 生产者生产环境实战case分析与解决方案
  6. 生产者限流机制

Kafka消费客户端

  1. 消费客户端 …
  2. 消费组的限流机制

日志管理

  1. logManager日志管理源码解析
  2. 过期Log清理机制
  3. Log数据存储
  4. Log文件夹的每个对应的文件作用
2.8.0 说明
  1. 抢先体验,kafka通过自我管理的仲裁来替代ZooKeeper(很快,Apache Kafka将不再需要ZooKeeper。)

  2. 增加集群描述API

  3. 在SASL_SSL监听器上支持彼此TLS认证

  4. JSON请求/响应的debug日志

  5. 限制broker连接创建率

  6. Topic识别

  7. 在Connect REST API中公开任务配置

  8. 更新 Streams FSM 以澄清ERROR状态的含义

  9. 扩展 StreamJoined 以允许更多的存储配置

  10. 更方便的TopologyTestDriver构造

  11. 引入 Kafka-Streams 专用的未捕获异常处理程序

  12. 启动和关闭Streams线程的API

  13. 改进 TimeWindowedDeserializer 和 TimeWindowedSerde 处理窗口大小

  14. 改善Kafka流中的超时和重试情况

2.8.0 说明
  1. TCP连接超时可配置和改善初始元数据的获取。

  2. 增强broker范围和每个listener的连接创建比率(KIP-612,第1部分)

  3. 限流创建topic、创建分区和删除topic操作。

  4. 将TRACE级别的端到端延迟指标添加到Streams。

  5. 添加broker端SCRAM配置API

  6. 支持PEM格式的SSL证书和私钥。

  7. 将RocksDB内存消耗添加到RocksDB指标中。

  8. 添加对聚合的滑动窗口支持

2.6.0 说明
  1. 默认情况下,已为Java11或更高版本启用TLS v1.3

  2. 性能显着提高,尤其是当broker具有大量分区时

  3. 顺利扩展Kafka Streams应用程序

  4. Kafka Streams`支持更改时发出

  5. 新指标可提供更好的运营洞察力

  6. 配置为进行连接时,Kafka Connect可以自动为源连接器创建topic

  7. 改进了Kafka Connect中接收器连接器的错误报告选项
    -Kafka Connect中的新过滤器和条件SMT

  8. client.dns.lookup配置的默认值现在是use_all_dns_ips

  9. Zookeeper升级到3.5.8

2.5.0 说明
  1. 支持 TLS 1.3(目前默认 1.2 版本)

  2. Kafka Streams引入Co-groups

  3. Kafka Consumer增量平衡机制(Incremental rebalance)

  4. 新指标可提供更好的运营监控

  5. 升级Zookeeper为3.5.7

  6. 不再支持Scala 2.11

2.4.0 说明
  1. 允许consumer从最近的副本中拉取。

  2. 支持对消费者重新平衡协议进行渐进式合作重新平衡。

  3. MirrorMaker 2.0 (MM2), 新的多集群,跨数据中心复制引擎。

  4. 新的Java认证接口。

  5. 支持KTable中的非key连接。

  6. 副本重新分配的Administrative API

2.3.0 说明
  1. Kafka Connect REST API的一些改进。

  2. Kafka Connect现在支持增量协作重新平衡。

  3. Kafka Streams现在支持内存session存储和window存储。

  4. AdminClient现在允许用户确定他们有权对topic执行哪些操作。

  5. 新的broker启动时间指标。

  6. JMXTool现在可以连接到安全的RMI端口。

  7. 增加了新的AlterConfigs API。旧的AlterConfigs API已被弃用。

  8. 追踪最小ISR计数下的分区。

  9. 消费者现在可以选择不自动topic创建,即使在broker上启用它也是一样。

  10. Kafka组件现在可以使用外部配置存储(KIP-421)。

  11. 我们在遇到错误时实现了改进的副本拉取程序行为。

视频

  1. B站-石臻臻的杂货铺
  2. 主要分享/短视频/面试相关/等等

面试集锦

  1. 博主正在火速编辑中……………. 亲耐心等待

问题合集

  1. 修改配置 offsets.topic.replication.factor之后重启Broker会影响现有副本吗?

    石臻臻正在火速编辑中,请耐心等待……

  2. 怎么进行分区迁移呢?

    请看这篇文章 –> 【kafka运维】kafka-reassign-partitions.sh分区副本重分配、数据迁移、副本扩缩容 (附教学视频)

  3. 【实战】数据重分区执行完成之后,忘记了执行-verify 将限流信息移除,后续如何才能移除限流信息呢?

    请看这篇文章 –> 分区副本同步限流三部曲-实战篇

  4. ack=-1,是min.Insync.replica数量的follower落盘成功就发ack还是全部的ISR中的follower都要落盘成功?

    ISR中的副本都要落盘成功, ack=-1就表示了所有都要同步成了, min.Insync.replica只是一个下限,表示ISR里面最少需要有多个个副本才能同步成详情请看:TODO…..

  5. topic切换新leader的时候会丢失数据吗?ack不是all的情况下,正常切换leader会丢失数据吗?在切换之前是否会等待数据完全同步成功到ISR里面的副本才会正常切换呢?

    .

  6. 一个Broker节点上的某块数据盘坏了,需要更换,有什么最佳实践吗?

    .

  7. 有遇到过topic过期时间,但是到了过期时间却没有正常删除的情况吗?

    . 请看Log删除源码分析。TODO.

  8. Kafka有个消费组堆积了.有什么好的解决方法吗?一直在重新平衡

    .

  9. 没有使用kafka迁移数据脚本,直接将日志文件复制到新的服务器上可行吗?

    .

问题集锦都来着滴滴技术答疑群搜集整理

「 如果你也有关于java、 kafka、es、flink、等等相关问题扫描下饭二维码进答疑群!」

TODO….


作者石臻臻,工作8年的互联网老兵,丰富的开发和管理经验,全网「 粉丝数4万 」,

先后从事 「 电商 」「 中间件 」「 大数据」 等工作

现在任职于「 滴滴技术专家 」岗位,从事开源建设工作

目前在维护 个人公众号「  石臻臻的杂货铺 」 ; 关注公众号会有「 日常送书活动 」;

欢迎进「 高质量 」 「 滴滴开源技术答疑群 」 , 群内每周技术专家轮流值班答疑

===============================可帮忙「 内推 」一二线大厂 ===============================


评论
avatar
石臻臻
滴滴kafka技术专家、LogiKM PMC 、Kafka Contributor、Nacos Contributor、CSDN博客专家、华为云享专家
Github
公告
博主就职于滴滴,从事开源建设工作 需要进滴滴开源技术交流群的同学 可以扫描下面二维码进群 Kafka技术视频
交个朋友
热心解答相关疑问!
watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA2MzQwNjY=,size_16,color_FFFFFF,t_70

石臻臻的杂货铺

Java/大数据/中间件/教学视频