Kafka 实际生产集群配置和记录

Kafka 实际生产集群配置和记录

• 三台机器配置：16核48G 2TB SSD 千兆网卡
• 早高峰流量约为空闲期的3-5倍
• 规则类消息体积较大，为200-300kb，占用总量的1/10左右
• KAFKA JVM配置10GB
• Kafka集群实际承担了每天约12-15亿左右的消息
• Topic总是建议三个分区两个副本
• KVM虚拟机更方便维护、管理、Kafka后续的无宕机迁移
• KAFKA on KVM关掉一个节点，关机很方便迁移。
• 务必先关闭kafka， 然后在关闭zookeeper，然后 kvm关机
• 如何锁定分区？ 指定key，将hash固定一个分区，有时序性
• 不要乱动page cache，没什么卵用，不如SSD或PCI-E SSD更有用

Kafka 实际生产集群配置和记录 mark 2024 。