多易 亿级在线实时动态规则运营系统(v1架构)

2023-02-19 15:07:34     来源:哔哩哔哩


【资料图】

磁盘数量

至少3个磁盘

log_dirs=/data1,/data2,/data3

磁盘类型

SSD 是固态硬盘,比机械硬盘要快, SSD的快主要是磁盘随机读写,比较贵kafka是顺序写,机械硬盘顺序写的性能比内存随机读写的性能要快,所以kafka集群使用机械硬盘也能满足

内存角度

kafka自身的jvm是用不了过多堆内存,kafka的零拷贝机制,kafka 的快速的主要原因是利用了内核缓冲区的OScache,这样设计是规避掉用jvm对象来保存数据,很多数据结构并不在jvm内部使用,而是在OSCache内部,所以kafka jvm配置5G 就够了

关键词: 数据结构 固态硬盘 主要原因

明星

电影