欢迎来到科普经验站!
>
Kafka速度快的原因为:
1、partition 并行处理,写入数据的时候由于单个Partion是末尾添加所以速度最优。
2、顺序写入,磁盘顺序读写速度超过内存随机读写,充分利用磁盘特性。
3、批量压缩文件,利用了现代操作系统分页存储 Page Cache 来利用内存提高 I/O 效率。
4、通过mmap实现顺序的快速写入,提高I/O速度。
5、读取数据时采用 sendfile,减少 CPU 消耗。
图文推荐
相关文章