天道酬勤,学无止境

mapPartition

[源码解析]为什么mapPartition比map更高效

自从函数式编程和响应式编程逐渐进入到程序员的生活之后,map函数作为其中一个重要算子也为大家所熟知,无论是前端web开发,手机开发还是后端服务器开发,都很难逃过它的手心。而在大数据领域中又往往可以见到另外一个算子mapPartition的身影。在性能调优中,经常会被建议尽量用 mappartition 操作去替代 map 操作。本文将从Flink源码和示例入手,为大家解析为什么mapPartition比map更高效。[源码解析]为什么mapPartition比map更高效目录[源码解析]为什么mapPartition比map更高效4.1 Driver4.2 MapDriver4.3 MapPartitionDriver4.4 效率区别3.1 传输机制概述3.2 远程通信3.3 TaskManager进程内传输3.4 源码分析1.1 map1.2 mapPartition1.3 异同0x00 摘要0x01 map vs mapPartition0x02 代码0x03 Flink的传输机制0x04 runtime0x05 优化和ChainedMapDriver0x06 总结0x07 参考0x00 摘要自从函数式编程和响应式编程逐渐进入到程序员的生活之后,map函数作为其中一个重要算子也为大家所熟知,无论是前端web开发,手机开发还是后端服务器开发,都很难逃过它的手心

2021-05-18 16:42:46    分类:博客    mapPartition   源码解析