2021年2月27日
周四 晴
2021年2月26日
周三 晴
2021年2月25日
周二 晴
鼠年吉祥
鼠年吉祥
2020年01月17日-小年快乐
小年快乐
2020年01月08日
a78f0121370a7c499b98d3b76be39091c3c93f540a01a01948c97f911b480261328999b4c8fcbc0b7c8750d7143be5c1f4f5db4f7ed18527a464a0660d85be62c737b62b246de4a4f3f652f3cbc78491f4a7fe0e6b5219eca048d8742981bd72b4d444567b2b3778debda8d8022c4ac68a25ed1056930b2945a4e549e12be0271b33588f00b3afe6797feb77d9735309d7ad829d6888f3c193065a4e87bf25e34aa0301f2e36a969c801a39f8dac0451e432bff3920dc888ca30a16c6d62cf7e3aeea5f6b4ecf5cb34e392950c640675012988a549776119d2c8a4fee21ea54dc4e3c632257a92ec6dbbce777371865ad2bd278aca67536c9 ...
freemarker基本语法
freemarker Java 模板引擎
Spring学习(汇总)
Spring 是一个分层的 JavaSE/EEfull-stack(一站式) 轻量级开源框架。
2019双十二
躲过双十一,没有逃过双十二
Shuffle 机制
MapReduce的Shuffle机制概述
MapReduce 中,mapper 阶段处理的数据如何传递给 reducer 阶段,是 MapReduce 框架中 最关键的一个流程,这个流程就叫 Shuffle
Shuffle: 数据混洗 ——(核心机制:数据分区,排序,局部聚合,缓存,拉取,再合并 排序)
具体来说:就是将 MapTask 输出的处理结果数据,按照 Partitioner 组件制定的规则分发 给 ReduceTask,并在分发的过程中,对数据按 key 进行了分区和排序
主要流程
Shuffle 是 MapReduce 处理流程中的一个核心过程,它的每一个处理步骤是分散在各个 map task 和 reduce task 节点上完成的,整体来看,分为核心 3 个操作:
分区 partition(如果 reduceTask 只有一个或者没有,那么 partition 将不起作用。设置没设置都相当于没有)
Sort 根据 key 排序(MapReduce 编程中的 sort 是一定会做的,并且只能按照 key 排序, 当然如果没有 reducer 阶段,那么就不会对 ...