当前位置:首页 > 数据库系统原理(04735) > 正文内容

简述MapReduce的执行过程。

高老师2年前 (2024-03-26)数据库系统原理(04735)15

简述MapReduce的执行过程。

答:首先,对输入的数据源进行分块,交给多个Map任务去执行,Map任务执行Map函数,根据某种规则对数据分类,写入本地硬盘;然后,进入Reduce阶段,在该阶段由Reduce函数将Map阶段具有相同Key值的中间结果收集到相同的Reduce节点进行合并处理,并将结果写入本地磁盘。程序的最终结果可以通过合并所有Reduce任务的输出得到。其中,Map函数和Reduce函数是用户根据应用的具体需求进行编写。P187

扫描二维码免费使用微信小程序搜题/刷题/查看解析。

版权声明:本文由翰林刷题小程序授权发布,如需转载请注明出处。

本文链接:https://doc.20230611.cn/post/233943.html

分享给朋友: