Hadoop平台中的MapReduce模型及优化
杨朝辉
康磊
1.西安石油大学计算机学院 陕西西安 7100652.西安石油大学计算机学院 陕西西安 710065
摘要：MapReduce是一种并行数据处理模型.本文讨论了MapReduce模型和其在Hadoop下的实现,研究了其在shuffle过程中可能出现的Reduce端数据倾斜和相关的解决方案.最后说明了在Hadoop下MapReduce的优化配置和使用.
关键词：MapReduceshuffle分区算法MapReduce优化
论文发表日期：2017-01-01
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：4( 82-85 )
英文信息