Hadoop 使用 MapReduce 排序 思绪_oracle有数据文件如何
日期:2014-04-04 / 人气: / 来源:网络
本文主要讲对key的排序,主要利用Hadoop的机制进行排序。
1、Partition
partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。
2、思路
由于每个partition内部是有序的,所以只要保证各partition间有序,即可保证全部有序。
3、问题
有了思路,如何定义partition的边界,这是个问题。
解决办法:hadoop提供了一个采样器帮我们预估整个边界,以使数据的分配尽量平均。
Hadoop连载系列之五:Hadoop命令行详解
1 Hadoop fs--------------------------------------------------------------------------------该hadoop子命令集执行的根目录是/home目录,本机上为/user
Hadoop实战
作者:管理员
推荐内容 Recommended
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19
相关内容 Related
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19