解决方法could only be replicated to 0 nodes, instead of 1
日期:2014-08-12 / 人气: / 来源:网络
解决方法could only be replicated to 0 nodes, instead of 1
-
博客分类: 小记录~ 小心得~ hadoopreplicated to 0 nodes 开启hadoop的start-all.sh脚本后,执行例子,出现properties could only be replicated to 0 nodes, instead of 1 这样的异常,解决方案是:
1、停止hadoop脚本:bin/stop-all.sh
(在进行2、3步前,注意数据的备份)
2、删除主节点和从节点上的hadoop根目录下的临时文件夹,比如$HADOOP_HOME/hadooptmp
3、格式化namenode: hadoop namenode -format
4、重新开启hadoop的start-all.sh脚本:bin/start-all.sh
5、查看从节点下的datanode是否起来,没有的话重复2、3
6、执行想要的jar包
正常会出现:
INFO input.FileInputFormat: Total input paths to process : 2
INFO util.NativeCodeLoader: Loaded the native-hadoop library
INFO mapred.JobClient: Running job: job_201303111150_0001
INFO mapred.JobClient: map 0% reduce 0%
INFO mapred.JobClient: map 100% reduce 0%
INFO mapred.JobClient: map 100% reduce 100%
INFO mapred.JobClient: Job complete: job_201303111150_0001
Erasure Code为Hadoop节省数据恢复带宽
大约十年前,业界开始采用 Reed Solomon code对数据分发两份或三份,替代传统的RAID5或RAID6。由于采用了廉价的磁盘替代昂贵的存储阵列,所以这种方法非常经济。Reed Solomon code和XOR都是Erasure Code的分支。其中,XOR只允许丢失一块数据,而Reed Solomon code可以容
Hadoop实战,Erasure Code
作者:管理员
推荐内容 Recommended
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19
相关内容 Related
- 江苏飞浩信息科技期待您的加入07-20
- 江苏飞浩科技欢迎您07-19