解决方法could only be replicated to 0 nodes, instead of 1

日期:2014-08-12 / 人气: / 来源:网络

解决方法could only be replicated to 0 nodes, instead of 1

    博客分类: 小记录~ 小心得~ hadoopreplicated to 0 nodes  开启hadoop的start-all.sh脚本后,执行例子,出现properties could only be replicated to 0 nodes, instead of 1 这样的异常,解决方案是:
    1、停止hadoop脚本:bin/stop-all.sh
    (在进行2、3步前,注意数据的备份)
    2、删除主节点和从节点上的hadoop根目录下的临时文件夹,比如$HADOOP_HOME/hadooptmp
    3、格式化namenode: hadoop namenode -format
    4、重新开启hadoop的start-all.sh脚本:bin/start-all.sh
    5、查看从节点下的datanode是否起来,没有的话重复2、3
    6、执行想要的jar包
    正常会出现:
    INFO input.FileInputFormat: Total input paths to process : 2
    INFO util.NativeCodeLoader: Loaded the native-hadoop library
    INFO mapred.JobClient: Running job: job_201303111150_0001
    INFO mapred.JobClient:  map 0% reduce 0%
    INFO mapred.JobClient:  map 100% reduce 0%
    INFO mapred.JobClient:  map 100% reduce 100%
    INFO mapred.JobClient: Job complete: job_201303111150_0001


Erasure Code为Hadoop节省数据恢复带宽

大约十年前,业界开始采用 Reed Solomon code对数据分发两份或三份,替代传统的RAID5或RAID6。由于采用了廉价的磁盘替代昂贵的存储阵列,所以这种方法非常经济。Reed Solomon code和XOR都是Erasure Code的分支。其中,XOR只允许丢失一块数据,而Reed Solomon code可以容

Hadoop实战,Erasure Code

作者:管理员




现在致电4006-2991-90 OR 查看更多联系方式 →

Go To Top 回顶部