陈莉君的博客

弹性云计算平台CloudXY新人学习汇报

陈莉君 2011年12月26日星期一 10:25 | 7810次浏览 | 3条评论

在cloudxy邮件列表中，有一位新成员bin yin发来如下邮件：

诸位，我很幸运的发现了CloudXY，对它简单了解后突然激动起来，感觉昏暗混沌的生活猛的被一缕阳光刺中，我预感到一个新纪元将要来临。

于是告诉自己应该去为之做些什么，去追求开源带来的快乐，到技术的前沿摘取硕果，提高自己的同时奉献社区。

于是12月14日我联系康哥，请求参与到CloudXY中，并订阅了邮件。云技术对我来说属于阳春白雪，于是康哥让我先了解hadoop，学习过程中也得到了康哥和贾威威的热心帮助，非常感谢。

这一段时间内，通过邮件，我看到了大家用自己的激情为CloudXY注入生命，感受到了开源项目的活力，改变了自己的一些偏见，我发现自己遇到了一个充满激情的团队。

CloudXY的开发意义非凡，目标明确，技术路线清晰。我愿加倍努力，深入学习，争取早日加入大家的开发行列，为开源世界贡献自己微薄的力量。

-------------------------------------------------------------------------------------

最近学习hadoop做了以下工作：

（1）查阅hadoop相关资料，对hadoop管理数据的基本原理、优势、与关系数据库的区别等基础有所了解。知道了hdfs，mapReduce，Hive，ZooKeeper的作用。

（2）在VM的ubuntu下安装配置了hadoop，解决了报错的各种问题，最终能运行简单的hadoop命令（ls, rm, mkdir等）但是，运行copyFromLocal命令时，依然会报出那个经典的错“could only be replicated to 0 nodes, instead of 1”，所谓经典，就是网上一搜一大堆解决方法，但都没能解决问题。搜索，尝试了以下多种方法，但都未能解决该问题：

(1)解决办法是分别启动节点 $hadoop-daemon.sh start namenode

$hadoop-daemon.sh start datanode

(2)这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracker和tasktracker。这样就不会存在这个问题了

(3)关防火墙

(4)关闭datanode安全模式： hadoop dfsadmin -safemode leave

(5)datanode硬盘空间不够用 #df -hl

(6)删除/tmp/dfs/data/中的所有内容，重启

(7)这个问题是由于没有添加节点的原因，也就是说需要先启动namenode，再启动datanode，然后启动jobtracker和tasktracker

(8)格式化，启动

-------------------------------------------------------------------------------------

接下来我会继续学习hadoop，计划先学习它的使用，再学习基于hadoop的程序开发。我目前在VM的ubuntu下安装hadoop，感觉分布式开发环境这样搭建可能会有问题，大家有好的开发学习方法请告之。还有上面的那个错误，希望能不吝赐教。