首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 后端 > 正文

hadoop安装手册

作者：changmao三顾茅庐 | 来源：互联网 | 2023-09-25 10:01
1：首先下载hadoop安装介质地址：http:mirrors.cnnic.cnapachehadoopcommonhadoop-2.4.12ÿ

1&＃xff1a;首先下载hadoop安装介质

地址&＃xff1a;http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.4.1/

tar: hadoop-2.4.1/share/doc/hadoop/hadoop-streaming/images/apache-maven-project-2.png: Cannot open: No such file or directory  


整了半天也不知道是啥原因&＃xff0c;因为文件是一样&＃xff0c;命令是一样&＃xff0c;为什么在前两台上正常执行&＃xff0c;在第三台却会报错呢

试了半天不知道啥原因&＃xff0c;于是分开执行试下

gunzip aa.tar.gz
tar xvf aa.tar--


[plain] view plain copy
  1. [root&＃64;localhost Hadoop_install_need]# gunzip hadoop-2.4.1.tar.gz   
  2.   
  3. gzip: hadoop-2.4.1.tar: No space left on device  

原来如此&＃xff0c;磁盘空间不足&＃xff0c;df看下

[plain] view plain copy
  1. [root&＃64;localhost Hadoop_install_need]# df -h  
  2. Filesystem            Size  Used Avail Use% Mounted on  
  3. /dev/sda2             3.9G  3.9G     0 100% /  
  4. tmpfs                 495M   72K  495M   1% /dev/shm  
  5. /dev/sda1             985M   40M  895M   5% /boot  
  6. /dev/sda5             8.1G  147M  7.5G   2% /hadoop  

法克鱿呀

当时没规划好空间&＃xff0c;现在跟分区不够了&＃xff0c;咋办呀&＃xff01;&＃xff01;&＃xff01;




---为了解决上面的问题&＃xff0c;出现了一点小状况&＃xff0c;将三个虚拟机重新安装了一遍&＃xff0c;配置还是跟以前一样&＃xff0c;只不过这次全部选择最小化安装了

现在的进度是jdk安装好了&＃xff0c;hadoop解压到了/hd/hdinstall下面&＃xff0c;接着往下吧

9&＃xff1a;关闭防火墙
service iptables stop




10:开始安装hadoop2.4.1
前面讲的是一些基础设施的搭建&＃xff0c;现在开始正式学习hadoop的安装

首先解压


[plain] view plain copy
  1. [root&＃64;hd1 hdsoft]# tar -zxvf hadoop-2.4.1.tar.gz   

复制到



[plain] view plain copy
  1. [root&＃64;hd1 hdinstall]# pwd  
  2. /hd/hdinstall  
  3. [root&＃64;hd1 hdinstall]# ll  
  4. total 8  
  5. drwxr-xr-x. 10 67974 users 4096 Jul 21 04:45 hadoop-2.4.1  
  6. drwxr-xr-x.  8 uucp    143 4096 May  8 04:50 jdk1.7  
  7. [root&＃64;hd1 hdinstall]#   

配置之前&＃xff0c;需要在hd0本地文件系统创建以下文件夹&＃xff1a;

/root/dfs/name

/root/dfs/data

/root/tmp


修改配置文件--7个



[plain] view plain copy
  1. ~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh  
  2.   
  3. ~/hadoop-2.2.0/etc/hadoop/yarn-env.sh  
  4.   
  5. ~/hadoop-2.2.0/etc/hadoop/slaves  
  6.   
  7. ~/hadoop-2.2.0/etc/hadoop/core-site.xml  
  8.   
  9. ~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml  
  10.   
  11. ~/hadoop-2.2.0/etc/hadoop/mapred-site.xml  
  12.   
  13. ~/hadoop-2.2.0/etc/hadoop/yarn-site.xml  
  14.   
  15. 以上个别文件默认不存在的&＃xff0c;可以复制相应的template文件获得。  

改成如下

配置文件1&＃xff1a;hadoop-env.sh

修改JAVA_HOME值&＃xff08;export JAVA_HOME&＃61;/hd/hdinstall/jdk1.7&＃xff09;

配置文件2&＃xff1a;yarn-env.sh

修改JAVA_HOME值&＃xff08;export JAVA_HOME&＃61;/hd/hdinstall/jdk1.7&＃xff09;

配置文件3&＃xff1a;slaves &＃xff08;这个文件里面保存所有slave节点&＃xff09;

[plain] view plain copy
  1. [root&＃64;hd1 hadoop]#  more slaves   
  2. hd1  
  3. hd2  
  4. [root&＃64;hd1 hadoop]#   
配置文件4&＃xff1a;core-site.xml

[plain] view plain copy
  1. [root&＃64;hd1 hadoop]# more core-site.xml   
  2.   
  3.   
  4.   
  5.   
  6.   
  7.   
  8.   
  9.    
  10.   
  11.                                 fs.defaultFS  
  12.   
  13.                                 hdfs://hd0:9000  
  14.   
  15.                   
  16.   
  17.          
  18.   
  19.                                 io.file.buffer.size  
  20.   
  21.                                 131072  
  22.   
  23.                   
  24.   
  25.          
  26.   
  27.                                 hadoop.tmp.dir  
  28.   
  29.                                 file:/root/tmp  
  30.   
  31.                                 Abase for other temporary directories.  
  32.   
  33.                   
  34.   
  35.           
  36.   
  37.                hadoop.proxyuser.hduser.hosts  
  38.   
  39.                *  
  40.   
  41.          
  42.   
  43.                    
  44.   
  45.                hadoop.proxyuser.hduser.groups  
  46.   
  47.                *  
  48.   
  49.          
  50.   
  51. [root&＃64;hd1 hadoop]#   

配置文件5&＃xff1a;hdfs-site.xml

[plain] view plain copy
  1. [root&＃64;hd1 hadoop]# more hdfs-site.xml   
  2.   
  3.   
  4.   
  5.   
  6.   
  7.   
  8.   
  9.   
  10.    
  11.   
  12.                 dfs.namenode.secondary.http-address  
  13.   
  14.                hd0:9001  
  15.   
  16.           
  17.   
  18.            
  19.   
  20.                   dfs.namenode.name.dir  
  21.   
  22.                  file:/root/dfs/name  
  23.   
  24.               
  25.   
  26.              
  27.   
  28.                     dfs.datanode.data.dir  
  29.   
  30.                     file:/root/dfs/data  
  31.   
  32.               
  33.   
  34.               
  35.   
  36.                      dfs.replication  
  37.   
  38.                      3  
  39.   
  40.                
  41.   
  42.                
  43.   
  44.                      dfs.webhdfs.enabled  
  45.   
  46.                      true  
  47.   
  48.            
  49.   
  50. [root&＃64;hd1 hadoop]#   

配置文件6&＃xff1a;mapred-site.xml

[plain] view plain copy
  1. [root&＃64;hd1 hadoop]# more mapred-site.xml  
  2.   
  3.   
  4.   
  5.   
  6.   
  7.   
  8.   
  9.   
  10.   
  11.                                 mapreduce.framework.name  
  12.   
  13.                                 yarn  
  14.   
  15.                   
  16.   
  17.                   
  18.   
  19.                                 mapreduce.jobhistory.address  
  20.   
  21.                                 hd0:10020  
  22.   
  23.                   
  24.   
  25.                   
  26.   
  27.                mapreduce.jobhistory.webapp.address  
  28.   
  29.                hd0:19888  
  30.   
  31.          
  32.   
  33.   
  34. [root&＃64;hd1 hadoop]#   

配置文件7&＃xff1a;yarn-site.xml

[plain] view plain copy
  1. [root&＃64;hd1 hadoop]# more yarn-site.xml   
  2.   
  3.   
  4.   
  5.   
  6.   
  7.   
  8.   
  9.                yarn.nodemanager.aux-services  
  10.   
  11.                mapreduce_shuffle  
  12.   
  13.           
  14.   
  15.                    
  16.   
  17.                yarn.nodemanager.aux-services.mapreduce.shuffle.class  
  18.   
  19.                org.apache.hadoop.mapred.ShuffleHandler  
  20.   
  21.           
  22.   
  23.           
  24.   
  25.                yarn.resourcemanager.address  
  26.   
  27.                hd0:8032  
  28.   
  29.          
  30.   
  31.                   
  32.   
  33.                yarn.resourcemanager.scheduler.address  
  34.   
  35.                 hd0:8030  
  36.   
  37.                  
  38.   
  39.                  
  40.   
  41.                        yarn.resourcemanager.resource-tracker.address  
  42.   
  43.                         hd0:8031  
  44.   
  45.                  
  46.   
  47.                  
  48.   
  49.                        yarn.resourcemanager.admin.address  
  50.   
  51.                         hd0:8033  
  52.   
  53.                  
  54.   
  55.                   
  56.   
  57.                yarn.resourcemanager.webapp.address  
  58.   
  59.                hd0:8088  
  60.   
  61.          
  62.   
  63.   
  64. [root&＃64;hd1 hadoop]#   

hd1 和 hd2 同上配置&＃xff0c;你可以把上面的配置文件复制过去&＃xff01;




配置完成&＃xff0c;准备起航


进入目录

[plain] view plain copy
  1. [root&＃64;hd0 bin]# pwd  
  2. /hd/hdinstall/hadoop-2.4.1/bin  
  3. [root&＃64;hd0 bin]#   

格式化namenode

[plain] view plain copy
  1. ./hdfs namenode –format  

启动hdfs

[plain] view plain copy
  1. ../sbin/start-dfs.sh  

但是此时报错了&＃xff0c;信息如下

[plain] view plain copy
  1. [root&＃64;hd0 bin]# ../sbin/start-dfs.sh  
  2. 14/07/21 01:45:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  3. Starting namenodes on [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /hd/hdinstall/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.  
  4. It&＃39;s highly recommended that you fix the library with &＃39;execstack -c &＃39;, or link it with &＃39;-z noexecstack&＃39;.  
  5. hd0]  
  6. HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known  
  7. 64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known  
  8. sed: -e expression #1, char 6: unknown option to &＃96;s&＃39;  
  9. VM: ssh: Could not resolve hostname VM: Name or service not known  
  10. Java: ssh: Could not resolve hostname Java: Name or service not known  
  11. library: ssh: Could not resolve hostname library: Name or service not known  
  12. You: ssh: Could not resolve hostname You: Name or service not known  
  13. have: ssh: Could not resolve hostname have: Name or service not known  
  14. loaded: ssh: Could not resolve hostname loaded: Name or service not known  
  15. stack: ssh: Could not resolve hostname stack: Name or service not known  
  16. VM: ssh: Could not resolve hostname VM: Name or service not known  
  17. disabled: ssh: Could not resolve hostname disabled: Name or service not known  
  18. guard.: ssh: Could not resolve hostname guard.: Name or service not known  
  19. warning:: ssh: Could not resolve hostname warning:: Name or service not known  
  20. try: ssh: Could not resolve hostname try: Name or service not known  
  21. fix: ssh: Could not resolve hostname fix: Name or service not known  
  22. might: ssh: Could not resolve hostname might: Name or service not known  
  23. have: ssh: Could not resolve hostname have: Name or service not known  
  24. will: ssh: Could not resolve hostname will: Name or service not known  
  25. the: ssh: Could not resolve hostname the: Name or service not known  
  26. guard: ssh: Could not resolve hostname guard: Name or service not known  
  27. which: ssh: Could not resolve hostname which: Name or service not known  
  28. The: ssh: Could not resolve hostname The: Name or service not known  
  29. stack: ssh: Could not resolve hostname stack: Name or service not known  
  30. now.: ssh: Could not resolve hostname now.: Name or service not known  
  31. recommended: ssh: Could not resolve hostname recommended: Name or service not known  
  32. It&＃39;s: ssh: Could not resolve hostname It&＃39;s: Name or service not known  
  33. with: ssh: Could not resolve hostname with: Name or service not known  
  34. -c: Unknown cipher type &＃39;cd&＃39;  
  35. fix: ssh: Could not resolve hostname fix: Name or service not known  
  36. or: ssh: Could not resolve hostname or: Name or service not known  
  37. to: ssh: connect to host to port 22: Connection refused  
  38. that: ssh: Could not resolve hostname that: Name or service not known  
  39. library: ssh: Could not resolve hostname library: Name or service not known  
  40. it: ssh: Could not resolve hostname it: No address associated with hostname  
  41. &＃39;execstack: ssh: Could not resolve hostname &＃39;execstack: Name or service not known  
  42. with: ssh: Could not resolve hostname with: Name or service not known  
  43. highly: ssh: Could not resolve hostname highly: Name or service not known  
  44. The authenticity of host &＃39;hd0 (192.168.1.205)&＃39; can&＃39;t be established.  
  45. RSA key fingerprint is c0:a4:cb:1b:91:30:0f:33:82:92:9a:e9:ac:1d:ef:11.  
  46. Are you sure you want to continue connecting (yes/no)? &＃39;-z: ssh: Could not resolve hostname &＃39;-z: Name or service not known  
  47. &＃39;,: ssh: Could not resolve hostname &＃39;,: Name or service not known  
  48. link: ssh: Could not resolve hostname link: No address associated with hostname  
  49. you: ssh: Could not resolve hostname you: Name or service not known  
  50. the: ssh: Could not resolve hostname the: Name or service not known  
  51. noexecstack&＃39;.: ssh: Could not resolve hostname noexecstack&＃39;.: Name or service not known  
  52. Server: ssh: Could not resolve hostname Server: Name or service not known  
  53. ^Chd0: Host key verification failed.  
  54. hd1: starting datanode, logging to /hd/hdinstall/hadoop-2.4.1/logs/hadoop-root-datanode-hd1.out  
  55. hd2: starting datanode, logging to /hd/hdinstall/hadoop-2.4.1/logs/hadoop-root-datanode-hd2.out  
  56. Starting secondary namenodes [Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /hd/hdinstall/hadoop-2.4.1/lib/native/libhadoop.so.1.0.0 which might have disabled stack guard. The VM will try to fix the stack guard now.  
  57. It&＃39;s highly recommended that you fix the library with &＃39;execstack -c &＃39;, or link it with &＃39;-z noexecstack&＃39;.  
  58. hd0]  
  59. sed: -e expression #1, char 6: unknown option to &＃96;s&＃39;  
  60. Java: ssh: Could not resolve hostname Java: Name or service not known  
  61. warning:: ssh: Could not resolve hostname warning:: Name or service not known  
  62. You: ssh: Could not resolve hostname You: Name or service not known  
  63. Server: ssh: Could not resolve hostname Server: Name or service not known  
  64. might: ssh: Could not resolve hostname might: Name or service not known  
  65. library: ssh: Could not resolve hostname library: Name or service not known  
  66. 64-Bit: ssh: Could not resolve hostname 64-Bit: Name or service not known  
  67. VM: ssh: Could not resolve hostname VM: Name or service not known  
  68. have: ssh: Could not resolve hostname have: Name or service not known  
  69. disabled: ssh: Could not resolve hostname disabled: Name or service not known  
  70. have: ssh: Could not resolve hostname have: Name or service not known  
  71. HotSpot(TM): ssh: Could not resolve hostname HotSpot(TM): Name or service not known  
  72. which: ssh: Could not resolve hostname which: Name or service not known  
  73. guard.: ssh: Could not resolve hostname guard.: Name or service not known  
  74. will: ssh: Could not resolve hostname will: Name or service not known  
  75. loaded: ssh: Could not resolve hostname loaded: Name or service not known  
  76. guard: ssh: Could not resolve hostname guard: Name or service not known  
  77. stack: ssh: Could not resolve hostname stack: Name or service not known  
  78. stack: ssh: Could not resolve hostname stack: Name or service not known  
  79. the: ssh: Could not resolve hostname the: Name or service not known  
  80. recommended: ssh: Could not resolve hostname recommended: Name or service not known  
  81. now.: ssh: Could not resolve hostname now.: Name or service not known  
  82. The: ssh: Could not resolve hostname The: Name or service not known  
  83. VM: ssh: Could not resolve hostname VM: Name or service not known  
  84. you: ssh: Could not resolve hostname you: Name or service not known  
  85. to: ssh: connect to host to port 22: Connection refused  
  86. -c: Unknown cipher type &＃39;cd&＃39;  
  87. try: ssh: Could not resolve hostname try: Name or service not known  
  88. It&＃39;s: ssh: Could not resolve hostname It&＃39;s: Name or service not known  
  89. highly: ssh: Could not resolve hostname highly: Name or service not known  
  90. fix: ssh: Could not resolve hostname fix: Name or service not known  
  91. library: ssh: Could not resolve hostname library: Name or service not known  
  92. fix: ssh: Could not resolve hostname fix: Name or service not known  
  93. The authenticity of host &＃39;hd0 (192.168.1.205)&＃39; can&＃39;t be established.  
  94. RSA key fingerprint is c0:a4:cb:1b:91:30:0f:33:82:92:9a:e9:ac:1d:ef:11.  
  95. Are you sure you want to continue connecting (yes/no)? it: ssh: Could not resolve hostname it: No address associated with hostname  
  96. that: ssh: Could not resolve hostname that: Name or service not known  
  97. or: ssh: Could not resolve hostname or: Name or service not known  
  98. with: ssh: Could not resolve hostname with: Name or service not known  
  99. the: ssh: Could not resolve hostname the: Name or service not known  
  100. with: ssh: Could not resolve hostname with: Name or service not known  
  101. &＃39;,: ssh: Could not resolve hostname &＃39;,: Name or service not known  
  102. link: ssh: Could not resolve hostname link: No address associated with hostname  
  103. &＃39;-z: ssh: Could not resolve hostname &＃39;-z: Name or service not known  
  104. &＃39;execstack: ssh: Could not resolve hostname &＃39;execstack: Name or service not known  
  105. noexecstack&＃39;.: ssh: Could not resolve hostname noexecstack&＃39;.: Name or service not known  
  106. ^Chd0: Host key verification failed.  
  107. 14/07/21 01:52:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  

谷歌被封&＃xff0c;百度半天解决了

在/etc/profile 中添加如下几行

[plain] view plain copy
  1. export HADOOP_PREFIX&＃61;/hd/hdinstall/hadoop-2.4.1/  
  2. export HADOOP_COMMON_LIB_NATIVE_DIR&＃61;${HADOOP_PREFIX}/lib/native  
  3. export HADOOP_OPTS&＃61;"-Djava.library.path&＃61;$HADOOP_PREFIX/lib"  
使生效

. /etc/profile

重新启动hdfs


[plain] view plain copy
  1. [root&＃64;hd0 sbin]# ./start-dfs.sh   
  2. 14/07/21 05:01:04 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  3. Starting namenodes on [hd0]  
  4. The authenticity of host &＃39;hd0 (192.168.1.205)&＃39; can&＃39;t be established.  
  5. RSA key fingerprint is c0:a4:cb:1b:91:30:0f:33:82:92:9a:e9:ac:1d:ef:11.  
  6. Are you sure you want to continue connecting (yes/no)? yes  
  7. hd0: Warning: Permanently added &＃39;hd0,192.168.1.205&＃39; (RSA) to the list of known hosts.  
  8. hd0: starting namenode, logging to /hd/hdinstall/hadoop-2.4.1/logs/hadoop-root-namenode-hd0.out  
  9. hd1: datanode running as process 1347. Stop it first.  
  10. hd2: datanode running as process 1342. Stop it first.  
  11. Starting secondary namenodes [hd0]  
  12. hd0: starting secondarynamenode, logging to /hd/hdinstall/hadoop-2.4.1/logs/hadoop-root-secondarynamenode-hd0.out  
  13. 14/07/21 05:02:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  14. [root&＃64;hd0 sbin]#   

成功

此时在hd0上面运行的进程有&＃xff1a;namenode secondarynamenode

hd1和hd2上面运行的进程有&＃xff1a;datanode

hd0&＃xff1a;

[plain] view plain copy
  1. [root&＃64;hd0 sbin]# ps -ef|grep name  
  2. root      2076     1 12 05:01 ?        00:00:29 /hd/hdinstall/jdk1.7/bin/java -Dproc_namenode -Xmx1000m -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,console -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop-root-namenode-hd0.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS org.apache.hadoop.hdfs.server.namenode.NameNode  
  3. root      2210     1 10 05:01 ?        00:00:23 /hd/hdinstall/jdk1.7/bin/java -Dproc_secondarynamenode -Xmx1000m -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,console -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop-root-secondarynamenode-hd0.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS -Dhdfs.audit.logger&＃61;INFO,NullAppender -Dhadoop.security.logger&＃61;INFO,RFAS org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode  
  4. root      2349  1179  0 05:05 pts/1    00:00:00 grep name  
hd1&＃xff1a;

[plain] view plain copy
  1. [root&＃64;hd1 name]# ps -ef|grep data  
  2. root      1347     1  4 04:45 ?        00:01:08 /hd/hdinstall/jdk1.7/bin/java -Dproc_datanode -Xmx1000m -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,console -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop-root-datanode-hd1.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -server -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;INFO,RFAS org.apache.hadoop.hdfs.server.datanode.DataNode  
  3. root      1571  1183  0 05:10 pts/1    00:00:00 grep data  

hd2&＃xff1a;

[plain] view plain copy
  1. [root&＃64;hd2 dfs]# ps -ef|grep data  
  2. root      1342     1  2 04:45 ?        00:01:46 /hd/hdinstall/jdk1.7/bin/java -Dproc_datanode -Xmx1000m -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,console -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Djava.net.preferIPv4Stack&＃61;true -Dhadoop.log.dir&＃61;/hd/hdinstall/hadoop-2.4.1/logs -Dhadoop.log.file&＃61;hadoop-root-datanode-hd2.log -Dhadoop.home.dir&＃61;/hd/hdinstall/hadoop-2.4.1 -Dhadoop.id.str&＃61;root -Dhadoop.root.logger&＃61;INFO,RFA -Djava.library.path&＃61;/hd/hdinstall/hadoop-2.4.1/lib/native -Dhadoop.policy.file&＃61;hadoop-policy.xml -Djava.net.preferIPv4Stack&＃61;true -server -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;ERROR,RFAS -Dhadoop.security.logger&＃61;INFO,RFAS org.apache.hadoop.hdfs.server.datanode.DataNode  
  3. root      1605  1186  0 05:45 pts/1    00:00:00 grep data  
  4. [root&＃64;hd2 dfs]#   

启动yarn: ./sbin/start-yarn.sh

[plain] view plain copy
  1. [root&＃64;hd0 sbin]# ./start-yarn.sh   
  2. starting yarn daemons  
  3. starting resourcemanager, logging to /hd/hdinstall/hadoop-2.4.1//logs/yarn-root-resourcemanager-hd0.out  
  4. hd1: starting nodemanager, logging to /hd/hdinstall/hadoop-2.4.1/logs/yarn-root-nodemanager-hd1.out  
  5. hd2: starting nodemanager, logging to /hd/hdinstall/hadoop-2.4.1/logs/yarn-root-nodemanager-hd2.out  

此时在hd0上面运行的进程有&＃xff1a;namenode 、secondary namenode、 resource manager

hd1和hd2上面运行的进程有&＃xff1a;datanode、 node managet


查看集群状态

[plain] view plain copy
  1. [root&＃64;hd0 sbin]# cd ../bin/  
  2. [root&＃64;hd0 bin]# ./hdfs dfsadmin -report  
  3. 14/07/21 05:10:55 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable  
  4. Configured Capacity: 10321133568 (9.61 GB)  
  5. Present Capacity: 8232607744 (7.67 GB)  
  6. DFS Remaining: 8232558592 (7.67 GB)  
  7. DFS Used: 49152 (48 KB)  
  8. DFS Used%: 0.00%  
  9. Under replicated blocks: 0  
  10. Blocks with corrupt replicas: 0  
  11. Missing blocks: 0  
  12.   
  13. -------------------------------------------------  
  14. Datanodes available: 2 (2 total, 0 dead)  
  15.   
  16. Live datanodes:  
  17. Name: 192.168.1.206:50010 (hd1)  
  18. Hostname: hd1  
  19. Decommission Status : Normal  
  20. Configured Capacity: 5160566784 (4.81 GB)  
  21. DFS Used: 24576 (24 KB)  
  22. Non DFS Used: 1044275200 (995.90 MB)  
  23. DFS Remaining: 4116267008 (3.83 GB)  
  24. DFS Used%: 0.00%  
  25. DFS Remaining%: 79.76%  
  26. Configured Cache Capacity: 0 (0 B)  
  27. Cache Used: 0 (0 B)  
  28. Cache Remaining: 0 (0 B)  
  29. Cache Used%: 100.00%  
  30. Cache Remaining%: 0.00%  
  31. Last contact: Mon Jul 21 05:10:59 CST 2014  
  32.   
  33.   
  34. Name: 192.168.1.207:50010 (hd2)  
  35. Hostname: hd2  
  36. Decommission Status : Normal  
  37. Configured Capacity: 5160566784 (4.81 GB)  
  38. DFS Used: 24576 (24 KB)  
  39. Non DFS Used: 1044250624 (995.88 MB)  
  40. DFS Remaining: 4116291584 (3.83 GB)  
  41. DFS Used%: 0.00%  
  42. DFS Remaining%: 79.76%  
  43. Configured Cache Capacity: 0 (0 B)  
  44. Cache Used: 0 (0 B)  
  45. Cache Remaining: 0 (0 B)  
  46. Cache Used%: 100.00%  
  47. Cache Remaining%: 0.00%  
  48. Last contact: Mon Jul 21 05:11:02 CST 2014  

查看HDFS:    http://192.168.1.205:50070





--













参考&＃xff1a;http://blog.csdn.net/licongcong_0224/article/details/12972889




推荐阅读
author-avatar
changmao三顾茅庐
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有