版本:3.0.1
一.环境变量
/etc/profile /root/.bash_profile
1 | #jdk |
二.伪分布式配置
1.配置文件
1 | #hadoop-evn.xml |
2.命令
1 | #hadoop版本 |
3.启动伪分布式
1 | sh start-all.sh |
启动成功jps查看有5个进程
1 | ResourceManager |
关闭伪分布式
1 | sh stop-all.sh |
三.错误详解
错误信息
1 | ERROR: Attempting to operate on hdfs namenode as root |
解决方式
1 | #start-dfs.sh stop-dfs.sh添加 |
警告信息
1 | WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER. |
解决方式
1 | HADOOP_SECURE_DN_USER改为HDFS_DATANODE_SECURE_USER |
警告信息
1 | WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable |
解决方式
1 | #log4j.properties添加去掉警告信息 |
错误信息(MapReduce过程报错)
1 | Container exited with a non-zero exit code 1. Error file: prelaunch.err. |
解决方式
1 | #mapred-site.xml添加 |
警告信息
1 | WARN hdfs.DataStreamer: Caught exception |
解决方式
1 | 可以忽略^-^ |
错误信息
1 | dfshealth浏览器中操作文件报错 |
解决方式
1 | #hdfs-site.xml |
错误信息(MapReduce过程报错)
1 | Container [pid=102334,containerID=container_1522540774647_0019_01_000006] is running beyond virtual memory limits. Current usage: 135.6 MB of 1 GB physical memory used; 2.5 GB of 2.1 GB virtual memory used. Killing container. |
解决方式
1 | #修改hadoop物理内存的大小,默认1G |