Hadoop 3.1.0 配置问题汇总

发表于 | 分类于

1. 格式化Name Node时报 URI错误：

hdfs-site.xml 文件中 dfs.namenode.name.dir 配置存在问题，应该是 file:///，注意，这里是三个斜杠

2. hdfs 的web server 默认的端口号已变为 9870

3. 用 IE 浏览器打开 NN 的界面时出错

错误信息是 NameNode is still loading, Redirecting to the Startup Progress page.

解决办法：用chrome浏览器

4. 运行 mapreduce 时出错

错误信息：Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

原因：yarn-site.xml 中，yarn.application.classpath 未配置

解决办法：

<property>
    <name>yarn.application.classpath</name>
    <value>
        /opt/hadoop-3.1.0/etc/hadoop,
        /opt/hadoop-3.1.0/share/hadoop/common/*,
        /opt/hadoop-3.1.0/share/hadoop/common/lib/*,
        /opt/hadoop-3.1.0/share/hadoop/hdfs/*,
        /opt/hadoop-3.1.0/share/hadoop/hdfs/lib/*,
        /opt/hadoop-3.1.0/share/hadoop/mapreduce/*,
        /opt/hadoop-3.1.0/share/hadoop/mapreduce/lib/*,
        /opt/hadoop-3.1.0/share/hadoop/yarn/*,
        /opt/hadoop-3.1.0/share/hadoop/yarn/lib/*
    </value>
</property>

5. 运行 start-dfs.sh 脚本不能启动全部 DataNode

Hadoop v2.x 使用 slaves 文件，Hadoop v3.x 使用 workers 文件

解决办法： List all worker hostnames or IP addresses in your etc/hadoop/workers file, one per line. Helper scripts (described below) will use the etc/hadoop/workers file to run commands on many hosts at once.

6. 运行 hdfs zkfc -formatZK 报错

错误信息：FATAL tools.DFSZKFailoverController: DFSZKFailOverController exiting due to earlier exception java.lang.NumberFormatException: For input string: “2181”

原因： core-site.xml 文件中配置 ha.zookeeper.quorum 时，value值最后有空格。

7. 启动 zkfc 时报错

错误信息：ERROR：cannot set priority of zkfc process. 检查log文件，发现详细信息，Automatic failover is not enabled for NameNode.

解决办法：把 NameNode1上修改的配置文件 core-site.xml 和 hdfs-site.xml 文件复制到 NameNode2 上。

8. 启动 hbase 时报错

错误信息：java.net.ConnectException: Call From bigdata01.isaac.com to bigdata01.isaac.com:8020 failed on connection exception: java.net.Connection

Exception: Connection refused

解决办法：查看 hadoop的 core-site.xml 文件，看 fs.defaultFS 配置的端口号，然后修改 hbase-site.xml 配置。