Hadoop学习(一):之虚拟机集群搭建遇到的那些坑

Hadoop学习(一):之虚拟机集群搭建遇到的那些坑

前言

  • 环境:CentOS7系统,JDK1.8,Hadoop-3.1.0.tar.gz;
  • 可以先看一下下面的坑
  • 整个搭建过程参考网上的文章(https://blog.csdn.net/pucao_cug/article/details/71698903)

整个过程遇到的坑系列

  1. 虚拟机名称不能有下划线,如centos_145是不行的,永久更改主机名[root@centos145 hadoop]# hostnamectl set-hostname centos145,改完过后reboot虚拟机;
  2. jdk版本不能使用1.9,需要使用1.8版本的,否则提示很多javax API找不到;
  3. 虚拟机的/etc/hosts文件中必须将ip与主机名进行映射,切记不要将主机名与127.0.0.1也进行了映射,否则副本节点链接不上,一直重试;
    [root@centos145 sbin]# cat /etc/hosts
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.231.145 centos145
    192.168.231.146 centos146
    192.168.231.147 centos147
    [root@centos145 sbin]#
    
  4. slaves文件即为workers文件
  5. 关闭虚拟机的防火墙
  6. 50030端口新版本已经更换为8088,安装完成后可以通过打开以下链接检查是否安装成功 http://192.168.231.145:50070/ http://192.168.231.145:8088/
  7. 安装过程中有出错或者启动不起来需要看日志,主节点和副节点的日志都要看
  8. 副本上的Hadoop配置与主节点是的配置完全一样