×

hadoop 大数据 jdk

从零学习大数据,第七节,Hadoop运行环境搭建

我的笔记 我的笔记 发表于2019-05-09 17:31:57 浏览3365 评论0

抢沙发发表评论

1、Hadoop运行环境搭建

(1)、虚拟机网络模式设置为NAT

wps1.jpg 

wps2.jpg

最后,重新启动系统。

[root@hadoop ~]# sync
[root@hadoop ~]# reboot


(2)、克隆虚拟机

                1)克隆虚拟机

                wps3.jpg 

                 

                wps4.jpg 

                wps5.jpg 

                wps6.jpg 

                wps7.jpg 

                wps8.jpg 

                wps9.jpg 

                2)启动虚拟机


(3)、修改为静态ip

            1)在终端命令窗口中输入

            [root@hadoop101 /]#vim /etc/udev/rules.d/70-persistent-net.rules

            进入如下页面,删除eth0该行;eth1修改eth0同时复制物理ip地址

            wps10.jpg 

            2修改IP地址

            [root@hadoop101 /]#vim /etc/sysconfig/network-scripts/ifcfg-eth0

            需要修改的内容有5

            IPADDR=192.168.1.101

            GATEWAY=192.168.1.2

            ONBOOT=yes

            BOOTPROTO=static

            DNS1=192.168.1.2

            wps11.jpg 

            (2)修改

                    wps12.jpg 

            wq  保存退出

            3)执行service network restart

            wps13.jpg 

            4如果报错,reboot,重启虚拟机


(4)、修改主机名

            1修改linuxhosts文件

            (1)进入Linux系统查看本机的主机名。通过hostname命令查看

            [root@hadoop ~]# hostname

            hadoop100

            (2)如果感觉此主机名不合适,我们可以进行修改。通过编辑/etc/sysconfig/network文件

            #vi /etc/sysconfig/network

             

            文件中内容

            NETWORKING=yes

            NETWORKING_IPV6=no

            HOSTNAME= hadoop101

            注意:主机名称不要有“_”下划线

            (3)打开此文件后,可以看到主机名。修改此主机名为我们想要修改的主机名hadoop101

            (4)保存退出。

            (5打开/etc/hosts

            vim /etc/hosts

            添加如下内容

            192.168.1.100 hadoop100

            192.168.1.101 hadoop101

            192.168.1.102 hadoop102

            192.168.1.103 hadoop103

            192.168.1.104 hadoop104

            192.168.1.105 hadoop105

            192.168.1.106 hadoop106

            192.168.1.107 hadoop107

            192.168.1.108 hadoop108

            192.168.1.109 hadoop109

            192.168.1.110 hadoop110

            6并重启设备重启后,查看主机名,已经修改成功

            2修改window7hosts文件

            (1进入C:\Windows\System32\drivers\etc路径

            (2打开hosts文件并添加如下内容

            192.168.1.100 hadoop100

            192.168.1.101 hadoop101

            192.168.1.102 hadoop102

            192.168.1.103 hadoop103

            192.168.1.104 hadoop104

            192.168.1.105 hadoop105

            192.168.1.106 hadoop106

            192.168.1.107 hadoop107

            192.168.1.108 hadoop108

            192.168.1.109 hadoop109

            192.168.1.110 hadoop110

(5)、关闭防火墙

1)查看防火墙开机启动状态

chkconfig iptables --list	

2)关闭防火墙

chkconfig iptables off	

(6)、在opt目录下创建文件

                1)创建fyd用户

                root用户里面执行如下操作

[root@hadoop102 opt]# adduser fyd

[root@hadoop102 opt]# passwd fyd

更改用户 test 的密码 。

新的 密码:

无效的密码: 它没有包含足够的不同字符

无效的密码: 是回文

重新输入新的 密码:

passwd: 所有的身份验证令牌已经成功更新。

                2)设置fyd用户具有root权限

                修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:

                ## Allow root to run any commands anywhere

                root    ALL=(ALL)     ALL

                fyd   ALL=(ALL)     ALL

                修改完毕,现在可以用fyd帐号登录,然后用命令 su - ,即可获得root权限进行操作。

                3)在/opt目录下创建文件夹

                (1root用户下创建modulesoftware文件夹

                mkdir module

                mkdir software

                mkdir tools

                (2修改modulesoftware文件夹所有者

                [root@hadoop102 opt]# chown atguigu module

                [root@hadoop102 opt]# chown atguigu software

                [root@hadoop102 opt]# ls -al

                总用量 24

                drwxr-xr-x.  6 root    root 4096 4月  24 09:07 .

                dr-xr-xr-x. 23 root    root 4096 4月  24 08:52 ..

                drwxr-xr-x.  4 atguigu root 4096 4月  23 16:26 module

                drwxr-xr-x.  2 root    root 4096 3月  26 2015 rh

                drwxr-xr-x.  2 fyd root 4096 4月  23 16:25 software

 

(7)、安装jdk

                1)卸载现有jdk

                    (1)查询是否安装java软件:

        rpm –qa|grep java

    

                    (2)如果安装的版本低于1.7,卸载该jdk:

        rpm –e 软件包

                2)用filezilla工具将jdk、Hadoop-2.7.2.tar.gz导入到opt目录下面的software文件夹下面

                3)在linux系统下的opt目录中查看软件包是否导入成功。

                4)解压jdk到/opt/module目录下

        tar -zxf jdk-7u79-linux-x64.gz -C /opt/module/

                5)配置jdk环境变量

                    (1)先获取jdk路径:

        [root@hadoop101jdk1.7.0_67]# pwd
        /opt/module/jdk1.7.0_79

                    (2)打开/etc/profile文件:

               [root@hadoop101 jdk1.7.0_79]# vi /etc/profile                
        ##在profie文件末尾添加jdk路径:
        ##JAVA_HOME
        export JAVA_HOME=/opt/module/jdk1.7.0_79
        export PATH=$PATH:$JAVA_HOME/bin

                    (3)保存后退出::wq

                    (4)让修改后的文件生效:

        [root@hadoop101 jdk1.7.0_79]# source  /etc/profile

                    (5)重启(如果java –version可以用就不用重启):

        [root@hadoop101 jdk1.7.0_79]# sync            
        [root@hadoop101 jdk1.7.0_79]# reboot

               6)测试jdk安装成功

            [root@hadoop101 jdk1.7.0_79]# java -version
            java version "1.7.0_79"

(8)、安装Hadoop

            1)进入到Hadoop安装包路径下:

            [root@hadoop101 ~]# cd /opt/software/

            2)解压安装文件到/opt/module下面

            [root@hadoop software]# tar -zxf hadoop-2.7.2.tar.gz -C /opt/module/

            3)查看是否解压成功

            [root@hadoop software]# ls /opt/module/
            hadoop-2.7.2

            4)配置hadoop中的hadoop-env.sh

            (1)Linux系统中获取jdk的安装路径

                [root@hadoop101 jdk1.7.0_79]# echo $JAVA_HOME
                /opt/module/jdk1.7.0_79

            (2)修改hadoop-env.sh文件中JAVA_HOME 路径

                export JAVA_HOME=/opt/module/jdk1.7.0_79

            5)将hadoop添加到环境变量

            (1)获取hadoop安装路径:

                [root@ hadoop101 hadoop-2.7.2]# pwd
                /opt/module/hadoop-2.7.2

            (2)打开/etc/profile文件:

                root@ hadoop101 hadoop-2.7.2]# vi /etc/profile
		在profie文件末尾添加jdk路径:(shitf+g)
                ##HADOOP_HOME
                export HADOOP_HOME=/opt/module/hadoop-2.7.2
                export PATH=$PATH:$HADOOP_HOME/bin
                export PATH=$PATH:$HADOOP_HOME/sbin			

            (3)保存后退出::wq

            (4)让修改后的文件生效:

                [root@hadoop101 jdk1.7.0_79]# source  /etc/profile

            (5)重启(如果hadoop命令不能用再重启):

                [root@ hadoop101 hadoop-2.7.2]# sync
                [root@ hadoop101 hadoop-2.7.2]# reboot


我的笔记博客版权我的笔记博客版权