本文共 1489 字,大约阅读时间需要 4 分钟。
作者:Neshoir
大数据环境搭建是一项比较复杂的工作,因为其依赖的大数据基础平台组件较多,导致很多基础薄弱的伙伴在搭建环境时遇到各种不顺,索性我们定制化了两个一键部署包产品,产品包里包含了虚拟机系统,hadoop组件,hbase组件,spark组件等。定制化的产品包的好处就是,虚拟机系统已经内置了一些依赖库或环境,hadoop等组件已配置好相关的属性。所有的部署过程都编写了自动化部署的脚本,小伙伴只需要按下面的步骤进行,即可体验全套的大数据产品。
目前在CentOS 7.5和Ubuntu 16.04系统上做了定制化及优化。产品包里有虚拟机操作系统和一键安装包。注:如果在其他Linux系统上安装部署,必须安装ssh服务,软件版本微调,需要在脚本里替换软件的名称。提取码:xujb
解压centos-7.5.rar包,复制三份。
用VMware(12.5以上版本)打开三台centos系统。
分别用root用户登录,密码为test。
用命令:ifconfig,查看三台机器的ip,建议将其ip配置为固定ip。
由于三台机器复制的名称是一样的,分别将三台机器的名称改为 ,,。命令:
hostnamectl set-hostname master.com
tar -xvf onestep.tar
准备脚本的执行,检查bin和expect目录所有文件,是否有执行权限,顺利安装成功会显示“初始化完毕!”
# 如果没有权限,赋予权限 chmod 777 * # root用户下执行准备脚本,主要安装expect,ntp同步时间,关闭防火墙,安装jdk bin/01preinstall.sh
另外两台机器也会安装,登录到node1.com机器,验证时间同步服务和jdk。
# 验证时间同步服务ntpstat# 切换到supermap用户,验证jdksu supermap #输入密码java -version
在master.com机器上,切换到supermap用户,执行如下脚本:
su supermap #输入密码 bin/02installssh.sh #安装ssh服务
在master.com机器上,切换到supermap用户,执行如下脚本:
su supermap #输入密码 bin/03installSoft.sh #安装hadoop,hbase,spark等组件,需要耗时几分钟
执行命令 ./start_all.sh 脚本,启动所有组件
至此大数据组件的快速部署完成,可以用spark组件或者iServer进行大数据分析任务。注:iServer可以配置集群,iServer开启分布式服务可以支持外部的spark standalone以及spark on yarn模式,具体配置参考iServer开启集群配置文档和iServer开启分布式服务相关博客。
转载地址:http://mjvxi.baihongyu.com/