Hadoop大数据实战权威指南(第2版)
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

3.2 Linux集群的搭建

本节介绍在Windows平台上,通过VMware Workstation虚拟机来搭建Linux集群。需要指出的是,在同一台计算机上搭建虚拟Linux集群有很多优点,首先,其使用方法与真实集群基本一致;其次,操作人员不必到实际的计算节点处检查结果,可以节省大量的时间。在实际中,将工作站和服务器安装在虚拟机环境,可使系统管理简化、缩减实际的机房面积,并减少对硬件的需求。

3.2.1 安装VMware Workstation

VMware(中文名为威睿)是一家总部设在美国加利福尼亚州帕洛阿尔托市(Palo Alto)的软件公司,是全球桌面到数据中心虚拟化解决方案的领导厂商。全球不同规模的客户可通过VMware来降低建设和运营成本、确保业务持续性、加强安全性。VMware是云计算时代增长最快的软件上市公司之一。

VMware也是该公司开发的一套PC虚拟化软件的总称。VMware Workstation是VMware系列软件产品之一,用于在Intel x86兼容计算机上创建虚拟机工作站,它允许用户同时创建和运行多个虚拟机。每个虚拟机都可以运行自己的客户机操作系统,如Windows、Linux等。简而言之,VMware Workstation允许一台PC在一个操作系统中同时安装并运行多个操作系统,并可帮助用户在多个宿主计算机之间管理或移植VMware Workstation。

下面开始安装。

读者可以从网络下载免费的VMware Workstation,也可以在本书第3章软件资源文件夹中找到“software\vmware”目录,进入该目录后根据读者计算机的Windows版本选择进入Win7、Win8或Win10子目录,这里以Win10为例进行安装,如图3-2所示。

图3-2 “software\vmware”目录下的安装程序VMware-workstation-full-12.0.0-2985596.exe

单击安装程序VMware-workstation-full-12.0.0-2985596.exe开始安装。

安装程序首先会检测系统并解压文件,完成后出现欢迎使用界面,如图3-3(a)所示。接着直接单击“下一步”按钮,显示“VMWARE最终用户许可协议”界面,如图3-3(b)所示,勾选“我接受许可协议中的条款”后单击“下一步”按钮,会出现如图3-4所示的自定义安装界面。

图3-3 VMware Workstation Pro 12安装向导

图3-4 自定义安装界面

与在Win7中安装VMware10相比,在Win10中安装VMware workstation Pro 12时只提供“自定义安装”,不再提供“典型安装”或“自定义安装”选择界面。

在图3-4(a)中,用户可以修改安装位置,建议直接选择默认的安装位置。而图3-4(b)中的用户体验设置可以自行选择,通常不建议选择。

单击“下一步”按钮,进入如图3-5所示的界面。

图3-5 VMware Workstation Pro 12安装界面

在图3-5(a)中,用户可以根据自己的使用习惯选择在“桌面”和/或“开始菜单程序文件夹”安装VMware Workstation Pro 12的快捷方式,一般选择“开始菜单程序文件夹”。

单击图3-5(b)中的“安装”按钮后,开始正式安装,如图3-6(a)所示。安装过程一般需要几分钟,安装成功后的界面如图3-6(b)所示。

图3-6 正在安装和安装成功提示

在图3-6(b)中,用户可以直接单击“完成”按钮来完成安装。

首次启动VMware Workstation Pro 12时需要输入许可证密钥,所以,我们可以单击图3-6(b)中的“许可证”按钮来输入许可证密钥,如图3-7所示。

图3-7 输入许可证密钥

在图3-7中,用户可以输入给定的VMware Workstation Pro 12专业版永久许可证密钥(本书在第3章软件资源文件夹中提供了一个名为key.txt的文件,里面有永久许可证密钥)。

如果在图3-7中没有输入许可证密钥,则首次使用VMware Workstation Pro 12时仍然要求输入许可证密钥,如图3-8所示。

图3-8 首次启动VMware Workstation Pro 12时输入许可证密钥

完成许可证密钥的输入后就可以进入VMware Workstation Pro 12的运行主界面了,如图3-9所示。

图3-9 VMware Workstation Pro 12的运行主界面

3.2.2 在VMware Workstation Pro 12上安装Linux(CentOS 7)

成功安装了VMware Workstation Pro 12以后,就可以在该虚拟机上安装Linux操作系统了。

Linux是开源操作系统,因此版本繁多。严格来讲,Linux这个词本身只表示Linux内核,各种发行版是为许多不同的目标而制作的,包括对不同计算机结构的支持、具体区域或语言的本地化、实时应用、嵌入式系统等。现在已有300多个发行版,使用最普遍的发行版有十来个。Linux的发行版本可以大体分为两类,一类是商业公司维护的发行版本,另一类是社区组织维护的发行版本,前者以著名的Redhat(RHEL)系列为代表,后者以Debian系列为代表。

Redhat系列包括RHEL(Redhat Enterprise Linux,也就是Redhat Advance Server,收费)、FedoraCore(由原来的Redhat桌面版本发展而来,免费)、CentOS(RHEL社区的克隆版本,免费)。Redhat系列是国内使用人数最多的Linux发行版,甚至有人将Redhat等同于Linux,该系列发行版的资料非常多,在稳定性方面,RHEL和CentOS最为出色,适合服务器使用。

Debian系列包括Debian和Ubuntu等。Debian是社区类Linux的典范,是迄今为止最遵循GNU规范的Linux系统。严格来说,Ubuntu不能称为一个独立的发行版本,Ubuntu是基于Debian的unstable版本加强而来的。Ubuntu的特点是界面非常友好,容易上手,对硬件的支持全面,是最适合作为桌面系统的Linux发行版本。

本书选择CentOS 7进行安装。我们介绍三种安装方法,第一种是通过下载的ISO文件来安装CentOS 7,第二种是从已经安装好的计算机上移植CentOS 7(建议本书读者采用的方法),第三种是从本机上克隆CentOS 7。

1. 通过下载的ISO文件安装CentOS 7

读者可通过访问CentOS官方网站https://www.centos.org/download/来下载最新版本的CentOS。在下载时,读者可以看到两个选项,分别是DVD ISO和Minimal ISO。DVD ISO是标准版的DVD系统文件,Minimal ISO则是精简版系统文件。

读者也可以从本书第3章的软件资源文件夹中得到已经下载好的系统文件CentOS-7-x86_64-DVD-1804.iso。

获取CentOS-7-x86_64-DVD-1804.iso文件后,可参照以下步骤在VMware Workstation虚拟机上安装CentOS 7。

启动VMware Workstation Pro 12后进入其主界面,如图3-9所示,单击“创建新的虚拟机”图标,出现如图3-10(a)所示的新建虚拟机向导。

在图3-10(a)中,选择“典型(推荐)”单选项,单击“下一步”按钮,进入图3-10(b)所示的安装来源对话框。

图3-10 新建虚拟机向导和安装来源对话框

在图3-10(b)中,请选择第二个选项,即“安装程序光盘映像文件(Iso)”,并单击右边的“浏览”按钮选择CentOS-7-x86_64-DVD-1804.iso文件,也可直接在文本框中输入文件路径和名称。单击“下一步”按钮,出现如图3-11所示的虚拟机命名与安装位置选择对话框。

图3-11 虚拟机命名与安装位置选择对话框

在图3-11中,我们修改了默认的虚拟机名称,将虚拟机命名为Master,安装位置也修改为“D:\Master”。实际上,用户可以根据自己的需要进行任意修改。单击“下一步”按钮,进入如图3-12所示的对话框。

图3-12 指定虚拟机磁盘容量和安装信息小结

在图3-12(a)中,建议读者不要直接采用默认的磁盘容量值(20 GB),需要调大该值。如果计算机的硬件配置较高,可以设置得更大,这里设置为40 GB。单击“下一步”按钮,将会显示用户设置的所有信息,如图3-12(b)所示,单击“完成”按钮,可进入如图3-13所示的界面。

图3-13 虚拟机设置完成,准备安装CentOS 7

在图3-13中,用户可以单击“编辑虚拟机设置”来修改设备参数,例如,将内存调大到4 GB;处理器和每个处理器的核心数量也可以根据自己计算机的配置进行调整,如处理器设置为1,每个处理器的核心数量设置为4。实际上,大数据存储与计算平台往往需要较大内存的支持,内存太小会导致系统和应用运行缓慢,甚至无法运行。设置完毕后单击“开启此虚拟机”,开始安装CentOS 7,出现如图3-14所示的提示界面。

图3-14 安装开始出现的提示界面

在出现如图3-14(a)所示的菜单后,用户可直接按下回车键开始安装CentOS 7。接着系统会给出如图3-14(b)所示的信息,用户可按回车键开始安装进程。

稍候片刻,出现如图3-15(a)所示的语言选择对话框,用户可以根据自己的习惯选择“English(United States)”或其他,本书选择了“English(United States)”。

图3-15 系统语言选择设置与安装设置主界面

选择好系统语言后,请单击图3-15(a)右下角的“Continue”按钮,系统给出“INSTALLATION SUMMARY”界面,如图3-15(b)所示,这里实际上是一个安装设置主界面,用户可根据需要进行必要的安装设置。例如,单击“LOCALIZATION”中的“DATE &TIME”可以设置虚拟机的系统时间,显然,我们需要设置为中国时间。当然,系统时间的设置也可以在安装结束后再进行。

但是安装目标是需要设置的。单击图3-15(b)中的“INSTALLATION DESTINATION”,然后按照图3-16(a)所示的样子进行设置;可以看出,我们打算将系统安装在本地硬盘上。完成设置后,请单击图3-16(a)中左上角的“Done”按钮,回到图3-15(b)所示的安装设置主界面。

图3-16 安装设置

单击图3-15(b)中“SOFTWARE SELECTION”进行软件选择设置,在如图3-16(b)所示的对话框中选择“Server with GUI”,并在右边的“Add-Ons for Selected Environment”中增加必要的选项,如Java Platform、KDE等。选择完毕后单击左上角的“Done”按钮,回到图3-15(b)所示的设置主界面。

完成上述设置后,单击图3-15(b)右下角的“Begin Installation”按钮可正式开始包安装进程,其进程提示如图3-17所示。

图3-17 包安装进程提示

在图3-17下面会有(黄色)文字提示用户进行必要的设置。我们可以立即进行根用户密码设置和用户创建。单击图3-17中的“ROOT PASSWORD”,然后在如图3-18(a)所示的对话框中设置用户根密码(Root Password),注意根用户密码需要达到一定的强度。设置完毕单击“Done”按钮可回到上一级界面(见图3-17)。

图3-18 用户设置

在图3-17中,单击“CREATE USER”可创建新用户,如图3-18(b)所示。这里实际上是在创建一个根用户之外的新用户,该用户也可以是管理员用户(Administrator)。由于这是一个新用户,因此需要用户名和密码。读者可以根据自己的需要进行设置,这里把用户名设置为“csu”,密码设置为“csucsu”。用户创建完成后,单击左上角的“Done”按钮可返回上一级界面,如图3-19(a)所示,此时,包安装过程已经完成了。

图3-19 完成安装并准备重启系统

单击图3-19(a)右下角的“Finish configuration”按钮可进入最后的配置过程,稍候片刻即可完成,出现如图3-19(b)所示的界面,这时可以立即单击“Reboot”按钮重启系统,从而完成CentOS 7的安装。

在系统重启过程中,还有一个接受许可协议的操作,选择接受之后即进入登录界面,如图3-20所示,这时可输入csu用户设置的密码。

图3-20 系统登录界面

密码输入正确后CentOS 7可成功启动,即可进入系统的桌面,如图3-21所示。

图3-21 CentOS 7成功启动后系统的桌面

2. 从已经安装好的计算机移植CentOS 7

用户也可以从按照上述步骤安装好CentOS 7的计算机上,通过简单复制的方式将CentOS 7移植到自己的计算机上,建议读者采用这种安装方式。

进入安装CentOS 7的计算机上,找到安装盘和安装目录。例如,本书在介绍第一种安装方法时,CentOS 7安装在D盘,目录是Master,如图3-22所示。

图3-22 从系统文件安装的CentOS 7所在的安装盘及其安装目录

读者可以将Master文件夹复制到自己的计算机硬盘上。

为了方便读者学习,本书作者已经将计算机上安装好的Master文件夹上传到了电子工业出版社的网站上,读者可登录华信教育资源网(www.hxedu.com.cn)免费注册后下载;也可以直接通过电子邮件联系作者索取。

获得作者的Master文件夹以后,需要根据读者自己计算机的情况,将Master文件夹放置在合适的驱动器上,并将该文件夹改名为Slave0(当然,如果读者的计算机之前没有安装Master,也可以不改名)。

特别注意,为了从已经安装好的计算机上移植CentOS 7,应当先关闭该虚拟机上运行的CentOS 7。

完成上述准备后,启动计算机上的VMware Workstation Pro 12,然后在主页中选择“打开虚拟机”,如图3-23所示。

图3-23 在VMware Workstation Pro 12的主页中选择“打开虚拟机”

单击图3-23中的“打开虚拟机”后,在弹出的对话框中,进入Slave0目录(如果没有修改文件夹名,就应当是您复制过来的目录名),然后选择里面的Master.vmx文件(注意,这个文件名没有改;实际上,该文件是虚拟机的配置文件),如图3-24所示。

图3-24 在VMware Workstation Pro 12中打开虚拟机的配置文件

单击打开虚拟机配置文件后,可进入如图3-25所示的界面,表明系统已经准备好开始安装新的虚拟机了。

图3-25 在VMware Workstation Pro 12中准备安装新的虚拟机CentOS 7

读者注意到,在图3-25中,本书是在已经安装了一台虚拟机(CentOS 7)的VMware Workstation Pro 12上再安装一台虚拟机(CentOS 7),因此需要修改第二台虚拟机的名称。在“我的计算机”下选择第二个Master,单击鼠标右键,在弹出的菜单中选择“重命名”,如图3-26所示,在随后出现的编辑框中将“Master”改为“Slave0”即可。如果读者安装的是第一台虚拟机,则可以不改名。

图3-26 将移植的虚拟机名称改为Slave0

接着单击“开启此虚拟机”进行安装,这时会弹出一个对话框,如图3-27所示,因为是移植或复制的虚拟机,所以需要在VMware Workstation Pro 12中确认。

图3-27 确认是“移动”还是“复制”虚拟机

如果是从其他计算机移植过来的虚拟机,则选择“我已移动该虚拟机”;如果是在本机上复制的虚拟机,则选择“我已复制该虚拟机”。显然,本书在这里应当选择后者。

确认之后,系统开始安装。

同样,安装过程无须用户干预,且安装时间相对较短,安装成功后等待用户输入登录密码,如图3-28所示。

图3-28 移植虚拟机成功

由于CentOS 7是移植过来的系统,所以输入的用户密码与原来用户密码是一样的,我们这里是csucsu。

至此,我们就在一台计算机上安装了两台虚拟计算机,其操作系统均为CentOS 7。这实际上是一个最小的集群。

值得注意的是,如果采取第二种方法安装的是自己计算机上的第一台虚拟机,则可以继续按照上述的移植方法再安装一台虚拟机。实际上,这种移植安装可以多次进行。不过我们建议读者在安装了第一台虚拟机后,采用下面即将介绍的克隆方法扩展安装。

3. 从本机克隆CentOS 7

接下来,我们再介绍一种从本机克隆CentOS 7的方法。在VMware Workstation Pro 12主界面中,先关闭Master(注意,克隆前一定要先关闭被克隆虚拟机),然后在“我的计算机”下选择“Master”,单击鼠标右键,在弹出的菜单中选择“管理→克隆”,如图3-29所示。

图3-29 从本机直接克隆CentOS 7

这时会弹出克隆虚拟机向导,如图3-30(a)所示,单击“下一步”按钮后选择克隆源,如图3-30(b)所示。

图3-30 克隆虚拟机向导

单击图3-30(b)中的“下一步”按钮,进入克隆类型选择对话框,一般选择“创建完整克隆”,如图3-31(a)所示。

单击图3-31(a)中的“下一步”按钮,进入新虚拟机名称对话框,建议将默认的名称和安装位置修改为合适的内容,我们这里给新虚拟机取名为Slave1,安装位置改为D:\Slave1,如图3-31(b)所示,单击“完成”按钮。

图3-31 选择克隆类型、命名新虚拟机并修改安装位置

单击图3-31(b)中的“完成”按钮后,系统将开始自动安装,这时只要耐心等待安装完成即可。

安装过程如图3-32所示。

图3-32 安装过程

安装完成后单击图3-32(b)中的“关闭”按钮,进入如图3-33所示的界面。读者可以发现“我的计算机”列表栏中增加了新安装的“Slave1”。

图3-33 完成克隆

显然,如果计算机的配置较高,还可以继续克隆更多的虚拟机(建议都从Master克隆)。但作为学习环境,有3台虚拟机就可以满足需求了。

4. 安装中的问题及其解决方法

由于用户计算机设置的差异,在VMware Workstation Pro 12上安装Linux集群(CentOS 7)时可能会遇到以下一些共性问题。

(1)BIOS中的VT-x功能没有打开。如果在安装过程中出现如图3-34所示的警告信息,说明在BIOS中没有打开VT-x功能,所以不能使用VT-x功能进行加速。

图3-34 因BIOS中没有打开VT-x功能引起的警告信息

这时,需要打开BIOS中VT-x功能。操作如下:首先在开机自检中,按F12(不同品牌的计算机进入BIOS的热键不同,有的计算机是F1、F2或F8)进入BIOS,找到“Setup”中的“Security”,然后通过上/下键选择“Virtualization”(不同计算机可能位置不同),展开后出现“Intel (R) Virtualization Technology”,如果该项的设置是“Disabled”,请将其修改为“Enabled”。修改完毕后按照提示(通常是按F10键)保存并退出,重新启动计算机即可开启VT-x功能。

(2)Windows的Hyper-V被打开了。Hyper-V是微软的虚拟机,部署在Win8的64位Pro以上版本,以及Windows 2008以上服务器版本中。Hyper-V是微软第一个采用类似VMware和Citrix开源Xen的、基于Hypervisor技术的虚拟机。

如果计算机打开了BIOS中VT-x功能仍然不能安装虚拟机,则有可能是由于Windows操作系统的Hyper-V功能已经打开了,这时启动虚拟机会弹出如图3-35所示的提示框,指出VMware Workstation Pro 12与Hyper-V不兼容,需要从系统中移除Hyper-V角色,再运行VMware Workstation Pro 12。

图3-35 VMware Workstation与Hyper-V不兼容提示

这里以Win10为例,为了关闭Hyper-V,首先右键单击Windows左下角徽标,选择“程序和功能”,在打开的程序和功能对话框中,单击“启用或关闭Windows功能”,弹出如图3-36所示的界面,找到“Hyper-V”选择项后将其设置为关闭,即把“√”去掉,然后单击“确定”按钮即可。

图3-36 关闭Hyper-V的界面