![实战大数据(Hadoop+Spark+Flink):从平台构建到交互式数据分析(离线/实时)](https://wfqqreader-1252317822.image.myqcloud.com/cover/37/40681037/b_40681037.jpg)
2.1 搭建IDEA开发环境
每一个IT开发人员都需要一个合适的开发工具,IDEA开发工具是大数据开发人员的首选。由于大家习惯在Windows上开发代码,所以这里也选择在Windows操作系统上安装IDEA,接下来一起安装部署IDEA并构建Maven项目。
2.1.1 JDK的安装与配置
由于Java代码的开发需要Java相关开发工具及Java运行环境,所以首先需要安装JDK并配置JDK环境变量。
1.JDK的安装
如果JDK已经安装成功,这里可以直接跳过JDK的安装过程。
注意:搭建运行环境时使用的是64位Windows系统,所以需要对应下载安装64位的JDK。如果使用的是32位Windows系统,那么就需要下载安装32位的JDK。
JDK的下载(本书配套资料/第2章/2.1/安装包)、安装这里就不再赘述,下面介绍如何配置JDK环境变量。
2.配置JDK环境变量
1)在环境变量中配置JAVA_HOME(即JDK安装目录)和Path路径(即JDK安装目录下的bin目录),具体步骤如下。
在“计算机”图标上单击鼠标右键(以下简称右击),选择“属性”选项,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮,如图2-1所示。
在“环境变量”对话框中选择JAVA_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框中的“变量名”框中,输入JAVA_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己JDK的安装路径保持一致,如图2-2所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_01.jpg?sign=1739275303-uZDjBSLoRutpNoPb81vUxbsvFyt2fR9T-0-376f50c64d5672c9ab0871aaac173e98)
图2-1 系统属性
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_02.jpg?sign=1739275303-lDYk4ToIxSFl2N9uHQDk82PiJd0CpxqU-0-125917c9c22d9691d6cd38f762c1389c)
图2-2 用户变量
修改Path系统变量,在变量值中添加JDK安装目录的bin路径,如图2-3所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/20_03.jpg?sign=1739275303-sn9KMVBmOUpUQnBTk6l4ba7uFmtflTkU-0-0cad206fc8399fbf88e80924e998cbcd)
图2-3 系统变量
2)验证JDK是否安装成功。
执行完上述操作后,使用java-version命令查看Java版本,如果出现如图2-4所示的结果说明JDK配置成功。如果无法查看到Java版本,则要再次检查一下Java环境变量的配置,一定要保证Java环境变量配置正确。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_01.jpg?sign=1739275303-YqWmfM33op53ijPR6BkDnoU80YKOIMFe-0-72b678229bee261b6cd14fbf9e2ddfe4)
图2-4 查看Java版本
2.1.2 Maven的安装与配置
Maven是专门用于构建和管理Java相关项目的工具。
使用Maven管理项目主要有两点好处:第一点好处,使用Maven管理的Java项目都有着相同的项目结构;第二点好处,使用Maven便于统一维护jar包,Maven风格的项目把所有的jar包都放在了本地“仓库”,当项目需要用到哪个jar包,只需要配置jar包的名称和版本号,这样就实现了jar包的共享,避免每个项目都维护自己的jar包带来的麻烦。为了便于项目管理,在Windows系统中需要先安装Maven工具。
1.Maven下载
首先需要到Maven官网(地址为https://archive.apache.org/dist/maven/maven-3/)下载对应版本的安装文件apache-maven-3.3.3-bin.zip,如图2-5所示。也可通过本书配套资源包直接下载获取(本书配套资料/第2章/2.1/安装包)
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_02.jpg?sign=1739275303-yqV4W4Z3ujLMrcS1EpkIlbpINMEe0B3D-0-7a5aa484586bbbc2138b551feaa68ee7)
图2-5 Maven安装包
2.Maven安装
Maven的安装非常简单,将下载好的Maven安装包直接解压即可,解压后的Maven目录结构如图2-6所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/21_03.jpg?sign=1739275303-qYucUlpmHhXfgPHur3OJ10mvHq5PAFrq-0-e9e06fdf34467cf7f42ee432e2a1ce92)
图2-6 Maven目录结构
3.配置Maven环境变量
1)在环境变量中配置MAVEN_HOME(即Maven安装目录)和Path路径(即Maven安装目录下的bin路径),具体步骤如下。
在“计算机”图标上右击,选择“属性”,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮;在“环境变量”对话框中选择MAVEN_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框的“变量名”框中,输入MAVEN_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己Maven的安装路径保持一致,如图2-7所示。
修改Path系统变量,在变量值中添加Maven安装目录的bin路径,如图2-8所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_01.jpg?sign=1739275303-Ir9QehWDxGJD7GhnXg787USVb2RkjoKc-0-9cd57242b5b063c585b052999e9f4d9b)
图2-7 添加Maven用户变量
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_02.jpg?sign=1739275303-iwq1KOAZrL1ZA6Rw5jloPb18ql2izpgM-0-900b20c505aa90885025681d422e3307)
图2-8 添加系统变量
2)验证Maven是否安装成功
执行完上述操作后,使用mvn-v命令查看Maven版本,如果出现如图2-9所示的结果,说明Maven配置成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/22_03.jpg?sign=1739275303-vDqezZ3uNzf0ci181Xr4mXx9xe4T2Oc4-0-327c92a9eb7b019943b54b57acbe151a)
图2-9 查看Maven版本
2.1.3 IDEA的安装与配置
IDEA全称IntelliJ IDEA,是进行Java编程语言开发的集成环境,在业界被公认为最好的Java开发工具。IDEA官网提供了Windows、macOS、Linux不同系统的安装方式。普通的JVM和Android开发可以选择Community版本,Web和企业级开发可以选择Ultimate版本。由于大家习惯选择在Windows上开发代码且需要对数据进行可视化,所以下面选择在Windows操作系统上安装Ultimate版本的IDEA。
1.IDEA下载
首先需要到IDEA官网(地址为http://www.jetbrains.com/)下载对应版本的安装文件,如图2-10所示。也可通过本书配套资源包下载(第2章/2.1/安装包)。
2.IDEA安装
IDEA安装文件下载到本地之后,双击运行IDEA可执行文件即可进入IDEA安装界面,如图2-11所示,然后可以单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_01.jpg?sign=1739275303-0rQcioR8l4ieCVTIYZcycO73bsz9pEqi-0-5a2097969a555ee1de8ba1db8f980d7a)
图2-10 IDEA安装文件
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_02.jpg?sign=1739275303-RKQMFphqiB67MrOct9ghNFhi692Pw53N-0-fee2aa73e761a8836384ed751681b3f8)
图2-11 IDEA安装界面
选择IDEA安装路径,如图2-12所示,该路径可以选择自己期望的安装位置,接着单击Next按钮进入下一步。
选择IDEA安装选项,如图2-13所示,IDEA安装的相关选项是可选选项,单击Next按钮进入下一步。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_03.jpg?sign=1739275303-Bcjk026ScWTNLIW8ePVwgbyVQ2qk2opk-0-aeccbbcf1f96e2bb7c75a4361c377554)
图2-12 IDEA安装路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/23_04.jpg?sign=1739275303-xqLjx9AUrrB9tvx8K7F0xUGKndTZGGxh-0-b12d510e9e3ce9a13c9c34e5b4f0b08d)
图2-13 IDEA安装选项
选择开始菜单文件夹,如图2-14所示,IDEA快捷键默认在JetBrains文件目录下,然后单击Install按钮开始安装IDEA。
IDEA进入安装状态,如图2-15所示,IDEA安装过程大概需要几分钟的时间。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_01.jpg?sign=1739275303-qcvSd73Al7P0koe9aivkH1tYZK1mOST6-0-32d3b7f6594d12080793642b177037f4)
图2-14 选择IDEA开始菜单文件夹
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_02.jpg?sign=1739275303-zD6LzbDd9eltqEteNwwIuviWVngHv10E-0-18ba9f846e3e00e6fe9d8d3d07f1092d)
图2-15 IDEA安装状态
IDEA最终安装成功界面如图2-16所示,单击Finish按钮即可完成整个IDEA工具的安装。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_03.jpg?sign=1739275303-MTIrOIsLMoF45gbkqjfFbMIssqnmJUHH-0-7ef34d5549b2924f0cb4b9dce4ff70d6)
图2-16 IDEA安装成功界面
3.为IDEA配置SDK
前面已经独立安装好JDK,接下来配置IDEA三种不同范围的SDK。首先打开IDEA欢迎界面,如图2-17所示。
单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Structure for New Projects选项,弹出项目结构界面,如图2-18所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_04.jpg?sign=1739275303-SizaGnk3HNOlFJyS8K5o5EJ9HvxDZCJY-0-38fbddd4df15d0f43d67fa860d8a9671)
图2-17 IDEA欢迎界面
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/24_05.jpg?sign=1739275303-PgZEvCQ9YEkcz1cbhGTQ6H4se3BiZ4Aj-0-ecaaf5a519a1665deff0866ffdd5eda4)
图2-18 项目结构
(1)配置全局SDK
选择项目结构左侧的SDKs选项,按照图2-19标识的先后顺序配置全局SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_01.jpg?sign=1739275303-vIgYGnA3IzulYHEghOVC2OIpUu00iWhc-0-45496ac50bdc7b496a54fac4ab75a294)
图2-19 全局SDK配置
(2)配置项目SDK
选择项目结构左侧的Project选项,按照图2-20标识的先后顺序配置项目SDK。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_02.jpg?sign=1739275303-gNYEkyPIX3sn98KxlCFI4OUqUMn4ZbMT-0-f9723ec6ff4762838a758b499828cf84)
图2-20 项目SDK配置
(3)配置项目模块SDK
项目具体模块在当前界面中是看不到的,需要通过IDEA创建新项目之后,选择File→Project Structure→Modules才能配置,具体配置步骤如图2-21所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/25_03.jpg?sign=1739275303-6NWpIygrdoo5Nw3sSn84wwhN8Hc9ayvI-0-a0b1de200ff541703a58854e631d5bdb)
图2-21 配置项目模块SDK
4.配置Maven
接下来为IDEA配置独立安装的Maven,单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Settings选项,弹出配置界面,如图2-22所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_01.jpg?sign=1739275303-ZaQPxuZlYQUX5hFmz89mieWj6N1Ul4nk-0-9141caa73637f5dacb9921a9f3fbe2d7)
图2-22 Settings配置界面
选择Settings配置界面左侧的Maven选项,按照图2-23标识的先后顺序配置Maven安装路径。
2.1.4 使用IDEA构建Maven项目
前面的工作一切就绪,接下来使用IDEA开发工具构建Maven项目。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_02.jpg?sign=1739275303-B1DGIIvei1Nu9RZsjkidmLzgXgXcpisT-0-ba558dc372751cad66d5ea4d37615ccd)
图2-23 配置Maven安装路径
1)打开IDEA欢迎界面,选择Create New Project选项创建新项目,如图2-24所示。
2)在弹出的界面中左侧选择Maven,右侧选择Project SDK,下面勾选Create from archetype,并选择maven-archetype-quickstart骨架创建Maven项目,具体操作如图2-25所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_03.jpg?sign=1739275303-SRTsRz9L2tYRc2OECyLgCiEXuk6Albsa-0-e07b0bc3529c8467e08853b369ed928c)
图2-24 创建新项目
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/26_04.jpg?sign=1739275303-GW8xBY1ExX41PWsVjk5rIpxu5LasGiRb-0-52fd7438ce3978f8ada37f2ce7167109)
图2-25 选择Maven骨架
3)单击Next按钮进入下一步,在弹出的界面中填写项目的GroupId和ArtifactId,具体操作如图2-26所示。GroupId是项目组织唯一的标识符,实际对应Java包的结构。ArtifactId是项目唯一的标识符,实际对应项目的名称。
4)单击Next按钮进入下一步,配置Maven安装目录,选择独立安装好的Maven路径即可,具体操作如图2-27所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_01.jpg?sign=1739275303-3jM06vjOgOMRZIaa9O6R5We8u0PEtdsM-0-d148214ab8f258c68af9af2749aa250a)
图2-26 配置GroupId和ArtifactId
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_02.jpg?sign=1739275303-Lb84GKSMRlIaUYMDFdhDlcSGKi0e7jQK-0-a25fdb4100f1a59f93a8a09a316808fb)
图2-27 配置Maven路径
5)单击Next按钮进入下一步,修改项目名称和路径,具体操作如图2-28所示。
6)单击Finish按钮即可完成项目的创建。打开项目之后,可以看到项目界面如图2-29所示。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_03.jpg?sign=1739275303-dlvq8Jz4fce5vOn9KAwvIGAvatS9RSfq-0-12ccfe9ca96a95e20903cc7611faa103)
图2-28 修改项目名称和路径
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_04.jpg?sign=1739275303-tOq9nFrajVXpYBUmruYRnZ54W0FRXW9t-0-ae53d8e604e266e9f46d06d2b4e2e76e)
图2-29 Maven项目界面
7)在创建好的learninghadoop项目中,选中自带的Java类App,右击程序,在弹出的快捷菜单中选择run运行App程序,输出“Hello World!”如图2-30所示,说明Maven项目创建成功。
![](https://epubservercos.yuewen.com/D4D228/21122067108964206/epubprivate/OEBPS/Images/27_05.jpg?sign=1739275303-tdtnyBVJObyYIIGvm7BC1hi6ZuY41CIt-0-461e15b34633eb33dfec9409a860babe)
图2-30 App程序运行结果