2.1 实验型部署场景

2.1.1 背景介绍

A大学是国内知名大学，其计算机科学与应用数学都是国内学科的翘楚，该校毕业生很多都进入相关研究机构或国际著名IT企业任职。

随着大数据技术与应用的蓬勃发展以及国家大数据发展战略在学科建设上的深入落实，A大学决定抓住该历史机遇，充分发挥其学科优势，在大数据分析领域培养出新的优势学科。因此，A大学推动计算机科学系与应用数学系成立一个跨学科联合实验室，该实验室（后文统称大数据科学实验室）紧密结合社会需求，响应时代呼唤，定位于培养能够适应时代要求的大数据人才。

2.1.2 面临的问题

大数据科学实验室作为计算机科学系与应用数学系的联合实验室，承担了两个系在计算机科学与应用数学方向上的本科、研究生教学任务。与此同时，应用数学上的很多科学研究任务需要使用大量的计算资源进行数据分析，也需要使用大数据科学实验室的设备。

而这两个学科方向以及不同类型的教学、科研任务对大数据科学实验室的设备有竞争关系，有时相互间甚至有冲突，影响了各项任务的顺利进行。如计算机科学的本科教学大纲中有实验课程，安排本科生动手搭建基本的Hadoop环境并在此基础上开发简单的分析应用，而应用数学研究需要大量的计算资源对海量数据进行机器学习模型训练，这两种任务之间就有明显的竞争关系。甚至经常因为机器分配和人员操作失误将运行了数百个CPU时间的模型训练任务意外关闭，这又进一步加剧了问题的严重性。

虽然有一笔资金可用于购买设备，但预算并不充分，对于如何配置软硬件产生了分歧。

一方面预算有限，另一方面又想以最高的性价比获得尽量多的计算和存储能力，甚至要有不受限制的节点数量，这真是愁坏了实验室主任，只能求助于专业的大数据咨询师。

2.1.3 需求分析

小明与几位实验室老师和学生坐下来聊了聊发现，大数据科学实验室开展的实验包括以下几部分。

（1）教学实验：安装大数据环境，在此基础上设计并运行简单的分析应用，这部分应用对存储和计算资源的要求比较低。

（2）新架构研究与实验：对大数据存储、计算架构进行实验研究，并通过大量的压力测试对架构性能进行评估和改进，这部分应用对存储和计算资源要求一般都比较高。

（3）机器学习研究实验：训练机器学习模型，包括神经网络模型、统计模型、图模型等，主要是计算密集型的批处理应用。

小明还了解到由于实验室成立时间短，实验室设备虽然安排了专人管理，但缺乏管理工具的支持，仅通过机器密码实现简单的安全管理。

实验室设备构成复杂，既有高性能服务器，又有老式桌面机，而且各类实验对计算资源占用率不同，因此通过管理员人工对设备资源进行调度效果不佳。

因为各类实验对计算资源的消耗差异很大，有些实验严重浪费了宝贵的计算资源。

实验所用数据都是可公开获得的开放数据，对数据安全性要求不高，各数据集的规模大小不同，但均不超过GB。

经过上述摸底，小明对问题胸有成竹，这是计算密集型、存储规模小、数据安全性要求低又相对封闭的系统。

小明很快给出咨询建议：使用廉价的PC服务器+虚拟化解决方案+开源全栈式数据分析平台。PC服务器就能满足存储需求，同时也能获得不错的计算能力。采用虚拟化方案提高机器的利用率，同时减少实验间的干扰。开源全栈式数据分析平台更是能够将神经网络模型、统计模型、图模型的运算统一在一个计算框架下。

小明回到单位很快完成了咨询报告的撰写并提交到老板邮箱，第一个咨询项目大功告成！