作者:手机用户2502906277 | 来源:互联网 | 2023-07-29 19:49
接触hadoop有一段时间,开始都是在虚拟机环境下熟悉编程开发等等。现在想要自己搭建一个小型的集群(5到10个计算节点)做实验来用,一次大概处理100GB的文本文件。因为对服务器硬件不是很了解,想要知
接触hadoop有一段时间,开始都是在虚拟机环境下熟悉编程开发等等。现在想要自己搭建一个小型的集群(5到10个计算节点)做实验来用,一次大概处理100GB的文本文件。因为对服务器硬件不是很了解,想要知道现在主流的hadoop集群硬件都是配置。选择hadoop集群硬件时是买品牌型号的服务器,还是自己按照性能参数来攒机呢?如果是要买整个的品牌服务器:是选择刀片服务器呢还是机架服务器呢,希望能推荐主流的服务器型号。如果是要自己攒服务器:恕我小白问一下,自己攒服务器是个什么样的过程,就是攒一个配置高一些的PC机么?希望得到一个详细的回答,谢谢。
2 个解决方案
刀片,机架 是说服务器的外观,服务器分为小型机和pc server 区别是处理器不一样,你的需求应该是pc server 就是x86架构的服务器。小型机比较贵!
这个看预算
预算有限,可以考虑二手服务器,自己增加CPU 内存 硬盘;
预算宽裕,那就直接新机器
控制节点 配置低些 2CPU,24G(三通道)32G内存(双通道)。数据节点2CPU(高端一些),更多内存和硬盘