博文纲领：
服务器多个英伟达gpu安装
SLI需要一个具有多个PCI-Express插槽的主板，以及一个具有足够多显卡接口的电源。需要一个输出功率至少800瓦的电源。获取SLI兼容的显卡。几乎所有近期的NVIDIA显卡都可以安装成SLI配置。至少需要两块相同型号和内存的卡才能安装成SLI。安装显卡。将两块显卡安装到主板上的PCI-E插槽中。
浪潮打造的元宇宙服务器metaEngine，单台配置8张英伟达显卡，确实可以同时支持1024个用户进行沉浸式元宇宙体验。具体来说：高性能配置：单台metaEngine服务器可配置8张英伟达L40专业GPU卡，这种配置使得服务器具备强大的算力。
据介绍，智算中心将部署浪潮MetaEngine元宇宙服务器，单台MetaEngine可配置8张英伟达L40专业GPU卡。单台MetaEngine算力非常强大，可支持256位元宇宙架构师协同创作，每秒AIGC2000个数字场景，1024个用户沉浸式元宇宙体验。MetaEngine全链路支持PCIeGen5，整体性能提升近2倍。
如何搭建多人共用的gpu服务器?
1、搭建多人共用的GPU服务器，可以按照以下步骤进行：选择服务器硬件：确保支持GPU：选择能够支持至少一个或多个高性能GPU的服务器硬件。考虑CPU、内存和硬盘：根据任务需求，选择性能强劲的CPU、足够的内存容量以及充足的硬盘空间。电源和散热：确保电源供应稳定且散热系统能够有效应对高负载运行时的热量问题。
2、使用镜像或下载nvidia/cuda：10官方镜像，安装对应版本的tensorflow与常用第三方包，打包成镜像。上传镜像到个人仓库，使用友好的应用名称、注册的docker名字、仓库名称和版本标签。
3、确保操作系统支持SLI。WindowsVista、8和Linux支持双卡SLI。三卡和四卡SLI在WindowsVista、7和8上支持，但不支持Linux。检查现有组件。SLI需要一个具有多个PCI-Express插槽的主板，以及一个具有足够多显卡接口的电源。需要一个输出功率至少800瓦的电源。获取SLI兼容的显卡。
4、选择云服务提供商。市面上有很多云服务提供商，如阿里云、腾讯云等，它们均提供GPU服务器租用服务。详细解释：选择云服务提供商是租用GPU服务器的第一步。不同的云服务提供商提供的服务、价格、性能等可能会有所不同。因此，需要根据自己的需求和预算来选择合适的云服务提供商。
5、开始我们的 PyTorch 多GPU训练实践之前，先来学习如何在 slurm 集群上进行安装。这项操作需要管理员权限，确保您有足够的权限进行操作。slurm 集群由两台服务器构成，master节点的IP为1916105，slave节点为1916106。首先，确保在所有服务器上安装munge。
6、高性能GPU服务器硬件拓扑与集群组网，采用集群式架构，每台主机配备8块高性能GPU，包括A100、A800、H100、H800四种机型。典型8*A100GPU主机内部硬件架构包括高效互联的PCIe总线、NVLink、DCGM监视工具、NVSwitch交换芯片等。PCIe技术提供高效数据传输，支持设备如CPU、内存、NVME、GPU和网卡通过PCIe总线互联。
在Docker中使用GPU
在Docker中使用GPU的方法主要包括以下几种：启动容器时指定显卡设备：使用gpus参数来指定显卡设备。例如，gpus 2表示使用第二块显卡；gpus device=1，2表示使用第一块和第二块显卡。从Docker 19版本开始，可以使用gpus all参数来表示使用所有GPU。
安装GPU驱动：访问NVIDIA官网下载与显卡和操作系统对应的驱动版本，安装buildessential工具集，赋予驱动文件权限并执行安装命令。重启系统后验证显卡信息以确认驱动安装成功。安装Docker：通过github或gitee安装Docker，启动服务并验证安装。
当你在共享服务器上进行实验，受限于资源，选择使用Docker容器进行环境隔离时，一个常见的挑战是GPU在容器中的配置。由于Docker容器本身较为简洁，许多预设配置并不如服务器那样完整，特别是GPU的配置问题。解决这个问题的关键在于利用宿主机的资源。
关键步骤是安装nvidiacontainertoolkit，它允许与runC预启动钩子集成，为容器分配GPU资源。nvidiacontainertoolkit已经整合了nvidiadocker的相关功能，因此只需安装这个软件包。启用GPU支持：在docker命令中，可以通过runtime=nvidia选项启用GPU支持。还可以通过设置NV_GPU环境变量指定GPU设备。