应用介绍

Mellanox HPC­X ScalableHPC工具集是综合的软件包，含有MPI及SHMEM/PGAS通讯库。HPC­X ScalableHPC还包含这些库之上的用于提升性能和扩展性的多种加速包，包括加速点对点通信的UCX(Unified Communication X)、加速MPI/PGAS中集合操作的FCA(Fabric Collectives Accelerations)。这些全特性的、经完备测试的及打包好的工具集使得MPI和SHMEM/PGAS程序获得高性能、扩展性和效率，且保证了在Mellanox互连系统中这些通信库经过了全优化。

Mellanox HPC­X ScalableHPC工具集利用了基于Mellanox硬件的加速引擎，可以最大化基于MPI和SHMEM/PGAS的应用性能。这些应用引擎是Mellanox网卡（CORE Direct引擎，硬件标记匹配(Tag Matching)等）和交换机（如Mellanox SHARP加速引擎）解决方案的一部分。Mellanox可扩展的分层聚合和归约协议(Scalable HierarchicalAggregation and Reduction Protocol, SHARP)技术通过将集合操作从CPU端卸载到交换机网络端，通过去除在端到端之间发送多次数据的的需要，大幅提升了MPI操作性能。 这种创新性科技显著降低了MPI操作时间，释放了重要的CPU资源使其用于计算而不是通信，且降低了到达聚合节点时通过网络的数据量。

HPC­X主要特性如下：

• 完整的MPI、PGAS/SHMEM包，且含有Mellanox UCX和FCA加速引擎

• 兼容MPI 3.2标准

• 兼容OpenSHMEM 1.4标准

• 从MPI进程将集合通信从CPU卸载到Mellanox网络硬件上

• 利用底层硬件体系结构最大化提升应用程序性能

• 针对Mellanox解决方案进行了全优化

• 提升应用的可扩展性和资源效率

• 支持RC、DC和UD等多种传输

• 节点内共享内存通信

• 带消息条带的多轨支持

• 支持GPU­direct的CUDA

启用Mellanox SHARP软件加速集合

HPC­X支持Mellanox SHARP软件加速集合，这些集合默认是启用的。

• 启用Mellanox SHARP加速：

­x HCOLL_ENABLE_SHARP=1

• 禁止Mellanox SHARP加速

­x HCOLL_ENABLE_SHARP=0

• 更改Mellanox SHARP消息阈值（默认为256）：

­x HCOLL_BCOL_P2P_ALLREDUCE_SHARP_MAX=<threshold>

HCOLL v4.4中的GPU缓存支持

如果CUDA运行时(runtime)是有效的，则HCOLL自动启用GPU支持。以下集合操

作支持GPU缓存：

• MPI_Allreduce

• MPI_Bcast

• MPI_Allgather7 MPI并行程序的编译