2023, 32(3):116-124.DOI: 10.15888/j.cnki.csa.008983
摘要:风能作为清洁能源为改善我国能源结构发挥着越来越重要的作用. 风电场机组及设备的数据可能会包含机组或风场的隐私敏感信息, 这些隐私数据一旦被泄露, 将会为风电场带来巨大的经济风险和法律风险. 联邦学习作为重要的隐私计算手段, 能够保证原始数据不出本地的情况下完成模型的建模和推理, 实现各参与方在互不泄露隐私的前提下实现联合计算, 从而有效应对风电数据分析面临的挑战. 但是, 联邦学习计算过程中存在大量的通信开销, 这成为限制联邦学习技术在风电场景下应用的关键性能瓶颈. 因此, 本文以经典的联邦学习算法XGBoost为例, 深入分析了联邦学习计算过程中的通信问题, 提出采用RDMA作为底层传输协议的解决方案, 设计并实现了一套高性能联邦学习平台通信库, 有效提升了联邦学习系统的性能.
2020, 29(10):1-8.DOI: 10.15888/j.cnki.csa.007637
摘要:RDMA网络具有高带宽,低延时,低CPU负载的特点,广泛应用于数据密集型任务中,例如深度学习,高性能计算,数据分析等.RDMA的实现需要软硬件支持,在云环境下,RDMA虚拟化方案有助于多用户共享RDMA网络传输的高性能,同时实现对RDMA网络的统一管理和控制.本文调研了近年来的RDMA虚拟化解决方案,覆盖了虚拟机和容器环境;然后将这些解决方案进行分类和比较;最后,对RDMA虚拟化中存在的问题和未来的发展做出了总结和展望.
2006, 15(1):60-63.
摘要:近年来,利用普通PC和高速网络搭建集群已经成为构建高性能计算环境的一种趋势。虽然InfiniBand在高性能计算领域还是相对比较新的技术,但是它的丰富特性使得它在高性能领域所占份额日趋扩大。InfiniBand Architecture(IBA)这种工业标准的主要设计思想是采用支持多并发链接的“转换线缆”技术提供高性能和高可靠性.这篇文章介绍了InfiniBand的体系结构和在InfiniBand上实现MPI的有关技术。最后在集群环境中,用MPI对InfiniBand网络的各项性能指标进行了测试。