针对分布式深度学习训练的Kubernetes集群网络拓扑调度算法
陈培
王超
王德奎
张东
房体盈
1.浪潮电子信息产业股份有限公司 山东济南 2500002.浪潮电子信息产业股份有限公司 山东济南 2500003.浪潮电子信息产业股份有限公司 山东济南 2500004.浪潮电子信息产业股份有限公司 山东济南 2500005.浪潮电子信息产业股份有限公司 山东济南 250000
摘要：深度学习与Kubernetes相结合现今已经被业界广泛采用并有着大规模的实际应用,然而深度学习在Kubernetes集群上进行分布式训练有着诸多的不足和待优化点.本文针对Kubernetes集群的网络拓扑和深度学习分布式训练的特点对Kubernetes默认任务调度算法做了相关优化,在Kubernetes集群上采用Gang-scheduling和基于网络拓扑优化后的调度算法对分布式深度学习训练任务进行调度,经测试验证,相比默认的Kubernetes调度算法,该调度算法能够有效利用网络拓扑结构,并且对分布式深度学习训练速度有着明显的提高.
关键词：Kubernetes深度学习分布式训练网络拓扑
论文发表日期：2019-01-01
在线出版日期：2026-05-22（本平台首次上网日期，不代表文献的发表时间）
页数：5( 109-113 )
英文信息