丹凤千字科普：360应用软件中心（详细资料介绍）

背景介绍：

近年来，随着技术的发展和应用场景的不断扩大，大数据、人工智能等业务的增长迅猛。作为一家积极布局在大数据和人工智能领域的领军企业，为了支持自身的业务发展以及为客户提供更为高效的计算资源管理服务，对于高性能任务调度系统有非常高的要求。在此背景下，国内知名企业通过选用、部署以及自主研发等技术手段实现了相关技术能力突破。在此背景下，某知名互联网公司依托自身强大的技术实力，对现有的GPU计算集群进行了全面升级和优化。目前该公司拥有多个自建GPU计算集群，GPU设备总量超过万张。这些集群已从基于YARN的资源管理模式成功迁移至云原生架构。此次迁移的关键在于选择了Volcano作为GPU任务的唯一调度引擎。经过持续不断的优化与技术迭代，Volcano已经带来诸多积极影响，包括资源利用率的提升、资源碎片率的下降以及训练任务性能的提升等。在过去的一年中，该公司的AI平台使用Volcano累计调度超过百万个Pod，实现资源碎片率低于7%，资源分配率超过85%，资源利用率超过45%。在此过程中，Volcano展现出两大显著优势：广泛的适用性和高度的灵活性。得益于CNCF生态的支持，Volcano几乎支持Kubernetes生态中的所有类型的Workload，可完全替代原生kube-scheduler调度器。并且它支持多种资源类型并通过插件机制实现更精细化的资源分配策略。面对不同的应用场景和需求，Volcano都能出色适应并高效支持这些复杂且多样化的场景。

技术实践及行动方案解析：

Volcano的核心机制之一是Action和Plugin的设计模式。在调度周期内，系统会依次执行所有已注册的Actions。这些Actions定义了调度过程中的关键节点并为Plugin提供了标准化的函数注册点。借助这种可插拔的架构设计用户可以根据实际需求灵活选择和组合不同的调度算法以满足多样化的调度场景需求同时这种设计也为开发者扩展自定义调度逻辑提供了标准化的接入点。在公司的多个集群中主要采用了这些Plugins：

在公司的多个集群中，主要使用了以下几种插件来提升效率和性能：

首先使用Capacity插件提供了三种资源管理策略（Capability、Deserved、Guarantee），以满足多租户环境下的资源分配需求并支持闲时资源共享显著提升了集群的资源利用率。此外通过Gang插件实现任务的原子性调度避免了紧耦合分布式训练任务出现部分Pod资源等待或死锁的情况确保整个任务整体成功调度。同时DRF插件则基于DRF算法进行公平资源分配有效平衡多租户混合负载场景下CPU/GPU等资源的使用防止资源饥饿问题。针对任务的优先级和抢占情况该公司还增强了Priority插件和Preempt Action为任务定义优先级并抢占资源以保障生产、高价值任务优先执行满足SLA并在必要时抢占低优先级任务资源。针对硬件拓扑感知调度公司使用了task-topology插件优化大规模训练任务的Pod布局合理使用Nvlink加速降低通信延迟提升通信带宽以提高性能。此外公司还开发了一些网络拓扑感知调度插件和高优先级大任务防饥饿插件来提升分布式训练场景的性能和用户体验。

随着Volcano队列能力的增强和使用方式的变化公司的GPU集群租户隔离机制也从单队列向多队列发展最终形成了层级队列架构实现了更精细化的资源管控并为接下来的资源池化和闲时共享功能奠定了坚实基础。早期由于未实施队列划分策略所有部门的作业均提交至同一队列导致资源缺乏隔离管理难度增加以及跨部门任务相互干扰等问题随着集群规模的不断扩大这些问题逐渐凸显出来。因此公司及时推动了队列拆分通过建立部门与队列的映射关系实现了资源的细粒度管控同时启用了基于优先级的任务抢占机制优化资源利用率并提升用户体验。随着Volcano版本的更新公司也积极参与开源社区回馈设计了层级队列功能并将其应用于实际场景中进一步优化资源管理策略实现跨项目跨资源组的空闲资源共享充分发挥云原生架构的弹性优势提升平台整体资源利用率。

未来展望及规划：

未来公司将持续关注调度侧的优化持续深入优化调度能力和调度性能并通过调度优化提升作业执行效率从多个维度提升硬件资源利用率降低硬件使用成本。此外在大数据计算场景为了实现Spark的云原生化改造Volcano还将通过与Spark Operator的协同集成支撑大数据批计算任务由Spark on Yarn向Spark on K8s迁移构建更为一致和高效的计算资源管理平台同时积极参与开源社区合作推进开源社区共建为行业发展贡献自己的力量打造更为先进的计算资源管理解决方案满足更多用户的需求推动行业的技术进步和业务创新。通过不断创新和探索结合技术发展趋势不断追求卓越为用户和行业创造更多价值开启全新的技术时代大门为公司未来的发展注入强大的动力创造更多的商业价值和机会以坚定的步伐向着更加广阔的市场和前景迈进展现出更为广阔的发展空间和市场潜力为人类社会的发展贡献力量为企业的发展和社会的繁荣做出更大的贡献和支持带来更大的商业