AI 集群 / GPU 基础设施工程师

该职位来源于猎聘 岗位定位 负责公司AI研发所使用的GPU服务器、训练/推理集群及相关基础设施。 核心目标是：让AI研发团队能够稳定、高效、公平地使用公司算力资源，同时保证GPU集群稳定、安全、可观测、可维护。 主要职责 1.GPU集群管理 o 负责GPU服务器及AI计算集群的部署、配置、维护和生命周期管理。 o 管理GPU、CPU、内存、存储及网络等计算资源。 o 保证训练和推理环境的稳定运行。 2.算力调度与资源分配 o 根据团队及项目需求制定合理的GPU资源分配策略。 o 建设和维护任务排队、资源配额、优先级及抢占机制。 o 提升GPU利用率，减少资源闲置及资源争抢。 3.集群调度系统 o 维护或建设基于 Kubernetes、Slurm 或其他调度系统的AI计算环境。 o 支持单机多卡、多机多卡及分布式训练场景。 o 管理不同项目、团队及用户的资源隔离。 4.AI研发环境建设 o 建设标准化开发、训练及推理环境。 o 管理CUDA、Driver、PyTorch、Docker、Container Runtime等基础环境。 o 降低算法工程师配置环境及使用集群的成本。 5.存储和数据基础设施 o 管理AI研发相关高速存储、共享存储及数据访问权限。 o 优化模型、训练数据及Checkpoint读写性能。 o 建立数据备份、容量监控及生命周期管理机制。 6.监控与稳定性 o 建设GPU、CPU、内存、磁盘、网络等监控体系。 o 建立集群告警、故障定位及恢复机制。 o 对GPU利用率、显存利用率、任务排队时间等关键指标进行持续优化。 7.成本与容量管理 o 定期分析GPU利用率和团队算力需求。 o 为服务器扩容、GPU采购及云上算力使用提供数据依据。 o 在性能、稳定性和成本之间进行合理权衡。 8.权限与安全 o 管理服务器账号、SSH Key、访问权限及项目隔离。 o 建立最小权限、操作审计及离职账号回收机制。 o 配合公司安全要求完成基础设施安全管理。 我们希望你具备 1、计算机、软件工程、网络工程或相关专业背景。 2、扎实的Linux系统管理能力。 3、熟悉NVIDIA GPU、CUDA、Driver及常见AI训练环境。 4、管理过8卡、16卡、32卡或更大规模GPU集群。 5、有H100 / H200 / A100 / A800 / H800或类似NVIDIA GPU卡的服务器经验。 6、熟悉Docker / Container Runtime。 7、熟悉 Kubernetes 或 Slurm 中至少一种集群调度体系。 8、熟悉GPU任务调度、资源Quota和多用户集群管理。 9、熟悉Linux网络、存储、权限管理及常见故障排查。 10、能使用Python / Shell完成运维自动化。 加分项 1、有InfiniBand、RoCE、高速网络或RDMA经验。 2、熟悉NCCL及分布式训练问题排查。 3、熟悉Prometheus、Grafana、DCGM等监控体系。 4、熟悉Ceph、NFS、Lustre、对象存储等存储方案。 5、有MLOps / Model Serving / vLLM / Triton等推理基础设施经验。 6、有AI研发团队内部平台建设经验。 我们希望你既有较强的Infra能力，也能够理解AI研发工作负载的特殊性，成为整个AI团队的算力基础设施Owner。